⚖️AI 채점 자동화 설계, 렌즈 셋으로 나눠 보고 편차로 다시 보는 구조

경진대회나 과제 심사에 AI를 쓰자는 이야기는 쉽게 나옵니다. 문제는 그다음입니다. AI 한 대에 산출물을 통째로 넣고 점수를 받으면, 그 모델이 가진 편향이 그대로 순위가 됩니다. 저희가 이 문제를 다루기 위해 설계한 구조를 정리해 봅니다. 실제 대회에 적용하기 위해 만든 설계이며, 방법론만 공개합니다.

설계 원칙 다섯 가지

원칙	내용
다중 렌즈 독립 심사	같은 산출물을 서로 다른 세 관점의 AI 심사관이 독립적으로 채점합니다
AI와 사람의 배점 분리	문서로 판정 가능한 부분은 AI가, 현장 발표력은 사람이 전담합니다
편차 검증	세 심사관의 점수 차가 기준을 넘으면 자동 재심하고, 그래도 벌어지면 사람이 판정합니다
증거 인용 강제	모든 점수에 산출물 안의 근거 문구를 인용하게 합니다. 인용 없는 점수는 무효입니다
사람 최종 확정	AI 점수는 권고안이고 최종 순위는 사람이 확정합니다

두 번째 원칙이 중요합니다. AI가 못 보는 것을 보는 척하게 두지 않는 것입니다. 현장 발표의 전달력과 질의 대응은 문서에 남지 않습니다. 그 배점은 처음부터 사람 몫으로 떼어 놓습니다.

여덟 단계 진행 절차

[1] 제출        산출물 + 프롬프트 로그 제출 (발표 전 마감)
      ↓
[2] 정규화      텍스트로 변환, 팀 식별정보 제거(블라인드)
      ↓
[3] 독립 심사    심사관 셋이 병렬로 채점
      ↓
[4] 편차 검증    항목별 점수 차 확인 → 이상치 재심
      ↓
[5] 집계        세 심사관 평균으로 AI 점수 산출
      ↓
[6] 현장 발표    사람 심사위원이 발표력 채점
      ↓
[7] 최종 확정    합산 후 사람 심사위원 최종 승인
      ↓
[8] 피드백 생성  팀별 피드백 리포트 자동 생성 → 전 팀 배포

2단계 블라인드 처리가 빠지면 팀명이나 학과가 점수에 스며듭니다. 텍스트 변환 단계에서 식별정보를 지우고 넘깁니다. 8단계는 수상 여부와 무관하게 전 팀에 배포합니다. 채점의 부산물로 피드백이 자동으로 나오는 것이 이 구조의 덤입니다.

모든 심사관에 먼저 거는 규칙

세 심사관에 공통으로 얹는 시스템 프롬프트의 핵심 부분입니다.

[절대 규칙]
1. 각 평가 항목은 0~5점 척도로 채점하고, 반드시 산출물에서 근거 문구를
   그대로 인용한 뒤 점수를 부여합니다. 인용할 근거가 없으면 0점입니다.
2. 추측하지 않습니다. 산출물에 없는 내용을 있다고 가정하지 않습니다.
3. 분량이 많다는 이유로 점수를 올리지 않습니다. 평가하는 것은 내용의 질입니다.
4. 팀명·팀원명·소속은 점수에 영향을 주지 않습니다.
5. 다른 팀과 비교하지 않습니다. 루브릭 절대 기준으로만 채점합니다.

1번과 3번이 자동 채점의 고질병 두 가지를 막습니다. 근거 없는 인상 점수와 분량에 끌려가는 점수입니다. 5번도 반드시 필요합니다. 상대 비교를 허용하면 먼저 들어온 산출물이 기준이 되어 순서에 따라 점수가 흔들립니다.

출력은 JSON 한 덩어리로만 받습니다. 항목명, 점수, 인용한 근거, 점수 사유, 총점, 잘한 점, 개선점이 들어갑니다. 형식을 고정해야 뒤의 집계 단계가 자동으로 돌아갑니다.

세 개의 렌즈

심사관 1, 논리와 문제 정의. 문제 정의가 구체적인지, 대상이 근거를 갖고 좁혀졌는지, 주장에서 결론까지 비약이 없는지를 봅니다. 가장 흔한 감점 사유는 "AI를 활용하여 무엇을 개선한다"처럼 대상도 방법도 특정되지 않은 서술입니다.

심사관 2, AI를 실제로 다뤘는가. 프롬프트 로그가 제출됐는지, 프롬프트에 역할과 맥락과 출력 형식이 설계되어 있는지, 1차 결과를 그대로 쓰지 않고 다시 고친 흔적이 있는지를 봅니다. 가장 높게 평가하는 것은 AI 답변이 틀렸음을 스스로 발견하고 고친 과정이 기록된 경우입니다.

심사관 3, 결과물이 실제로 쓸 수 있는가. 완결되었는지, 수치와 도표가 본문 주장을 실제로 뒷받침하는지, 제3자가 이 문서만 보고 이해할 수 있는지를 봅니다. 가장 흔한 감점 사유는 표지와 목차는 화려한데 핵심 분석이 한두 장에 그치는 경우입니다.

집계와 재심

집계 단계에서 하는 일은 평균 내기만이 아닙니다. 항목별로 세 심사관의 점수를 비교해 최고와 최저의 차이가 기준을 넘으면 그 항목을 분쟁 항목으로 표시하고, 각 심사관이 인용한 근거를 나란히 붙입니다. 분쟁 항목이 하나라도 있으면 그 팀은 사람 심사위원 재검토 대상이 됩니다.

집계 프롬프트에 반드시 넣는 한 줄이 있습니다. "점수를 임의로 조정해 합의를 만들지 마라." 평균이 매끄럽게 나오도록 AI가 스스로 조율해 버리면 편차 검증이라는 장치 자체가 무의미해지기 때문입니다.

투명성은 설계의 일부입니다

채점 기준표는 대회 시작 시점에 참가자 전원에게 전문 공개합니다. 뒤늦게 공개하면 기준이 아니라 판정 근거가 됩니다. 이의 제기가 들어오면 해당 팀의 항목별 근거 인용문을 그대로 공개합니다. 증거 인용을 강제해 둔 덕분에 이것이 가능합니다. 제출물은 심사 목적 외로 쓰지 않고 종료 후 파기합니다. 이 세 가지를 사전 고지에 함께 적습니다.

참가자에게 미리 알리는 것

이 구조는 결과물만 보지 않습니다. 어떤 프롬프트를 썼는지, AI가 틀렸을 때 그것을 어떻게 찾아 고쳤는지를 함께 봅니다. 그래서 프롬프트 로그와 검증 기록을 제출물에 포함시키고, 그것이 없으면 AI 활용도 항목에서 받을 수 있는 점수에 상한이 걸린다는 점을 시작 시점에 명시합니다. 이 고지를 빼면 과정 기록을 남기는 팀과 남기지 않는 팀 사이에서 형평 시비가 납니다.

정리

AI 채점의 신뢰는 모델 성능이 아니라 구조에서 나옵니다. 관점을 셋으로 쪼개고, 근거 인용을 강제하고, 편차가 벌어지면 사람에게 넘기고, 최종 확정을 사람이 하는 것. 이 네 가지가 저희 설계의 뼈대입니다. 자동 채점을 검토하고 계신 분이라면 어떤 모델을 쓸지보다 어디까지를 AI에게 맡기지 않을지를 먼저 정하시기를 권합니다.