AI 평가에서 결과를 확인하지 못한 항목을 지우면, 남은 항목의 성공률이 전체 성공률처럼 보일 수 있다. 먼저 실패가 확인된 것과 결과 자체를 모르는 것을 나누고, 처음 정한 평가 대상 수를 보존해야 한다. 누락값을 무조건 실패로 바꾸는 것도 모든 질문에 맞는 해법은 아니다.
지난 수업에서는 반복 실행 수와 독립 평가 단위를 구분했다. 이번에는 평가 대상으로 정한 문서 중 일부가 결과 표에서 사라졌을 때를 다룬다. 핵심 질문은 ‘몇 번 실행했는가’가 아니라 ‘어떤 결과가 분모에서 빠졌는가’다.
90%와 72%는 같은 답이 아니다
다음은 실제 AI 시험이 아닌 가상 집계다. 문서 100개를 각각 한 번 평가하기로 했고, 성공 72개와 실패 8개를 확인했다. 나머지 20개는 기록 유실로 성공 여부를 알 수 없다. 평가 대상 100개는 모두 유효하며, 확인된 80개의 판정은 정확하다고 가정한다.
| 표시할 값 | 계산 | 답하는 질문 |
|---|---|---|
| 결과 확인 항목의 성공률 | 72 ÷ 80 = 90% | 판정이 남은 항목 중 얼마나 성공했나 |
| 전체 대상의 확인된 성공 비율 | 72 ÷ 100 = 72% | 대상 전체에서 성공을 입증한 몫은 얼마인가 |
| 결과 미확인 비율 | 20 ÷ 100 = 20% | 아직 판정하지 못한 몫은 얼마인가 |
90%는 계산 오류가 아니다. 다만 결과가 남은 80개에 대한 비율이다. 어려운 문서에서 기록이 더 자주 유실됐다면 그 80개가 처음 정한 100개를 대표하지 않을 수 있다. 반대로 쉬운 문서에서만 기록이 사라졌다면 편향의 방향도 달라질 수 있다. 누락이 있다는 사실만으로 부풀려진 정도나 방향까지 알 수는 없다.
72% 역시 ‘실제 성공률은 72%였다’는 단정과 다르다. 이 예시에서는 나머지 20개의 결과를 모르기 때문이다. 보고서에는 확인된 성공 비율과 미확인 비율을 나란히 적어야 한다.
실패인지 결측인지는 평가 질문이 결정한다
‘30초 안에 검증된 답을 반환했는가’를 재는 평가라면, 30초가 지나도록 답을 주지 못한 사실을 확인한 항목은 그 기준의 실패다. 나중에 답이 생성됐다고 당시의 마감 충족 결과가 바뀌지는 않는다.
반면 ‘생성된 답의 내용이 정확했는가’를 묻는데 저장 장애로 답을 읽을 수 없다면 정확성은 미확인이다. 시간이 초과됐다는 사실과 답의 정확성을 모른다는 사실이 한 항목에 함께 있을 수도 있다. 따라서 실행 상태와 평가 판정을 별도 필드로 두는 편이 낫다.
| 관측한 상황 | 해당 질문에서의 처리 | 남길 근거 |
|---|---|---|
| 정해진 시간 내 완료하지 못함이 확인됨 | 기한 내 완료 지표의 실패 | 시간 기준과 종료 시각 |
| 출력은 생성됐으나 저장 기록을 잃음 | 내용 정확성은 미확인 | 유실 구간과 복구 여부 |
| 정답 기준이 모호해 채점하지 못함 | 정확성 판정 보류 | 모호한 기준과 재심 사유 |
| 사전에 정한 대상 조건을 충족하지 않음 | 적격성 규칙에 따라 별도 분류 | 제외 규칙, 대상 수, 적용 시점 |
이는 특정 평가 서비스의 내장 규칙이 아니라 실무 설계 제안이다. 결과를 본 뒤 어려운 항목을 ‘대상 아님’으로 바꾸는 절차가 되어서는 안 된다. 전체 후보 수, 사전 규칙에 따른 적격 대상 수, 실제 평가 수를 함께 남긴다.
FDA가 공개한 ICH E9(R1)은 무엇을 추정하려는지 먼저 정의하고, 그 목표에 필요한 값이 관측되지 않았는지를 구분하도록 설명한다. 원래는 임상시험 지침이다. 여기서는 질문과 분석을 맞추는 통계적 원칙을 AI 평가에 응용할 뿐, 의료 지침이 AI 운영 규정이라는 뜻은 아니다. 공식 원문
모르는 20개가 결론을 뒤집을 수 있는가
앞의 100개에 대해 성공 여부가 0 또는 1로 정해진다고 하자. 미확인 20개가 모두 실패라면 전체 성공 비율은 72%다. 모두 성공이라면 92%다. 따라서 현재 기록과 양립하는 이 100개의 성공 비율은 72%에서 92% 사이다.
이 범위는 신뢰구간이 아니다. 새 문서 집단으로 일반화할 때의 표집 오차도 계산하지 않았다. 미확인 결과를 양 끝으로 놓아, 이번 고정된 대상 100개에서 무엇까지 말할 수 있는지 확인한 산술적 범위다.
가령 이번 100개에서 85% 이상이면 통과시키기로 미리 정했다고 하자. 미확인 20개 중 최소 13개가 성공이어야 85개에 도달한다. 지금은 그 13개를 확인하지 못했으므로, 관측 항목의 90%만 보고 통과시킬 수 없다. 그렇다고 전체 성능이 기준 아래라고 확정할 수도 없다. 이 예시의 상태는 ‘추가 확인 필요’다.
이때 85%는 설명을 위한 가상 기준이지 권장 도입 기준이 아니다. 실제 배포 여부에는 위험도, 오류 유형, 표본의 대표성, 불확실성도 필요하다. 모델 간 차이를 판단하는 비열등성 평가라면 각 모델의 누락과 짝 구조까지 보존해야 한다. 위 단일 비율 범위를 그대로 두 모델 차이의 신뢰구간으로 쓰면 안 된다.
재실행 전에 빠진 이유를 남긴다
결과가 없는 행을 즉시 지우거나, 성공할 때까지 재실행해 마지막 기록으로 덮어쓰지 않는다. 먼저 최초 시도와 재시도의 식별자를 연결한다. 재시도 허용 횟수와 시간 예산이 평가 조건이라면 그 조건까지 포함한 최종 결과를 집계하고, 최초 시도 결과도 따로 보존한다.
가상 문서 평가에서 다음 순서로 확인할 수 있다.
1. 처음 정한 대상 목록과 결과 목록을 대조한다. 결과가 없는 항목도 목록에 남긴다.
2. 모델 실패, 도구 실패, 로그 유실, 채점 보류를 분리한다. 추정 원인은 확정 원인과 구분한다.
3. 문서 길이·형식·언어·난이도 구간별로 미확인 비율을 본다. 한 구간에 집중돼도 원인이 입증된 것은 아니지만 조사할 곳은 좁아진다.
4. 복구한 원래 출력의 재채점과 새로운 실행을 구분한다. 새 실행은 원래 출력의 결과를 되살린 것이 아니다.
5. 남은 미확인이 결론을 바꾸는지 가정을 바꿔 확인하고, 해결되지 않은 부분을 보고한다.
National Research Council의 2010년 보고서는 결측 사유의 기록, 분석 가정의 명시, 가정에 대한 민감도 분석을 강조한다. 불완전한 사례를 버리는 complete-case 분석도 유효한 추론을 하려면 조건이 필요하다. 따라서 ‘누락을 제외했으니 깨끗한 자료’라는 설명만으로는 충분하지 않다. 보고서 4장
누락 결과를 평균값으로 채우거나 복잡한 대치 모형을 쓰면 숫자는 완성된다. 하지만 그 방법이 관측되지 않은 결과를 확인해주는 것은 아니다. 이 글의 양 끝 계산 역시 추정 모형을 대신하는 만능 분석법은 아니다. 미확인의 규모와 결론의 취약성을 드러내는 첫 점검이다.
복사해서 쓰는 평가 기록 양식
아래 양식은 설계용이다. 고객 원문, 인증값, 개인정보를 공개 기록에 넣지 않는다.
평가 질문과 성공 조건:
기준 시각·시간 제한·재시도 예산:
모델·프롬프트·도구·채점 기준 버전:
후보 수 / 적격 대상 수 / 실제 시도 수:
확인된 성공 수 / 확인된 실패 수 / 미확인 수:
서로 배타적인 판정의 합이 적격 대상 수와 맞는가:
실행 상태와 평가 판정을 따로 기록했는가:
미확인 사유별 개수와 확인 근거:
최초 시도와 재시도의 연결 규칙:
관측 항목 성공률과 전체 확인 성공 비율:
미확인 결과 가정에 따라 바뀌는 결론:
복구·재채점·새 평가를 구분한 후속 계획:보고서의 ‘성공률 90%’ 옆에 ‘대상 100개 중 판정 가능한 80개 기준, 미확인 20개’라고 적어보자. 숫자의 인상이 달라지는 이유는 성능이 바뀌어서가 아니다. 독자가 판단하는 데 필요했던 분모와 공백이 드러났기 때문이다.
출처와 확인 범위
2026년 10월 15일 확인. ICH E9(R1)은 FDA의 2021년 5월 지침판, National Research Council 보고서는 2010년판 4장을 참고했다. 두 출처의 원래 대상은 임상시험이며 AI 적용 절차와 가상 집계는 이 글의 교육용 설계다. 실제 모델 호출이나 장애 재현은 수행하지 않았다. 72·8·20건과 85% 기준은 모두 가상이며, 이 숫자로 제품 성능을 주장하지 않는다.