AI Agent Fast Learning · 평가 설계
AI를 몇 번 평가할지는 예산만으로 정할 수 없다. 어떤 크기의 개선을 놓치지 않을 것인지, 무엇을 독립된 사례로 셀 것인지, 그 개선을 어느 확률로 찾아내려는지 먼저 정해야 한다. 이 세 조건이 있어야 필요한 표본 수를 계산할 수 있다.
지난 글에서는 결과가 빠진 평가의 분모를 살폈다. 이번에는 평가를 시작하기 전으로 돌아간다. “100건이면 충분할까?”라는 질문에 답하려면, 먼저 그 100건으로 무엇을 알아내려는지 써야 한다.
차이가 있는데도 못 찾을 수 있다
검정력(power)은 특정한 실제 차이가 있다고 가정했을 때, 정해 둔 검정이 그 차이를 통계적으로 발견할 확률이다. 여기서 ‘특정한’이라는 말이 중요하다. 같은 평가 설계도 큰 개선은 찾기 쉽고 작은 개선은 놓치기 쉽다.
가령 검정력 목표를 80%로 정했다면, 가정한 효과와 데이터 생성 조건이 맞는 상황에서 동일한 설계를 반복할 때 약 80%에서 귀무가설을 기각하도록 계획한다는 뜻이다. 이번 결과가 참일 확률 80%, AI의 성공률 80%, 개선 폭 80%라는 뜻은 아니다. 80%는 교육용 목표 예시이며 모든 작업의 의무 기준도 아니다.
최소 탐지 효과와 업무상 중요한 차이
업무상 중요한 차이는 개선을 위해 비용을 쓸 만한 최소 수준이다. 최소 탐지 효과(MDE)는 표본 수·검정법·유의수준·목표 검정력 등 주어진 설계 조건에서 탐지하도록 계획한 가장 작은 효과다. 둘은 같은 값으로 설계할 수 있지만 자동으로 같아지지는 않는다. MDE보다 작은 효과를 절대 발견하지 못한다는 뜻은 아니다. 작은 효과는 같은 설계에서 목표 검정력에 못 미칠 수 있다는 뜻이다.
다음은 실제 실험이 아닌 가상 기획이다. 문서 검토 AI의 성공률이 80%라고 가정하자. 담당자는 82%만 되어도 재검토 부담이 줄어 교체할 가치가 있다고 판단했다. 그런데 확보한 평가 자료로는 90%까지 올라가는 큰 변화만 목표 검정력으로 발견할 수 있다면, 이 평가는 담당자의 질문에 충분히 민감하지 않다. 80→82%는 2%포인트 상승이다. 이 숫자들은 설명을 위한 가정이며, 해당 설계의 표본 수나 검정력을 실제 계산한 결과가 아니다.
계산기에 넣기 전에 적을 다섯 줄
1. 결정과 효과 크기: 무엇을 바꿀 것인가? 성공률 2%포인트 개선처럼 단위까지 쓴다. 성공의 채점 기준과 대상 업무도 고정한다.
2. 비교 구조: 같은 문서를 두 AI가 처리하는 짝지은 비교인가, 서로 다른 문서를 처리하는 독립 집단 비교인가? 같은 고객의 문서가 여러 개면 고객 단위의 묶임도 기록한다.
3. 오류 기준: 차이가 없는데 있다고 판단하는 위험을 어느 수준으로 관리할 것인가? 단측·양측 검정과 여러 후보 비교 여부를 결과를 보기 전에 정한다.
4. 탐지 목표: 의미 있는 차이가 실제로 있을 때 얼마나 자주 발견하고 싶은가? 목표 검정력을 정하고, 기존 성공률이나 변동성처럼 계산에 필요한 가정을 함께 적는다.
5. 자료와 예산: 독립 사례를 몇 개 확보할 수 있는가? 사례당 반복 실행 수, 채점 비용, 미확인 결과의 처리 규칙을 구분한다.
NIST의 비율 검정 표본 수 설명도 기준 비율, 탐지하려는 변화량, 유의수준과 검정력을 입력으로 삼는다. 다만 그 페이지는 하나의 비율을 고정 기준과 비교하는 설정이다. 두 AI의 짝지은 성공·실패 비교에 그 공식을 그대로 넣으면 안 된다. NIST 원문 확인: 2026-10-16.
100개 문서를 열 번 실행하면 해결될까
반복 실행은 같은 문서에서 답변이 얼마나 흔들리는지 알려준다. 새로운 문서를 더 모으는 일은 문서 종류가 바뀔 때의 차이를 알려준다. 어느 쪽에 예산을 써야 하는지는 확인하려는 불확실성에 달려 있다. 100개 문서를 열 번씩 실행한 기록을 독립 문서 1,000개의 증거로 세어서는 안 된다.
Campelo와 Takahashi의 알고리즘 비교 연구는 문제 사례의 수와 사례별 반복 횟수를 구분해 계획한다. 이는 AI 평가에도 적용해 볼 수 있는 설계 관점이다. 다만 해당 논문이 모든 언어 모델·도구 실행 평가에 공통으로 쓸 표본 수를 제공하는 것은 아니다. 논문 초록과 서지정보: 최초 제출 2018-08-09, 수정 2018-10-15, 확인 2026-10-16.
예산이 모자랄 때 바꿀 수 있는 것
작은 차이를 확인할 자료가 부족하다면 결론의 범위를 줄일 수 있다. 먼저 제한된 업무 유형에서 비교하거나, 별도의 파일럿으로 변동성과 실패 양상을 파악하거나, 추가 사례를 확보하는 선택이다. 범위를 줄이면 결론도 그 범위에 한정해야 한다. 파일럿 결과를 보고 유리한 조건을 골랐다면, 같은 자료를 별도 조정 없이 독립적인 최종 검증처럼 사용하지 않는다.
기대했던 유의성이 나오지 않았다는 이유로 결과를 보며 표본을 계속 늘리거나 유의수준을 느슨하게 바꾸면 처음 설계한 오류 통제가 유지되지 않을 수 있다. 중간 분석이 필요하다면 그에 맞는 절차를 먼저 정한다. 예산이 고정되어 있으면 그 예산에서 탐지 가능한 효과를 제시하고, 업무상 필요한 차이와의 간격을 설명하는 편이 정직하다.
직접 해보기: 실행 횟수 대신 평가 계획 쓰기
두 AI 중 하나를 고르는 상황을 정하고 다음 빈칸을 채워 보자. 유료 API 호출이나 실제 실행은 필요 없다.
• 대상 업무와 성공 기준: ______
• 실제로 중요하게 보는 차이와 단위: ______
• 독립 사례의 단위와 짝지음 여부: ______
• 유의수준·검정 방향·목표 검정력: ______
• 기준 성공률 또는 변동성의 근거: ______
• 확보 가능한 사례 수와 반복 수: ______
• 미확인 결과·중간 분석·종료 규칙: ______
학습 완료 기준: ‘100건 평가한다’는 문장을 ‘어떤 효과를 어떤 설계로 찾아낼지’가 포함된 계획으로 고칠 수 있어야 한다. 계산에 필요한 가정이 없다면 표본 수를 확정하지 않고 무엇이 부족한지 설명할 수 있어야 한다.
평가를 마친 뒤에는 관측된 효과와 불확실성, 실패·미확인 결과를 보고한다. 유의하지 않은 결과만으로 두 AI가 같다고 결론 내리지 않는다. 작은 차이를 묻는 계획이었다면, 그 차이를 볼 수 있는 평가였는지부터 확인해야 한다.
이어 읽기
결과가 빠진 평가의 분모와 미확인 결과
반복 실행과 독립 평가 단위
중간 결과를 보고 평가를 멈출 때의 오류
자료와 예시의 경계: 공식 통계 설명과 연구 초록을 확인해 구성한 교육 글이다. 수치는 가상 설계 예시이며, 이 글에서 모델 실행·검정력 시뮬레이션·표본 수 산출을 수행한 것으로 제시하지 않는다.