더 저렴하거나 빠른 AI로 바꿀 때는 “두 모델의 차이가 유의하지 않다”는 결과만으로 충분하지 않다. 먼저 감수할 수 있는 성능 손실을 정하고, 평가의 불확실성을 고려해도 그 선을 넘는 손실을 배제할 수 있는지 확인해야 한다. 이 질문에 쓰는 통계적 틀이 비열등성 검정이다.
비열등성은 성능이 완전히 같다는 뜻이 아니다. 미리 정한 허용 손실보다 크게 나쁘지 않다는 근거다. 비용 절감이나 응답 속도 개선은 그다음 함께 판단할 별도 이익이다.
같은 AI 비교에도 질문은 세 가지다
| 질문 | 확인하려는 것 | 경계 |
|---|---|---|
| 후보가 더 좋은가 | 우월성 | 차이 0 |
| 두 결과가 충분히 비슷한가 | 동등성 | 사전에 정한 아래·위 경계 |
| 후보가 허용 범위 이상 나빠지지 않는가 | 비열등성 | 사전에 정한 손실 경계 하나 |
지난 글의 동등성 검정은 양쪽 경계를 다룬다. 비용이 낮은 모델로 교체하면서 성능 저하를 제한하려는 이번 질문은 방향이 하나다. 후보가 크게 좋아지는 것은 비열등성의 실패 사유가 아니다.
먼저 부호와 단위를 고정한다
성공률처럼 높을수록 좋은 지표를 생각하자. 차이 d를 목표 업무 분포에서의 ‘후보 실제 성공률 − 기준 실제 성공률’로 정한다. 표본에서 구한 차이는 d의 추정값이다. 후보가 나쁘면 음수다. 허용 손실 Δ는 양수로 기록한다.
가상의 운영팀이 허용 손실을 2퍼센트포인트로 정했다면 경계는 −2퍼센트포인트다. 기준 성공률 90%에서 후보 88%로 떨어지는 것이 2퍼센트포인트 하락이다. ‘2% 상대 감소’와는 다르다. 이 숫자는 설명용이며, 어떤 AI 업무에도 적용할 기본값이 아니다.
– 귀무가설: d ≤ −Δ. 허용 경계만큼 또는 그보다 크게 나쁘다.
– 대립가설: d > −Δ. 허용 경계보다 위에 있다.
– 판정: 차이의 신뢰하한이 −Δ보다 커야 비열등성을 뒷받침한다.
이 글은 단측 유의수준 0.025를 가정한다. 이에 대응하는 단측 97.5% 신뢰하한, 또는 같은 방식으로 구성한 등꼬리 양측 95% 신뢰구간 하한을 비교한다. 신뢰수준은 결과를 본 뒤 바꾸지 않는다. 등호에 닿는 경우도 여기서는 통과로 처리하지 않는다.
낮을수록 좋은 오류율·지연시간에 이 부호를 그대로 적용하면 결론이 뒤집힌다. 지표 방향을 바꾸거나, 어떤 차이가 손실을 뜻하는지부터 다시 정의해야 한다.
가상의 신뢰구간 세 개를 읽어보자
아래 구간은 판정법을 설명하려고 구성한 가상 값이다. 실제 모델 평가 결과도, 표본 자료에서 계산한 신뢰구간도 아니다. 단위는 모두 퍼센트포인트이며, 허용 손실은 2퍼센트포인트로 고정했다.
| 가상 사례 | 차이의 양측 95% 신뢰구간 | 이번 질문의 결론 |
|---|---|---|
| A | −1.5 ~ +0.5 | 하한이 −2보다 커 비열등성 뒷받침 |
| B | −3.0 ~ +0.5 | 허용 손실을 넘는 저하를 배제하지 못함 |
| C | −1.8 ~ −0.2 | 비열등성은 뒷받침하지만 성능 저하도 시사 |
A의 구간에는 0이 들어 있다. 이 사실이 비열등성의 이유는 아니다. 손실 경계 −2보다 구간 전체가 위에 있다는 점이 이유다.
B는 비열등성을 확인하지 못했다. 그렇다고 후보가 반드시 허용 범위 이상 나쁘다는 증명은 아니다. 불확실성이 커서 두 가능성을 구분하지 못했을 수 있다. 표본 수를 추가할지, 후보를 바꿀지, 실험을 다시 설계할지는 사전에 정한 절차에 따른다.
C는 더 중요한 경우다. 구간 전체가 0보다 아래라 성능 저하를 시사하면서도, 하한은 −2보다 위다. “조금 나빠졌지만 정한 한도 안이다”라는 두 설명이 동시에 가능하다. 이를 “성능이 같다”로 바꿔 쓰면 독자가 실제 손해를 놓친다.
허용 손실을 정하는 순서
비용이 절반이 된다는 이유로 허용 손실을 뒤늦게 넓히면 평가의 목적이 바뀐다. 다음 순서로 기준을 정해 두는 편이 낫다.
1. 대상 업무를 좁힌다. 고객 문의 전체인지, 주소 변경 안내처럼 한정된 작업인지 적는다. 평균 성공률이 같아도 어려운 작업의 실패가 늘 수 있다.
2. 실패의 대가를 구분한다. 다시 작성하면 되는 문장과 개인정보 노출·잘못된 권한 변경은 같은 손실이 아니다. 심각한 실패에는 별도 중단 기준을 둔다.
3. 절대 품질 하한도 둔다. 기준 모델이 나쁘면 그것과 비슷하다는 사실만으로 유용한 시스템이 되지 않는다. 최소 허용 품질을 따로 충족해야 한다.
4. 허용 손실과 이유를 먼저 기록한다. 단위, 업무 영향, 판단 책임자를 적는다. 결과에 맞춰 경계를 움직이지 않는다.
5. 예상 변동성과 필요한 표본을 설계한다. 경계가 좁을수록 작은 표본으로 결론 내리기 어려울 수 있다. 검정력과 표본 수는 별도 계산이 필요하다.
성공률 같은 이항 자료, 연속 점수, 작업별 반복 실행은 분석법이 서로 다르다. 같은 문제를 두 모델에 주었다면 짝 구조를 유지해야 한다. 한 문제를 여러 번 실행한 결과를 전부 독립 문제처럼 세어서 신뢰구간을 좁혀서는 안 된다. 같은 문제의 짝 비교에서 다룬 McNemar 검정을 그대로 비열등성 검정으로 바꾸어 부를 수도 없다. 가설과 경계에 맞는 방법을 선택해야 한다.
복사해서 쓰는 교체 평가 기록
업무와 평가 대상:
기준 모델·버전 / 후보 모델·버전:
프롬프트·도구·평가 자료의 고정 버전:
주요 지표와 높음/낮음 중 좋은 방향:
차이의 정의와 단위:
허용 손실 Δ / 사전에 정한 이유:
절대 품질 하한 / 심각한 실패의 중단 기준:
평가 단위 / 짝·반복·군집 구조:
신뢰구간 계산법 / 단측 유의수준:
표본 수 / 검정력 가정 / 종료 규칙:
실패·시간초과·판정 불가 처리:
비용과 지연 측정 범위:
평가 결과: 차이 추정값 / 신뢰구간 / 비열등성 결론
도입 결정과 남은 위험:판정 불가나 시간초과를 임의로 제외하면 후보가 유리해질 수 있다. 제외 기준을 먼저 정하고, 필요한 경우 여러 처리 가정에서 결론이 유지되는지 확인한다. 이는 의료시험의 분석집단 규칙을 AI에 그대로 옮기라는 뜻이 아니라, 실패를 숨기지 않는 평가 설계 제안이다.
비열등성 다음에 남는 도입 판단
통계 기준을 넘었다고 자동으로 교체할 이유가 생기지는 않는다. 같은 작업 범위에서 실제 비용과 지연이 개선됐는지, 중요한 작업군에서 새로운 실패가 생겼는지, 되돌릴 수 있는지까지 확인해야 한다. 비용은 호출 한 번의 가격보다 검증된 완료 한 건의 비용으로 비교할 때 놓치는 항목이 적다.
많은 후보 중 좋은 결과만 고르거나 중간 결과를 보고 유리할 때 평가를 끝내면, 이 글의 단순한 신뢰구간 판정만으로 오류를 통제할 수 없다. 다중 비교와 중간 확인에 따른 종료의 조건도 함께 맞춰야 한다.
교체 보고서에는 “기존과 같다” 대신 “정해 둔 업무 범위와 허용 손실 안에서 비열등성을 뒷받침했다”라고 적는 편이 정확하다. 그 문장 뒤에 실제 손실 가능성, 절감 효과, 적용 범위를 붙이면 무엇을 얻고 무엇을 감수하는지 드러난다.
출처와 적용 범위
확인일: 2026년 10월 15일. 통계적 가설·경계의 설명과 AI 업무 적용 제안을 구분했다. 특정 AI 제품이나 SDK의 성능을 시험한 글은 아니다.
– FDA, Non-Inferiority Clinical Trials to Establish Effectiveness, 2016년 11월 지침: 비열등성 가설, 경계 선택과 해석의 한계를 대조했다. 의약품 효과 입증을 위한 자료이며, 이 글의 AI 평가 제안에 대한 규제 승인이나 인증 근거가 아니다.
– ICH E9, Statistical Principles for Clinical Trials, §3.3.2: 동등성·비열등성의 경계와 유의하지 않은 차이를 해석할 때의 한계를 대조했다. 이 역시 임상시험 지침이며 AI 업무 적용은 이 글의 제안이다.
– FDA 공식 안내 페이지: 문서의 명칭·발행 시점·적용 대상을 확인할 수 있다.
가상 신뢰구간은 계산 결과로 제시하지 않았으며, 실제 평가에서는 자료 구조에 맞는 구간 추정과 사전 설계가 필요하다.