AI Agent Fast Learning · 평가 설계
모델과 프롬프트를 함께 바꿔 성능이 올랐다면, 어느 변경이 도움이 됐는지 아직 알 수 없다. 모델 두 개와 프롬프트 두 개를 네 조합으로 비교하면 각각의 효과와 조합에 따른 차이를 나누어 볼 수 있다. 이를 2×2 요인 설계라고 한다.
앞선 글에서는 실행 순서를 섞고 비슷한 조건을 묶는 방법을 다뤘다. 이번에는 비교할 조합을 빠짐없이 만드는 문제로 넘어간다. 특히 한 모델에서 좋았던 프롬프트가 다른 모델에서도 좋을 것인지가 질문이다.
두 군데를 바꾸고 두 결과만 보면 놓치는 것
가상의 문서 분류 작업을 생각해 보자. 모델 A와 기본 프롬프트 P0를 쓰다가, 모델 B와 수정 프롬프트 P1으로 바꿨다. 새 조합의 점수가 높아졌더라도 모델 교체, 프롬프트 수정, 두 변경의 조합 가운데 무엇이 작용했는지는 분리하기 어렵다.
비교를 위해 A·P0, A·P1, B·P0, B·P1을 모두 준비한다. 바꾸려는 요소를 요인, 각 요인의 선택지를 수준이라고 부른다. 두 요인에 각각 두 수준이 있으므로 조합은 네 개다. 네 조합이 있다는 말은 실행 네 번이면 충분하다는 뜻이 아니다. 필요한 독립 사례 수와 반복 횟수는 별도로 정해야 한다.
NIST의 완전 요인 설계는 선택한 요인 수준의 모든 조합을 포함한다. 여기서는 그 원칙을 모델과 프롬프트 비교에 적용한다. 아래 수치는 이해를 위한 가상 값이며, 특정 제품이나 모델의 성능을 측정한 결과가 아니다. NIST: Two-level full factorial designs, 확인 2026-10-16.
같은 수정이 A에서는 도움, B에서는 손해라면
설명을 위해 각 조합에 동일한 가상 문서 100개를 평가했다고 가정하자. A·P0는 60개, A·P1은 80개, B·P0는 80개, B·P1은 70개를 맞혔다고 놓는다. 이 100개는 산술을 쉽게 보여 주기 위한 수이지 권장 표본 수가 아니다.
• 모델 A: 60% → 80%, 프롬프트 수정 후 +20%p
• 모델 B: 80% → 70%, 프롬프트 수정 후 −10%p
• 두 변화량의 차이: (70−80)−(80−60) = −30%p
한 요인의 효과가 다른 요인의 수준에 따라 달라지는 것을 상호작용(interaction)이라고 한다. 이 예시에서는 프롬프트 수정의 방향부터 모델마다 다르다. 따라서 “수정 프롬프트가 더 좋다”는 결론에는 모델 조건이 빠져 있다.
네 칸에 같은 가중치를 주면 기본 프롬프트의 평균 성공률은 70%, 수정 프롬프트는 75%다. 평균만 보면 +5%p 개선이다. 그러나 B를 쓰는 상황에서 필요한 값은 −10%p다. 평균 효과는 정해 둔 조건을 평균낸 요약이며, 모든 조건에서 같은 효과를 보장하지 않는다.
상호작용의 크기를 적을 때는 계산식도 남긴다
이 글의 −30%p는 성공률 척도에서 계산한 차이의 차이다. 어떤 모델의 변화량에서 무엇을 뺐는지까지 써야 부호를 해석할 수 있다. 통계 프로그램의 “상호작용 계수”와 숫자가 늘 같지는 않다. 0·1 부호화인지 −1·+1 부호화인지, 선형 모형인지 로지스틱 모형인지에 따라 계수의 크기와 뜻이 달라진다.
그래프에서 두 프롬프트를 가로축에 두고 모델별 성공률을 선으로 연결하면, 이 예시의 두 선은 서로 다른 방향으로 움직인다. 상호작용 그림은 조건별 차이를 찾는 데 도움이 되지만, 선이 평행하지 않다는 관찰만으로 통계적 근거가 충분하다고 결론 내리지는 않는다. NIST: Full factorial example, 확인 2026-10-16.
네 조합을 공정하게 비교하는 실행 계획
다음은 실제 실행 결과가 아닌 설계 제안이다. 먼저 평가할 문서, 정답 기준, 성공 판정, 제한 시간, 실패·미확인 처리 규칙을 정한다. 모델 버전과 프롬프트 원문을 고정하고, 검색 자료·도구·입력 파일도 비교 중 바뀌지 않게 관리한다.
같은 문서를 네 조합에 제공하되 대화 기록과 작업 상태는 분리한다. 각 문서 안에서 네 조합의 실행 순서를 미리 무작위로 정하고, 필요한 시간 블록도 기록한다. 한 조합의 답변이나 수정 파일을 다른 조합이 읽으면 프롬프트 효과와 이전 실행의 영향이 섞인다. 상태를 분리할 수 없는 업무에는 이 단순 설계를 그대로 적용하지 않는다.
같은 문서에서 나온 네 결과는 서로 관련되어 있다. 문서 100개에 네 조합을 실행했다고 해서 독립 문서가 400개가 되지는 않는다. 반복 생성까지 추가한다면 문서 단위의 묶음 구조도 분석에 반영해야 한다.
평균 네 개만으로 유의성을 판단하지 않는다
위 가상 표에는 문서별 성공·실패 조합이 없다. 같은 문서가 여러 조합에서 함께 실패했는지, 특정 조합에서만 성공했는지도 모른다. 그래서 이 표만으로 짝 구조를 반영한 신뢰구간이나 p값을 제시하지 않는다.
실제 분석에서는 사례별 결과를 보존하고, 성공 여부 같은 이진 결과와 지연 시간 같은 연속 결과를 구분한다. 반복·짝·블록 구조에 맞는 분석으로 조건별 효과와 상호작용의 불확실성을 평가한다. 모델 A에서는 유의하고 B에서는 유의하지 않다는 사실만으로 두 효과가 다르다고 판정해서도 안 된다. 판단하려는 대상은 두 효과의 차이 자체다.
조합이 늘어날수록 결과를 보고 유리한 비교만 고르기 쉽다. 주요 비교와 허용 손실, 종료 기준을 먼저 적자. 탐색으로 찾은 좋은 조합은 선택에 쓰지 않은 별도 사례에서 확인하는 편이 낫다. 네 칸의 최고 점수 하나가 곧 배포 승인이라는 뜻은 아니다.
직접 해보기: 한 칸이 비었을 때 무엇을 말할 수 있을까
종이에 모델 A·B를 두 행, 기본·수정 프롬프트를 두 열로 적는다. 위 가상 수치를 채우고 모델별 변화량을 계산한다. 다음으로 B·P0의 80%를 가려 보자. B에서 프롬프트 수정이 도움이 됐는지 계산할 수 있는가? 네 칸 중 세 칸만으로 −30%p를 얻을 수 있는가?
이 예시에서는 둘 다 답할 수 없다. 빠진 조합의 결과를 가정하지 않는 한 B의 변화량을 알 수 없기 때문이다. 실습의 목적은 API를 호출하는 것이 아니라, 어떤 결론을 내리려면 어떤 비교가 반드시 있어야 하는지 확인하는 데 있다.
평가 시작 전 체크리스트
• 모델 두 개와 프롬프트 두 개를 정확히 고정했는가?
• 네 조합이 모두 있고, 같은 사례와 판정 기준을 쓰는가?
• 상태 격리와 실행 순서 규칙을 정했는가?
• 평균 효과뿐 아니라 모델별 변화량도 보고하는가?
• 차이의 차이의 척도·방향·계산식을 남겼는가?
• 표본 수, 짝 구조, 실패·미확인 결과를 보존하는가?
• 가상 산술과 실제 성능 측정을 구분했는가?
프롬프트를 공유할 때 “이 문장이 좋았다”에서 한 걸음 더 나아가 보자. 어느 모델, 어느 입력, 어느 비교에서 좋았는지를 함께 적는 것이다. 네 조합을 나란히 놓으면 추천을 그대로 옮겨 써도 되는지부터 검토할 수 있다.
이어 읽기와 자료의 범위
무작위 실행 순서와 블록 설계
검정력과 최소 탐지 효과로 표본 수 정하기
이 글은 실험 설계 원칙을 AI 비교 평가에 적용한 교육용 설명이다. 예시 수치와 문서 분류 상황은 가상이며, 실제 모델 실행이나 통계적 유의성 검정을 수행하지 않았다. 공식 자료 확인일: 2026-10-16.