AI 답변 두 개가 있습니다. 하나는 유명한 모델이, 다른 하나는 처음 들어본 모델이 썼다고 알려주면 선택이 달라질까요? 가능한 질문입니다. 다만 이름을 가리기만 하면 공정한 평가가 끝난다는 결론은 성급합니다. 답변의 길이, 배치 순서, 확신에 찬 문장, 평가자의 기대는 여전히 판단에 영향을 줄 수 있기 때문입니다.
RUDA AI LAB 004에서는 모델의 이름이 없는 답변 A와 B를 여섯 번 비교합니다. 중요한 것은 ‘어느 브랜드가 이기느냐’가 아니라, 주어진 일을 더 정확하게 수행하고 모르는 것을 모른다고 말하는 답을 구별할 수 있느냐입니다.
실험 고지: 게임 속 모든 답변은 직접 만든 합성 학습용 시나리오입니다. 실제 AI 모델이 생성한 출력이 아니며, 모델별 정답률이나 사람의 블라인드 평가 효과를 측정하지 않았습니다. 제시한 정답은 문제별 과제 조건에 따라 미리 작성한 해설 기준입니다.
English edition: Read in English →
먼저 6번의 익명 평가를 해보세요
각 라운드에서 과제를 읽고 A, B, ‘둘 다 부적절’을 선택하세요. 즉시 기준 판정과 이유가 나옵니다. 화면에서 답변 위치도 바꿔 볼 수 있습니다. 다만 순서만 바꾸어 본 경험은 실제 순서 편향의 통계적 증거가 아닙니다.
블라인드 평가가 없애는 것과 남기는 것
블라인드 평가는 답변을 만든 모델 이름처럼 과제 결과와 무관할 수 있는 출처 단서를 판단 전에 가립니다. 특정 모델에 대한 기대를 덜 개입시키려는 설계입니다. 그렇지만 이름을 지웠다고 해서 답변 자체가 정확해지는 것은 아닙니다.
- 줄어들 수 있는 영향: 모델 명성이나 선입견을 기준으로 고르는 경향. 이 효과의 크기는 실제 비교 실험으로 확인해야 합니다.
- 그대로 남는 문제: 첫 번째 답변을 선호하는 위치 편향, 긴 답변에 끌리는 경향, 자신감 있는 문장을 사실로 오인하는 오류.
- 별도로 필요한 것: 공통 과제, 같은 평가 자료, 정답 또는 검증 가능한 기준, 평가자 사이의 불일치 처리, 불확실성 기록.
특히 블라인드 조건만 사용하면 이름을 가렸기 때문에 판단이 달라졌는지 측정할 수 없습니다. 그 효과를 검증하려면 동일한 답변에 대해 이름을 공개한 조건과 숨긴 조건을 비교해야 합니다. 비교 조건에 따라 평가자가 달라지는 문제나 반복 노출의 영향도 통제해야 합니다.
게임 정답표: 무엇을 근거로 판정했나
아래는 여섯 합성 문제의 기준 판정입니다. 플레이 후 펼쳐 확인해 보세요. 0~6점은 이 여섯 문제에 미리 정한 기준과 일치한 개수일 뿐, AI 활용 능력이나 모델 성능을 측정하는 점수가 아닙니다.
정답과 판단 기준 펼치기
| 라운드 | 판정 | 근거 |
|---|---|---|
| 01 · 방문자 증가율 | B | 80→100은 20명 증가, 증가율 25% |
| 02 · 반품 정책 | A | 자료에 없는 기한을 단정하지 않음 |
| 03 · 인과관계 | 둘 다 부적절 | 상관만으로 유일한 원인을 확정할 수 없음 |
| 04 · 이용률 | B | 10%포인트 상승과 50% 상대 증가 구분 |
| 05 · 고객 문의 | A | 원본 없는 수치 추정 방지 및 식별정보 보호 |
| 06 · AI 모델 점수 | 둘 다 부적절 | 92% 대 90%는 2%포인트 차이지만 평가 조건이 다름 |
‘둘 다’는 두 답변 모두 부적절하다는 뜻입니다. 모든 사례는 가상 학습 문제이며 실제 모델 비교 결과가 아닙니다.
실제로 이름을 가리는 효과를 실험하려면
독립적인 비교 실험은 결과를 평가하기 전에 규칙부터 정해야 합니다. 이름을 공개한 집단과 가린 집단에 동일한 답변 쌍을 배분하고, A/B 위치를 무작위·균형 있게 바꿉니다. 과제별 정답과 허용 가능한 불확실성을 먼저 기록합니다. 그다음 각 조건에서 평가가 얼마나 달라졌는지 살펴봐야 합니다.
- 비교 단위: 동일 질문·동일 답변 쌍·동일 평가 기준. 모델 버전과 생성 설정도 보존.
- 평가 기준: 사실성, 과제 충족, 근거, 불확실성 처리, 해로울 수 있는 단정, 필요한 경우 사용자 선호를 분리.
- 설계: 이름 공개/비공개 조건의 무작위 배정, 답변 순서 균형화, 평가자 간 일치도 기록, 판정 보류 허용.
- 결과: 표본 수와 불확실성을 함께 제시하고, 특정 과제의 결과를 모든 AI 평가에 일반화하지 않기.
주의할 점이 하나 더 있습니다. 정확한 답을 고르는 능력과 마음에 드는 문장을 고르는 선호는 다른 관측값입니다. 어떤 답변이 읽기 좋다는 판단이 곧 더 사실적이라는 뜻은 아닙니다. 실제 제품에서 둘을 혼합해 하나의 순위를 만들면 평가 목적이 흐려질 수 있습니다.
검증한 자료와 해석의 범위
- Zheng 외, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, NeurIPS 2023. AI 모델을 평가자로 쓸 때 위치·길이·자기선호 편향 등의 한계를 보고한 연구입니다. 인간의 브랜드 인지 효과를 직접 증명하는 자료는 아닙니다.
- Shi 외, Judging the Judges, 2024. LLM 평가자의 답변 위치에 따른 변동을 체계적으로 조사한 연구이며, 이 게임에서 같은 효과가 발생했다는 근거는 아닙니다.
- NIST AI RMF 1.0, Measure. 맥락별 평가, 불확실성, 독립 검토와 결과 기록의 중요성을 제시합니다.
이어지는 실험과 관련 글
지난 회차: AI에게 친절하게 말하면 더 정확해질까? — RUDA AI LAB 003. 관련 글: 두 평가자가 90% 동의해도 믿어도 될까?
이번 게임은 사람에게 답을 잘 고르라고 요구하는 데서 끝나지 않습니다. 어떤 정보를 가리고, 어떤 정보를 남겨야 평가가 정확해지는가를 직접 생각하는 연습입니다.
RUDA AI LAB 004 · 공개 예정 2026년 10월 31일 01:00 KST · 합성 교육용 게임 · 원문 출처 확인 2026년 10월 30일. 이름·이메일·로그인 없이 플레이할 수 있으나 사이트 기본 방문 통계와 개인정보처리방침은 별도로 적용될 수 있습니다.