AI 평가표에 항목을 추가한 뒤 순위가 바뀌었다면, 새 정보를 얻은 것인지 같은 정보를 한 번 더 더한 것인지부터 확인해야 한다. 모든 항목에 똑같은 가중치를 줘도, 같은 뜻의 항목이 두 개면 그 판단 기준은 두 표를 얻는다. 항목별 공평함이 기준별 공평함은 아니다.
앞선 글에서는 가중치와 min-max 환산 기준을 다뤘다. 이번에는 후보도 환산 방식도 그대로 둔다. 달라지는 것은 평가표의 열 하나다. 아래 점수는 원리를 설명하기 위해 만든 합성 값이며, 실제 AI의 성능·가격을 측정한 결과가 아니다.
두 기준에서는 B가 앞선다
두 후보를 품질과 경제성으로 비교한다. 두 점수 모두 미리 정한 0~100 척도이며 높을수록 좋다. 경제성은 비용 금액 자체가 아니라, 비용을 사전에 정한 규칙으로 환산한 점수다. 이 예제에서는 두 척도의 점수를 선형으로 합산해도 된다고 가정한다.
A는 품질 90, 경제성 40이다. B는 품질 60, 경제성 80이다. 두 기준의 비중을 절반씩 주면 A는 65점, B는 70점이다. 따라서 이 기준에서는 B를 고른다.
이름만 다른 열을 추가하면 A가 앞선다
이제 품질 점수를 그대로 복사한 열을 하나 더 만들고, 이름을 ‘답변 완성도’라고 붙인다. 새 채점이나 측정은 하지 않았다. 품질·답변 완성도·경제성 세 열에 각각 1/3씩 주면 A는 (90 + 90 + 40) ÷ 3 = 73.33점, B는 (60 + 60 + 80) ÷ 3 = 66.67점이 된다.
A도 B도 달라지지 않았다. 하지만 품질의 합산 비중이 1/2에서 2/3로 커졌다. 열을 추가하는 편집이 사실상 선호를 바꾸는 결정이 된 것이다. 품질을 더 중요하게 보기로 의도적으로 결정할 수는 있다. 다만 그것을 ‘항목만 보완했고 가중치는 공평하게 유지했다’고 설명하면 안 된다.
| 비교 방식 | A | B | 품질에 배정된 총비중 |
|---|---|---|---|
| 두 기준을 절반씩 | 65 | 70 | 1/2 |
| 품질을 복사하고 세 열을 똑같이 | 73.33 | 66.67 | 2/3 |
| 품질 묶음과 경제성을 절반씩 | 65 | 70 | 1/2 |
항목 수보다 상위 기준을 먼저 정한다
원래 품질과 경제성을 절반씩 보려 했다면, 품질에 속하는 두 열에 각각 1/4을 주고 경제성에는 1/2을 줄 수 있다. 복사한 열을 넣어도 A는 65, B는 70으로 돌아온다. 이것은 새로운 정답 가중치를 발견한 것이 아니다. 처음 정한 기준별 비중을 보존한 것이다.
실제 평가에서는 품질을 사실 정확성·조건 준수·문장 명료성으로 나누기도 한다. 이때도 세 항목이 있다는 이유만으로 품질 전체에 더 큰 비중이 생기지 않도록, 품질 묶음의 총비중과 그 안의 배분을 따로 기록한다. 하위 항목을 나눌 필요가 없다면 중복 열을 종합 점수에서 빼고 진단용으로만 남기는 방법도 있다.
상관이 높다는 이유만으로 지우지는 않는다
복사한 열은 같은 정보다. 그러나 실제 데이터에서 두 지표가 함께 움직인다는 사실만으로 둘이 같은 개념이라고 결론 내릴 수는 없다. 사실 정확성과 개인정보 보호가 관측상 함께 좋아졌더라도, 지키려는 요구는 서로 다를 수 있다. 반대로 ‘정확도’와 ‘오류 없음’이라는 이름이 달라도 같은 판정 결과를 다시 표현한 값일 수 있다.
따라서 상관계수 하나로 삭제 기준을 만들기 전에 정의·계산식·원자료·실패 조건을 읽어야 한다. 후보가 두 개뿐인 표로 상관관계를 판단하는 것도 적절하지 않다. 충분한 관측 단위가 있어야 하고, 작업군별 구성 차이와 측정 오차도 살펴야 한다. 이 글의 두 후보 예제는 상관 분석이 아니라 완전히 복사한 항목의 대수적 효과를 보여준다.
내 평가표에서 확인할 네 가지
1. 각 열이 답하는 질문을 한 문장으로 쓴다. 이름이 아니라 무엇을 측정하는지 적는다.
2. 같은 실행 결과나 같은 채점 항목을 재사용하는 열을 표시한다. 공유 원자료가 있다는 사실만으로 중복이라고 단정하지는 않는다.
3. 품질·비용·속도 등 상위 기준별 총비중을 더해 본다. 항목을 추가하기 전과 후에 같은지 확인한다.
4. 중복 의심 열을 제외하거나 묶음 안에서 비중을 나눈 결과를 나란히 계산한다. 원하는 후보가 이기도록 사후에 고르지 말고, 어떤 기준이 목적에 맞는지 먼저 기록한다.
복사해서 남길 기록: 항목명 / 측정하려는 개념 / 계산식과 원자료 / 속한 상위 기준 / 상위 기준의 총비중 / 항목의 최종 비중 / 중복 의심 이유 / 변경 전후 순위 / 선택 이유.
안전·권한·필수 기능처럼 반드시 통과해야 하는 조건은 종합 점수로 보상할 항목인지부터 따로 판단한다. 이 글의 가중합은 그런 조건을 통과한 후보를 비교하는 데 쓰는 단순한 모형이다. 중복을 제거해도 점수의 불확실성, 기준 간 상호작용, 잘못된 측정까지 해결되지는 않는다.
근거와 확인 범위
유럽연합 집행위원회 JRC의 복합지표 안내 ‘Step 6: Weighting’은 항목에 같은 비중을 주는 것과 항목 묶음에 같은 비중을 주는 것을 구별하고, 중복 계상은 통계뿐 아니라 지표가 측정하는 내용도 함께 봐야 한다고 설명한다. ‘Step 4: Multivariate analysis’는 서로 상관된 지표가 서로 다른, 서로 상쇄할 수 없는 측면을 나타낼 수도 있음을 지적한다. 국가별 복합지표의 방법론을 AI 평가표에 응용한 설명이며, 특정 AI 평가 제품의 공식 지침은 아니다.
자료 확인일: 2026년 10월 19일. 합성 예제는 Python 표준 라이브러리 Fraction으로 직접 계산해 대조했다. 모델 호출이나 현장 성능 시험은 하지 않았다. 제품·SDK 버전에 의존하지 않는 가중합 예제다.
공식 자료: JRC 공식 자료 읽기
추가 자료: JRC 공식 자료 읽기
함께 읽기: 가중치 민감도 분석
함께 읽기: min-max 정규화의 비교 기준