AI 후보를 더 평가하기 전에, 그 평가가 선택을 바꿨을 때 얼마나 이득인지부터 계산할 수 있다. 불확실한 상황을 완벽하게 알아도 얻을 이익이 평가 비용보다 작다면, 같은 결정을 위한 추가 조사는 경제성이 없다. 이때 쓰는 상한이 완전정보의 기대가치, EVPI다. 다만 상한보다 비용이 작다는 이유만으로 평가를 시작해도 된다는 뜻은 아니다. 실제 평가는 완벽한 정보를 주지 않는다.
앞선 글에서는 상황별 발생 확률을 정하지 않고 최대 후회를 비교했다. 이번에는 확률을 명시한 별도의 의사결정 문제를 다룬다. 확률의 근거가 없다면 아래 숫자를 운영 예산으로 옮겨서는 안 된다. 예제의 후보·금액·확률은 모두 학습용으로 만든 합성 값이다.
먼저 무엇을 알아낼지 좁힌다
한 달 동안 사용할 AI 작업 방식을 A 또는 B로 정한다고 하자. 다음 달 업무가 단순 처리 중심인 S1일지, 복잡한 검토 중심인 S2일지가 아직 불확실하다. 두 상황은 서로 겹치지 않고 가능한 상황을 모두 포함한다고 가정한다. 설명을 위해 S1의 확률은 60%, S2는 40%로 둔다.
여기서 추가 조사는 '모델이 몇 점인가'가 아니라 '다음 달에 어느 업무 상황이 올 것인가'에 관한 조사다. 모델 평가로 후보의 성능을 알아내려면 불확실한 상태를 성능에 관한 가설로 다시 정의해야 한다. 업무 수요의 불확실성과 측정된 성능의 오차는 같은 것이 아니다.
모든 후보는 보안·권한·필수 기능 조건을 통과했다고 놓는다. 아래는 같은 한 달, 같은 업무량 기준의 순편익이며 단위는 만원이다. 운영·전환 비용은 이미 뺐고 추가 조사 비용만 아직 빼지 않았다. 위험에 대한 별도 선호 없이 기대 금액을 최대화한다는 제한도 둔다.
| 선택 | S1: 단순 처리 중심 | S2: 복잡한 검토 중심 |
|---|---|---|
| A | 120 | 20 |
| B | 80 | 90 |
| 상황 확률 | 0.6 | 0.4 |
정보 없이 지금 선택하면 A의 기대 순편익은 120×0.6+20×0.4=80만원이다. B는 80×0.6+90×0.4=84만원이다. 따라서 현재 정보로는 B를 고른다. 비교 기준은 A와 B의 평균인 82만원도, 아무것도 하지 않을 때의 0원도 아니다. 현재 선택 가능한 최선인 84만원이다.
완벽히 안 뒤 고르는 것과 먼저 고르는 것은 다르다
상황을 결정 전에 정확히 알 수 있다면 S1에서는 A, S2에서는 B를 고른다. 이때의 기대 순편익은 120×0.6+90×0.4=108만원이다. 완전정보의 기대가치는 108−84=24만원이다.
계산 순서가 중요하다. 지금 선택할 때는 후보마다 기대값을 구한 뒤 가장 큰 값을 고른다. 완전정보가 있을 때는 상황마다 가장 좋은 후보를 고른 뒤 확률로 평균 낸다. 두 계산의 차이가 정보 덕분에 바꿀 수 있는 선택의 가치다.
같은 결정과 기간에 대해 순수하게 정보만 제공하는 조사가 30만원이라면, 이 합성 모형에서는 완전정보조차 비용을 회수하지 못한다. 반대로 조사비가 10만원이라고 해서 바로 시행하는 것은 이르다. 24만원은 실제 조사로 얻는 이익이 아니라 도달할 수 있는 상한이다.
이 예제의 80% 조사는 13.6만원의 가치가 있다
가상의 조사가 S1일 때 '단순'이라고 답할 확률이 80%, S2일 때 '복잡'이라고 답할 확률도 80%라고 하자. 나머지 20%는 반대로 답한다. 이 조건부 정확도 역시 합성 가정이며 실제 조사 성능이 아니다. 조사 결과를 받고 A 또는 B를 다시 선택한다.
'단순' 보고가 올 확률은 0.6×0.8+0.4×0.2=0.56이다. 그 보고 안에서 S1일 확률은 0.48/0.56, 약 85.71%다. 같은 보고 안에서 A의 기대 순편익은 약 105.71만원, B는 약 81.43만원이므로 A를 고른다. '복잡' 보고가 오면 B를 고른다.
보고별 사후확률을 일일이 나누지 않고도 전체 기대값을 계산할 수 있다. 각 보고와 상황이 동시에 발생할 확률에 후보의 순편익을 곱한 뒤, 보고별로 더 큰 후보의 합계를 택하면 된다.
| 보고 결과 | A의 가중 합계 | B의 가중 합계 | 보고 후 선택 |
|---|---|---|---|
| 단순 | 59.2 | 45.6 | A |
| 복잡 | 20.8 | 38.4 | B |
이 표의 금액은 보고 발생 확률까지 곱한 전체 기대값의 기여분이지, 그 보고를 받았을 때의 조건부 기대값이 아니다. 예를 들어 첫 칸은 0.6×0.8×120+0.4×0.2×20=59.2만원이다.
조사를 활용한 기대 순편익은 59.2+38.4=97.6만원이다. 조사 비용을 빼기 전 정보 가치는 97.6−84=13.6만원이다. 조사비 10만원을 빼면 현재 선택보다 3.6만원 유리하지만, 15만원이면 1.4만원 불리하다. EVPI 24만원보다 저렴한 조사라도 손해일 수 있다는 뜻이다.
복사해서 계산하기
아래 코드는 주어진 두 상황과 두 보고를 계산하는 교육용 예제다. 외부 패키지나 모델 호출은 없다. 실제 입력 파일의 단위·결측·확률 검증을 대신하는 운영용 모듈은 아니다.
p = [0.6, 0.4]
payoff = {"A": [120, 20], "B": [80, 90]}
# 각 행은 보고 결과, 각 열은 실제 상황이다.
# 같은 상황(열)의 보고 확률 합계는 1이다.
likelihood = [[0.8, 0.2], [0.2, 0.8]]
current = max(sum(q*x for q, x in zip(p, row))
for row in payoff.values())
perfect = sum(p[s] * max(row[s] for row in payoff.values())
for s in range(2))
with_signal = sum(
max(sum(p[s]*report[s]*row[s] for s in range(2))
for row in payoff.values())
for report in likelihood
)
print(f"현재 최선: {current:.1f}")
print(f"완전정보 활용: {perfect:.1f}")
print(f"EVPI: {perfect-current:.1f}")
print(f"조사 활용: {with_signal:.1f}")
print(f"조사 정보 가치: {with_signal-current:.1f}")
for cost in [10, 15]:
print(f"비용 {cost}: 순증가 {with_signal-current-cost:.1f}")실행 출력의 단위는 만원이다.
현재 최선: 84.0
완전정보 활용: 108.0
EVPI: 24.0
조사 활용: 97.6
조사 정보 가치: 13.6
비용 10: 순증가 3.6
비용 15: 순증가 -1.4숫자를 넣기 전에 확인할 조건
– 결정 시점: 조사 결과가 선택 전에 도착하는가. 이미 고정한 계약을 바꿀 수 없다면 같은 가치를 얻지 못한다.
– 선택 가능성: 결과에 따라 실제로 다른 후보를 고를 수 있는가. 어느 상황에서도 같은 후보가 최선이면 이 모형의 EVPI는 0이다.
– 기간과 범위: 한 달의 이익에 한 해의 조사비를 비교하거나, 반대로 월 이익을 근거 없이 12배 하지 않았는가.
– 비용: 호출비뿐 아니라 사람의 채점 시간, 데이터 정리, 보안 검토, 의사결정 지연도 필요한 범위에서 포함했는가.
– 정보 성능: '전체 정확도 80%'만 알고 상황별 보고 확률까지 같다고 가정하지 않았는가.
– 안전 조건: 경제성이 없다는 이유로 필수 안전 시험이나 규정상 검증을 생략하려는 것은 아닌가.
이 예제는 정보를 받아도 무시하고 원래 선택을 유지할 수 있다고 가정한다. 그래서 비용을 빼기 전 정보 가치는 음수가 되지 않는다. 결과에 따라 무조건 행동을 바꾸게 하거나, 조사가 선택지를 줄이거나, 조사 자체가 업무 환경을 바꾼다면 다른 의사결정 모형이 필요하다.
확률이 조금 달라져도 결과가 유지되는지 함께 확인해야 한다. 이 표에서 S1 확률을 q라고 놓으면 A는 20+100q, B는 90−10q다. 현재 선택이 바뀌는 경계는 q=7/11, 약 63.64%다. 60%라는 추정이 그 경계와 가깝다는 사실은 예산 숫자와 함께 남겨야 한다. 확률이 불확실하다는 이유로 임의의 50:50을 넣지는 않는다.
평가 계획서에는 '정확도를 더 알고 싶다' 대신 무엇을 알아내면 어떤 선택이 바뀌는지 적는다. 정보의 가치가 생기는 곳은 데이터의 양 자체가 아니라 그 데이터로 달라지는 결정이다.
이어서 읽기
– 최대 후회 최소화로 AI 선택하기: 확률을 정하지 않았을 때의 다른 선택 기준.
– 가중치 민감도 분석과 선택의 경계: 가정 변화에 따라 선택이 뒤집히는 지점 확인.
근거와 확인 범위
개념 근거는 MIT OpenCourseWare ESD.72, The Value of Perfect Information의 2007년 봄 강의자료다. 결정 전에 정보를 얻는 순서와 현재 최선 대비 기대값 차이, 정보 가치의 상한을 대조했다. MIT IDS.333의 2021년 가을 과제 안내에서도 EVPI를 새 정보 가치의 상한으로 설명한다. 두 원문 확인일은 2026년 10월 20일이다.
AI 선택과 조사 예산에 적용한 절차, 확률, 금액은 이 글의 합성 예시다. MIT가 검증한 AI 성능이나 실제 절감액이 아니다. Python 3.12.14에서 위 합성 계산을 실행해 확인했다. 실제 모델 평가, 조사 정확도 측정, 현장 비용 검증은 수행하지 않았다.