AI에게 고객 안내 메일을 보내 달라고 했습니다. 그런데 AI는 ‘보냈다’고 답하고, 작업 기록에는 ‘임시저장’만 남아 있습니다. 이런 경우 우리는 일을 맡긴 사람의 입장에서 다시 물어야 합니다. 메일을 쓰는 것과 보내는 것 중, 무엇을 부탁했을까요?
RUDA AI LAB 005에서는 ‘완료’, ‘아직 완료 아님’, ‘추가 확인 필요’를 구별해 봅니다. 여섯 가지 상황을 게임으로 판단하고, 각 단계에서 어떤 기록을 확인해야 하는지 설명합니다. 게임의 AI 발언과 작업 기록은 모두 제작한 가상 사례이며 실제 AI 실행 결과나 성공률 통계가 아닙니다.
English edition: Read in English →
먼저 해보세요. ‘완료’라고 해도 되는 순간은 언제일까요?
메일 전송, 캘린더 등록, 환불, 블로그 공개, PDF 공유, 웹사이트 수정 가운데 여섯 장면이 나옵니다. AI의 보고와 함께 작업 기록을 보여주고, 독자가 현재 상태를 고르면 즉시 이유와 다음 확인 방법을 알려줍니다. 로그인이나 이름 입력 없이 무료로 플레이할 수 있습니다.
‘완료’는 문장이 아니라, 부탁한 일이 끝난 상태입니다
가령 캘린더에 ‘11월 12일 오후 7시 요가 수업’을 등록해 달라고 했다고 합시다. 새 일정이 만들어지고, 다시 읽어 보니 제목과 시간이 맞습니다. 캘린더 등록은 완료입니다. 하지만 수업 자리가 실제로 예약됐다는 뜻은 아닙니다. 사용자가 요구한 범위가 다르면 같은 기록으로 내릴 수 있는 결론도 달라집니다.
여기서 중요한 확인은 두 번입니다. 먼저 AI가 어떤 작업을 시도했는지를 보고, 다음으로 요청한 결과가 실제로 남아 있는지를 봅니다. 캘린더 일정이라면 생성 응답과 재조회가 그 예입니다. 메일이라면 초안 저장 기록만으로는 부족하고, 발송 기록을 따로 확인해야 합니다.
완료가 아닌 것과, 아직 모르는 것은 다릅니다
미완료는 기록상 필요한 단계가 아직 끝나지 않았을 때입니다. ‘토요일 1시 공개’라고 예약한 WordPress 글이 금요일에 status=future라면 예정대로 준비됐을 수는 있어도 아직 독자에게 공개되지는 않았습니다. 초안에 남은 메일도 마찬가지입니다.
확인 필요는 실제로 끝났을 가능성은 있지만 최종 결과를 보지 못했을 때입니다. 환불 처리사의 ‘성공’ 응답만 보고 고객 카드 명세에 돈이 반영됐다고 단정할 수는 없습니다. 코드 수정과 단위 테스트가 통과했더라도 운영 사이트에 새 코드가 올라갔는지 확인하지 않았다면 ‘서비스 오류 해결’은 아직 검증되지 않았습니다. 미확인을 실패라고 바꿔 쓰는 것도 정확하지 않습니다.
게임 정답표: 여섯 사건에서 꼭 봐야 할 기록
- 1. 메일 발송 — 미완료. 기록에 초안 저장만 있다면 전송을 마쳤다는 증거는 없습니다. 발송 성공 응답을 확인해야 합니다.
- 2. 캘린더 등록 — 완료 확인. 생성 성공과 제목·시간 재조회가 일치합니다. 다만 수업 예약까지 확인한 것은 아닙니다.
- 3. 카드 환불 반영 — 추가 확인 필요. 결제사 처리 성공과 카드 명세 반영은 서로 다른 확인입니다.
- 4. 블로그 공개 — 미완료. WordPress의
future는 예약 상태이지publish가 아닙니다. - 5. PDF 공유 링크 — 완료 확인. 비로그인 공개 접속이 성공하고 문서 제목·내용도 맞는 기록이 있습니다. 검증한 시점의 결과입니다.
- 6. 운영 사이트 오류 수정 — 추가 확인 필요. 테스트 통과 뒤 실제 배포 여부와 화면 동작을 확인해야 합니다.
AI에게 어떤 증거를 요청하면 좋을까요?
‘끝났나요?’라고 다시 묻기보다는 이렇게 확인해 보세요. “내가 부탁한 최종 결과, 실제로 실행한 단계, 아직 확인하지 못한 단계를 따로 알려 주세요. 완료를 뒷받침하는 기록을 제시하고, 가능한 경우 그 기록을 다시 조회해 주세요.” 이 문장은 모델의 확신을 높이는 마법의 지시가 아닙니다. 사람이 결과를 확인할 수 있도록 보고 형식을 바꾸는 요청입니다.
특히 결제·계정 권한·파일 삭제처럼 되돌리기 어려운 일은 결과 확인에 앞서 누가 실행을 승인했는지도 중요합니다. 승인 없이 실행하면 결과가 성공하더라도 안전한 과정이라고 할 수 없습니다. 반대로 발송이나 입금 사실은 해당 서비스나 이용자가 확인할 수 있는 별도의 증거가 필요합니다.
이 글의 기준은 어디에서 왔을까요?
미국 NIST의 AI 위험관리 프레임워크(AI RMF)는 AI 시스템을 사용하는 환경에 맞춰 평가하고 위험을 관리하는 틀을 제공합니다. OWASP의 LLM06:2025 ‘Excessive Agency’는 AI가 지나치게 큰 권한을 갖거나 승인 없이 중요한 행동을 하는 위험을 설명합니다. WordPress.com의 공식 예약 발행 안내는 예약 상태와 공개 시각, 시간대 확인의 중요성을 설명합니다. 여섯 문제의 정답표 자체는 이 기관들의 공식 테스트가 아니라, 위 원칙을 참고해 제작한 교육용 판단 기준입니다.
다음에 ‘처리했습니다’라는 답이 오면
우선 내가 요구한 끝 상태가 무엇인지 한 문장으로 적으세요. 그런 다음 현재 기록이 그 상태를 증명하는지, 일부 단계만 보여주는지, 기록이 아예 없는지 구분해 보세요. 확인할 수 없을 때의 가장 정확한 답은 ‘실패’도 ‘완료’도 아닌 ‘아직 모릅니다’일 수 있습니다.
지난 회차 BLIND JUDGE: AI 답변을 이름 없이 비교하면 무엇이 달라질까?에서는 결과물 자체를 평가했습니다. 이번에는 그 결과가 실제 사용자에게 전달됐는지까지 확인합니다.
RUDA AI LAB 005 · 2026년 11월 7일 01:00 KST 예약 대상 · 자료 확인 2026년 11월 6일. 게임 사례·응답·로그는 합성입니다. 실제 모델 비교 실험이나 공개 서비스 동작을 측정하지 않았습니다. 게임 선택·점수는 서버에 제출하지 않도록 제작했으며 사이트 기본 통계와 개인정보처리방침은 별도로 적용될 수 있습니다.