한 줄 요약: AI는 거짓말쟁이가 아니라 소설가다 — 사실이 아니라 ‘그럴듯함’을 만들기 때문에.
AI에게 “조선시대 커피 문화에 대해 알려줘”라고 물으면, 존재하지 않는 책 제목과 그럴듯한 학자 이름까지 인용하며 술술 답하는 경우가 있습니다. 너무 자신만만해서 믿을 뻔했는데, 검색해보면 전부 없는 이야기. 이런 현상을 환각(hallucination) 이라고 부릅니다.
AI는 거짓말을 ‘못’ 합니다
거짓말이란 진실을 알면서 일부러 속이는 행위입니다. 그런데 EP.02에서 봤듯이, AI는 사실 여부를 판단하는 게 아니라 ‘가장 그럴듯한 다음 토큰’을 확률로 고르는 기계입니다. 애초에 ‘진실을 안다’는 개념이 없으니, 거짓말도 할 수 없어요.
더 정확한 비유는 소설가입니다. 실력 있는 소설가에게 “조선시대 커피 문화를 다룬 논문 스타일의 글을 써줘”라고 하면, 실존하지 않아도 아주 그럴듯한 글을 써내겠죠. AI가 하는 일이 정확히 이겁니다. 다만 소설가는 자기가 지어냈다는 걸 알지만, AI는 지어낸 것과 배운 것을 구분하는 능력 자체가 약합니다.
환각이 특히 잘 나오는 순간들
패턴이 있습니다. 이 네 가지 상황에서는 항상 경계하세요.
- 구체적인 출처를 물을 때 — 논문 제목, 책 이름, 판례 번호, URL. 형식이 정형화되어 있어서 ‘그럴듯하게 지어내기’ 가장 쉬운 대상입니다.
- 숫자와 통계 — “몇 년도에”, “몇 퍼센트가” 같은 정확한 수치. 비슷한 숫자 패턴을 배웠기 때문에 확신에 찬 오답이 나옵니다.
- 최신 정보 — AI는 학습 시점 이후의 세상을 모릅니다. 모르는 걸 물으면 아는 것처럼 채워 넣는 경우가 있어요.
- 잘 알려지지 않은 주제 — 학습 데이터에 정보가 적을수록, 빈틈을 상상으로 메꿉니다.
반대로 널리 알려진 개념 설명, 글쓰기, 요약, 아이디어 발상처럼 ‘정답이 하나로 정해지지 않은 일’에서는 환각 걱정이 훨씬 적습니다.
요즘 AI는 나아지고 있긴 합니다
최근 모델들은 검색 기능을 붙여 출처를 실제로 확인하거나, “모르겠다”고 답하는 훈련을 받으면서 환각이 많이 줄었습니다. 하지만 원리상 0이 될 수는 없습니다. 확률로 문장을 만드는 구조 자체는 그대로니까요.
오늘의 실용 팁
세 가지 습관이면 환각 피해의 대부분을 막을 수 있습니다.
- “출처 알려줘” + 직접 클릭: 출처를 내놓게 하고, 실제 존재하는지 한 번은 직접 확인하세요.
- 중요한 숫자는 이중 확인: 돈·건강·법률 관련 수치는 반드시 공식 자료와 대조하세요.
- 역질문 활용: “방금 답변 중에 확실하지 않은 부분이 있으면 알려줘”라고 물으면, 의외로 스스로 불확실한 부분을 짚어주는 경우가 많습니다.
오늘의 한 줄: AI의 오답은 거짓말이 아니라, 너무 그럴듯한 소설이다.
다음 편 예고: 어제 나눈 대화를 오늘 AI가 기억 못 하는 이유는 뭐일까요? AI의 기억력, ‘컨텍스트’라는 칠판 이야기. EP.05에서 계속.
