한 줄 요약: 추론 모델은 답하기 전에 연습장에 풀어보는 AI다 — 느린 대신 어려운 문제를 푼다.
AI에게 어려운 문제를 물었더니 “생각하는 중…”이라며 한참 뜸을 들인 적 있으신가요? 예전 챗봇은 바로 답을 쏟아냈는데 말이죠. 그 몇십 초 동안 AI 안에서는 무슨 일이 벌어질까요?
퀴즈왕과 수험생
두 사람이 시험을 봅니다.
퀴즈왕은 문제를 보자마자 답을 외칩니다. 아는 문제는 빠르고 정확하죠. 하지만 여러 단계를 거쳐야 하는 문제 — “사과 3개를 2명이 나눠 갖고, 남은 걸 다시 3등분하면” 같은 — 앞에서는 성급하게 틀린 답을 뱉습니다.
수험생은 다릅니다. 문제를 읽고 연습장을 꺼내 “먼저 이걸 구하고, 그 다음 이걸 빼면…” 하고 적어가며 풉니다. 느리지만 복잡한 문제에서 훨씬 정확하죠.
기존 챗봇이 퀴즈왕이고, 추론 모델(reasoning model)이 수험생입니다.
연습장에 뭘 적는가
추론 모델도 결국 다음 토큰을 예측하는 기계입니다(시즌 1 EP.02). 달라진 건 답을 내놓기 전에 자기 자신에게 먼저 긴 풀이 과정을 써보게 훈련했다는 점이에요.
사용자: (어려운 문제)
AI 속마음: “우선 조건을 정리하자. A는… 그럼 B가 성립하려면… 잠깐, 이 경우 모순이네. 다시 해보자…”
AI 답변: (정리된 최종 답)
이 속마음 부분이 ‘연습장’입니다. 서비스에 따라 이 과정을 접어서 보여주기도 하고, 요약만 보여주기도 합니다.
재미있는 건 AI가 스스로 틀린 걸 알아채고 되돌아가기도 한다는 점입니다. 사람이 문제를 풀다 “아, 이게 아니네” 하는 것과 비슷하죠.
언제 써야 하나
연습장을 쓰면 시간과 비용이 더 듭니다(토큰을 훨씬 많이 쓰니까요 — 시즌 1 EP.03). 그러니 모든 질문에 쓸 필요는 없습니다.
추론 모델이 유리한 일
- 여러 단계를 거치는 계산이나 논리 문제
- 복잡한 코드의 버그 찾기
- 조건이 얽힌 기획·전략 검토
- “이 계약서에서 나에게 불리한 조항을 찾아줘” 같은 꼼꼼한 분석
빠른 모델로 충분한 일
- 번역, 요약, 맞춤법 교정
- 말투 다듬기, 이메일 초안
- 간단한 사실 확인
주의: 생각을 오래 해도 환각은 남습니다
연습장을 쓴다고 AI가 사실을 아는 건 아닙니다. 모르는 정보를 오래 고민하면, 더 정교하게 그럴듯한 오답이 나올 수도 있어요. 추론 모델은 ‘논리’를 다듬어줄 뿐 ‘사실’을 보증하지 않습니다. 시즌 2 EP.03의 신호등은 그대로 유효합니다.
오늘의 실용 팁
추론 모델을 따로 고를 수 없는 환경이라도, 프롬프트로 연습장을 흉내낼 수 있습니다.
“바로 답하지 말고, 단계별로 생각을 적은 다음 마지막에 결론을 말해줘.”
이 한 줄만 붙여도 복잡한 문제의 정답률이 눈에 띄게 올라갑니다. 공짜로 수험생 모드를 켜는 셈이에요.
오늘의 한 줄: 추론 모델은 연습장에 풀어보고 답하는 AI다.
다음 편 예고: AI가 모르는 걸 물었을 때, 지어내지 않고 자료를 찾아보게 하는 방법이 있습니다. 오픈북 시험의 원리, RAG. EP.03에서 계속.
