한 줄 요약: AI의 기억력은 칠판 한 장 — 꽉 차면 앞에 쓴 것부터 흐려진다.
챗봇과 길게 대화하다 보면 이상한 경험을 합니다. 분명 대화 초반에 “저는 초보자예요, 쉽게 설명해주세요”라고 말했는데, 한참 뒤에는 다시 어려운 용어를 쏟아내는 AI. 어제 나눈 대화를 오늘 물으면 “무슨 말씀이신지…”라고 하는 AI. 얘는 기억력이 대체 어떻게 되는 걸까요?
AI의 기억은 ‘칠판’입니다
AI에게는 우리 같은 장기 기억이 기본적으로 없습니다. 대신 칠판 한 장이 있어요. 이 칠판의 정식 명칭이 컨텍스트 윈도(context window) 입니다.
작동 방식은 이렇습니다.
- 여러분이 보내는 모든 메시지와 AI의 모든 답변이 이 칠판에 적힙니다.
- AI는 답할 때마다 칠판 전체를 처음부터 다시 읽고 다음 토큰을 예측합니다 (EP.02~03 복습!).
- 칠판 크기는 토큰 수로 정해져 있습니다. “컨텍스트 128K”라면 토큰 12만 8천 개, 대략 책 한 권 분량이에요.
여기서 중요한 사실: 대화가 칠판 용량을 넘어가면, 앞에 쓴 내용부터 지워지거나 요약됩니다. 대화 초반의 “쉽게 설명해주세요”가 어느 순간 무시되는 이유가 바로 이거예요. AI가 변심한 게 아니라, 그 부탁이 칠판에서 지워진 겁니다.
“그럼 어제 대화는 왜 기억 못 해?”
새 대화창을 열면 새 칠판을 꺼내는 것과 같습니다. 이전 칠판은 참조하지 않아요. 챗봇이 대화방마다 성격이 리셋되는 이유입니다.
다만 최근에는 이 한계를 보완하는 기능들이 붙고 있습니다. 챗GPT나 클로드의 ‘메모리’ 기능은 중요한 정보를 별도 수첩에 적어듩다가 새 칠판에 미리 옮겨 적어주는 방식입니다. 완전한 기억이라기보다 ‘칠판 옆에 붙여둔 포스트잇’ 에 가깝지만요.
칠판이 크면 다 좋을까?
요즘 모델들은 컨텍스트가 100만 토큰(책 8권 분량)까지 커졌습니다. 그런데 재미있는 연구 결과가 있어요. 칠판이 아주 커지면 AI가 중간에 적힌 내용을 종종 놓칩니다. 사람도 긴 회의록의 중간 부분이 가물가물하듯이요. 그래서 “긴 문서를 통째로 넣으면 다 이해하겠지”라는 기대는 절반만 맞습니다.
오늘의 실용 팁
칠판의 원리를 알면 챗봇 사용법이 달라집니다.
- 긴 대화는 중간 요약으로 리셋: 대화가 길어지면 “지금까지 내용을 요약해줘”라고 한 뒤, 그 요약을 들고 새 대화를 시작하세요. 칠판을 깨끗하게 다시 쓰는 효과입니다.
- 중요한 조건은 다시 말하기: “쉽게 설명해달라”던 부탁이 안 먹히기 시작하면, 지워진 겁니다. 다시 한번 적어주세요.
- 핵심 요청은 대화 후반부에: 방금 한 말일수록 칠판에서 잘 보입니다. 긴 자료를 붙였다면 질문은 자료 ‘뒤에’ 쓰세요.
오늘의 한 줄: AI는 변심하지 않는다 — 칠판이 꽉 찼을 뿐이다.
다음 편 예고: 그런데 애초에 AI는 그 많은 지식을 어디서 배웠을까요? AI의 식단표, ‘학습 데이터’ 이야기로 시즌 1을 마무리합니다. EP.06에서 계속.
