한 줄 요약: AI는 문장을 ‘레고 블록(토큰)’으로 쪼개서 읽는다 — 그리고 요금도 블록 개수로 낸다.
AI 뉴스나 요금제 안내를 보다 보면 꼭 등장하는 단어가 있습니다. “토큰당 요금”, “100만 토큰 처리”, “토큰 한도 초과”… 지하철 토큰도 아니고, 게임 코인도 아니고. 대체 토큰이 뭐까요?
AI는 글자를 못 읽습니다
의외의 사실 하나. AI는 ‘안녕하세요’라는 글자를 통째로 읽지 못합니다. 컴퓨터는 결국 숫자만 다룰 수 있으니까요. 그래서 글을 AI에게 먹이려면 먼저 잘게 쪼개서 번호를 붙이는 과정이 필요합니다.
이때 쪼개진 조각 하나하나가 바로 토큰(token) 입니다. 레고에 비유하면 완성된 성(문장)을 블록(토큰) 단위로 분해하는 거예요.
“오늘 날씨가 좋네요” → [오늘] [날씨] [가] [좋] [네요] → [8241] [1503] [77] [5912] [3308]
AI 입장에서 여러분의 문장은 이런 숫자 블록의 나열입니다. 그리고 AI의 답변도 블록을 하나씩 뱉어내는 것이고요 (EP.02의 ‘다음 단어 맞히기’는 정확히는 ‘다음 토큰 맞히기’입니다).
토큰은 단어와 다릅니다
헷갈리기 쉬운 포인트: 토큰 1개 = 단어 1개가 아닙니다.
- 자주 쓰는 단어는 통째로 토큰 1개가 되고 (예: the, 그리고)
- 드문 단어는 여러 조각으로 쪼개집니다 (예: ‘초지능’ → [초] [지능])
- 대략 영어는 단어 1개 ≈ 1.3토큰, 한국어는 글자 수 대비 토큰이 더 많이 나가는 편입니다
같은 내용이라도 언어에 따라 토큰 수가 달라진다는 것, 기억해두세요.
토큰을 알면 요금과 한도가 보입니다
토큰이 중요한 진짜 이유는 AI 세계의 모든 계량 단위가 토큰이기 때문입니다.
- 요금: AI 서비스(API)는 처리한 토큰 수만큼 과금합니다. 전기요금이 kWh라면, AI 요금은 토큰이에요.
- 기억 한도: AI가 한 번에 기억할 수 있는 대화량도 토큰으로 쑱니다. “컨텍스트 128K 토큰” 같은 표현이 그것입니다. (EP.05에서 자세히!)
- 속도: “초당 몇 토큰 생성” — AI의 말하는 속도도 토큰으로 쟬니다.
오늘의 실용 팁
유료 AI를 쓰신다면 같은 질문도 짧고 명확하게 쓰는 습관이 요금을 아낍니다. 특히 긴 문서를 붙여넣고 질문할 때, 필요한 부분만 잘라 넣으면 토큰이 크게 절약돼요. 무료 사용자에게도 유효합니다 — 대화 한도가 토큰 기준이라, 불필요하게 긴 대화는 한도를 빨리 소진시킵니다.
오늘의 한 줄: AI의 세계에서는 글도, 요금도, 기억력도 전부 ‘토큰’으로 센다.
다음 편 예고: AI가 아주 자신 있게 거짓말을 하는 걸 보신 적 있나요? 사실 그건 거짓말이 아닙니다. AI 최대의 약점 ‘환각’, EP.04에서 계속.