토큰이 뭐길래 — AI가 글을 읽는 단위
한 줄 요약: AI는 문장을 ‘레고 블록(토큰)’으로 쪼개서 읽는다 — 그리고 요금도 블록 개수로 낸다. AI 뉴스나 요금제 안내를 보다 보면 꼭 등장하는 단어가 있습니다. “토큰당 요금”, “100만 토큰 처리”, “토큰 한도 초과”… 지하철 토큰도 아니고, 게임 코인도 아니고. 대체 토큰이 뭐까요? AI는 글자를 못 읽습니다 의외의 사실 하나. AI는 ‘안녕하세요’라는 글자를 통째로 읽지 못합니다….
