한 줄 요약: 사진도 소리도 결국 숫자다 — AI는 모든 걸 같은 언어로 번역해 이해한다.
냉장고를 열고 사진을 찍어 “이걸로 뭐 만들지?”라고 물으면 레시피를 알려줍니다. 외국어 간판을 비추면 번역해주고, 말로 물으면 말로 답하죠. 글자만 알던 AI가 어떻게 눈과 귀를 갖게 됐을까요?
비밀은 ‘공통 언어’입니다
시즌 1에서 AI가 글을 토큰으로 쪼개 숫자로 바꾼다고 배웠습니다. 핵심은 여기 있어요. 숫자로 바꿀 수 있는 건 글만이 아닙니다.
- 사진: 픽셀 하나하나가 이미 색상 숫자입니다. 이걸 조각내면 ‘이미지 토큰’이 됩니다
- 소리: 음파의 높낮이를 잘게 끊어 숫자로 만들면 ‘오디오 토큰’이 됩니다
- 영상: 사진 여러 장 + 소리의 조합입니다
즉 글·사진·소리를 전부 같은 숫자 공간으로 번역해 넣는 거예요. 마치 한국어·영어·일본어를 하는 사람들이 모여 공통어 하나로 대화하는 것과 같습니다. 일단 공통어로 바꾸고 나면, AI는 “사진 속 이것”과 “글자로 쓴 저것”이 같은 걸 가리킨다는 사실을 배울 수 있습니다.
이렇게 여러 종류(모드)의 정보를 함께 다루는 AI를 멀티모달(multimodal) 모델이라고 합니다.
그래서 가능해진 것들
공통어로 묶이니 이런 일이 자연스러워집니다.
- 사진 → 글: 영수증 찍어서 가계부 정리, 손글씨 메모를 텍스트로
- 글 → 사진: 설명만 쓰면 이미지가 나오는 생성 기능
- 소리 → 글: 회의 녹음을 회의록으로
- 글 → 소리: 자연스러운 음성 대화
- 화면 → 동작: 화면을 ‘보고’ 버튼을 찾아 누르기 ← 이게 에이전트의 눈입니다
마지막 항목을 기억해두세요. 특집에서 다룰 AI 에이전트가 브라우저를 직접 조작할 수 있는 건, 멀티모달 덕분에 화면을 이미지로 보고 이해할 수 있게 됐기 때문입니다.
생활에서 바로 써먹는 법
멀티모달은 이론보다 활용이 중요한 주제입니다. 오늘 당장 되는 것들이거든요.
| 상황 | 이렇게 해보세요 |
| 설명서가 어려울 때 | 사진 찍고 “이거 어떻게 쓰는 거야?” |
| 외국 음식점에서 | 메뉴판 찍고 “매운 거 빼고 추천해줘” |
| 오류 화면이 떴을 때 | 화면 캡처하고 “무슨 뜻이고 어떻게 해결해?” |
| 손으로 쓴 메모가 쌓였을 때 | 찍어서 “표로 정리해줘” |
| 약 봉투가 헷갈릴 때 | 찍어서 “이건 무슨 약이야?” (단, 복용 판단은 약사에게) |
주의할 점
멀티모달은 강력하지만 틀릴 때 더 그럴듯하게 틀립니다. 특히 이런 경우 조심하세요.
- 작은 글씨나 흐릿한 숫자: 영수증 금액, 계약서 조항 같은 건 반드시 눈으로 재확인
- 손글씨: 비슷한 글자를 자신 있게 잘못 읽습니다
- 의료·안전 관련 사진: 참고용일 뿐, 판단은 전문가에게
그리고 사진에는 의도치 않은 정보가 함께 찍힙니다. 시즌 2 EP.05에서 말씀드린 대로, 서류를 찍을 때 옆에 놓인 신분증이나 주소가 같이 올라가지 않는지 업로드 전에 한 번 보세요.
오늘의 실용 팁
사진을 올릴 때는 “뭘 봐야 하는지”를 함께 말해주세요. 그냥 올리면 AI가 엉뚱한 곳을 봅니다.
❌ (설명서 사진만 올림)
✅ (사진) “빨간 버튼 아래 작은 글씨가 뭐라고 쓰여 있는지 읽어줘”
시즌 2에서 배운 프롬프트 원칙이 사진에도 그대로 적용됩니다.
오늘의 한 줄: 글도 사진도 소리도 결국 숫자 — AI는 하나의 공통어로 이해한다.
다음 편 예고: “우리 회사 전용 AI”를 만들려면 뭐가 필요할까요? 재교육과 매뉴얼, 두 갈래 길. EP.05에서 계속.
