한 줄 요약: 파라미터는 AI 안에 달린 ‘조절 나사’의 개수다 — 많을수록 세밀하게 맞출 수 있다.
AI 뉴스에서 이런 문장을 보신 적 있을 겁니다. “700억 파라미터 모델”, “파라미터를 대폭 늘린 차세대 모델”. 크면 좋다는 건 알겠는데, 대체 파라미터가 뭘까요?
수천억 개의 조절 나사
오래된 라디오를 떠올려보세요. 주파수를 맞추는 다이얼, 음량 조절 나사, 음질을 다듬는 손잡이가 달려 있죠. 나사를 잘 돌리면 소리가 선명해집니다.
AI 안에도 이런 조절 나사가 들어 있습니다. 그게 바로 파라미터예요. 다만 개수가 상상을 초월합니다. 수백억, 수천억 개.
그리고 결정적인 차이가 하나 있습니다. 이 나사는 사람이 돌리지 않습니다. AI가 학습하면서 스스로 조금씩 돌려 맞춥니다. 시즌 1에서 배운 ‘다음 단어 맞히기’를 수조 번 연습하는 동안, 틀릴 때마다 “이 나사를 조금 왼쪽으로” 하고 미세 조정을 반복하는 거예요. 그렇게 맞춰진 나사 전체의 상태가 곧 그 AI가 배운 지식입니다.
그래서 크면 왜 나은가
나사가 많을수록 더 세밀한 구분이 가능해집니다.
나사가 10개뿐인 라디오는 대충 주파수만 맞출 수 있지만, 1,000개짜리는 잡음까지 제거할 수 있겠죠. 마찬가지로 파라미터가 적은 모델은 “이건 고양이 사진” 정도만 구분하지만, 큰 모델은 문맥·뉘앙스·농담까지 구분합니다.
실제로 파라미터를 늘렸더니 어느 시점부터 가르치지 않은 능력이 튀어나오는 현상이 관찰됐습니다. 번역만 학습시켰는데 요약을 하고, 추론 비슷한 걸 해내는 식이죠. 이걸 창발(emergence)이라고 부릅니다. AI 업계가 한동안 “일단 크게 만들자”에 몰두한 이유입니다.
그런데 요즘은 방향이 바뀌었습니다
크기 경쟁에는 대가가 따릅니다. 파라미터가 많을수록 돌리는 데 드는 전기와 비용이 커지고, 응답도 느려집니다. 스마트폰에 넣기도 어렵고요.
그래서 최근 흐름은 이렇습니다.
- 잘 고른 데이터로 작게: 좋은 교과서로 배운 작은 모델이 잡지 백 권 읽은 큰 모델을 이기기도 합니다
- 용도별로 나눠 쓰기: 간단한 질문은 작고 빠른 모델, 어려운 문제만 큰 모델로
- 필요한 부분만 켜기: 거대한 모델이라도 질문에 따라 일부 영역만 작동시키는 방식
여러분이 쓰는 AI 서비스에 “빠른 모델 / 똑똑한 모델” 선택지가 있는 이유가 바로 이겁니다. 크기가 다른 모델을 골라 쓰는 거예요.
오늘의 실용 팁
파라미터 숫자로 모델을 비교하지 마세요. 회사마다 세는 기준이 다르고, 아예 공개하지 않는 곳도 많습니다. 숫자보다 내 작업에서 결과가 어떤지가 훨씬 정확한 잣대입니다. 시즌 2에서 말씀드린 ‘내 일로 면접 보기’가 여전히 최선이에요.
대신 이건 기억할 만합니다. 간단한 일에 큰 모델을 쓰면 느리고 비싸기만 합니다. 번역이나 맞춤법 검사에는 빠른 모델로 충분해요.
오늘의 한 줄: 파라미터는 AI가 스스로 맞춰놓은 조절 나사의 개수다.
다음 편 예고: 어떤 AI는 질문하면 바로 답하고, 어떤 AI는 한참 뜸을 들입니다. 그 뜸 들이는 시간에 무슨 일이 벌어지는 걸까요? EP.02에서 계속.
