파인튜닝 vs 프롬프트 — AI 길들이는 두 가지 방법

한 줄 요약: 재교육을 시킬 것인가, 업무 매뉴얼을 쥐여줄 것인가 — 대부분은 매뉴얼로 충분하다.

“우리 회사 전용 AI 만들고 싶은데요.” 요즘 가장 많이 나오는 요청입니다. 그런데 이 말은 전혀 다른 두 가지를 뜻할 수 있어요. 신입을 다시 교육시키는 것과, 신입에게 업무 매뉴얼을 쥐여주는 것.

두 갈래 길

파인튜닝 = 재교육

이미 학습을 마친 AI에게 우리 데이터를 추가로 학습시켜 모델 자체를 바꾸는 방식입니다. 직원을 연수원에 보내 두 달간 재교육시키는 것과 같아요. 돌아온 직원은 우리 회사 말투와 방식이 몸에 뱄습니다. 다만 비용과 시간이 들고, 교육 내용이 바뀌면 다시 보내야 하죠.

프롬프트 = 매뉴얼 쥐여주기

모델은 그대로 두고, 일을 시킬 때마다 지침과 자료를 함께 주는 방식입니다. 시즌 2에서 배운 역할·맥락·형식 지정이 여기에 해당하고, 지난 편의 RAG도 이 계열입니다. 오늘 당장 바꿀 수 있고, 잘못되면 지침만 고치면 됩니다.

뭘 골라야 하나

결론부터 말하면 대부분은 프롬프트로 충분합니다. 파인튜닝이 필요한 경우는 생각보다 드물어요.

원하는 것	적합한 방법
우리 회사 정보를 알고 답하게	RAG (자료를 찾아서 주기)
정해진 형식으로 답하게	프롬프트 (형식 지정)
특정 말투·문체를 일관되게	프롬프트로 먼저 시도 → 부족하면 파인튜닝
아주 특수한 전문 분야 용어·판단	파인튜닝
작은 모델에 특정 업무만 잘하게	파인튜닝 (비용 절감 목적)

흔한 착각 하나: “우리 회사 문서를 학습시키면 AI가 그걸 알겠지?” — 파인튜닝은 지식을 넣는 데 그리 효율적이지 않습니다. 말투와 행동 양식을 바꾸는 데 강하고, 지식을 넣는 건 RAG가 훨씬 낫습니다. 이걸 헷갈려서 돈과 시간을 날리는 경우가 정말 많아요.

그 사이에 있는 선택지들

요즘은 중간 단계도 많아졌습니다.

• 커스텀 지침 / 프로젝트 설정: 매번 같은 지침을 자동으로 붙여주는 기능. 여러분이 쓰는 챗봇에도 대부분 있습니다
• 맞춤 챗봇 만들기: 지침 + 자료를 묶어 하나의 봇으로 저장. 코딩 없이 됩니다
• 경량 파인튜닝: 모델 전체가 아니라 일부만 살짝 조정하는 저비용 방식

개인이나 소규모 팀이라면 위 두 가지로 원하는 것의 90%가 해결됩니다.

오늘의 실용 팁

“매번 같은 말을 반복해서 입력하고 있다” 면 그게 신호입니다. 커스텀 지침이나 맞춤 챗봇으로 옮길 때가 된 거예요.

예를 들어 매번 “너는 우리 병원 안내 담당이고, 존댓말을 쓰고, 진단은 하지 말고…”를 타이핑하고 있다면, 그 문장을 지침란에 한 번 저장해두면 끝입니다. 파인튜닝 견적을 받기 전에 이것부터 해보세요. 무료이고 5분이면 됩니다.

---

오늘의 한 줄: 지식은 RAG로, 말투와 행동은 프롬프트로 — 파인튜닝은 마지막 수단.

다음 편 예고: 시즌 3의 마지막. 무료로 풀린 AI 모델들은 대체 뭐고, 왜 공짜로 푸는 걸까요? EP.06에서 계속.