2026년 11월 중순 기준으로 정리한 글입니다. AI 모델은 몇 주 단위로 새 버전이 나오고 순위와 가격도 자주 바뀝니다. 직접 쓰기 전에 각 모델 페이지에서 최신 정보를 한 번 더 확인하세요.
한 줄 요약
오픈 웨이트 AI는 “내려받아 내 컴퓨터에서 돌릴 수 있는 AI”입니다. 성능 1등은 거대한 중국 모델들이 차지하고 있지만, 집에서 현실적으로 쓸 만한 것은 30B(300억 개) 이하 모델입니다. 메모리 16GB면 입문, 32GB면 꽤 쓸 만한 수준입니다.
1. 오픈 웨이트(Open-Weight)가 뭔가요?
ChatGPT, Claude, Gemini 같은 서비스는 회사 서버에서 돌아가는 AI를 인터넷으로 빌려 쓰는 방식입니다. 우리는 질문을 보내고 답만 받습니다. AI의 “두뇌”는 회사 안에 있습니다.
오픈 웨이트 모델은 그 두뇌 파일을 인터넷에 공개한 AI입니다. 누구나 내려받아 내 컴퓨터에서 돌릴 수 있습니다.
비유하면 이렇습니다.
| 구분 | 비유 | 예 |
| 비공개(클로즈드) AI | 맛집에 가서 음식을 사 먹기. 맛은 좋지만 조리법은 모름 | ChatGPT, Claude, Gemini |
| 오픈 웨이트 AI | 완성된 음식을 통째로 포장해 와서 내 집 냉장고에 넣어 두기. 언제든 꺼내 먹을 수 있지만, 어떻게 만들었는지는 다 알 수 없음 | Gemma, Qwen, DeepSeek, gpt-oss |
| 오픈소스 AI | 조리법과 재료 목록까지 모두 공개 | 아직 드묾 |
💡 “웨이트(weight)”란? AI가 학습하면서 얻은 수십억 개의 숫자(가중치)입니다. 이 숫자들이 곧 AI의 지식과 실력입니다. 오픈 웨이트는 이 숫자 파일을 공개했다는 뜻이고, 학습에 쓴 데이터나 방법까지 공개한 것은 아닙니다. 그래서 “오픈소스”와는 조금 다릅니다.
2. 왜 굳이 내 컴퓨터에서 돌리나요?
| 장점 | 단점 |
| 개인정보 보호: 대화와 문서가 내 컴퓨터 밖으로 나가지 않음 | 최고 성능은 아직 비공개 AI가 앞섬 |
| 인터넷 없이 사용 가능 | 성능 좋은 모델일수록 비싼 컴퓨터가 필요 |
| 사용료 없음 (전기료만) | 설치와 설정을 직접 해야 함 |
| 회사·기관 내부 문서 작업에 안심 | 작은 모델은 틀린 답(환각)이 더 많음 |
| 원하는 대로 고치고 실험 가능 | 최신 정보 검색은 별도로 연결해야 함 |
정리하면, 오픈 웨이트는 “최고 성능”보다 “내 손 안의 AI“가 필요할 때 빛납니다. 교회 행정 문서, 상담 기록 정리, 회사 기밀 초안처럼 밖으로 보내기 곤란한 자료를 다룰 때 특히 쓸모가 있습니다.
3. 2026년 11월, 주요 모델 한눈에 보기
모델 이름 뒤의 숫자 “B”는 Billion(10억)입니다. 8B는 80억 개의 숫자로 된 모델이고, 숫자가 클수록 똑똑하지만 무겁습니다.
미국·유럽
| 개발사 | 최신 오픈 모델 | 크기 | 라이선스 | 한 줄 특징 |
| Gemma 4 | 2B급~31B | Apache 2.0 (자유) | 작은 기기용 강자. 이미지·소리도 이해 | |
| Meta | Muse Glimmer 30B | 30B | Apache 2.0 (자유) | Llama 대신 새 이름 “Muse”로 공개 |
| OpenAI | gpt-oss-20b / 120b | 21B / 117B | Apache 2.0 (자유) | 2025년 8월 공개. 로컬 입문용 표준 |
| Mistral (프랑스) | Mistral Small 4, Ministral 3 | 3B~119B | Apache 2.0 (자유) | 다국어, 유럽산 |
| IBM | Granite 4.2 | 3B / 8B / 30B | Apache 2.0 (자유) | 기업용, 한국어 테스트 포함 |
| NVIDIA | Nemotron 3.5 | 30B~550B | 오픈 모델 라이선스 | 속도와 효율 중심 |
중국
| 개발사 | 최신 오픈 모델 | 크기 | 라이선스 | 한 줄 특징 |
| Moonshot | Kimi K3.1 Pro | 2.8T (2조 8천억) | 조건부 상업 허용 | 현재 오픈 모델 종합 1위 |
| DeepSeek | DeepSeek V4.1 Flash | 수백B | MIT (자유) | 코딩·에이전트 강자, 저렴한 API |
| Z.ai | GLM-5.3 / GLM-5.3-Flash | 320B~753B | 조건부 / MIT | 코딩, 이미지 이해 |
| Alibaba | Qwen3.8-27B, Qwen3.5, Qwen3.6 | 0.8B~2.4T | 27B 이하는 Apache 2.0 | 집에서 돌리는 모델로 가장 인기 |
| Xiaomi | MiMo-V2.6-Pro | 1T | MIT (자유) | 종합 상위권 |
한국
| 개발사 | 최신 오픈 모델 | 크기 | 라이선스 | 한 줄 특징 |
| SK텔레콤 | A.X K2 | 688B | Apache 2.0 (자유) | 한국어 시험(KMMLU-Pro) 최상위권 (자체 발표) |
| 업스테이지 | Solar Open 2 | 250B | Solar 라이선스 | 한·영·일 문서 업무 |
| LG AI연구원 | K-EXAONE 2.0 | 750B | Apache 2.0 (자유) | 국내 최대 규모 |
| 카카오 | kanana-2 | 3B / 30B | 조건부 (“Powered by Kanana” 표기) | 한국어 소형 모델 |
⚠️ 한국 대형 모델 3종(A.X K2, Solar Open 2, K-EXAONE 2.0)은 정부 ‘독자 AI 파운데이션 모델’ 사업의 3단계에 오른 모델입니다. 다만 모두 수백B 규모라서 개인 컴퓨터로 돌리기는 어렵고, 클라우드 서비스로 쓰는 것이 현실적입니다.
4. 분야별로 앞서가는 모델
| 분야 | 앞서가는 모델 | 집에서 돌릴 만한 대안 |
| 종합 (대화·추론) | Kimi K3.1 Pro | Qwen3.8-27B, Muse Glimmer 30B |
| 코딩 | DeepSeek V4.1 Flash, Kimi K3.1 Pro | Qwen3.6-35B-A3B, Qwen3.8-27B |
| 수학·어려운 추론 | Kimi, DeepSeek, GLM이 비슷한 수준 | Phi-4-reasoning-vision-15B |
| 이미지 이해 | GLM-5.3-Flash, Gemma 4 31B | Gemma 4 12B, Qwen3.8-27B |
| 작은 기기 (8B 이하) | Gemma 4 E2B·E4B, Qwen3.5 (0.8B~9B) | Granite 4.2 8B, Ministral 3 |
| 한국어 | A.X K2, Solar Open 2, K-EXAONE 2.0 | Qwen3.8-27B, Gemma 4, kanana-2 |
| 에이전트 (도구 사용) | DeepSeek V4.1 Flash, Kimi K3.1 Pro | Qwen3.6·3.8, gpt-oss-20b |
근거는 독립 평가 사이트인 Artificial Analysis와 Arena(구 LMArena)의 2026년 11월 순위, 그리고 각 개발사의 발표 자료입니다. 다만 몇 가지는 감안하고 보세요.
- 오픈 모델 1등도 비공개 최상위 모델보다는 아직 한참 뒤입니다. Artificial Analysis 종합 점수로 약 20점 차이가 납니다.
- 개발사가 직접 낸 성적표는 자기에게 유리한 시험을 고르는 경향이 있습니다.
- 작은 모델과 한국어 실력은 믿을 만한 독립 순위가 아직 부족합니다. 직접 몇 가지 질문을 해 보고 고르는 것이 가장 정확합니다.
5. 내 컴퓨터에서 돌리려면 사양이 얼마나 필요할까?
핵심은 “메모리”
AI 모델은 돌아가는 동안 통째로 메모리에 올라가 있어야 합니다. 그래서 CPU 속도보다 메모리 크기가 훨씬 중요합니다.
- NVIDIA 그래픽카드가 있는 PC: 그래픽카드 메모리(VRAM)가 중요합니다.
- 맥(Apple Silicon): 본체 메모리(RAM)를 CPU와 그래픽이 함께 씁니다. 그래서 RAM이 클수록 큰 모델을 돌릴 수 있습니다. 단, 그래픽 쪽에 기본으로 쓸 수 있는 몫은 전체의 약 65~75% 정도입니다.
쉬운 계산법: “압축”하면 크기가 줄어든다
모델 파일은 보통 양자화(Quantization)라는 압축을 해서 씁니다. 사진을 JPG로 줄이듯이 정밀도를 조금 낮춰 크기를 줄이는 방식입니다.
- Q4 (4비트 압축): 가장 많이 씁니다. 필요한 메모리 ≈ 모델 크기(B) × 0.6GB
- Q8 (8비트 압축): 품질이 조금 더 좋습니다. 필요한 메모리 ≈ 모델 크기(B) × 1.07GB
- 여기에 대화 길이에 따라 1~3GB 이상의 여유가 더 필요합니다.
예) 8B 모델을 Q4로 쓰면 8 × 0.6 = 약 5GB에 여유분을 더해 6~7GB가 필요합니다.
크기별로 필요한 메모리
| 모델 크기 | 예시 모델 | Q4 기준 | 이런 컴퓨터면 OK |
| 4B | Gemma 4 E4B, Qwen3.5-4B | 약 3GB | RAM 8GB 노트북, 대부분의 맥 |
| 8~9B | Granite 4.2 8B, Qwen3.5-9B | 약 5~6GB | RTX 4060 (8GB), 맥 16GB |
| 12~15B | Gemma 4 12B, Phi-4 15B | 약 8~9GB | 그래픽카드 12~16GB, 맥 16~24GB |
| 27~32B | Qwen3.8-27B, Gemma 4 31B, Muse Glimmer 30B | 약 17~22GB | RTX 4090 (24GB) / 5090 (32GB), 맥 32GB 이상 |
| 30B급 MoE | Qwen3.6-35B-A3B, Gemma 4 26B-A4B | 약 16~21GB | 그래픽카드 24GB 또는 맥 32GB |
| 20B MoE | gpt-oss-20b | 약 16GB | 16GB 그래픽카드·맥 (OpenAI 안내) |
| 70B | (구형 70B급 모델들) | 약 43~46GB | 맥 64GB 이상, 그래픽카드 2장 |
| 120B MoE | gpt-oss-120b | 약 60~80GB | 맥 96~128GB |
| 수백B 이상 | Kimi, DeepSeek, A.X K2 등 | 수백GB | 개인용 아님. 클라우드로 사용 |
💡 MoE(Mixture of Experts, 전문가 혼합)란? 큰 모델 안에 여러 “전문가”가 들어 있고, 질문마다 일부 전문가만 일하는 구조입니다. 이름의 “35B-A3B”는 전체 350억 개 중 30억 개만 일한다는 뜻입니다. 메모리는 전체 크기만큼 필요하지만, 속도는 작은 모델처럼 빠릅니다. 그래서 집에서 쓰기에 인기가 많습니다.
속도는 어느 정도일까?
글자가 화면에 나오는 속도는 “초당 토큰 수(tok/s)”로 잽니다. 한글 기준으로 초당 10토큰이면 사람이 읽기에 답답하지 않은 정도입니다. 아래는 사용자들이 보고한 대략의 수치로, 조건에 따라 차이가 큽니다.
- RTX 4090 + Qwen3.8-27B (Q4): 초당 약 38~49토큰
- 맥 M4 Max + 7B급 모델: 초당 약 70~83토큰
- 맥 M1 + 7B급 모델: 초당 약 14토큰
- 그래픽카드 없이 CPU만 쓰는 PC + 8B 모델: 초당 약 5~10토큰 (계산으로 추정한 값). MoE 모델은 CPU만으로도 비교적 쓸 만합니다.
6. 내 컴퓨터에 맞는 추천 조합
| 내 컴퓨터 | 먼저 써 볼 모델 | 기대할 수 있는 것 |
| RAM 8GB 노트북 / 맥 8GB | Gemma 4 E4B, Qwen3.5-4B | 간단한 요약, 번역, 문장 다듬기 |
| 맥 16GB / RTX 4060 8GB | Qwen3.5-9B, Granite 4.2 8B, Gemma 4 E4B | 일상 질문, 이메일 초안, 간단한 코딩 |
| 맥 32GB / RTX 4090 24GB | Qwen3.8-27B, Gemma 4 31B, Qwen3.6-35B-A3B, gpt-oss-20b | 웬만한 업무 보조, 코딩, 이미지 이해 |
| 맥 64GB 이상 | 위 모델들을 Q8로 + 긴 문서 | 긴 보고서 분석, 여러 문서 비교 |
| 맥 128GB 이상 | gpt-oss-120b, Nemotron 3.5 Super | 대형 모델 체험 |
💡 처음이라면 16GB 이상 맥이나 8GB 이상 그래픽카드 PC에서 Gemma 4 또는 Qwen3.5로 시작해 보세요. 둘 다 무료로 자유롭게 쓸 수 있는 라이선스이고 설치도 쉽습니다.
7. 어떤 프로그램으로 돌리나요?
모델 파일만으로는 쓸 수 없고, 모델을 불러와 대화창을 띄워 주는 프로그램이 필요합니다.
| 프로그램 | 운영체제 | 난이도 | 특징 |
| LM Studio | 맥(Apple Silicon), 윈도우, 리눅스 | ★ 가장 쉬움 | 앱 안에서 모델을 검색하고 클릭 한 번으로 내려받아 대화. 회사 업무용으로도 무료 |
| Ollama | 맥, 윈도우, 리눅스 | ★★ 쉬움 | 데스크톱 앱 + 명령어 한 줄 실행. 가장 널리 쓰임 |
| Jan | 맥 중심 | ★★ 쉬움 | ChatGPT처럼 생긴 오픈소스 앱 |
| Open WebUI | 브라우저 (Ollama와 연결) | ★★★ 보통 | ChatGPT 같은 웹 화면, 문서 검색 기능 |
| llama.cpp | 모든 운영체제 | ★★★★ 어려움 | 대부분 프로그램의 엔진. 명령어로 사용 |
| MLX | 맥 전용 | ★★★★ 어려움 | Apple이 만든 도구. LM Studio 안에서 쉽게 쓸 수 있음 |
⚠️ 예전에 많이 쓰던 GPT4All은 2025년 초 이후 업데이트가 거의 없어서, 새로 시작한다면 추천하지 않습니다.
따라 하기 ① LM Studio (가장 쉬운 방법)
- lmstudio.ai에서 내 운영체제용 앱을 내려받아 설치합니다.
- 앱을 열고 왼쪽의 검색(돋보기) 메뉴에서 “gemma 4” 또는 “qwen3.5″를 검색합니다.
- 내 메모리에 맞는 크기(예: 4B 또는 9B)와 “Q4_K_M” 버전을 골라 내려받습니다. LM Studio가 내 컴퓨터에서 돌아갈지 표시해 줍니다.
- 대화 메뉴로 가서 위쪽에서 모델을 고르고 질문을 입력합니다.
- 인터넷을 끄고 다시 질문해 보세요. 그래도 답한다면 성공입니다.
따라 하기 ② Ollama (명령어 한 줄)
- ollama.com에서 앱을 설치합니다.
- 터미널(맥) 또는 명령 프롬프트(윈도우)를 열고 아래 한 줄을 입력합니다.
- 처음 한 번은 모델을 내려받느라 몇 분 걸립니다. 그다음부터는 바로 대화할 수 있습니다.
- 대화를 끝내려면
/bye를 입력합니다.
8. 컴퓨터가 부족하다면: 클라우드로 오픈 모델 쓰기
큰 모델(Kimi, DeepSeek, 한국 대형 모델 등)은 집에서 돌리기 어렵습니다. 대신 오픈 모델을 대신 돌려 주는 서비스를 이용하면 저렴하게 쓸 수 있습니다. 가격은 100만 토큰(한글로 대략 수십만 자)당 미국 달러 기준입니다.
| 서비스 | 특징 | 가격 예 (입력/출력, 100만 토큰당) |
| OpenRouter | 여러 회사 모델을 한 계정으로. 무료 모델도 있음 | 각 회사 가격 그대로 (크레딧 구매 시 수수료 5.5%) |
| Hugging Face | 모델 공개 사이트 겸 서비스 연결 | 각 회사 가격 그대로 |
| Groq | 매우 빠른 속도 | gpt-oss-120b $0.15 / $0.60 |
| Together AI | 다양한 대형 모델 | DeepSeek V4.1 Flash $0.30 / $1.20, Kimi K3.1 Pro $2 / $10 |
🔒 데이터는 어디로 가나요? 중국 개발사의 공식 앱이나 API를 쓰면 대화 내용이 중국 서버로 갈 수 있습니다. 같은 모델이라도 미국 회사(Together, Groq 등)를 통해 쓰거나 내 컴퓨터에서 돌리면 그런 걱정이 줄어듭니다.
9. 쓰기 전에 꼭 알아둘 것
라이선스 (사용 허락 조건)
- Apache 2.0, MIT: 개인·회사·상업 용도 모두 자유롭게 쓸 수 있습니다. 예) Gemma 4, gpt-oss, Muse Glimmer, Qwen3.8-27B, DeepSeek V4.1, Granite, A.X K2
- 조건부 허용: 대부분 그냥 써도 되지만, 큰 서비스로 팔거나 사용자가 아주 많으면 별도 계약이나 표기가 필요합니다. 예) Kimi K3.1 Pro, GLM-5.3, Solar Open 2, kanana-2
- 상업 금지: 연구·교육용으로만 쓸 수 있습니다. 예) EXAONE 4.5 33B
개인 공부나 기관 내부 업무라면 대부분 문제없습니다. 서비스로 만들어 팔 계획이라면 모델 페이지의 LICENSE 원문을 꼭 확인하세요.
기관에서 중국산 모델을 쓸 때
모델 파일을 내 컴퓨터나 미국 클라우드에서 돌리면 데이터가 중국으로 가지는 않습니다. 다만 정치적으로 민감한 주제에서 답이 치우칠 수 있고, 일부 기관이나 거래처는 중국산 AI 사용을 제한하는 규정을 두고 있습니다. 기관에서 쓴다면 내부 정책을 먼저 확인하고, 필요하면 미국·유럽·한국산 Apache 2.0 모델(Gemma 4, gpt-oss, Muse Glimmer, Granite, A.X K2 등)을 고르세요.
출처가 불분명한 변형 모델 주의
오픈 모델은 누구나 고쳐서 다시 올릴 수 있습니다. “uncensored(검열 해제)” 같은 이름의 변형 모델은 안전장치를 일부러 뺀 것이 많으니, 처음에는 공식 개발사가 올린 모델이나 LM Studio·Ollama가 기본으로 보여 주는 모델을 쓰세요.
틀린 답(환각)
작은 모델일수록 그럴듯한 거짓말을 더 자주 합니다. 날짜, 숫자, 인용, 성경 구절처럼 정확해야 하는 내용은 반드시 원문과 대조하세요.
10. 정리
- 오픈 웨이트 AI = 내려받아 내 컴퓨터에서 돌리는 AI입니다. 개인정보를 지키고 인터넷 없이 쓸 수 있는 것이 가장 큰 장점입니다.
- 성능 1등은 Kimi, DeepSeek, GLM 같은 중국 대형 모델이지만, 너무 커서 집에서는 클라우드로 써야 합니다.
- 집에서는 Gemma 4, Qwen3.5·3.8, gpt-oss-20b, Muse Glimmer 30B가 현실적인 선택입니다.
- 메모리 16GB면 입문, 32GB면 실용, 64GB 이상이면 넉넉합니다. 계산법은 “모델 크기(B) × 0.6GB + 여유”입니다.
- 처음이라면 LM Studio로 Gemma 4를 내려받아 10분 만에 시작해 보세요.
용어 정리
| 용어 | 뜻 |
| LLM | 대규모 언어 모델. ChatGPT 같은 대화형 AI의 두뇌 |
| 오픈 웨이트 | AI의 가중치(두뇌 파일)를 공개한 모델 |
| B (Billion) | 10억. 8B = 80억 개의 가중치 |
| 양자화 (Q4, Q8) | 모델 파일을 압축해 크기를 줄이는 방법. Q4가 더 작고, Q8이 품질이 조금 더 좋음 |
| GGUF | LM Studio·Ollama가 쓰는 압축 모델 파일 형식 |
| VRAM | 그래픽카드의 메모리 |
| 통합 메모리 | 맥에서 CPU와 그래픽이 함께 쓰는 메모리 |
| MoE | 전문가 혼합. 큰 모델 중 일부만 일해서 빠른 구조 |
| 토큰 | AI가 글을 처리하는 단위. 한글 한두 글자 정도 |
| 환각 | AI가 사실이 아닌 내용을 그럴듯하게 말하는 현상 |
| 라이선스 | 모델을 어디까지 써도 되는지 정한 허락 조건 |
참고한 곳 (2026년 11월 15일 확인)
- 오픈 모델 종합 순위: Artificial Analysis — Open Weights Models
- 사용자 투표 순위: Arena Leaderboard
- 모델 공식 페이지: Hugging Face (Gemma 4, Qwen3.8, gpt-oss, Kimi K3.1 Pro, A.X K2 등 각 모델 카드)
- 압축 크기 기준: llama.cpp quantize 문서
- 프로그램: LM Studio, Ollama, Open WebUI, Jan
- 클라우드 가격: OpenRouter, Groq, Together AI
