|

오픈 웨이트 AI, 내 컴퓨터에서 — 2026년 추천 모델과 필요한 사양

2026년 11월 중순 기준으로 정리한 글입니다. AI 모델은 몇 주 단위로 새 버전이 나오고 순위와 가격도 자주 바뀝니다. 직접 쓰기 전에 각 모델 페이지에서 최신 정보를 한 번 더 확인하세요.

한 줄 요약
오픈 웨이트 AI는 “내려받아 내 컴퓨터에서 돌릴 수 있는 AI”입니다. 성능 1등은 거대한 중국 모델들이 차지하고 있지만, 집에서 현실적으로 쓸 만한 것은 30B(300억 개) 이하 모델입니다. 메모리 16GB면 입문, 32GB면 꽤 쓸 만한 수준입니다.


1. 오픈 웨이트(Open-Weight)가 뭔가요?

ChatGPT, Claude, Gemini 같은 서비스는 회사 서버에서 돌아가는 AI를 인터넷으로 빌려 쓰는 방식입니다. 우리는 질문을 보내고 답만 받습니다. AI의 “두뇌”는 회사 안에 있습니다.

오픈 웨이트 모델은 그 두뇌 파일을 인터넷에 공개한 AI입니다. 누구나 내려받아 내 컴퓨터에서 돌릴 수 있습니다.

비유하면 이렇습니다.

구분 비유 예
비공개(클로즈드) AI 맛집에 가서 음식을 사 먹기. 맛은 좋지만 조리법은 모름 ChatGPT, Claude, Gemini
오픈 웨이트 AI 완성된 음식을 통째로 포장해 와서 내 집 냉장고에 넣어 두기. 언제든 꺼내 먹을 수 있지만, 어떻게 만들었는지는 다 알 수 없음 Gemma, Qwen, DeepSeek, gpt-oss
오픈소스 AI 조리법과 재료 목록까지 모두 공개 아직 드묾

💡 “웨이트(weight)”란? AI가 학습하면서 얻은 수십억 개의 숫자(가중치)입니다. 이 숫자들이 곧 AI의 지식과 실력입니다. 오픈 웨이트는 이 숫자 파일을 공개했다는 뜻이고, 학습에 쓴 데이터나 방법까지 공개한 것은 아닙니다. 그래서 “오픈소스”와는 조금 다릅니다.


2. 왜 굳이 내 컴퓨터에서 돌리나요?

장점 단점
개인정보 보호: 대화와 문서가 내 컴퓨터 밖으로 나가지 않음 최고 성능은 아직 비공개 AI가 앞섬
인터넷 없이 사용 가능 성능 좋은 모델일수록 비싼 컴퓨터가 필요
사용료 없음 (전기료만) 설치와 설정을 직접 해야 함
회사·기관 내부 문서 작업에 안심 작은 모델은 틀린 답(환각)이 더 많음
원하는 대로 고치고 실험 가능 최신 정보 검색은 별도로 연결해야 함

정리하면, 오픈 웨이트는 “최고 성능”보다 “내 손 안의 AI“가 필요할 때 빛납니다. 교회 행정 문서, 상담 기록 정리, 회사 기밀 초안처럼 밖으로 보내기 곤란한 자료를 다룰 때 특히 쓸모가 있습니다.


3. 2026년 11월, 주요 모델 한눈에 보기

모델 이름 뒤의 숫자 “B”는 Billion(10억)입니다. 8B는 80억 개의 숫자로 된 모델이고, 숫자가 클수록 똑똑하지만 무겁습니다.

미국·유럽

개발사 최신 오픈 모델 크기 라이선스 한 줄 특징
Google Gemma 4 2B급~31B Apache 2.0 (자유) 작은 기기용 강자. 이미지·소리도 이해
Meta Muse Glimmer 30B 30B Apache 2.0 (자유) Llama 대신 새 이름 “Muse”로 공개
OpenAI gpt-oss-20b / 120b 21B / 117B Apache 2.0 (자유) 2025년 8월 공개. 로컬 입문용 표준
Mistral (프랑스) Mistral Small 4, Ministral 3 3B~119B Apache 2.0 (자유) 다국어, 유럽산
IBM Granite 4.2 3B / 8B / 30B Apache 2.0 (자유) 기업용, 한국어 테스트 포함
NVIDIA Nemotron 3.5 30B~550B 오픈 모델 라이선스 속도와 효율 중심

중국

개발사 최신 오픈 모델 크기 라이선스 한 줄 특징
Moonshot Kimi K3.1 Pro 2.8T (2조 8천억) 조건부 상업 허용 현재 오픈 모델 종합 1위
DeepSeek DeepSeek V4.1 Flash 수백B MIT (자유) 코딩·에이전트 강자, 저렴한 API
Z.ai GLM-5.3 / GLM-5.3-Flash 320B~753B 조건부 / MIT 코딩, 이미지 이해
Alibaba Qwen3.8-27B, Qwen3.5, Qwen3.6 0.8B~2.4T 27B 이하는 Apache 2.0 집에서 돌리는 모델로 가장 인기
Xiaomi MiMo-V2.6-Pro 1T MIT (자유) 종합 상위권

한국

개발사 최신 오픈 모델 크기 라이선스 한 줄 특징
SK텔레콤 A.X K2 688B Apache 2.0 (자유) 한국어 시험(KMMLU-Pro) 최상위권 (자체 발표)
업스테이지 Solar Open 2 250B Solar 라이선스 한·영·일 문서 업무
LG AI연구원 K-EXAONE 2.0 750B Apache 2.0 (자유) 국내 최대 규모
카카오 kanana-2 3B / 30B 조건부 (“Powered by Kanana” 표기) 한국어 소형 모델

⚠️ 한국 대형 모델 3종(A.X K2, Solar Open 2, K-EXAONE 2.0)은 정부 ‘독자 AI 파운데이션 모델’ 사업의 3단계에 오른 모델입니다. 다만 모두 수백B 규모라서 개인 컴퓨터로 돌리기는 어렵고, 클라우드 서비스로 쓰는 것이 현실적입니다.


4. 분야별로 앞서가는 모델

분야 앞서가는 모델 집에서 돌릴 만한 대안
종합 (대화·추론) Kimi K3.1 Pro Qwen3.8-27B, Muse Glimmer 30B
코딩 DeepSeek V4.1 Flash, Kimi K3.1 Pro Qwen3.6-35B-A3B, Qwen3.8-27B
수학·어려운 추론 Kimi, DeepSeek, GLM이 비슷한 수준 Phi-4-reasoning-vision-15B
이미지 이해 GLM-5.3-Flash, Gemma 4 31B Gemma 4 12B, Qwen3.8-27B
작은 기기 (8B 이하) Gemma 4 E2B·E4B, Qwen3.5 (0.8B~9B) Granite 4.2 8B, Ministral 3
한국어 A.X K2, Solar Open 2, K-EXAONE 2.0 Qwen3.8-27B, Gemma 4, kanana-2
에이전트 (도구 사용) DeepSeek V4.1 Flash, Kimi K3.1 Pro Qwen3.6·3.8, gpt-oss-20b

근거는 독립 평가 사이트인 Artificial Analysis와 Arena(구 LMArena)의 2026년 11월 순위, 그리고 각 개발사의 발표 자료입니다. 다만 몇 가지는 감안하고 보세요.

  • 오픈 모델 1등도 비공개 최상위 모델보다는 아직 한참 뒤입니다. Artificial Analysis 종합 점수로 약 20점 차이가 납니다.
  • 개발사가 직접 낸 성적표는 자기에게 유리한 시험을 고르는 경향이 있습니다.
  • 작은 모델과 한국어 실력은 믿을 만한 독립 순위가 아직 부족합니다. 직접 몇 가지 질문을 해 보고 고르는 것이 가장 정확합니다.

5. 내 컴퓨터에서 돌리려면 사양이 얼마나 필요할까?

핵심은 “메모리”

AI 모델은 돌아가는 동안 통째로 메모리에 올라가 있어야 합니다. 그래서 CPU 속도보다 메모리 크기가 훨씬 중요합니다.

  • NVIDIA 그래픽카드가 있는 PC: 그래픽카드 메모리(VRAM)가 중요합니다.
  • 맥(Apple Silicon): 본체 메모리(RAM)를 CPU와 그래픽이 함께 씁니다. 그래서 RAM이 클수록 큰 모델을 돌릴 수 있습니다. 단, 그래픽 쪽에 기본으로 쓸 수 있는 몫은 전체의 약 65~75% 정도입니다.

쉬운 계산법: “압축”하면 크기가 줄어든다

모델 파일은 보통 양자화(Quantization)라는 압축을 해서 씁니다. 사진을 JPG로 줄이듯이 정밀도를 조금 낮춰 크기를 줄이는 방식입니다.

  • Q4 (4비트 압축): 가장 많이 씁니다. 필요한 메모리 ≈ 모델 크기(B) × 0.6GB
  • Q8 (8비트 압축): 품질이 조금 더 좋습니다. 필요한 메모리 ≈ 모델 크기(B) × 1.07GB
  • 여기에 대화 길이에 따라 1~3GB 이상의 여유가 더 필요합니다.

예) 8B 모델을 Q4로 쓰면 8 × 0.6 = 약 5GB에 여유분을 더해 6~7GB가 필요합니다.

크기별로 필요한 메모리

모델 크기 예시 모델 Q4 기준 이런 컴퓨터면 OK
4B Gemma 4 E4B, Qwen3.5-4B 약 3GB RAM 8GB 노트북, 대부분의 맥
8~9B Granite 4.2 8B, Qwen3.5-9B 약 5~6GB RTX 4060 (8GB), 맥 16GB
12~15B Gemma 4 12B, Phi-4 15B 약 8~9GB 그래픽카드 12~16GB, 맥 16~24GB
27~32B Qwen3.8-27B, Gemma 4 31B, Muse Glimmer 30B 약 17~22GB RTX 4090 (24GB) / 5090 (32GB), 맥 32GB 이상
30B급 MoE Qwen3.6-35B-A3B, Gemma 4 26B-A4B 약 16~21GB 그래픽카드 24GB 또는 맥 32GB
20B MoE gpt-oss-20b 약 16GB 16GB 그래픽카드·맥 (OpenAI 안내)
70B (구형 70B급 모델들) 약 43~46GB 맥 64GB 이상, 그래픽카드 2장
120B MoE gpt-oss-120b 약 60~80GB 맥 96~128GB
수백B 이상 Kimi, DeepSeek, A.X K2 등 수백GB 개인용 아님. 클라우드로 사용

💡 MoE(Mixture of Experts, 전문가 혼합)란? 큰 모델 안에 여러 “전문가”가 들어 있고, 질문마다 일부 전문가만 일하는 구조입니다. 이름의 “35B-A3B”는 전체 350억 개 중 30억 개만 일한다는 뜻입니다. 메모리는 전체 크기만큼 필요하지만, 속도는 작은 모델처럼 빠릅니다. 그래서 집에서 쓰기에 인기가 많습니다.

속도는 어느 정도일까?

글자가 화면에 나오는 속도는 “초당 토큰 수(tok/s)”로 잽니다. 한글 기준으로 초당 10토큰이면 사람이 읽기에 답답하지 않은 정도입니다. 아래는 사용자들이 보고한 대략의 수치로, 조건에 따라 차이가 큽니다.

  • RTX 4090 + Qwen3.8-27B (Q4): 초당 약 38~49토큰
  • 맥 M4 Max + 7B급 모델: 초당 약 70~83토큰
  • 맥 M1 + 7B급 모델: 초당 약 14토큰
  • 그래픽카드 없이 CPU만 쓰는 PC + 8B 모델: 초당 약 5~10토큰 (계산으로 추정한 값). MoE 모델은 CPU만으로도 비교적 쓸 만합니다.

6. 내 컴퓨터에 맞는 추천 조합

내 컴퓨터 먼저 써 볼 모델 기대할 수 있는 것
RAM 8GB 노트북 / 맥 8GB Gemma 4 E4B, Qwen3.5-4B 간단한 요약, 번역, 문장 다듬기
맥 16GB / RTX 4060 8GB Qwen3.5-9B, Granite 4.2 8B, Gemma 4 E4B 일상 질문, 이메일 초안, 간단한 코딩
맥 32GB / RTX 4090 24GB Qwen3.8-27B, Gemma 4 31B, Qwen3.6-35B-A3B, gpt-oss-20b 웬만한 업무 보조, 코딩, 이미지 이해
맥 64GB 이상 위 모델들을 Q8로 + 긴 문서 긴 보고서 분석, 여러 문서 비교
맥 128GB 이상 gpt-oss-120b, Nemotron 3.5 Super 대형 모델 체험

💡 처음이라면 16GB 이상 맥이나 8GB 이상 그래픽카드 PC에서 Gemma 4 또는 Qwen3.5로 시작해 보세요. 둘 다 무료로 자유롭게 쓸 수 있는 라이선스이고 설치도 쉽습니다.


7. 어떤 프로그램으로 돌리나요?

모델 파일만으로는 쓸 수 없고, 모델을 불러와 대화창을 띄워 주는 프로그램이 필요합니다.

프로그램 운영체제 난이도 특징
LM Studio 맥(Apple Silicon), 윈도우, 리눅스 ★ 가장 쉬움 앱 안에서 모델을 검색하고 클릭 한 번으로 내려받아 대화. 회사 업무용으로도 무료
Ollama 맥, 윈도우, 리눅스 ★★ 쉬움 데스크톱 앱 + 명령어 한 줄 실행. 가장 널리 쓰임
Jan 맥 중심 ★★ 쉬움 ChatGPT처럼 생긴 오픈소스 앱
Open WebUI 브라우저 (Ollama와 연결) ★★★ 보통 ChatGPT 같은 웹 화면, 문서 검색 기능
llama.cpp 모든 운영체제 ★★★★ 어려움 대부분 프로그램의 엔진. 명령어로 사용
MLX 맥 전용 ★★★★ 어려움 Apple이 만든 도구. LM Studio 안에서 쉽게 쓸 수 있음

⚠️ 예전에 많이 쓰던 GPT4All은 2025년 초 이후 업데이트가 거의 없어서, 새로 시작한다면 추천하지 않습니다.

따라 하기 ① LM Studio (가장 쉬운 방법)

  1. lmstudio.ai에서 내 운영체제용 앱을 내려받아 설치합니다.
  2. 앱을 열고 왼쪽의 검색(돋보기) 메뉴에서 “gemma 4” 또는 “qwen3.5″를 검색합니다.
  3. 내 메모리에 맞는 크기(예: 4B 또는 9B)와 “Q4_K_M” 버전을 골라 내려받습니다. LM Studio가 내 컴퓨터에서 돌아갈지 표시해 줍니다.
  4. 대화 메뉴로 가서 위쪽에서 모델을 고르고 질문을 입력합니다.
  5. 인터넷을 끄고 다시 질문해 보세요. 그래도 답한다면 성공입니다.

따라 하기 ② Ollama (명령어 한 줄)

  1. ollama.com에서 앱을 설치합니다.
  2. 터미널(맥) 또는 명령 프롬프트(윈도우)를 열고 아래 한 줄을 입력합니다.
  1. 처음 한 번은 모델을 내려받느라 몇 분 걸립니다. 그다음부터는 바로 대화할 수 있습니다.
  2. 대화를 끝내려면 /bye를 입력합니다.

8. 컴퓨터가 부족하다면: 클라우드로 오픈 모델 쓰기

큰 모델(Kimi, DeepSeek, 한국 대형 모델 등)은 집에서 돌리기 어렵습니다. 대신 오픈 모델을 대신 돌려 주는 서비스를 이용하면 저렴하게 쓸 수 있습니다. 가격은 100만 토큰(한글로 대략 수십만 자)당 미국 달러 기준입니다.

서비스 특징 가격 예 (입력/출력, 100만 토큰당)
OpenRouter 여러 회사 모델을 한 계정으로. 무료 모델도 있음 각 회사 가격 그대로 (크레딧 구매 시 수수료 5.5%)
Hugging Face 모델 공개 사이트 겸 서비스 연결 각 회사 가격 그대로
Groq 매우 빠른 속도 gpt-oss-120b $0.15 / $0.60
Together AI 다양한 대형 모델 DeepSeek V4.1 Flash $0.30 / $1.20, Kimi K3.1 Pro $2 / $10

🔒 데이터는 어디로 가나요? 중국 개발사의 공식 앱이나 API를 쓰면 대화 내용이 중국 서버로 갈 수 있습니다. 같은 모델이라도 미국 회사(Together, Groq 등)를 통해 쓰거나 내 컴퓨터에서 돌리면 그런 걱정이 줄어듭니다.


9. 쓰기 전에 꼭 알아둘 것

라이선스 (사용 허락 조건)

  • Apache 2.0, MIT: 개인·회사·상업 용도 모두 자유롭게 쓸 수 있습니다. 예) Gemma 4, gpt-oss, Muse Glimmer, Qwen3.8-27B, DeepSeek V4.1, Granite, A.X K2
  • 조건부 허용: 대부분 그냥 써도 되지만, 큰 서비스로 팔거나 사용자가 아주 많으면 별도 계약이나 표기가 필요합니다. 예) Kimi K3.1 Pro, GLM-5.3, Solar Open 2, kanana-2
  • 상업 금지: 연구·교육용으로만 쓸 수 있습니다. 예) EXAONE 4.5 33B

개인 공부나 기관 내부 업무라면 대부분 문제없습니다. 서비스로 만들어 팔 계획이라면 모델 페이지의 LICENSE 원문을 꼭 확인하세요.

기관에서 중국산 모델을 쓸 때

모델 파일을 내 컴퓨터나 미국 클라우드에서 돌리면 데이터가 중국으로 가지는 않습니다. 다만 정치적으로 민감한 주제에서 답이 치우칠 수 있고, 일부 기관이나 거래처는 중국산 AI 사용을 제한하는 규정을 두고 있습니다. 기관에서 쓴다면 내부 정책을 먼저 확인하고, 필요하면 미국·유럽·한국산 Apache 2.0 모델(Gemma 4, gpt-oss, Muse Glimmer, Granite, A.X K2 등)을 고르세요.

출처가 불분명한 변형 모델 주의

오픈 모델은 누구나 고쳐서 다시 올릴 수 있습니다. “uncensored(검열 해제)” 같은 이름의 변형 모델은 안전장치를 일부러 뺀 것이 많으니, 처음에는 공식 개발사가 올린 모델이나 LM Studio·Ollama가 기본으로 보여 주는 모델을 쓰세요.

틀린 답(환각)

작은 모델일수록 그럴듯한 거짓말을 더 자주 합니다. 날짜, 숫자, 인용, 성경 구절처럼 정확해야 하는 내용은 반드시 원문과 대조하세요.


10. 정리

  1. 오픈 웨이트 AI = 내려받아 내 컴퓨터에서 돌리는 AI입니다. 개인정보를 지키고 인터넷 없이 쓸 수 있는 것이 가장 큰 장점입니다.
  2. 성능 1등은 Kimi, DeepSeek, GLM 같은 중국 대형 모델이지만, 너무 커서 집에서는 클라우드로 써야 합니다.
  3. 집에서는 Gemma 4, Qwen3.5·3.8, gpt-oss-20b, Muse Glimmer 30B가 현실적인 선택입니다.
  4. 메모리 16GB면 입문, 32GB면 실용, 64GB 이상이면 넉넉합니다. 계산법은 “모델 크기(B) × 0.6GB + 여유”입니다.
  5. 처음이라면 LM Studio로 Gemma 4를 내려받아 10분 만에 시작해 보세요.

용어 정리

용어 뜻
LLM 대규모 언어 모델. ChatGPT 같은 대화형 AI의 두뇌
오픈 웨이트 AI의 가중치(두뇌 파일)를 공개한 모델
B (Billion) 10억. 8B = 80억 개의 가중치
양자화 (Q4, Q8) 모델 파일을 압축해 크기를 줄이는 방법. Q4가 더 작고, Q8이 품질이 조금 더 좋음
GGUF LM Studio·Ollama가 쓰는 압축 모델 파일 형식
VRAM 그래픽카드의 메모리
통합 메모리 맥에서 CPU와 그래픽이 함께 쓰는 메모리
MoE 전문가 혼합. 큰 모델 중 일부만 일해서 빠른 구조
토큰 AI가 글을 처리하는 단위. 한글 한두 글자 정도
환각 AI가 사실이 아닌 내용을 그럴듯하게 말하는 현상
라이선스 모델을 어디까지 써도 되는지 정한 허락 조건

참고한 곳 (2026년 11월 15일 확인)

Similar Posts