MoonshotAI/Kimi-K3 딥다이브
— 총 2.8조 파라미터를 오픈 웨이트로 푼 멀티모달 에이전트 모델

1프로젝트 한 줄 요약

먼저 이름부터 풀자. Kimi는 Moonshot AI가 만든 AI 어시스턴트 브랜드(우리로 치면 ChatGPT 같은 제품명)이고, K3는 그 밑에서 도는 3세대 기반 모델이다. 계보는 K2 → K2.5 → K3로 이어진다. 이번 K3의 새로움은 두 단어로 요약된다 — 더 크게(2.8조), 더 싸게(효율 2.5배).

규모를 감으로 잡아 보자. 보통 우리가 아는 오픈 모델(Llama 70B 등)은 파라미터가 수백억(B) 단위다. Kimi-K3는 총 2조 8천억 개다. 그런데 이 숫자를 그대로 "매번 2.8조 개를 계산한다"고 읽으면 안 된다. 핵심은 MoE(Mixture-of-Experts)라는 구조에 있다.

이 병원에는 특별한 점이 하나 더 있다. 글자만 읽는 게 아니라 사진과 영상도 본다. Kimi-K3는 자체 눈(비전 인코더 MoonViT-V2)을 달고 태어나서, 문서 스캔·차트·비디오 프레임을 텍스트와 같은 통로로 이해한다. 그리고 한 번에 기억할 수 있는 분량이 100만 토큰(책 여러 권 분량)이라, 긴 코드베이스 전체나 장시간 에이전트 작업 로그를 통째로 머릿속에 올려놓고 일할 수 있다.

2왜 지금 주목받는가

① "오픈으로 프론티어를 건드렸다"는 포지셔닝

기술보고서의 태도가 이례적으로 솔직하다. Kimi-K3는 스스로 최정상 상용 모델인 Claude Fable 5, GPT-5.6 Sol에는 종합적으로 뒤진다고 못 박는다. 대신 그 두 개를 뺀 다른 모든 오픈·상용 모델(Claude Opus 4.8, GPT-5.5, GLM-5.2 등)은 일관되게 능가한다고 주장한다.

② 벤치마크 숫자가 실제로 세다

보고서가 내세운 대표 점수들이다(Kimi K3 max 설정 기준). 특히 코딩·에이전트·검색 계열에서 강하다.

③ 진짜 혁신은 "효율"에 있다 — 새 어텐션 KDA

스케일만 키운 게 아니다. 보고서는 K2 대비 전체 스케일링 효율을 약 2.5배 개선했다고 주장하는데, 그 핵심에 KDA(Kimi Delta Attention)라는 새 어텐션이 있다. 뒤 §4에서 자세히 풀지만, 한 줄로 말하면 "긴 문맥을 처리할 때 계산량이 폭발하지 않도록 설계한 선형 계열 어텐션"이다. 트랜스포머의 고질병인 "길이가 늘면 비용이 제곱으로 증가"를 완화하는 시도다.

④ 1M 컨텍스트 + 네이티브 멀티모달을 한 번에

대부분의 오픈 모델은 이 둘 중 하나만 잘한다. Kimi-K3는 100만 토큰 컨텍스트와 이미지·비디오 이해를 하나의 모델에 담았다. 게다가 컨텍스트 확장 방식이 특이하다 — 위치 정보를 넣는 흔한 트릭(RoPE 재조정, YaRN)을 안 쓰고, 아예 위치 인코딩을 빼는 NoPE 레이어로 1M까지 늘렸다(§4-2 참조).

⑤ 배포까지 고려한 양자화 — MXFP4

2.8조짜리 모델을 누가 돌리나? Moonshot은 이걸 예상하고 학습 단계부터 4비트 양자화를 염두에 둔(QAT) 상태로 만들었다. 전문가 가중치를 MXFP4(4비트)로 표현해 서빙 메모리와 비용을 줄였다. "크게 만들되, 굴릴 수 있게"라는 실용적 균형이다.

3기술 스택 전체 지도 — 모델을 이루는 부품들

Kimi-K3는 웹 서비스가 아니라 신경망 한 덩어리다. 그래서 "기술 스택"을 코드 언어가 아니라 모델을 구성하는 부품으로 읽어야 한다. README의 Model Summary 표를 기준으로 정리하면 이렇다.

3-1. 전체 스펙 한눈에

3-2. 왜 어텐션을 두 종류나 섞었나

93개 레이어 중 69개는 KDA, 24개는 Gated MLA다. 왜 하나로 통일하지 않았을까? 각각 잘하는 게 다르기 때문이다.

KDA는 싸지만 멀리 못 보는 선형 어텐션이고, Gated MLA는 비싸지만 문맥 전체를 정밀하게 연결하는 어텐션이다. 값싼 KDA를 3개 깔고 정밀한 MLA를 1개 끼우기를 반복하면, 대부분의 계산은 싸게 하면서도 주기적으로 전역 정보를 섞을 수 있다. "동네 순찰차 3대 + 헬기 1대" 조합인 셈이다.

3-3. 눈(비전) 경로 — MoonViT-V2

이미지와 비디오는 MoonViT-V2(27레이어, 약 401M 파라미터)라는 별도 인코더가 먼저 처리한다. 특징은 이미지와 비디오가 파라미터를 완전히 공유한다는 점 — 비디오는 그냥 "시간축이 붙은 이미지"로 취급한다. 그리고 LLM에 넘기기 전에 2×2 pixel-shuffle로 다운샘플해 비주얼 토큰 수를 1/4로 줄인다. 그래야 최대 3584×3584 크기 이미지도 1M 컨텍스트 예산 안에 욱여넣을 수 있다.

4아키텍처 심화 분석 — 세 개의 새 이름을 풀다

Kimi-K3 기술보고서의 핵심 신규 요소는 크게 어텐션 쪽 3가지 + MoE 쪽 1가지다. 하나씩, 왜 필요했는지부터 풀어 본다.

4-1. KDA (Kimi Delta Attention) — 긴 문맥의 비용을 눕히다

KDA는 이 선형 어텐션 계열의 최신 변형(Moonshot의 이전 연구 "Kimi Linear"의 후속)이다. 이름의 Delta(Δ)는 상태를 통째로 갈아치우지 않고 "차이(변화분)만 반영해 갱신"하는 델타 규칙에서 왔다. 보고서가 강조하는 실무적 트릭 두 가지:

• Lower-bounded decay(하한이 있는 망각률) — 선형 어텐션은 과거 정보를 조금씩 잊는 decay 계수를 쓰는데, 이 값이 무한히 작아지면 수치가 불안정해진다. KDA는 각 키 채널의 망각률에 바닥(하한)을 깔아 학습을 안정화했다.
• 청크 단위 병렬 + 청크 간 재귀 — 시퀀스를 16토큰 타일로 잘라, 타일 안은 GPU가 좋아하는 밀집 행렬곱으로 병렬 처리하고, 타일 사이만 재귀로 잇는다. "순차적이라 느리다"는 선형 어텐션의 약점을 하드웨어 친화적으로 우회한 것.

이걸 실제로 빠르게 돌리려고 전용 커널 FlashKDA(Triton 레퍼런스 구현보다 대폭 빠름)와 학습·prefill·디코딩 각 단계용 최적화(KDA Context Parallelism, state-aware prefix caching)를 따로 만들었다.

4-2. Gated MLA + NoPE — 정밀 어텐션으로 1M을 여는 법

KDA가 값싼 다수라면, Gated MLA(24개 레이어)는 주기적으로 등장해 전역 상호작용을 보존하는 정밀 어텐션이다. MLA(Multi-head Latent Attention)는 어텐션의 키·값을 저차원 latent로 압축해 메모리(KV 캐시)를 줄이는 기법으로, 이미 DeepSeek 등이 쓴 계열이다. Kimi는 여기에 게이팅(gated)을 더했다.

더 흥미로운 건 위치 정보 처리다. 이 레이어들은 NoPE(No Positional Encoding)를 쓴다.

실제 확장 절차도 점진적이다 — 사전학습 중 8K → 64K로 늘리고, cooldown 단계에서 256K → 1M까지 밀어 올린다. 위치 인코딩을 손대지 않으니 이 확장이 매끄럽다.

4-3. AttnRes (Attention Residuals) — 깊이 방향의 지름길

앞의 두 개가 "옆(시퀀스) 방향" 연결이라면, AttnRes는 "위아래(깊이) 방향" 연결이다. 93층이나 쌓으면 아래층의 정보가 위층까지 도달하며 희석된다. AttnRes는 각 레이어가 학습된 pseudo-query로 이전 모든 레이어의 표현에 데이터 의존적으로 직접 접근하게 한다.

4-4. Stable LatentMoE — 896명을 안정적으로 굴리는 법

전문가를 896명까지 늘리면 새 문제가 생긴다. 극단적으로 희소한(sparse) 라우팅은 학습이 불안정하고, 특정 전문가에게 일이 몰리는 로드 불균형이 심해진다. Kimi-K3의 Stable LatentMoE는 이걸 세 가지로 잡는다.

4-5. 학습 인프라 — Per-Head Muon · MoonEP · 에이전틱 RL

모델 구조만큼 어떻게 학습시켰나도 이 보고서의 볼거리다.

• 옵티마이저: Per-Head Muon — 최근 주목받는 Muon 옵티마이저의 변형으로, 어텐션 헤드별로 적용하고 weight-clipping을 곁들였다.
• MoonEP(Expert Parallelism) — 896 전문가를 여러 GPU에 나눠 학습할 때의 통신 병목을 잡는 라이브러리. 정적 연산 shape, zero-copy 통신, 제한된 중복 전문가(bounded redundant experts)로 완벽 로드밸런스를 노린다. 별도 오픈소스(MoonshotAI/MoonEP)로도 공개돼 있고, 이 역시 지금 TrendShift 상위권에 함께 올라 있다.
• 메모리 효율 학습 — block-wise FP8 활성 양자화, cross-layer recomputation, AttnRes checkpointing.
• 에이전틱 RL — 100만 토큰·수천 번의 도구 호출로 이어지는 긴 궤적을 학습하려고, 재개 가능한(resumable) microVM 샌드박스로 모델+환경 상태를 통째로 보존한다. partial rollout, 외부 KV-cache 유지, adaptive throttling 같은 시스템 기법이 동원된다.

5디렉토리 구조 해부 — "코드 없는 레포"의 정체

이 저장소를 clone하면 초보자가 당황한다. 파이썬 코드도, config.json도, 가중치도 없다. 이건 실수가 아니라 요즘 대형 모델 배포의 전형적 형태다 — GitHub는 "모델 카드 + 논문 배포용 창구"로만 쓰고, 실제 무거운 가중치는 Hugging Face·ModelScope로 나른다.

그래서 이 딥다이브의 원천은 사실상 k3_tech_report.pdf 한 파일이다(추출 본문 약 5,451줄). 우리가 §4에서 푼 KDA·NoPE·AttnRes·Stable LatentMoE는 전부 이 PDF에서 나온다.

6학습 포인트 — 이 보고서에서 배울 6가지

① MoE의 스케일링 감각

총 파라미터와 활성 파라미터가 다르다는 것, 그리고 전문가 수·활성 전문가·공유 전문가가 각각 무슨 뜻인지가 이 모델에 다 들어 있다. Kimi-K3는 896/16/2라는 극단적 희소성으로 "MoE를 어디까지 밀 수 있나"의 실제 사례다.

② 선형 어텐션이 실전에 들어오는 순간

선형 어텐션은 오랫동안 "이론은 좋은데 실전 성능이 아쉽다"는 평가를 받았다. KDA는 순수 선형이 아니라 정밀 어텐션(MLA)과 3:1로 섞는 하이브리드로 이 약점을 우회한다. "왜 통일하지 않고 섞었나"를 이해하면 현대 롱컨텍스트 설계의 핵심 감각이 잡힌다.

③ 위치 인코딩을 "빼는" 발상

RoPE·YaRN에 익숙한 사람에게 NoPE는 반직관적이다. "순서 정보 없이 어떻게?"라는 질문을 스스로 던지고, 인과 마스크와 재귀 구조가 순서를 암묵적으로 담는다는 답을 이해하는 것 자체가 좋은 공부다.

④ 양자화를 "나중"이 아니라 "처음부터"

MXFP4 QAT는 "배포를 학습 설계에 반영한다"는 사고방식의 예다. 어떤 부품은 4비트로 줄이고 어떤 부품(라우터·어텐션 프로젝션)은 고정밀로 남기는 선택적 정밀도의 실전 기준을 볼 수 있다.

⑤ 멀티모달을 "붙이지" 않고 "태생부터"

MoonViT-V2가 이미지·비디오 파라미터를 공유하고 pixel-shuffle로 토큰을 줄이는 방식은, 비전을 사후에 접붙이는 게 아니라 처음부터 컨텍스트 예산 안에서 설계했음을 보여준다.

⑥ 시스템이 곧 성능이다

MoonEP(expert parallelism), FlashKDA 커널, resumable microVM RL — 이 보고서의 절반은 모델 구조가 아니라 그걸 굴리는 인프라 이야기다. 현대 프론티어 모델은 아이디어만으로 안 되고 학습·추론 시스템이 받쳐줘야 한다는 교훈.

7하드웨어 / 시스템 요구사항

결론부터: 개인 장비로는 사실상 불가능하다. 2.8조 MoE는 4비트로 압축해도 가중치만 수백 GB급이라, 데이터센터급 다중 GPU 노드가 필요하다. 보고서는 정확한 추론 VRAM/GPU 수를 명시하지 않았다(확인 불가).

사용 시 반드시 알아야 할 두 가지 (README 명시)

• Thinking이 항상 켜져 있다 — 응답에 reasoning_content(사고 과정)가 함께 온다. reasoning_effort 필드로 "low"/"high"/"max"(기본 max)를 조절한다.
• Preserved thinking history(사고 이력 보존) 모드 — 멀티턴·툴콜에서 API가 돌려준 assistant 메시지 전체(reasoning_content + tool_calls 포함)를 그대로 다시 messages에 넣어야 한다. 이걸 빼먹으면 에이전트가 자기 사고 맥락을 잃는다.

8직접 해볼 수 있는 실습 과제

9관련 기술 심화 학습 로드맵

1주차 — 트랜스포머와 어텐션의 기본

모든 것의 출발점. Attention is All You Need(2017)를 읽고, 왜 어텐션 비용이 N²인지를 손으로 유도해 본다. Q·K·V가 무엇이고 멀티헤드가 왜 필요한지가 흔들림 없이 잡혀야 KDA·MLA가 이해된다.

2주차 — MoE의 계보

Shazeer의 Sparsely-Gated MoE(2017) → Switch Transformer → DeepSeek-MoE로 이어지는 흐름을 훑는다. 공유 전문가·라우팅·로드밸런싱 로스 개념이 Kimi의 Stable LatentMoE로 어떻게 발전했는지 대조하면 좋다.

3주차 — 선형 어텐션과 상태공간 모델

Linear Attention, RetNet, Mamba(SSM), 그리고 Moonshot의 Kimi Linear를 본다. "재귀 상태로 어텐션을 근사한다"는 공통 아이디어와, 델타 규칙(DeltaNet) 계열이 KDA의 직계 조상임을 확인한다.

4주차 — 롱컨텍스트와 위치 인코딩

RoPE → YaRN → NoPE로 이어지는 위치 인코딩 논쟁을 따라간다. "위치 신호를 넣을까 뺄까"가 왜 1M 컨텍스트의 핵심 쟁점인지, 그리고 Kimi가 왜 빼는 쪽을 택했는지를 스스로 판단해 본다.

5주차 — 양자화와 추론 시스템

FP8·MXFP4 같은 저정밀 포맷, QAT vs. PTQ, 그리고 vLLM·SGLang의 서빙 구조(paged attention, KV 캐시 관리)를 본다. "모델을 어떻게 굴리나"가 성능의 절반이라는 §6-⑥의 교훈을 실물로 확인하는 단계.

6주차 — 에이전틱 RL과 도구 사용

긴 궤적 위에서 도구를 쓰며 학습하는 에이전틱 RL이 최전선이다. partial rollout, resumable sandbox, on-policy distillation 같은 Kimi의 시스템 기법을 최근 에이전트 RL 논문들과 나란히 놓고 읽으면, "왜 microVM까지 동원하나"가 납득된다.

10핵심 키워드 사전

11참고 링크