Foundations-of-LLMs 딥다이브
— 코드가 한 줄도 없는데 별 1만 7천 개를 받은 저장소, 《대모형 기초》

1프로젝트 한 줄 요약

저장소 한 줄 — 저장대학교(浙江大学, Zhejiang University) LLM 연구팀이 쓴 중국어 교재 《大模型基础》(대모형 기초)의 PDF와 부속 자료를 GitHub에 통째로 공개한 저장소다. 저자 팀은 매 장마다 Paper List를 붙여 "이 절을 더 파고들려면 이 논문들"을 지정해 두었다.

구성은 딱 네 덩어리다.

책이 다루는 여섯 장

1. 언어 모델 기초 — n-gram 통계 모델 → RNN → Transformer, 그리고 샘플링 기법과 평가
2. 대규모 언어 모델 아키텍처 — Encoder-only / Encoder-Decoder / Decoder-only, 그리고 비(非)Transformer 계열
3. Prompt 공학 — 문맥 내 학습(ICL), 생각의 사슬(CoT), 실무 프롬프트 기법
4. 파라미터 효율 미세조정(PEFT) — 파라미터 추가법 / 선택법 / 저차원 적응(LoRA 계열)
5. 모델 편집(Model Editing) — 재학습 없이 모델 안의 특정 사실 하나만 고치기 (T-Patcher, ROME)
6. 검색 증강 생성(RAG) — 검색기·생성기 구조, 지식 검색, 생성 증강

목차만 보면 흔한 구성 같지만, 5장 "모델 편집"이 통째로 한 장을 차지하는 입문 교재는 드물다. 대부분의 LLM 입문서는 사전학습 → 미세조정 → RAG로 끝난다. 이 책이 왜 그 장을 넣었는지는 4장에서 다시 다룬다.

2왜 지금 주목받는가

① 트렌딩 목록의 나머지가 전부 도구일 때, 혼자 교과서다

이 저장소가 오른 날의 TrendShift Daily 상위권을 보면 macOS 메뉴바 도구, 코딩 에이전트, 스킬 모음, UI 카탈로그다. 전부 "오늘 당장 설치해서 쓰는 것"이다. 그 사이에서 290쪽짜리 PDF가 7위에 오르는 현상은, 도구 피로(tool fatigue)의 반작용으로 읽는 게 자연스럽다. 에이전트를 백 개 붙여 봐도 어텐션이 뭔지·LoRA가 왜 싸게 먹히는지를 모르면 남의 설정을 복사하는 데서 멈춘다.

② 논문 목록이 "정리"가 아니라 "배치"다

Awesome 계열 큐레이션 저장소의 고질병은 논문이 그냥 쌓여 있다는 것이다. 링크 500개를 주면서 어디부터 읽으라는 말이 없다. 이 저장소의 大模型经典论文列表는 다르다. 논문 202편이 책의 절 번호에 그대로 매달려 있다.

이 분포 자체가 정보다. 저자 팀은 4장(PEFT)과 6장(RAG)에 가장 많은 논문을 걸었다 — 곧 "현업에서 실제로 손대는 지점이 여기"라는 뜻이다. 반대로 2장이 5편뿐인 건, 아키텍처는 개별 논문보다 책 본문의 정리가 더 낫다고 판단했다는 신호로 읽힌다.

③ 여섯 마리 동물 — 설명 장치가 책 전체를 관통한다

표지에 동물 여섯 마리가 그려진 이유가 있다. 각 장이 동물 한 마리를 예시 소재로 끝까지 밀고 간다. PDF에서 뽑아낸 실제 예문을 보면 이렇다.

④ 그러나 냉정하게 — 새 저장소가 아니다

2024년 6월에 만들어져 2025년 초에 완성된 물건이다. 지금 트렌딩에 뜬 것은 신규 공개가 아니라 재발견이다. 이런 재트렌딩은 보통 중국 SNS나 커뮤니티에서 다시 회자되거나, 저자 팀이 README 상단에 걸어 둔 새 프로젝트(Agent-Kernel) 홍보가 유입을 만들었을 때 일어난다. 별 개수를 "지금 뜨거운 기술"의 지표로 읽으면 곤란하고, "검증 기간을 이미 통과한 자료"로 읽는 게 맞다.

3기술 스택 전체 지도

이 저장소에는 실행 스택이 없다. 그래서 "기술 스택"을 두 층으로 나눠 봐야 의미가 있다.

3-1. 저장소 자체의 제작 스택 (얇다)

3-2. 책이 가르치는 기술 스택 (두껍다)

이쪽이 본체다. 여섯 장이 다루는 기술을 한 장으로 펼치면 이렇다.

이 그림이 이 책의 진짜 뼈대다. 3·4·5·6장은 병렬 나열이 아니라 같은 문제에 대한 네 가지 개입 지점이다 — 입력만 바꿀 것인가(3장), 가중치 일부를 학습할 것인가(4장), 특정 뉴런을 직접 수술할 것인가(5장), 아예 밖에서 가져올 것인가(6장). 비용과 되돌리기 난이도가 왼쪽에서 오른쪽으로 갈수록 달라진다.

4아키텍처 심화 분석 — 책의 지식 구조

290쪽을 다 요약할 수는 없다. 대신 다른 입문서에서는 잘 안 다루는데 이 책은 한 장을 통째로 쓴 것, 그리고 실무에서 바로 판단이 갈리는 것 세 가지를 골랐다.

4-1. 4장 PEFT — 세 갈래 분류가 핵심이다

파라미터 효율 미세조정(PEFT)을 다루는 자료는 많지만 대개 "LoRA 쓰면 된다"로 끝난다. 이 책은 논문 56편을 붙여 가며 세 계열로 갈라 놓는다.

4-2. 5장 모델 편집 — 이 책이 특별한 이유

"모델이 틀린 사실 하나를 말한다. 재학습은 며칠 걸리고 수천만 원이 든다. 그 한 줄만 고칠 수는 없나?" — 이게 모델 편집이다. 저장대 팀은 이 분야(EasyEdit 등)의 주요 연구 그룹이라 자기 전공을 책에 넣은 셈이다.

책은 얼룩말 예시로 요건 네 가지를 세운다. 원래 모델은 "얼룩말의 피부색은?"에 "검은 줄무늬 피부"라고 틀리게 답한다(정답: 피부는 검은색, 줄무늬는 털). 이걸 고친 뒤 무엇을 확인해야 하는가.

책이 정리한 방법 계보는 이렇다.

4-3. 2장 — Encoder / Decoder를 "사전학습 과제"로 구분한다

흔한 설명은 "BERT는 양방향, GPT는 단방향"에서 멈춘다. 이 책은 각 구조가 무엇을 맞히도록 훈련되는가로 구분한다. 카피바라 한 문장이 여기서 계속 재활용된다.

이 배치의 교육적 장점은 "왜 GPT 계열이 이겼는가"가 그림에서 저절로 읽힌다는 데 있다. Encoder 계열은 과제를 사람이 설계해야 하고 그 과제에 맞는 헤드를 따로 붙여야 한다. Decoder 계열은 과제가 하나(다음 토큰)뿐이라 데이터만 부으면 되고, 정렬 단계에서 사람 선호를 붙여 만능 인터페이스가 된다.

2장 끝에는 비Transformer 아키텍처도 들어 있다 — RWKV 계열의 시간 혼합(time-mixing)·채널 혼합(channel-mixing) 모듈, 그리고 회전 위치 인코딩(RoPE) 같은 것들이다. 입문서가 여기까지 다루는 경우는 흔치 않다.

5디렉토리 구조 해부

어디부터 열어야 하는가

# 리눅스 / macOS
git clone --depth 1 https://github.com/ZJU-LLMs/Foundations-of-LLMs.git
cd Foundations-of-LLMs
ln -s "《大模型基础》教材/《大模型基础》分章节内容" chapters
ln -s "大模型经典论文列表" papers
ls chapters/

Arxiv 주간 리포트 — 형식이 참고할 만하다

60편의 해설이 전부 같은 틀을 쓴다. 논문 요약 문서를 쓸 일이 있다면 이 틀 자체가 쓸 만하다.

# 논문 제목 (영문 원제)
*저자* / 소속

<3~4문장 초록 — 무엇을 제안했고 결과가 어땠는지>

## 研究内容 (연구 내용)   ← 무엇을 하려는가
## 研究动机 (연구 동기)   ← 기존 방법의 무엇이 부족한가 (번호 목록)
## 解决方案 (해결 방안)   ← 그림 + 단계별 설명
## 实验结果 (실험 결과)   ← 표 · 수치

"동기"를 별도 절로 강제한 게 핵심이다. 대부분의 논문 요약은 "무엇을 했다"만 적고 "왜 그게 필요했다"를 빠뜨린다. 그러면 독자는 그 논문이 자기 문제와 관련 있는지 판단할 수 없다.

6학습 포인트

6-1. LLM 지식 측면 — 대체로 아는데 애매한 것들이 정리된다

6-2. 문서를 쓰는 사람에게 — 편집 기법 세 가지

• 설명 소재를 장 단위로 고정한다. 카피바라 한 문장으로 사전학습 과제 다섯 개를 설명하면, 독자는 "예시 이해" 비용을 한 번만 치른다.
• 참고문헌을 목차에 매단다. 논문 목록을 뒤에 몰아 두지 말고 절 번호에 붙이면, 목록이 "더 읽을 것"이 아니라 "이 절의 다음 단계"가 된다.
• 요약 문서에 "동기" 칸을 강제한다. 위의 arXiv 리포트 틀. 무엇을 했는지보다 무엇이 부족했는지를 먼저 적게 하는 양식은 요약의 질을 눈에 띄게 올린다.

6-3. 함께 보면 좋은 것 — 코드가 필요하다면

이 저장소의 최대 약점은 손으로 돌려볼 게 없다는 것이다. 개념을 코드로 확인하려면 다른 자료를 붙여야 한다.

7하드웨어 · 시스템 요구사항

7-1. 저장소를 보는 데 필요한 것

7-2. 각 장을 직접 실습하려 할 때의 최소 사양

책에는 실습 코드가 없으니 아래는 같은 개념을 다른 자료로 따라 할 때의 현실적인 기준이다.

8직접 해볼 수 있는 실습 과제

from collections import Counter
corpus = ["기린 의 목 이 길 다", "목 이 긴 기린 은 우아 하다", ...]
uni, bi = Counter(), Counter()
for s in corpus:
    w = s.split()
    uni.update(w)
    bi.update(zip(w, w[1:]))
def p(a, b):            # P(b | a)
    return bi[(a, b)] / uni[a]
print(p("기린", "의"))

9관련 기술 심화 학습 로드맵

이 책만으로는 반쪽이다. 아래 로드맵은 매주 이 책의 한 장 + 손으로 돌릴 것 하나를 묶었다. 주당 8~10시간 기준.

6주 뒤에 갈 곳

• 추론 최적화 — 이 책에 없는 영역이다. vLLM·PagedAttention·KV 캐시·양자화. 저자 팀도 "후속 버전에 추가하겠다"고 README에 적어 두었지만 아직 없다.
• 에이전트 — 마찬가지로 예고만 있고 미수록. 저자 팀의 후속 프로젝트 Agent-Kernel이 그쪽이다.
• 정렬(Alignment) 심화 — 2장에서 RLHF 3단계를 개괄만 한다. DPO 이후의 흐름은 따로 봐야 한다.

10핵심 키워드 사전

11참고 링크

저장소

• ZJU-LLMs/Foundations-of-LLMs — 본체
• 논문 목록 (202편) — 이 저장소에서 가장 활용도 높은 파일
• ZJU-LLMs/Agent-Kernel — 같은 팀의 후속작(다중 에이전트 프레임워크). README 상단에서 홍보 중
• zjunlp/EasyEdit — 5장 모델 편집을 실제로 돌려 볼 수 있는 프레임워크

코드로 확인할 짝 자료

• rasbt/LLMs-from-scratch — 1~2장의 코드 짝. PyTorch로 GPT를 처음부터
• Hugging Face PEFT 문서 — 4장의 기법들이 그대로 구현돼 있다
• huggingface/trl — 2장의 RLHF·DPO 3단계 정렬
• LlamaIndex 문서 — 6장 RAG 실습

원논문 (책이 지목한 것 중 대표만)

• Attention Is All You Need — 1장
• LoRA: Low-Rank Adaptation of Large Language Models — 4장
• Chain-of-Thought Prompting — 3장
• Locating and Editing Factual Associations in GPT (ROME) — 5장
• Retrieval-Augmented Generation for Knowledge-Intensive NLP — 6장