LLMs-from-scratch 딥다이브
— GPT를 바닥부터 한 줄씩 PyTorch로 손수 만들며 배우는 LLM 교과서 저장소

1프로젝트 한 줄 요약

LLMs-from-scratch는 "ChatGPT 같은 LLM을 PyTorch로 처음부터, 한 단계씩(step by step) 구현한다"를 목표로 하는 교육용 코드 저장소다. 하는 일을 한 문장으로 줄이면 텍스트를 숫자로 바꾸는 토크나이저부터, 문맥을 읽는 어텐션, 문장을 이어 쓰는 GPT 본체, 그리고 사람 지시를 따르도록 다듬는 파인튜닝까지 — 현대 LLM의 전 과정을 남의 라이브러리 없이 직접 코딩하는 것이다.

저자 Sebastian Raschka는 위스콘신대 통계학 교수 출신의 유명 ML 교육자로, 이 책과 저장소는 출간 이후 개발자·학생·연구자 사이에서 "LLM을 진짜로 이해하려면 이걸 따라 짜 봐라"의 표준 교재로 자리 잡았다. 저장소는 책이 나온 2024년 이후에도 거의 매일 업데이트되며(최신 커밋 2026-08-09), 최신 오픈 모델을 from-scratch로 해부한 보너스가 계속 추가된다.

2왜 지금 주목받는가

이 저장소는 신생 프로젝트가 아니다. 그런데도 TrendShift Daily 상위권에 다시 오르는 이유는, 책의 정적인 예제에 머물지 않고 2026년에 쏟아진 최신 오픈 모델들을 발표 직후 "from scratch"로 재현해 올리는 살아있는 아카이브로 진화했기 때문이다. 아래 세 가지가 핵심이다.

① "블랙박스 해체" 수요의 정점

모두가 LLM API를 쓰지만, 정작 그 안을 아는 사람은 드물다. 면접·연구·실무 어디서든 "어텐션이 실제로 어떻게 계산되나?", "KV 캐시가 왜 필요한가?"를 코드로 설명할 수 있는 사람은 귀하다. 이 저장소는 그 간극을 정확히 메운다. 각 개념이 노트북 1개 = 개념 1개로 격리돼 있어, 궁금한 부품만 뜯어볼 수 있다.

② 최신 모델을 "논문이 아니라 실행되는 코드"로

2025~2026년 사이 저장소에는 최신 아키텍처의 from-scratch 구현이 줄줄이 추가됐다. Qwen3(dense+MoE), Gemma 3/4, Olmo 3, Qwen3.5, 그리고 DeepSeek-V3.2의 Sparse Attention(DSA)까지. 새 모델이 나올 때마다 "이번엔 뭐가 다른가"를 200줄 남짓의 읽을 수 있는 코드로 확인할 수 있으니, 최신 흐름을 따라가려는 개발자들이 반복해서 찾는다.

③ 후속작으로 확장되는 학습 로드맵

저자는 여기서 멈추지 않고 속편 Build a Reasoning Model (From Scratch)를 냈고, 그 코드(reasoning-from-scratch)를 git 서브모듈로 연결해 뒀다. 사전학습된 모델에서 시작해 추론 능력(reasoning)을 강화하는 법 — inference-time scaling, 강화학습(GRPO/RLVR), 증류(distillation) — 을 역시 밑바닥부터 구현한다. "GPT 만들기 → 추론 모델로 키우기"의 연속된 커리큘럼이 완성된 셈이다.

3기술 스택 전체 지도

이 저장소의 기술 선택 철학은 한마디로 "의존성 최소화"다. 딥러닝 프레임워크 하나(PyTorch)와 토크나이저 하나(tiktoken)만 실질적으로 쓰고, 어텐션·정규화·학습 루프처럼 보통 라이브러리에 맡기는 부분을 전부 직접 구현한다. 그래야 "안이 보이기" 때문이다.

핵심 런타임 (본편 7개 장)

개발·배포·검증 인프라

즉 "교육용 예제"라고 얕볼 코드가 아니다. 3개 OS CI, PyPI 배포, 테스트 스위트를 갖춘 실무 수준의 저장소 위생을 유지하면서, 내용물은 초심자가 읽을 수 있게 유지한다는 점이 이 프로젝트의 완성도다.

4아키텍처 심화 분석

전체 데이터 흐름 (GPT forward pass)

GPT의 추론은 "토큰 ID 뭉치 → 다음 토큰 확률"로 요약된다. 저장소의 GPTModel이 만드는 흐름을 그리면 이렇다.

여기서 반복되는 핵심 부품은 Transformer 블록 하나다. 이 블록이 "문맥을 읽는 부분(어텐션)"과 "각 토큰이 혼자 생각하는 부분(피드포워드)"으로 나뉘고, 각각을 shortcut(잔차 연결)과 Pre-LayerNorm으로 감싼다. 저장소의 실제 코드는 이렇게 짧다.

class TransformerBlock(nn.Module):
    def forward(self, x):
        # ① 어텐션 서브블록 (Pre-LN + 잔차)
        shortcut = x
        x = self.norm1(x)        # 먼저 정규화
        x = self.att(x)          # 문맥 읽기 (멀티헤드 어텐션)
        x = self.drop_shortcut(x)
        x = x + shortcut         # 입력을 다시 더함 → 기울기 소실 방지

        # ② 피드포워드 서브블록 (Pre-LN + 잔차)
        shortcut = x
        x = self.norm2(x)
        x = self.ff(x)           # 토큰별 비선형 변환 (4배 확장 → GELU → 축소)
        x = self.drop_shortcut(x)
        x = x + shortcut
        return x

어텐션: 문맥을 읽는 심장부 (ch03)

멀티헤드 어텐션은 이 저장소에서 가장 공들여 설명하는 부분이다. 핵심은 "각 토큰이 앞선 토큰들 중 누구를 얼마나 참고할지" 점수를 매기고(causal mask로 미래는 못 보게 막고), 그 점수로 값(value)을 가중합하는 것이다.

class MultiHeadAttention(nn.Module):
    def forward(self, x):
        keys    = self.W_key(x)      # 각 토큰의 "이름표"
        queries = self.W_query(x)    # 각 토큰의 "질문"
        values  = self.W_value(x)    # 각 토큰의 "내용물"

        # d_out을 num_heads개로 쪼갬 → 여러 관점에서 동시에 본다
        # (b, tokens, heads, head_dim) 로 view 후 transpose

        attn_scores = queries @ keys.transpose(2, 3)   # 질문·이름표 유사도
        attn_scores.masked_fill_(mask_bool, -torch.inf) # 미래 토큰 차단(causal)
        attn_weights = torch.softmax(
            attn_scores / keys.shape[-1]**0.5, dim=-1)   # 스케일 후 확률화
        context = (attn_weights @ values)              # 내용물 가중합
        return self.out_proj(context)                  # 헤드 합치고 투영

모델 크기: 같은 설계, 다른 다이얼

놀라운 점은, GPT-2의 네 가지 크기가 완전히 같은 코드에 숫자만 바꿔 나온다는 것이다. 설정 딕셔너리의 세 값(임베딩 차원·층 수·헤드 수)만 키우면 124M이 1.5B이 된다.

공통 설정은 어휘 50,257개, 문맥 길이 1,024토큰. 본편은 이 중 가장 작은 124M을 노트북에서 직접 학습시키고, 나머지 큰 모델은 OpenAI 공개 가중치를 로딩해 파인튜닝에 쓴다.

2026년 확장: 최신 어텐션·MoE를 from scratch로

ch04·ch05의 보너스 폴더가 이 저장소를 "책 부록"에서 "최신 아키텍처 도감"으로 끌어올린다. 표준 멀티헤드 어텐션을 기준점 삼아, 그 뒤에 나온 효율화 기법들을 하나씩 갈아 끼워 본다.

5디렉토리 구조 해부

구조를 이해하는 열쇠는 하나다. 책의 각 장이 폴더 하나에 대응하고, 각 폴더 안에서 01_main-chapter-code/가 본문 코드, 나머지 번호 폴더가 심화 보너스다. 궁금한 주제를 목차에서 찾듯 폴더로 바로 들어가면 된다.

6학습 포인트

장별로 배우는 것

기술을 넘어 배우는 "설계 감각"

단순 문법이 아니라 "왜 이 순서로, 왜 이 부품을 쓰는가"라는 아키텍처적 직관 — Pre-LN이 왜 학습을 안정시키는지, GQA가 왜 메모리를 아끼는지, 파인튜닝이 왜 사전학습보다 값싼지 — 를 코드를 짜 보며 체득하는 것이 이 저장소의 진짜 소득이다. 이건 API만 써서는 절대 생기지 않는 감각이다.

실습 아이디어 (즉시 해볼 만한 것)

각 부품이 격리돼 있어 "한 조각만 바꿔 실험"이 쉽다. 예를 들어: 표준 어텐션을 GQA로 갈아 끼우고 KV 캐시 메모리를 재 보기 · emb_dim만 키워 손실 변화 관찰 · GELU를 SwiGLU로 교체 · temperature/top-k 값을 바꿔 생성 문장의 다양성 비교 · 자신의 텍스트로 작은 코퍼스를 만들어 사전학습 돌려 보기.

7하드웨어 / 시스템 요구사항

저자는 본편 코드를 의도적으로 일반 노트북에서 합리적 시간 안에 돌아가게 설계했다. 특수 하드웨어가 없어도 누구나 따라올 수 있게 하려는 것이다. GPU가 있으면 코드가 자동으로 감지해 쓰고, 없으면 CPU로도 진행된다.

8직접 해볼 수 있는 실습 과제

9관련 기술 심화 학습 로드맵

10핵심 키워드 사전

11참고 링크