dive-into-llms 딥다이브
— 모델을 바꾸고, 출력을 읽고, 평가를 의심하는 법

1프로젝트 한줄 요약

사전학습 모델을 가져와 데이터를 가공하고, 모델의 행동을 바꾸고, 그 결과를 평가하는 실습 모음입니다. README에 따르면 상하이교통대학교의 자연어처리·AI 안전 관련 강의 자료에서 확장한 무료 교육 프로젝트입니다. 범위는 API 호출에 머물지 않고 모델 가중치 수정, 생성 확률 제어, 보상을 통한 정책 학습까지 내려갑니다.

이 저장소에서 배울 핵심은 “모델을 호출하는 법”을 넘어 “무엇을 학습시키고 무엇으로 성공을 판단할지 정하는 법”입니다.

처음에는 이 네 장을 구분해서 읽자

실행 셀이 없는 장도 읽을 가치가 있습니다. 3장은 EasyEdit, 5장은 X-SIR, 8장은 NExT-GPT처럼 별도 프로젝트를 따라가며 개념을 연결합니다. 다만 그 외부 프로젝트의 구현을 이 저장소가 직접 포함한다고 이해하면 안 됩니다.

2왜 주목받는가

2-1. 관심의 크기는 확인되지만, 당일 급상승 원인은 단정할 수 없다

2026-10-23 GitHub Trending의 Jupyter Notebook 일간 1위이며, 같은 날 GitHub 기준 스타 57,287개, 포크 6,847개입니다. 이 숫자는 누적 관심의 크기를 보여 줍니다. 하루 동안 얻은 스타 수나 추천 유입 경로를 뜻하지는 않습니다.

최근 push는 2025-10-10입니다. 따라서 분석일의 인기를 “오늘 공개된 신기능”으로 설명할 근거는 없습니다. 다음 세 가지는 README의 범위와 실제 자료 구성에서 읽을 수 있는 교육적 매력에 대한 해석입니다.

• 진입점이 넓습니다. 문장 분류와 API 활용에서 출발해 모델 학습과 안전 평가로 확장합니다.
• 자료가 묶여 있습니다. 각 장에 README·PDF·노트북이 있어 개념과 실습을 함께 찾아볼 수 있습니다.
• 출력의 신뢰성을 다룹니다. 정확도 외에도 지식 수정의 부작용, 워터마크, 에이전트의 위험 판단을 연결합니다.

2-2. 비교 대상은 같은 목적의 학습 방식이다

이 프로젝트는 모델 제공 서비스와 직접 경쟁하는 제품이라기보다 교재입니다. 초보자의 선택에 도움이 되도록 학습 방식별 장점과 부담을 비교하면 다음과 같습니다.

이 교재의 강점은 최신 도구를 모두 갖춘 데 있지 않고, 서로 다른 실험의 입력·목표·평가를 비교할 수 있는 데 있습니다.

2-3. “무료 교재”와 “재현 가능한 패키지”는 따로 확인한다

README는 무료 교육 자료라고 소개하며, 2025-06-06 업데이트에서 수학 추론·GUI 에이전트·정렬·텍스트 은닉 등의 보강을 알립니다. 화웨이 Ascend 기반의 별도 교육 과정도 연결하지만, 해당 전체 개발 과정이 이 저장소에 구현되어 있는 것은 아닙니다.

무료로 읽을 수 있다는 설명과 별개로, 커밋 f84c042에는 라이선스 파일이 없습니다. 배포나 재사용 허용 범위를 특정 오픈소스 라이선스로 단정하지 않아야 합니다.

3기술 스택 전체 지도

3-1. 백엔드에 해당하는 것은 Python 실험 코드다

HTTP 서버나 데이터베이스를 가진 웹 애플리케이션은 아닙니다. 계산의 중심은 Python, PyTorch, Hugging Face 라이브러리이며, 모델·데이터는 외부에서 가져옵니다. package.json, Cargo.toml, pyproject.toml, go.mod는 없습니다.

3-2. 실제 의존성 파일은 11장에만 있다

documents/chapter11/requirements.txt의 활성 항목은 아래 여섯 개입니다. 이를 전체 장의 공통 환경으로 확대 해석하면 안 됩니다. 같은 파일의 LLaMA-Factory 설치 항목은 주석 처리되어 있습니다.

torch==2.6.0
tqdm==4.67.1
pandas==2.2.3
transformers==4.51.3
datasets==3.5.0
trl==0.9.4

위 버전은 파일에 적힌 값입니다. 11장에서 직접 가져오는 wandb는 명시되지 않았고, Jupyter 실행 환경도 이 파일이 별도로 고정하지 않습니다. 간접 의존성이 우연히 설치해 주는 상황과 명시적인 환경 계약을 구분해야 합니다.

3-3. 프론트엔드는 노트북과 외부 데모 안내다

읽기 화면은 Jupyter Notebook입니다. 1장은 Gradio Spaces 배포를 설명하지만, 그 예시의 app.py와 분류 프로젝트는 저장소에 들어 있지 않습니다. 9장의 llamafactory-cli webchat도 외부 LLaMA-Factory의 기능입니다. React·Vue 앱이나 자체 웹 프론트엔드의 소스는 없습니다.

3-4. 인프라·빌드의 핵심은 “장별로 분리”다

Dockerfile, 통합 설치 스크립트, .github/workflows CI 설정은 없습니다. 9장 설명에는 DeepSpeed ZeRO-3 설정 경로와 분산 실행 명령이 나오지만 해당 설정 파일은 외부 도구 쪽 경로입니다. 4장의 torch_compile=True 역시 Python 패키지 빌드가 아니라 모델 계산 최적화 옵션입니다.

4아키텍처 심화 분석

구조의 중심은 요청을 받는 서버가 아니라 데이터가 변하는 순서입니다. 아래의 화살표는 실험 안에서의 흐름을 뜻합니다. 장 사이에 자동으로 파일을 넘겨 주는 통합 실행기는 없습니다.

4-1. 설계 패턴 ① 단계별 데이터 변환

documents/chapter4/sft_math.ipynb의 tokenize(example)가 가장 좋은 출발점입니다. 먼저 final_answer.isdigit()로 답이 숫자 문자열인 샘플만 고릅니다. 그다음 문제와 r1_solution_1을 대화로 묶고 토큰 ID와 정답 배열을 만듭니다.

# 4장 tokenize()의 핵심
question = example["question"]
r1_solution = example["r1_solution_1"]
message = [
    {"role": "user", "content": question},
    {"role": "assistant", "content": f"<think>\n{r1_solution}\n"},
]
result = qwen_tokenizer.apply_chat_template(
    message, add_generation_prompt=False,
    tokenize=True, return_dict=True,
)
result["length"] = len(result["input_ids"])
result["labels"] = result["input_ids"].copy()

isdigit()는 수학적 정답 여부를 검사하지 않습니다. "42"는 통과하지만 "-3", "1/2", "3.14"는 제외됩니다. 따라서 편리한 필터 하나가 학습할 문제의 분포도 바꿉니다. 이후에는 전체 대화 길이가 4096 미만인 샘플만 남깁니다.

여기서는 DeepSeek-R1의 풀이 텍스트를 정답 예제로 삼는 SFT 형태의 증류를 합니다. 교사 모델의 전체 확률 분포를 직접 맞추거나, 실행 중 교사에게 새 답을 요청하는 구조는 아닙니다. r1_solution_1 하나를 사용한다는 점도 데이터 선택의 일부입니다.

유효 배치는 일반적인 데이터 병렬 학습에서 “장치당 배치 × 누적 횟수 × 데이터 병렬 장치 수”로 계산합니다. 단, device_map="auto"로 가중치를 여러 장치에 나누는 것 자체를 데이터 병렬 장치 수로 세면 안 됩니다. 이 노트북에는 LoRA 어댑터를 붙이거나 일부 레이어만 학습하도록 동결하는 코드가 없습니다.

학습 결과는 ./checkpoints/final_model에 저장하고 vLLM으로 다시 읽습니다. 추론은 tensor_parallel_size=1, max_model_len=4096, temperature=0, max_tokens=3700입니다. 입력과 출력의 합이 컨텍스트 예산에 들어오는지도 확인해야 합니다.

extract_answer()로 최종 답을 뽑고 math_equal()로 정답과 비교하지만, 두 함수의 원본인 openmathinst_utils는 저장소에 없습니다. 저장된 정확도 0.452는 당시 노트북의 출력 기록입니다. 같은 설정의 사전 모델 점수가 없어 이 숫자만으로 향상 폭을 계산할 수는 없습니다.

평가 숫자를 읽기 전에 어떤 샘플을 버렸고, 어느 토큰을 학습했으며, 무엇을 정답으로 셌는지부터 확인해야 합니다.

4-2. 설계 패턴 ② 선택 전략을 객체로 교체하기

documents/chapter7/llm_stega.ipynb의 generate_text_with_steganography()는 다음 토큰 확률을 만든 뒤 handle(next_token_probs)에 넘깁니다. Huffman과 FLC는 모두 __call__()을 구현해 같은 자리에 들어갑니다. 이것이 선택 규칙을 바꿔 끼우는 전략 패턴입니다.

# 7장 생성 루프의 핵심
outputs = model(stega_output)
next_token_logits = outputs.logits[:, -1, :]
next_token_probs = F.softmax(next_token_logits, dim=-1)
bit_word_index = handle(next_token_probs)
stega_output = torch.cat(
    [stega_output, bit_word_index.unsqueeze(1)], dim=1
)

FLC(k=2)는 확률이 높은 네 토큰에 00, 01, 10, 11을 대응시킵니다. Huffman(k=4)는 상위 네 후보의 확률로 트리를 만들고, 확률에 따라 길이가 달라질 수 있는 비트 부호를 붙입니다. 두 클래스에서 k의 뜻이 다르다는 점을 놓치기 쉽습니다.

createHuffmanTree()는 작은 빈도의 노드 둘을 반복해서 합치고, huffmanEncoding()은 부모 방향을 따라 부호를 만듭니다. 각 클래스의 extract()는 같은 확률과 선택 토큰으로 해당 부호를 되찾습니다. 문장 전체를 받아 끝까지 복원하는 독립적인 디코더까지 완성된 것은 아닙니다.

경계 조건도 공부할 만합니다. 루프는 비트가 완전히 비었는지만 검사하므로 남은 비트가 부호보다 짧으면 선택 변수가 정해지지 않을 수 있습니다. 종료 토큰 검사는 일반 비교 문장의 next_token을 사용합니다. 따라서 은닉 문장 자체의 종료 정책과 구분해야 합니다. 추론 루프에 torch.no_grad() 또는 torch.inference_mode() 문맥도 없습니다.

4-3. 설계 패턴 ③ 생성→채점→업데이트의 피드백 루프

documents/chapter11/RLHF.ipynb의 build_dataset()은 IMDB 리뷰 중 200자를 넘는 것을 골라, 길이 샘플러로 짧은 시작 부분을 만듭니다. collator()는 길이가 다른 토큰 배열을 목록으로 묶습니다. GPT-2 학습 모델과 참조 모델을 각각 로딩하고 DistilBERT 분류기를 별도로 둡니다.

# 11장 보상 계산과 정책 업데이트의 핵심
texts = [q + r for q, r in zip(batch["query"], batch["response"])]
pipe_outputs = sentiment_pipe(texts, **sent_kwargs)
positive_scores = [
    item["score"]
    for output in pipe_outputs
    for item in output
    if item["label"] == "POSITIVE"
]
rewards = [torch.tensor(score) for score in positive_scores]
stats = ppo_trainer.step(query_tensors, response_tensors, rewards)
ppo_trainer.log_stats(stats, batch, rewards)

sent_kwargs의 function_to_apply="none" 때문에 보상은 정규화된 확률이 아니라 긍정 클래스의 원시 점수인 로짓입니다. 저장된 예시에도 음수 점수가 등장합니다. PPOConfig의 학습률은 1.41e-5입니다.

참조 모델은 원래 정책에서 얼마나 벗어나는지 비교하는 기준입니다. PPO와 KL 제어의 세부 계산은 이 파일에 직접 구현하지 않고 TRL에 맡깁니다. 이후 16개 샘플에서 학습 전후 보상의 평균·중앙값을 비교하지만, 학습 데이터에서 뽑은 사례 비교를 독립된 테스트 성능으로 읽으면 안 됩니다.

4-4. 설계 패턴 ④ 원시 기록을 학습 규격으로 바꾸는 어댑터

documents/chapter9/GUIagent.ipynb의 유일한 실행 셀은 task, previous_actions, image_path, osatlas_action, score를 읽어 messages와 images로 묶습니다. 변환 결과는 “사용자 지시+화면”과 “행동+점수”의 학습 쌍입니다.

파일을 여는 두 open('')의 경로는 비어 있습니다. 설명 셀의 학습 YAML 예시에서 model_name_or_path·output_dir도 빈칸입니다. 완성된 GUI 실행 엔진이 아니라, 외부 LLaMA-Factory에 전달할 데이터를 준비하는 예제입니다. 실제 화면 클릭의 성공률과 모델이 출력한 자기 점수는 따로 검증해야 합니다.

5디렉토리 구조 해부

documents/는 강의 내용과 실습의 중심이고, 각 장의 assets/·figs/는 설명 그림과 화면 캡처입니다. pics/는 프로젝트 소개용입니다. 모델 가중치나 학습 데이터 디렉토리는 포함되어 있지 않습니다.

5-1. 확장자보다 셀 종류를 세어야 한다

집계는 .git을 제외한 105개 파일 기준입니다. 노트북 JSON을 읽어 cell_type="code"인 셀의 source를 줄 단위로 셌으며, 주석·빈 줄도 포함했습니다. 이 중 한 줄은 !pip 셸 명령이므로 Python 중심 약 633줄과 셸 명령 1줄입니다. 독립된 .py, JavaScript, Go, Rust 소스 파일은 없습니다.

별도로 Markdown 파일은 12개·2,495줄, 노트북의 설명 셀은 79개·1,672줄입니다. 노트북 JSON 자체의 4,597줄에는 메타데이터와 저장 출력이 포함되므로 코드 줄 수와 합치면 안 됩니다. PDF는 11개이며, 이미지까지 포함한 파일 크기는 약 97.6MiB입니다.

5-2. README의 경로도 실제 파일과 대조한다

8장 README의 슬라이드 링크는 documents/chapter6/mllms.pdf, 9장은 documents/chapter8/GUIagent.pdf, 10장은 documents/chapter7/agents.pdf를 가리킵니다. 실제 파일은 각각 documents/chapter8/mllms.pdf, documents/chapter9/GUIagent.pdf, documents/chapter10/dive-into-safety.pdf입니다.

6학습 포인트 (기술별)

6-1. Transformers·Datasets: 문자열을 학습 예제로 바꾸기

4장의 apply_chat_template()는 역할이 있는 대화를 모델이 기대하는 문자열·토큰 형식으로 바꿉니다. tokenize=False일 때의 문자열과 tokenize=True일 때의 토큰 배열을 나란히 읽어 보세요. 모델마다 대화 구분자가 다르므로 단순히 텍스트를 이어 붙이는 것과는 다릅니다.

작은 실습: 질문 하나에 답변을 붙인 학습 형식과, 질문만 넣고 생성을 시작하는 추론 형식을 비교합니다. 4장에서 추론 시 사용하는 add_generation_prompt=True와 추가 <think>가 어느 위치에 들어가는지 표시하세요. 이 표시는 모델의 텍스트 형식이며, 논리적 정답을 보장하는 장치는 아닙니다.

6-2. PyTorch: 텐서의 모양을 따라 확률 읽기

7장의 모델 출력 로짓은 보통 [배치, 현재 길이, 어휘 수] 형태입니다. outputs.logits[:, -1, :]로 마지막 위치만 고르면 [배치, 어휘 수]가 됩니다. softmax(..., dim=-1)는 그 어휘 축에서 확률로 바꾸고 topk()는 후보를 줄입니다.

# 개념 예시: 실제 모델 없이 후보 네 개의 확률만 생각하기
후보 토큰 = [A, B, C, D]
확률      = [0.4, 0.3, 0.2, 0.1]
FLC 부호  = [00,  01,  10,  11]
비트 10을 넣으려면 C 선택
다음 위치에서는 새 문맥으로 확률과 부호표를 다시 계산

작은 실습: unsqueeze(1) 전후의 모양을 적어 보세요. 선택 토큰 [1]이 [1, 1]이 되어야 기존 토큰 배열의 길이 축에 이어 붙일 수 있습니다. 문법을 외우는 것보다 차원의 의미를 따라가는 연습입니다.

6-3. API·프롬프팅: 응답 내용과 전송 방식을 분리하기

2장의 설명 셀에는 sample_sync_call()과 sample_sync_call_streaming() 예시가 있습니다. 같은 질문도 전체 응답을 한 번에 받거나 스트림을 순회하며 표시할 수 있습니다. 예시의 head_idx가 어떤 중복 출력을 막으려는지 읽어 보세요.

동기 호출 예시에는 주석·조건문이 한 줄에 붙은 서식 문제가 있습니다. 그대로 실행 가능한 함수라고 가정하지 말고 상태 코드 확인→성공 출력→실패 처리 순서로 다시 써 보는 편이 좋습니다. 모델의 품질 실험과 네트워크 오류 처리는 별도의 문제입니다.

6-4. 지식 편집: 원하는 변화와 부작용을 함께 재기

3장 설명의 BaseEditor.edit()는 prompts·target_new·subject 등을 받습니다. locality_inputs는 편집과 무관한 질문의 기존 답이 유지되는지 확인하기 위한 입력입니다. ROME·MEMIT의 내부 구현은 외부 EasyEdit에 있습니다.

작은 실습: 가상의 인물·도시로 수정 대상 하나, 바꿔 말한 질문 둘, 무관한 질문 셋을 만드세요. “수정 성공”, “표현이 달라도 유지”, “주변 지식 보존” 세 열로 결과표를 설계합니다. 원하는 답 하나가 바뀌는 것만으로 좋은 편집이라고 결론 내리지 않는 연습입니다.

6-5. 워터마크·안전 평가: 분류기의 두 종류 오류 이해하기

5장은 외부 X-SIR의 생성·탐지·평가 명령을 설명하고, 예시 결과로 AUC와 TPR@FPR를 제시합니다. 생성 문장을 잘 찾는 능력과 사람이 쓴 글을 잘못 지목하지 않는 능력을 함께 봐야 합니다. 안내의 높은 예시 점수가 다른 언어·번역·문서 길이에서도 그대로 유지된다는 뜻은 아닙니다.

6장의 공격 평가와 10장의 R-Judge도 “무엇을 실패로 정의했는가”가 중요합니다. 10장은 행동 기록에 대한 위험 설명과 safe/unsafe 판정을 구분합니다. 설명이 그럴듯해도 마지막 이진 판정은 틀릴 수 있다는 예시가 나옵니다.

6-6. 멀티모달·GUI: 데이터 규격이 모델 연결부다

8장 README 기준 NExT-GPT는 입력 인코더·언어 모델·출력 생성기 사이를 투영층으로 연결하고, 단계별 정렬과 지시 학습을 설명합니다. 해당 구성의 실제 모델 구현은 외부 저장소에 있습니다. 여기서는 입력 특징을 어떤 공통 표현으로 바꾸는지 읽는 것이 첫 목표입니다.

9장에서는 이미지 파일 경로가 images 목록에, 행동 문자열이 assistant 답변에 들어갑니다. 작은 실습: 이미지 개수·경로·행동 좌표·점수 범위를 검증하는 규칙을 정하세요. “화면을 넣었다”와 “그 화면에 맞는 행동을 넣었다”는 서로 다른 데이터 품질 조건입니다.

도구를 바꾸어도 남는 실력은 입력 형식, 텐서 모양, 학습 목표, 평가 오류를 스스로 설명하는 능력입니다.

7하드웨어 / 시스템 요구사항

7장 README는 Python 3.8 이상과 모델 약 500MB를 안내합니다. 이는 모델 파일의 대략적인 안내이며 실행 중 메모리·캐시·패키지까지 합친 전체 요구량은 아닙니다. CPU 경로가 있다고 다른 장도 CPU에서 그대로 학습할 수 있는 것은 아닙니다.

7-1. 1.5B 모델인데 왜 수십 GB가 필요한가?

약 15억 개 가중치를 BF16의 2바이트로만 계산하면 가중치 자체는 대략 3GB입니다. 하지만 학습에는 기울기, 옵티마이저 상태, 중간 활성값, 임시 버퍼가 더 필요합니다. 길이 4096의 예제 여러 개를 다루는 비용도 모델 파일 크기에는 나타나지 않습니다.

필요한 GPU 메모리는 모델 이름 하나가 아니라 학습 방식·문맥 길이·배치·수치 형식의 조합으로 결정됩니다.

7-2. 메모리가 부족할 때 읽어볼 설정

• 배치: 4장 주석은 장치당 배치를 4에서 1로 줄이는 방법을 제시합니다. 누적 횟수를 유지하면 유효 배치도 작아집니다.
• 중간값 저장: gradient_checkpointing=True는 일부 계산을 다시 하여 메모리를 줄이는 방향입니다. 속도와 맞바꿉니다.
• 길이: 긴 풀이를 줄이면 계산량을 낮출 수 있지만, 원래 실험과 학습 분포가 달라집니다.
• 학습·추론 동시 상주: 같은 커널에서 학습 뒤 vLLM을 로딩하므로 기존 모델·트레이너가 메모리를 잡고 있을 수 있습니다.

이 변경들이 특정 GPU에서 성공한다는 보장은 없습니다. 4장은 CUDA 장치 조회·BF16·vLLM을 사용하며, Mac의 MPS나 Windows에서 같은 흐름이 검증되었다는 근거는 없습니다. 모델 학습까지 갈 때는 해당 라이브러리 버전의 지원 환경을 먼저 대조해야 합니다.

8직접 해볼 수 있는 실습 과제

# 저장소 루트에서 읽기만 하는 독립적인 검사 예시
import json
from pathlib import Path

for path in sorted(Path("documents").glob("chapter*/*.ipynb")):
    notebook = json.loads(path.read_text(encoding="utf-8"))
    cells = notebook["cells"]
    code = [c for c in cells if c["cell_type"] == "code"]
    lines = sum(len("".join(c["source"]).splitlines()) for c in code)
    print(path, "실행 셀:", len(code), "소스 줄:", lines)

좋은 실습 결과물은 “돌아갔다”는 캡처보다, 입력·변경 변수·비교 기준·실패 사례가 남은 기록입니다.

9관련 기술 심화 학습 로드맵

처음부터 모든 장을 실행하려고 하기보다, 매주 설명할 수 있는 결과물을 하나씩 만드세요. 아래는 초보자를 위한 권장 순서입니다. 장 번호 순서와 다르며, 첫 3주는 GPU 없이 진행할 수 있습니다.

학습을 실제로 수행하는 4주차 이후에는 장비와 의존성 준비가 추가됩니다. 실행이 어렵다면 먼저 코드의 각 줄이 바꾸는 데이터를 표로 적고, 외부 보조 모듈·모델·데이터가 필요한 지점을 표시하는 것까지 진행하세요.

진도는 실행한 노트북 수보다, 새 모델에서도 같은 실험 질문을 세우고 평가할 수 있는지로 판단하는 편이 좋습니다.

10핵심 키워드 사전

같은 단어가 다른 문맥에서 쓰일 수 있습니다. 특히 7장 k는 FLC에서는 비트 수, Huffman에서는 후보 수입니다. 함수의 인자를 보기 전에 해당 클래스에서 무엇을 뜻하는지 확인하세요.

11참고 링크

저장소와 분석 기준

• 공식 저장소 — 전체 강의 목록과 프로젝트 소개
• 커밋 f84c042의 파일 목록 — 본문 코드 설명의 기준
• v1 릴리스 — 2025-06-12
• GitHub Trending · Jupyter Notebook · 일간 — 순위가 갱신되는 페이지
• Ascend 모델 개발 교육 과정 — README가 안내하는 별도 과정

직접 따라 읽을 핵심 파일

• 4장 수학 SFT 노트북 — tokenize·Trainer·vLLM·평가
• 4장 환경 안내 — GPU 메모리·디스크 요구
• 7장 텍스트 은닉 노트북 — 부호 트리·전략 객체·생성 루프
• 9장 GUI 노트북 — 학습 JSON 변환과 외부 도구 설정 예시
• 10장 에이전트 안전 안내 — 위험 설명과 안전 판정 비교
• 11장 PPO 노트북 — 정책·참조 모델·보상·업데이트
• 11장 의존성 파일 — 명시된 패키지 버전 여섯 개

공식 문서·모델·데이터

• Jupyter 공식 문서 — 노트북과 커널
• PyTorch 공식 문서 — 텐서·추론 모드·자동 미분
• Transformers 4.51.3 문서 — 11장 명시 버전과 대조
• Datasets 3.5.0 문서 — 필터·매핑·형식 변환
• TRL 0.9.4 PPO 문서 — 구버전 PPO 인터페이스 확인
• vLLM 공식 문서 — 실제 설치 버전에 맞춰 읽기
• Qwen2.5-Math-1.5B 모델 카드 — 4장 기반 모델
• DeepMath-103K 데이터 카드 — 4장 학습 데이터
• MATH 데이터 카드 — 4장의 math500 분할
• Gradio Spaces 공식 안내 — 1장 데모 배포의 배경

외부 실습 프로젝트

• EasyEdit — 3장 지식 편집
• X-SIR — 5장 워터마크 실습
• EasyJailbreak — 6장 모델 안전 평가
• NExT-GPT — 8장 멀티모달 모델 안내의 원본
• LLaMA-Factory · OS-Kairos — 9장 학습 도구·데이터 안내
• R-Judge — 10장 위험 판단 평가

현재 상태 (2026-10-23 GitHub 기준)

GitHub 수치는 2026-10-23 기준이며, 파일·셀·줄 수는 커밋 f84c042의 내용을 센 값입니다.