AlayaLab/AlayaWorld 딥다이브
— 조작 가능한 1분짜리 세계를 통째로 생성하는 모델

1프로젝트 한 줄 요약

게임 회사가 오픈월드 하나를 만들려면 아티스트 수백 명이 몇 년을 갈아넣는다. 월드 모델은 이 파이프라인을 통째로 우회하자는 발상이다. 3D 에셋을 만들지 않고, "지금 화면 + 사용자 입력"을 조건으로 다음 화면을 생성 모델이 직접 그린다. 계속 그리면 그게 곧 플레이 가능한 세계가 된다.

AlayaWorld가 실제로 받는 입력은 세 가지다(inference/run.py 기준).

출력은 mp4다. 한 번에 다 만드는 게 아니라 청크 단위로 이어붙인다: 1청크 = 레이턴트 4프레임 = 픽셀 32프레임 ≈ 24fps 기준 1.33초. 1분짜리 클립이면 약 45청크를 연달아 굴린다.

2왜 지금 주목받는가

솔직하게 시작하자. 별 52개, 포크 0개, 커밋 사실상 1개. 스타 수로 주목받는 저장소가 아니다. 2026-07-16에 처음 공개됐고, arXiv 논문(2607.06291)이 7월 7일에 올라와 HuggingFace Papers에서 좋아요 87을 받았다. 즉 "화제성"이 아니라 "논문 + 실행 가능한 코드 + 33GB 가중치를 한꺼번에 풀었다"는 완결성이 주목 이유다. 이 분야에서 이 세 가지를 다 공개하는 경우는 드물다.

2-1. README가 내세우는 네 가지 속성, 그리고 그 코드 위치

말잔치인지 실제 구현인지는 코드를 열어보면 안다. 네 가지 모두 대응하는 파일이 있다.

※ Stability의 error bank는 학습 단계의 기법이라 현재 공개된 추론 코드에서는 직접 확인할 수 없다. README 설명에만 근거한다.

2-2. 스펙 배지: 720p / 24fps / 60s+ / 15B

프로젝트 웹페이지가 내건 숫자다. 이 중 15B는 따져볼 여지가 있다. 라이선스 문서는 "LTX-2.3-22B 베이스를 파인튜닝했다"고 명시하는데, 배포된 merged_infer.safetensors의 실제 크기는 33.6GB다. bf16(파라미터당 2바이트)으로 역산하면 약 16.8B — DiT + VAE + 커넥터 + history_encoder를 다 합친 값이니 "15B" 표기와는 얼추 맞는다.

2-3. 경쟁 구도 — 정량 벤치마크가 없다는 사실 자체

저장소에도 프로젝트 페이지에도 수치 벤치마크 표가 없다. 대신 프로젝트 페이지의 "Consistency Comparisons" 섹션에서 DreaxX-World, lingBot-Fast, HY-World 1.5 세 가지와 "좌회전 → 우회전 → 뒤돌아보기" 궤적을 나란히 재생해 정성적으로 비교한다.

이 분야에서 흔한 방식이긴 하다. 영상 월드 모델의 "일관성"은 FVD 같은 지표로 잘 안 잡히기 때문에 영상을 나란히 놓고 눈으로 비교하는 관행이 있다. 다만 독자 입장에서는 "저자가 고른 궤적에서 저자가 고른 경쟁자와 비교한 결과"라는 점을 감안해서 읽어야 한다. Genie·Oasis·Matrix-Game 같은 더 알려진 모델과의 직접 비교는 자료에 없다.

3기술 스택 전체 지도

AlayaWorld는 밑바닥부터 만든 모델이 아니다. 세 개의 외부 대형 모델을 조립하고, 그 사이에 자기들이 만든 메모리 모듈을 끼워넣은 구조다. 이 구성을 파악하는 게 코드 읽기의 출발점이다.

3-1. 세 개의 외부 모델

3-2. requirements.txt 핵심

# CUDA 12.4 wheel 인덱스에서 설치 권장
torch==2.6.0  torchvision==0.21.0  torchaudio==2.6.0
xformers==0.0.29.post2

diffusers==0.39.0        # 스케줄러/파이프라인 유틸
transformers==5.13.1     # Gemma 텍스트 인코더
peft>=0.17               # LoRA (DMD generator 가중치 병합용)
bitsandbytes>=0.45
safetensors>=0.4  einops>=0.7  numpy>=1.24,<2
opencv-python  pyyaml  tqdm  easydict  huggingface-hub

3-3. 노이즈 제거 방식: Flow Matching + 4 step

flash_alaya/utils/pipeline.py의 _renoise가 핵심 한 줄이다.

x_sigma = (1 - sigma) * x0 + sigma * eps
# 깨끗한 x0과 노이즈 eps를 sigma 비율로 직선 보간

병합 스크립트 flash_alaya/tools/merge_infer_weights.py의 주석에서 배포 가중치의 정체가 드러난다. SFT 베이스 transformer + DMD/GAN generator LoRA(타깃 선형층 480개) + history_encoder를 하나의 merged_infer.safetensors로 합친 것이다. 원본 베이스 파일명은 ltx-2.3-22b-dev.safetensors.

3-4. 설정 파일 한 장에 모든 게 있다

설정은 configs/infer.yaml 딱 하나다. 최상위 8개 섹션.

※ 실제 생성 해상도는 544×960이다. 웹페이지의 "720p" 배지는 근사 표현으로 보인다(960 폭은 720p보다 낮다).

4아키텍처 심화 분석

4-1. 전체 구조도

4-2. 이중 메모리 — 이 설계의 핵심

자기회귀 영상 생성이 실패하는 방식은 두 가지고, AlayaWorld는 각각에 다른 메모리를 붙였다.

4-3. 카메라는 어떻게 주입하나 — AdaLN이라는 값싼 답

ActionAdaLNEmbedder (flash_alaya/ltx2/modules/model_ltx_2_3.py)가 담당한다. 6D 상대 포즈(평행이동 3 + 오일러각 3)를 주파수 임베딩한 뒤, AdaLN 파라미터로 변환해 정규화 레이어의 스케일·시프트에 주입한다.

즉 조건마다 주입 경로가 다르다. 텍스트는 크로스 어텐션(토큰이 많고 의미가 복잡하니까), 카메라는 AdaLN(6개 숫자니까), 공간·히스토리 메모리는 어텐션 KV로(공간 구조가 있으니까). 조건의 성격에 따라 주입 방식을 나눠 쓴 것 — 이게 이 아키텍처에서 가장 배울 만한 판단이다.

4-4. 프롬프트 스위칭 — 이벤트를 타이밍 맞춰 넣기

inference/run.py의 --skill-sec / --skill-prompt 옵션이다. 롤아웃 마지막 N초 구간에서만 caption을 다른 것으로 바꿔치기한다.

python -m inference.run --input playground/case1/case1 \
  --skill-sec 3 --skill-prompt "a burst of flame erupts"

청크 경계마다 텍스트 조건을 새로 인코딩하기 때문에 가능한 트릭이다. "55초 지점에서 화염이 터지게 하라" 같은 연출을 넣을 수 있다는 뜻이고, 이게 "playable"이라는 표현의 실질이다.

4-5. RolloutCache — 상태를 한 곳에 가두는 설계

flash_alaya/utils/cache.py. 이 프로젝트에서 가장 깔끔한 설계 판단 중 하나다.

5디렉토리 구조 해부

6학습 포인트

솔직히 말하면, 이 저장소에서 월드 모델 학습을 배우기는 어렵다. 학습 코드가 없기 때문이다. 대신 33GB 모델 세 개를 한 GPU에 올려 굴리는 엔지니어링에서 배울 게 아주 많다. 다섯 가지를 뽑았다.

6-1. meta device + assign=True — 로딩 70초를 0으로

flash_alaya/utils/engine.py의 fast_load_transformer:

with torch.device("meta"):
    model = LTX23Model(**filtered)
...
missing, unexpected = model.load_state_dict(
    converted, strict=False, assign=True
)

※ 이건 AlayaWorld 전용 트릭이 아니다. PyTorch로 큰 모델을 다루면 무조건 알아야 하는 패턴이다.

6-2. safetensors 한 파일 안에 서브모듈 접어넣기

tools/merge_infer_weights.py가 DiT·VAE·텍스트 프로젝션·history_encoder를 접두사(vae., history_encoder. …)로 구분해 한 파일에 합친다. 그리고 engine.setup()은 그 파일을 딱 한 번만 읽고, 각 로더가 자기 접두사 키만 필터링해 가져간다.

효과: 33GB 파일에 대한 디스크 I/O가 1회로 끝난다. 파일을 4개로 쪼개면 4번 열어야 하고, 대용량 파일에서는 이 차이가 체감된다.

6-3. 프레임 단위 causal mask — 세 줄짜리 트릭

history_encoder.py의 _SelfAttention3D:

t_indices = torch.arange(T * spatial, device=x.device) // spatial
causal_mask = t_indices.unsqueeze(0) <= t_indices.unsqueeze(1)

영상 토큰은 (프레임 × 공간위치)로 펼쳐져 있다. 여기서 // spatial 정수 나눗셈 한 번으로 "이 토큰이 몇 번째 프레임 소속인가"를 뽑아내고, 그걸로 마스크를 만든다. 결과: 같은 프레임 안에서는 모든 위치가 서로 다 보고, 프레임 사이에서는 미래를 못 본다. 시공간 어텐션에 인과성을 주는 가장 간결한 방법이다.

6-4. 작은 연산은 일부러 CPU로 — 통념을 깨는 판단

spatial_cache.py의 _safe_inv. 주석이 이 판단의 전부를 설명한다.

"""GPU의 torch.linalg.inv는 cuSOLVER를 타는데, 메모리가 빠듯하면
cusolverDnCreate(handle)가 CUSOLVER_STATUS_INTERNAL_ERROR를 던진다
(DMD가 13B 두 벌 + DA3를 동시 상주시킬 때 흔함)."""
return torch.linalg.inv(mat.float().cpu()).to(device=mat.device, dtype=mat.dtype)

6-5. 실험 기능은 "꺼지면 진짜로 아무것도 안 하게"

pipeline.py의 _denoise_chunk에서 TTC(Test-Time Correction) 처리 방식이다. --ttc 플래그가 꺼지면 ttc_steps가 빈 frozenset()이 되어, 루프가 추가 RNG 추출도, 추가 forward도 없이 베이스라인과 완전히 동일한 코드 경로를 탄다.

6-6. 기술별로 무엇을 배울 수 있나 (정리)

7하드웨어 요구사항 · 설치

7-1. 코드에서 나온 근거들

7-2. 다운로드해야 할 것들

세 모델을 동시에 GPU에 올려야 한다. 단일 GPU로 굴린다면 80GB급(A100 80G / H100 / H200)이 현실적으로 보이지만, 다시 강조하면 이건 추정이지 공식 수치가 아니다. 24GB 소비자용 GPU로는 그대로는 어렵다고 보는 게 안전하다.

7-3. 설치

# 1) PyTorch (CUDA 12.4)
pip install --index-url https://download.pytorch.org/whl/cu124 \
    --extra-index-url https://pypi.org/simple \
    torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 xformers==0.0.29.post2
pip install -r requirements.txt

# 2) 본체 가중치
hf download AlayaLab/AlayaWorld merged_infer.safetensors --local-dir checkpoints

# 3) 텍스트 인코더 (gated — HF에서 먼저 동의 클릭)
hf download google/gemma-3-12b-it-qat-q4_0-unquantized \
  --local-dir checkpoints/gemma-3-12b-it-qat-q4_0-unquantized

# 4) 깊이 모델 — 필수. 빠뜨리면 spatial 브랜치에서 죽는다
git clone https://github.com/ByteDance-Seed/Depth-Anything-3 checkpoints/Depth-Anything-3
pip install -e checkpoints/Depth-Anything-3
HF_HOME=checkpoints/hf_cache hf download depth-anything/DA3NESTED-GIANT-LARGE-1.1

7-4. 실행

# 단일 GPU, 번들 데모
bash inference/run.sh

# 멀티 GPU (Ulysses Context Parallel)
GPUS=4 bash inference/run.sh

# 모듈 직접 호출 + 옵션
PYTORCH_ALLOC_CONF=expandable_segments:True \
  python -m inference.run --input playground/case1/case1 --seed 1234 --ttc

7-5. 실측 속도 (CP=4 기준)

flash_alaya/record.md에 남아있는 실측 로그다. 청크 하나(=1.33초 분량)당:

1청크가 1.33초 분량인데 생성에 2.55초가 걸리니 실시간의 약 1.9배 느리다. "실시간에 근접"이라는 표현은 과장은 아니지만, GPU 4장을 쓰고도 아직 실시간은 아니다는 점은 정확히 알아둘 필요가 있다. 단일 GPU 수치는 record.md에 없다(미확인).

※ 눈여겨볼 것: 가장 오래 걸리는 단계가 추론이 아니라 finalize(깊이 재계산)다. 공간 메모리를 유지하는 대가가 생성 자체보다 비싸다는 뜻이다.

8직접 해볼 수 있는 실습 과제

9관련 기술 심화 학습 로드맵

10핵심 키워드 사전

11참고 링크

이 저장소

• 저장소 — github.com/AlayaLab/AlayaWorld
• 논문 — arXiv:2607.06291 (Long-Horizon and Playable Video World Generation)
• 프로젝트 페이지 — alaya-lab.github.io/AlayaWorld (영상 비교 데모)
• 가중치 — huggingface.co/AlayaLab/AlayaWorld
• 소속 — Alaya Lab, Shanda AI Research Tokyo · 연락처 kaipeng.zhang@shanda.com

의존하는 모델들

• LTX-2 (Lightricks) — 영상 DiT 백본. 라이선스 원문이 여기서 나온다
• Gemma-3-12B — 텍스트 인코더 (gated)
• Depth-Anything-3 — 단안 깊이 추정. 공간 메모리의 토대

배경 지식

• DiT — Peebles & Xie, "Scalable Diffusion Models with Transformers" (2022)
• Flow Matching — Lipman et al., "Flow Matching for Generative Modeling" (2022)
• DMD — Yin et al., "One-step Diffusion with Distribution Matching Distillation" (2023)
• TTC — arXiv:2602.05871 (Pathwise Test-Time Correction)
• Ulysses — DeepSpeed-Ulysses, 시퀀스 병렬화

비교 대상 월드 모델

• DreaxX-World / lingBot-Fast / HY-World 1.5 — 프로젝트 페이지가 직접 비교한 셋
• Genie (DeepMind) / Oasis (Decart) / Matrix-Game — 이 저장소와의 직접 비교 자료는 없음. 지형도를 그리려면 각자 확인 필요