Modular Platform (modular/modular) 딥다이브
— Mojo 언어 + MAX 추론 엔진으로 만드는 "하나의 AI 스택"

1프로젝트 한 줄 요약

Modular Platform은 "AI를 만들고 배포하는 전 과정을 하나의 스택으로 통합한다"를 내건 플랫폼이고, 이 저장소는 그중 오픈소스로 공개된 부분들을 모아 둔 곳이다. README가 스스로 밝히는 두 주인공은 MAX 프레임워크와 Mojo 언어다. Mojo는 "언어", MAX는 "그 언어 위에 세운 추론 플랫폼"이라고 보면 관계가 깔끔하다.

Mojo는 Python의 문법·생태계에 시스템 프로그래밍(성능·저수준 제어)과 메타프로그래밍을 결합한 새 언어다. README의 표현으로는 "연구와 프로덕션 사이의 간극을 메우는 언어"이자 "CPU·GPU를 겨냥해 극도로 빠른 코드를 쓰기 위한 언어"다. MAX는 그 위에서 도는 "대형 언어모델(LLM)을 위한 고성능 추론 서버"로, max serve 한 줄이면 OpenAI 호환 엔드포인트가 뜬다 — 기존에 OpenAI API로 짠 코드를 그대로 붙일 수 있다는 뜻이다.

가장 빠른 체험은 작은 모델 하나를 서빙해 OpenAI API처럼 불러 보는 것이다.

# 1) 설치 (pixi 권장) 후 프로젝트에 max 추가
pixi add max-all
# 2) 작은 모델을 OpenAI 호환 서버로 띄우기
max serve --model Qwen/Qwen2.5-0.5B-Instruct
# → http://localhost:8000/v1/... 에 OpenAI 호환 엔드포인트가 열린다

2왜 지금 주목받는가

추론 엔진·서빙 스택은 이미 많다(vLLM, TensorRT-LLM, llama.cpp, PyTorch 등). 그럼에도 modular/modular가 2026년에 다시 상위 트렌딩에 오른 건 네 가지가 겹쳤기 때문이다.

① Mojo가 1.x로 올라섰다 (언어의 성숙)

저장소 HEAD가 Mojo 1.1.0·MAX 26.6.0으로 락파일을 고정하고 있다. 릴리스 노트는 v24.1(2024 초)부터 v26.5(2026-08-11)까지 이어진다. 초창기 블로그에서 보던 실험 언어가 안정 버전(1.x) 궤도에 들어섰다는 신호다. (참고: 이 때문에 예전 문법과 지금 문법이 다르다 — 뒤 6번에서 짚는다.)

② 하나의 언어로 NVIDIA·AMD·Apple GPU를 모두 (CUDA 없이)

이게 핵심 차별점이다. max/kernels/README.md는 지원 하드웨어로 NVIDIA GPU(T4·A10G·L40·A100·H100·RTX 40 시리즈)와 AMD GPU(MI355X·MI325X·Radeon RX 9000)를 명시하고, v26.5 노트는 Apple 실리콘 GPU를 M1까지 지원한다고 밝힌다. 이 GPU 커널들이 CUDA C가 아니라 Mojo로 쓰였다는 점이 결정적이다 — 저장소 전체에서 CUDA .cu 파일은 단 2개뿐이고, GPU 코드는 3,681개의 .mojo 파일이 담당한다.

③ GPU 커널을 오픈소스로 풀고, 기여도 받는다

README는 "우리는 Modular Platform을 계속 더 오픈소스로 공개하고 있다"고 말한다. 컴파일러(KGEN) 같은 핵심부는 아직 닫혀 있지만, Mojo 표준 라이브러리와 MAX 가속기 라이브러리(GPU 커널), 모델 아키텍처, 예제는 열려 있고 기여도 받는다. "AI 컴퓨팅의 민주화(democratizing AI compute)"라는 슬로건 아래, 그동안 벤더 종속적이던 GPU 커널이 읽고 고칠 수 있게 됐다는 서사가 개발자들의 관심을 모았다.

④ 거대한 모델 동물원 + 최신 추론 기법

max/python/max/pipelines/architectures/에는 95개 모델 아키텍처가 들어 있다 — DeepSeek V3/V3.2, Llama3, Gemma3/4, GLM5, Qwen, GPT-OSS, FLUX2, Whisper 등. 여기에 FP8·NVFP4·MXFP4 양자화, 투기적 디코딩(MTP), 도구 호출, 구조화 출력까지 최신 기법이 붙는다. "새 모델이 나오면 곧 MAX로 서빙 가능"에 가깝다.

3기술 스택 전체 지도

이 저장소는 "언어를 만드는 부분"과 "그 언어로 만든 플랫폼"이 한 지붕 아래 있는 대형 모노레포다. 파일 수로 보면 Mojo가 3,681개로 1위 — 이 플랫폼은 말 그대로 "Mojo가 먼저(Mojo-first)"이고, C++는 컴파일러·런타임 같은 내부 엔진에만 남아 있다. 스택을 "언어·컴파일러 층", "빌드·의존성 층", "런타임 표면(서빙) 층"으로 나눠 보면 한눈에 들어온다.

언어 · 커널 층 (Mojo · C++)

빌드 · 의존성 층 (Bazel · Pixi)

런타임 표면 층 — MAX 서빙 (Python)

4아키텍처 심화 분석

Modular Platform은 "층층이 쌓인 탑"으로 이해하면 좋다. 맨 아래엔 Mojo 언어와 그 컴파일러(KGEN)가 있고, 그 위에 하드웨어별 커널, 다시 그 위에 계산 그래프(MAX Graph), 모델 파이프라인, 그리고 맨 위에 사용자가 만나는 OpenAI 호환 서버가 있다.

이 그림의 핵심은 "위층은 하드웨어를 모른다"는 점이다. 서빙·그래프·파이프라인은 "무엇을 계산할지"만 기술하고, "그걸 이 GPU에서 어떻게 빠르게 돌릴지"는 아래층(커널 + 컴파일러)이 책임진다. 덕분에 NVIDIA용/AMD용 코드를 따로 짜지 않아도 된다.

핵심 ① — MLIR 기반 컴파일 (KGEN)

Mojo가 여러 하드웨어를 겨냥할 수 있는 비결은 MLIR(Multi-Level Intermediate Representation)이다. MLIR은 LLVM 창시자가 만든 "컴파일러를 위한 레고 블록" 같은 기반으로, 고수준 표현을 여러 단계로 점점 낮춰(lowering) 최종 하드웨어 코드로 만든다. Mojo는 "AI 시대를 위해 처음부터 설계된 언어"를 표방하며, 이 MLIR 위에서 CPU와 여러 벤더 GPU를 같은 소스로부터 생성한다 — 이것이 "N개 언어 문제"를 푸는 방식이다.

핵심 ② — 커스텀 연산(custom op): Python 그래프에 Mojo 커널 꽂기

MAX의 실전 설계를 가장 잘 보여 주는 패턴이다. 모델을 계산 그래프로 조립할 때, 특정 연산만 직접 만든 Mojo 커널로 대체할 수 있다. 아래는 저장소 예제(max/examples/custom_ops/addition.py)의 뼈대다 — Python으로 그래프를 짜되, custom_extensions로 Mojo 커널 폴더를 가리킨다.

from max.driver import CPU, Accelerator, accelerator_count
from max.engine import InferenceSession
from max.graph import DeviceRef, Graph, TensorType, ops

# 가속기가 있으면 GPU, 없으면 CPU 자동 선택
device = CPU() if accelerator_count() == 0 else Accelerator()

graph = Graph(
    "addition",
    forward=lambda x: ops.custom(         # ← 내가 만든 커널을 연산으로 사용
        name="add_one", values=[x],
        device=DeviceRef.from_device(device),
        out_types=[TensorType(...)],
    )[0].tensor,
    input_types=[TensorType(...)],
    custom_extensions=[mojo_kernels],     # ← .mojo 커널이 든 폴더
)
session = InferenceSession(devices=[device])
model = session.load(graph)               # 그래프를 컴파일해 로드

이 구조 덕분에 "표준 연산은 MAX가 제공하는 걸 쓰고, 병목이 되는 특정 연산만 내가 Mojo로 최적화해 끼워 넣기"가 가능하다. 연구자가 새 어텐션 변형이나 양자화 커널을 실험할 때 특히 강력하다.

핵심 ③ — OpenAI 호환 서빙 파이프라인

사용자 표면은 철저히 "OpenAI처럼"이다. max serve는 /v1/chat/completions 같은 엔드포인트를 열고, 내부적으로는 요청을 스케줄러 큐에 넣어 여러 요청을 함께 처리(연속 배칭)한다. 긴 문맥을 효율적으로 다루는 페이지드 KV 캐시, 토큰을 미리 여러 개 예측하는 투기적 디코딩, JSON 스키마를 강제하는 구조화 출력이 여기에 얹힌다.

5디렉토리 구조 해부

최상위 폴더가 곧 "무엇이 언어이고 무엇이 플랫폼인가"를 그대로 보여 준다. 크게 Mojo 언어(mojo/), MAX 플랫폼(max/), 그리고 C++로 된 엔진들(KGEN·AsyncRT·Cache·Support 등)로 나뉜다.

이 저장소의 "열림/닫힘"은 폴더 경계로 갈린다 — mojo/stdlib와 max/kernels는 오픈소스이고 기여도 받지만, 컴파일러 KGEN과 런타임 AsyncRT 같은 C++ 엔진은 소스는 보이되 기여는 받지 않는다. 그래서 "Mojo를 공부하고 커널에 기여하고 싶다"면 mojo/와 max/kernels가 놀이터이고, 컴파일러 내부 동작이 궁금하면 KGEN/을 읽되 고치기보다 이해 목적으로 보는 게 맞다.

6학습 포인트

modular/modular는 "현대 AI 시스템 소프트웨어"의 살아 있는 교과서다. 관심 방향에 따라 배울 게 다르다.

① Mojo 언어 — Python처럼 쓰되 C처럼 빠르게

Mojo는 Python 문법을 따르지만 시스템 언어의 무기를 얹었다. 저장소 예제(my_complex.mojo)의 구조체는 이렇게 생겼다 — 트레이트를 구현하고 연산자를 오버로딩한다.

from std.math import sqrt

@fieldwise_init
struct Complex(Boolable, Equatable, Writable):
    var re: Float64
    var im: Float64

    def __init__(out self, re: Float64):   # out = 초기화되는 결과
        self.re = re
        self.im = 0.0

    def __add__(self, rhs: Self) -> Self:
        return Self(self.re + rhs.re, self.im + rhs.im)

    def __iadd__(mut self, rhs: Self):      # mut = 자신을 변경
        self.re += rhs.re
        self.im += rhs.im

여기서 배우는 것: var로 값을 선언하고, 소유권/변경 표시(mut=변경 가능, out=결과로 초기화), 트레이트 기반 다형성, 연산자 오버로딩이다. Python 개발자가 "성능을 위해 타입과 소유권을 명시적으로 다루는 법"을 자연스럽게 익힐 수 있다.

② GPU 프로그래밍 — CUDA 없이 GPU 커널 쓰기

Mojo는 GPU를 1급 시민으로 다룬다. DeviceContext로 버퍼를 만들고, global_idx로 스레드 인덱스를 잡고, 커널 함수를 그리드/블록으로 실행한다 — CUDA C의 개념을 그대로, 그러나 Python스러운 문법으로. "GPU 프로그래밍을 배우고 싶지만 CUDA C의 문법 장벽이 부담"이던 사람에게 Mojo의 GPU 예제는 가장 부드러운 입구다. (단, v26.5부터 GPU API가 std.gpu.*에서 max.gpu.*로 옮겨졌다.)

③ 컴파일러 · MLIR

"같은 소스가 어떻게 여러 하드웨어 코드가 되는가"의 실물을 볼 수 있다. KGEN 자체는 닫혀 있지만, MLIR·lowering·컴파일타임 메타프로그래밍(comptime) 개념은 문서와 stdlib에서 배울 수 있다. 컴파일러·언어 설계에 관심 있다면 드문 실전 사례다.

④ 추론 엔진 · LLM 서빙 내부

max/python/max/serve는 "프로덕션 LLM 서버를 어떻게 짜는가"의 표본이다 — OpenAI 호환 라우팅, SSE 스트리밍, 스케줄러 큐(연속 배칭), 페이지드 KV 캐시, 투기적 디코딩. vLLM 같은 엔진의 내부가 궁금했다면 읽을 가치가 크다.

⑤ 대규모 Bazel 모노레포 운영

bzlmod(MODULE.bazel), 커스텀 언어 툴체인 등록, LLVM을 소스로 빌드하는 방식 등 "언어+플랫폼을 한 저장소에서 재현 가능하게 빌드하는" 기법을 배운다. Pixi로 과학계 파이썬 환경을 재현하는 패턴도 덤이다.

7시스템 요구사항

MAX 서버 자체는 GPU 없이 CPU로도 돌지만(가속기가 없으면 자동 폴백), 실전 추론엔 GPU가 사실상 필요하다. OS 지원 범위가 다소 좁은 편이다(현재 Windows 미지원 — WSL/컨테이너 사용).

8직접 해볼 수 있는 실습 과제

9관련 기술 심화 학습 로드맵

10핵심 키워드 사전

11참고 링크