supertone-inc/supertonic 딥다이브
— 99M짜리 작은 모델로 클라우드·GPU 없이 31개 언어를 말하는 온디바이스 TTS

1프로젝트 한 줄 요약

supertone-inc/supertonic은 텍스트를 음성으로 읽어 주는(Text-to-Speech, TTS) 모델을 내 컴퓨터·휴대폰·브라우저에서 직접 돌리는 오픈소스 저장소다. 핵심은 세 가지 — ① 모델이 아주 작다(약 99M 파라미터), ② 클라우드가 필요 없다(CPU만으로 실시간), ③ 31개 언어를 하나의 모델로 말한다. 저장소가 내건 한 줄은 이것 — "Lightning-Fast, On-Device, Multilingual TTS — running natively via ONNX."(번개처럼 빠른, 온디바이스, 다국어 TTS — ONNX로 네이티브 실행).

가장 먼저 풀어야 할 오해 — supertonic은 서버에 요청을 보내는 API가 아니다. ElevenLabs·OpenAI TTS·Gemini TTS처럼 "인터넷 너머 GPU 서버가 대신 만들어 주는" 방식이 아니라, 모델 파일 몇 개를 내 기기에 두고 그 자리에서 직접 계산한다. 그래서 비행기 모드의 전자책 단말기(Onyx Boox)에서도, 라즈베리파이에서도 소리가 난다. 이렇게 서버 없이 기기 안에서 AI를 돌리는 걸 온디바이스(on-device) 추론이라 한다.

2왜 지금 주목받는가

supertonic이 8개월 만에 별 1.3만+를 모으며 트렌딩에 오른 이유는 "또 하나의 TTS"여서가 아니다. 상용 클라우드 TTS의 벽(비용·프라이버시·오프라인 불가)과, 기존 오픈 TTS의 약점(영어 편중·기호 오독)을 동시에 겨냥했기 때문이다. 핵심 셀링 포인트는 "작은 모델로 온디바이스", "발음기 없이 다국어", 그리고 의외로 "숫자·통화·전화번호를 정확히 읽는 텍스트 정규화"다.

주목 포인트 1 — "작은 모델 + CPU"로 상용급 품질을 노린다

supertonic의 서사는 "큰 모델을 클라우드에서 돌려야 좋은 음성이 나온다"는 통념에 대한 반례다. README는 저사양 기기 사례를 전면에 내세운다 — 라즈베리파이 실시간, Onyx Boox 전자책 단말기(비행기 모드)에서 평균 RTF 0.3배. 정확도 벤치마크(Minimax-MLS-test, WER/CER)에서도 VoxCPM2·OmniVoice·Qwen3-TTS 같은 대형 모델과 경쟁 범위 안에 든다(예: 영어 WER 2.06, 독일어 0.86, 한국어 CER 3.26).

주목 포인트 2 — "발음기 없는 다국어"라는 설계 결정

대부분의 오픈 TTS(Piper 등)는 espeak-ng 같은 G2P(자소→음소) 엔진으로 글자를 발음기호로 바꾼 뒤 모델에 넣는다. 이 방식은 발음이 정밀하지만, 언어를 늘리려면 그 언어의 발음 규칙 사전을 새로 붙여야 한다. supertonic은 이 단계를 통째로 버리고 유니코드 글자를 그대로 숫자(코드포인트)로 바꿔 모델에 넣는다. 발음의 부담을 모델이 데이터로 학습해 떠안는 대신, 언어 확장은 극도로 쉬워졌다 — 그래서 31개 언어, 나아가 언어를 지정하지 않는 na 모드까지 가능하다.

주목 포인트 3 — "하나의 모델, 11개 런타임"의 실전 이식성

supertonic이 학습 표본으로 훌륭한 진짜 이유는 동일한 4개 ONNX 모델을 11개 언어에서 로드해 돌리는 완성된 예제가 한 저장소에 모여 있기 때문이다. Python 원본(py/helper.py)을 기준으로, 같은 파이프라인(텍스트 전처리 → 유니코드 토크나이즈 → 4개 세션 실행 → 플로우매칭 루프 → WAV 저장)을 Swift·Rust·Go·Java·C++·C#·브라우저까지 그대로 재현했다. "같은 신경망을 여러 플랫폼에 이식하는 법"을 언어별로 비교하며 배울 수 있는 드문 자료다.

3기술 스택 전체 지도

supertonic의 스택은 두 층으로 나눠 봐야 한다. ① 모델 층 — 학습된 신경망이 4개의 .onnx 파일로 쪼개져 있고, 언어 불문 이 파일들이 "진짜 두뇌"다. ② 바인딩 층 — 각 언어(Python·Swift·Rust…)가 그 파일들을 로드해 입출력을 맞춰 주는 얇은 코드다. Python 원본 py/helper.py가 기준 구현이고, 나머지 10개는 이걸 포팅한 것이다(전부 스텁 아닌 완전 구현, 합쳐 약 1만 줄).

① 모델 층 — TTS를 4개 그래프로 분해

supertonic은 "발음기호 → 멜 스펙트로그램 → 보코더"라는 전통 구조가 아니라, 잠재 공간에서 플로우매칭(flow-matching)으로 음성을 그려 내는 구조다(SupertonicTTS 논문). 실행 시 로드되는 파일은 다음과 같다.

② 바인딩 층 — 같은 모델, 11개 런타임

각 폴더가 하나의 언어/런타임 예제다. 모두 동일한 4개 ONNX를 로드하지만, 의존성·실행 제공자(EP)는 제각각이다.

4아키텍처 심화 분석

supertonic의 핵심 질문은 하나다 — "발음기호도 없이, 어떻게 텍스트가 소리가 되나?" 답은 6단계 파이프라인이다. Python 원본 py/helper.py를 기준으로 흐름을 그리면 이렇다.

핵심 설계 ① — 발음기 대신 "유니코드 코드포인트" 토크나이제이션

가장 특징적인 부분이다. 보통 TTS는 "cat"을 /kæt/ 같은 발음기호로 바꿔 넣지만, supertonic은 글자 하나하나를 유니코드 번호(ord(char), 16비트)로 바꾼 뒤 unicode_indexer.json으로 토큰 id에 매핑한다. 발음 규칙 사전이 없으니 새 언어를 붙이는 비용이 거의 없다 — 그 언어의 글자 코드포인트만 인덱서에 있으면 된다. 언어는 <ko>...</ko>처럼 태그로 감싸 알려 주고, 특정 언어를 지정하기 어려우면 na(language-agnostic) 모드를 쓴다.

핵심 설계 ② — 화자를 두 경로에 나눠 주입(style_dp / style_ttl)

목소리 정체성(화자)은 voice_styles/M1.json 같은 파일에 두 개의 임베딩으로 들어 있다 — style_dp(duration predictor용)와 style_ttl(text-to-latent용). 즉 "얼마나 빠르게/길게 말하나"와 "어떤 음색으로 말하나"를 서로 다른 경로에 각각 주입한다. 프리셋은 남성 5·여성 5(M1–M5, F1–F5) 총 10종이다. 임의의 새 목소리를 만드는 voice cloning은 이 오픈 레포에 없고, 외부 Voice Builder나 유료 API를 거쳐 이 JSON을 얻는 구조다.

핵심 설계 ③ — 플로우매칭 ODE 루프: 품질/속도의 손잡이

4단계에서 무작위 노이즈 xt를 만든 뒤, 5단계에서 vector_estimator.onnx를 total_step번 반복 호출해 노이즈를 점점 "진짜 음성 잠재값"으로 밀어 간다. 이게 ODE(상미분방정식) 적분이다 — 매 스텝 속도장을 구해 한 걸음 이동한다. 이 반복 횟수(NFE)가 유일한 품질/속도 손잡이다. 논문이 쓰는 기법들 — LARoPE(Length-Aware RoPE, 텍스트-음성 정렬), Self-Purifying Flow Matching(노이즈 라벨에도 견고한 학습), RobustSpeechFlow — 이 루프의 안정성·정렬을 담당한다.

# py/helper.py — 플로우매칭 추론 루프(요지)
xt, latent_mask = sample_noisy_latent(dur)     # 노이즈에서 출발
for step in range(total_step):                 # NFE 회 반복(기본 8)
    xt = vector_estimator.run(
        noisy_latent=xt, text_emb=text_emb, style=style_ttl,
        text_mask=text_mask, latent_mask=latent_mask,
        current_step=step, total_step=total_step,
    )
wav = vocoder.run(latent=xt)                    # 잠재값 → 파형(ISTFT 내장)

핵심 설계 ④ — 보코더가 파형을 "직접" 뱉는다(ISTFT 내장)

많은 TTS는 모델이 스펙트로그램(주파수 그림)을 내놓고, 호스트 코드가 역-STFT(ISTFT)로 파형을 복원한다. supertonic의 vocoder.onnx는 ISTFT를 그래프 안에 넣어 wav_tts(파형)를 바로 출력한다. 덕분에 각 언어 바인딩은 별도 FFT 라이브러리 없이도 오디오를 얻는다(위 "함정"에서 본 fft.js 등이 실은 잉여인 이유). 이런 "전처리·후처리를 모델 그래프 안으로 흡수"하는 설계는 이식성을 극대화하는 현대적 패턴이다.

핵심 설계 ⑤ — 장문은 청킹 + 무음 이어붙이기

긴 텍스트는 한 번에 합성하지 않는다. chunk_text()가 기본 300자(한국어·일본어는 120자) 단위로 잘라 청크별로 합성한 뒤 0.3초 무음을 사이에 넣어 이어 붙인다. 언어별 청크 길이가 다른 건 문자당 정보 밀도(CJK가 높음) 때문이다. 배치 모드(--batch)를 켜면 자동 청킹이 꺼지므로, 입력 개수와 출력 개수가 어긋나지 않게 주의해야 한다.

5디렉토리 구조 해부

저장소는 의외로 단출하다(파일 115개). 뼈대는 "언어별 폴더 11개 + 공용 문서·테스트"다. 각 언어 폴더는 거의 같은 골격 — helper.*(파이프라인 본체) + example_onnx.*(실행 예제) + 매니페스트다. Python py/helper.py를 읽고 다른 언어를 대조하면 "같은 로직을 이 언어에선 이렇게 쓰는구나"가 한눈에 들어온다.

읽는 순서는 이렇다. ① README.md(벤치마크·언어·라이선스 지도) → ② py/helper.py(전처리·토크나이즈·4개 세션·플로우매칭 루프의 원본) → ③ py/example_onnx.py(CLI 진입점, 인자 파싱) → ④ 관심 언어의 helper.*를 Python과 대조(예: rust/src/helper.rs, swift/Sources/Helper.swift) → ⑤ web/main.js(브라우저 WebGPU 폴백) 또는 ios/ExampleiOSApp(모바일 통합). 한 언어만 깊게 읽고, 나머지는 "차이점"만 훑는 것이 효율적이다.

6학습 포인트

supertonic이 학습 표본으로 훌륭한 이유는 ONNX Runtime 크로스플랫폼 추론, 플로우매칭 TTS 구조, 발음기 없는 토크나이제이션, 온디바이스 최적화, 그리고 "같은 모델의 11개 언어 이식"이 한 저장소에 모여 있기 때문이다. 관심사별로 배울 것을 짚어 보자.

① ONNX Runtime으로 "한 모델, 여러 플랫폼" 돌리기

이 저장소의 최대 교육 가치다. 동일한 4개 .onnx를 Python·Node·브라우저·Java·C++·C#·Go·Swift·iOS·Rust·Flutter에서 로드해 입출력 텐서 이름 계약(text_ids·style_*·…·wav_tts)이 언어 불문 동일하다는 걸 눈으로 확인할 수 있다. "학습은 PyTorch, 배포는 ONNX"라는 실무 패턴, 그리고 실행 제공자(EP: CPU/WebGPU/WASM) 추상화를 배운다.

② 플로우매칭 TTS 아키텍처

멜 스펙트로그램+보코더의 전통을 벗어나, 잠재 공간에서 속도장을 반복 적분(ODE)해 음성을 생성하는 최신 구조를 코드로 본다. 디퓨전/CNF(연속 정규화 흐름)의 감을 잡고, "스텝 수(NFE)와 품질의 트레이드오프"를 실측할 수 있다. 학술 논문(SupertonicTTS 등)과 실제 추론 코드를 함께 대조하기 좋은 자료다.

③ 발음기(G2P) 없는 다국어 토크나이제이션

helper.py의 유니코드 코드포인트 방식은 "발음 정밀도 vs 언어 확장성"이라는 설계 트레이드오프를 생생히 보여 준다. espeak 기반(Piper)과 비교하며 "왜 어떤 프로젝트는 발음기를 쓰고 어떤 건 안 쓰는가"를 이해하게 된다.

④ 온디바이스 최적화 기법

작은 모델(99M) 설계, C++의 -O3 -ffast-math+OpenMP, 그래프 슬리밍(OnnxSlim), ISTFT를 그래프에 흡수해 후처리를 없앤 것까지 — "저사양 기기에서 실시간을 뽑기 위한" 실전 최적화가 곳곳에 있다. RTF를 직접 측정해 보며 최적화 효과를 체감할 수 있다.

⑤ 모바일·브라우저 통합의 실제

ios/는 SwiftUI 앱에서 번들 리소스로 .onnx를 로드하고 NFE를 nfe 파라미터로 노출하는 통합 예시, web/main.js는 onnxruntime-web의 WebGPU→WASM 폴백 전략과 대용량 모델 서빙(Vite)을 보여 준다. "AI를 앱·웹에 실제로 넣는 법"의 축소판이다.

7하드웨어 · 시스템 요구사항

supertonic은 특별한 가속기가 필요 없다. 모든 예제가 기본적으로 CPU 실행 제공자(CPUExecutionProvider)로 돈다. 오히려 "저사양에서 얼마나 잘 도는가"가 셀링 포인트다. 정리하면 다음과 같다.

8직접 해볼 수 있는 실습 과제

9관련 기술 심화 학습 로드맵

10핵심 키워드 사전

11참고 링크

경쟁 · 유사 도구 대비 위치

저장소 · 제품
· GitHub: github.com/supertone-inc/supertonic (MIT 코드 · 별 13,242 · 최신 커밋 2026-05-22)
· 모델(HuggingFace, OpenRAIL-M): huggingface.co/Supertone/supertonic-3 · 데모 Space
· pip SDK(별도 레포): supertonic-py (pip install supertonic, 모델 자동 다운로드)
· 제작사·제품: supertone.ai · Play · 오디오 샘플 supertonic3.github.io

핵심 파일(클론 후)
· py/helper.py — 전처리·유니코드 토크나이즈·4개 세션·플로우매칭 루프(기준 구현)
· py/example_onnx.py — CLI 진입점(인자 파싱)
· rust/src/helper.rs · swift/Sources/Helper.swift — 대조용 포팅 예
· web/main.js — 브라우저 WebGPU→WASM 폴백
· ios/ExampleiOSApp/ — SwiftUI 모바일 통합

배경 지식 · 논문
· ONNX Runtime 문서 — 크로스플랫폼 추론
· SupertonicTTS arXiv:2503.23108 · LARoPE 2509.11084 · Self-Purifying FM 2509.19091
· Piper · Kokoro — 비교용 오픈 TTS