MOSS-Audio-Tokenizer 架构揭秘1.6B参数无CNN纯因果Transformer设计【免费下载链接】MOSS-TTSAn open-source model family for long-form speech, dialogue synthesis, voice design, sound effects, and real-time streaming TTS项目地址: https://gitcode.com/GitHub_Trending/mo/MOSS-TTSMOSS-Audio-Tokenizer 是 MOSS-TTS 开源语音合成家族背后的统一音频编解码器。它基于CatCausalAudioTokenizer withTransformer架构用 16 亿参数、完全由因果 Transformer 块堆叠而成的无 CNN设计把 24kHz 原始音频压缩成 12.5Hz 的低帧率离散 token 流再在高保真下还原回来。本文将从新手视角拆解这套纯因果 Transformer 音频 tokenizer 的设计思路它是什么、为什么不用卷积、如何做到极低比特率重建以及如何在本地部署。TTS 系统里音频 Tokenizer 是什么角色在主流的大模型 音频路线中TTS 系统普遍分三层层次职责类比LLM 主干理解文本、预测下一个 token大脑音频 Tokenizer本主角音频 ↔ 离散 token 的双向翻译翻译官声学细节/流式解码低延迟输出可播放音频发声音频 Tokenizer 的核心工作是编解码编码端把波形压成一串离散 token解码端再把 token 还原成波形。它决定了整条链路的保真度上限也决定了 LLM 能多容易地学会说话——token 帧率越低LLM 要生成的序列就越短。MOSS 家族中的 MOSS-TTS、MOSS-TTSD对话合成、MOSS-VoiceGenerator声音设计、MOSS-SoundEffect音效生成和 MOSS-TTS-Realtime实时流式全部共用同一个 MOSS-Audio-Tokenizer 作为离散音频接口MOSS-Audio-Tokenizer 架构总览全因果 Transformer 堆叠下面是官方架构图。左到右就是数据流动方向三大核心组件1. 编码端4 个因果 Transformer 块左侧输入支持语音Speech、音乐Music、音效Sound三类通用音频。波形先进入音频前端然后穿过 4 级逐级降采样的 Causal Transformer 块最终得到12.5Hz的连续表示——也就是每秒只需 12.5 个 token 就能描述整段音频。2. 中间层RVQ 3232 层残差向量量化连续表示被送入RVQ 3232 层码本逐层雕刻出更精细的细节。解码时只激活部分码本层就能在0.125kbps ~ 4kbps之间自由调节比特率——想要省带宽就少用几层想要高保真就多用几层。3. 解码端4 个因果 Transformer 块 判别器右侧与编码端对称把 token 逐级上采样还原为波形。训练时一个冻结策略的DiscriminatorReal/Fake 判别器提供对抗损失与 Reconstruction Loss重建损失共同约束生成音频的自然度。图中底部还有一个有趣细节Audio Hidden State 可以喂给 Decoder-only LLM配合 [Task_type] 标签做转写/描述任务说明该编码器学到的表示本身就是语义 声学双全的通用音频表征。无 CNN 设计为什么把卷积全部换成 Transformer传统音频 codec如 Encodec、DAC几乎都用卷积做下/上采样。Cat 架构反其道而行整个编解码器没有一个卷积层全部由同构的因果 Transformer 块组成。这样做带来三个直接好处天然的流式友好因果Causal意味着只看过去、不看未来音频可以一段一段地边收边算无需等齐整句是低延迟实时推理的关键。同构可扩展模块结构单一加深加宽、蒸馏、换量化方案都很方便也为 1.6B 这样的大规模参数提供了统一的扩展载体。更强的长程建模Transformer 的全局注意力能捕捉卷积感受野难以覆盖的韵律、情感等长程结构。代价是纯注意力计算量更大因此官方同时提供了ONNX Runtime / TensorRT后端来加速——这一点在下一节讲本地部署时展开。1.6B 参数与 300 万小时数据规模换来的重建上限MOSS-Audio-Tokenizer 从300 万小时的混合数据语音、音效、音乐从零训练参数量达16 亿是开源音频 tokenizer 中少见的大规模模型。大模型 大数据的组合让它在同等比特率下取得了开源同类中领先的重建质量LibriSpeech test-clean 子集上的 SIM、STOI、PESQ-NB、PESQ-WB 四项客观指标。从对比曲线可以看到在 0~4kbps 的主流区间内红色的 MOSS Audio Tokenizer 曲线在四个指标上基本都压过 Encodec、DAC、BigCodec、XCodec2.0、HiGg、Mimi 等开源方案——尤其是在低比特率区优势更加明显。本地部署ONNX 与 TensorRT 推理后端MOSS-TTS 官方支持无 PyTorch的轻量化推理链路LLM 主干走 llama.cppGGUF 量化权重音频 tokenizer 走 ONNX Runtime 或 TensorRT。配置文件位于 configs/llama_cpp/default.yaml关键项是audio_backend可选onnx、trt、torch三种后端onnx开箱即用跨平台适合大多数场景trtTensorRT 引擎音频 tokenizer 速度最快需要按自己的 GPU 自行构建引擎torch标准 PyTorch 路径便于开发与调试moss_audio_tokenizer目录以子模块形式挂载了完整的 tokenizer 实现见 .gitmodules模型目录中还包含 TensorRT 引擎构建脚本。若你使用 48kHz 立体声的 MOSS-TTS-Local-Transformer-v1.5则会自动切换到MOSS-Audio-Tokenizer-v2实时流式解码示例可参考 moss_tts_local_v1.5/README.md。模型版本速查表版本采样率声道特点MOSS-Audio-Tokenizer24kHz单声道初代1.6B 参数MOSS-Audio-Tokenizer-v248kHz立体声原生高保真立体声输入输出MOSS-Audio-Tokenizer-Nano48kHz立体声轻量版配套 Nano 模型写在最后MOSS-Audio-Tokenizer 证明了一件事音频 tokenizer 也可以像 LLM 一样走纯 Transformer 大规模数据的路线。1.6B 参数、无 CNN、全因果的设计让它在低比特率重建上领先开源同类同时天然适配流式推理——这正是 MOSS-TTS 家族能做到实时、多任务统一音频接口的底层原因。想动手体验完整入口在仓库根目录的 README.md其中 MOSS-Audio-Tokenizer 章节包含安装、推理与评测的全部细节。【免费下载链接】MOSS-TTSAn open-source model family for long-form speech, dialogue synthesis, voice design, sound effects, and real-time streaming TTS项目地址: https://gitcode.com/GitHub_Trending/mo/MOSS-TTS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
