做播客后期最头疼的往往不是剪不出节奏而是找不到人。一期三四人的对谈想单独剪出某位嘉宾的金句传统做法得先过一遍完整音轨手动标记说话区间再逐段分离。如果嘉宾声音相近、或者多人同时开口工作量直接翻倍。小米最近开源的 CocktailASR-1把这件事变成了告诉模型听谁的它只给你出那一个人的稿。目标说话人识别从全都要到只认一个传统 ASR 的思路是来者不拒所有声音进模型所有文字出结果。鸡尾酒会场景之所以难正是因为这种全都要的架构在多人混叠时天然吃亏——模型分不出谁是谁降噪再狠也只是在混响里做减法。CocktailASR-1 换了个思路先给模型听一段目标声音再让它从嘈杂对话里锁定这个人。技术上这是端到端的 LLM 架构D2V2 音频编码器接 Adapter 再接 LLM 解码所有权重在一个 checkpoint 里。输入格式很简洁参考音频 1 秒静音 目标音频都是 16kHz 单声道。这个设计对播客剪辑的直接好处是你不再需要完整分离音轨。只要有一段目标嘉宾的干净声音作为锚模型就能在混合对话里只转录他的发言其他人的话、背景噪音、甚至重叠语音都被过滤掉。参考音频怎么选锚点质量决定识别效果实际用下来参考音频的选取有几个实用技巧。首选自我介绍片段。播客开场通常有嘉宾自我介绍这段声音干净、情绪平稳、没有和他人重叠是理想的锚点。如果节目没有标准自我介绍第一个回答问题的片段也可以但要选目标嘉宾单独说话的区间避开开场寒暄的混叠部分。长度不需要很长。从工程角度看CocktailASR-1 的参考音频不需要像声纹注册那样录满几十秒。实践中 5-10 秒的干净片段就足够模型建立说话人特征。关键是这段音频里只有目标人声不能有其他人插话或背景音。音质一致性要注意。如果参考音频是从最终混音轨里截的而目标音频是原始录音两者可能存在压缩差异。建议统一处理要么都用原始音轨截取要么都用相同样式的压缩版本。16kHz 单声道的格式要求也意味着如果你的工程文件是 48kHz 立体声需要先降级和混音。16kHz 单声道工程处理中的实际踩坑点这个输入规格在实际工作流里需要过一道处理但不算复杂。从立体声降级。播客录音通常是立体声尤其是远程录制时左右声道可能分别来自不同嘉宾。处理步骤是先按时间轴切分出需要识别的区间混音为单声道再重采样到 16kHz。FFmpeg 一行命令可以搞定ffmpeg -i input.wav -ar 16000 -ac 1 output.wav如果左右声道分别对应不同嘉宾更聪明的做法是先分离声道再混音避免把另一个人的声音也带进目标音轨。参考音频与目标音频的拼接。CocktailASR-1 要求中间插 1 秒静音这个在代码里直接拼接即可。需要注意的是总时长如果过长可能会触及模型的上下文限制。对于播客场景建议按话题段落切分每次处理 5-10 分钟区间而不是扔一整期节目进去。音量归一化。不同来源的音频电平差异大拼接前建议做一遍响度统一避免模型因为音量跳变产生误判。EBU R128 标准的 -23 LUFS 是个稳妥的目标响度。思维链推理调试时的黑盒透视镜CocktailASR-1 有个不太起眼但非常实用的特性思维链推理。模型在输出最终转录前会先展示一段推理过程。对播客制作人来说这相当于给黑盒 ASR 开了扇窗。判断拒识是否合理。有时候模型输出空文本不一定是 bug可能是目标说话人确实没开口。通过观察推理链可以看到模型是否成功定位了目标声纹、以及为什么判定某段不属于目标人物。这比盲猜是不是参考音频选错了高效得多。定位识别错误的根因。如果某段该识别出来的内容被漏掉推理链可能显示模型把这段判成了其他人说话或背景噪音。反过来如果识别出了不该有的内容也能看到模型是在哪个环节把非目标人声错配了。精度影响可控。根据测试数据开启思维链对最终 WER 的影响很小但调试价值很大。建议在初跑流程时开启稳定后再关闭以提升吞吐。和传统工作流对比时间账与准确率账手动处理多人对谈的传统做法通常是先过一遍完整音频用耳朵标记说话区间再逐段分离、转录。这个流程的时间成本可以这样估算环节传统工作流CocktailASR-1 工作流说话人分离1小时音频约需2-3小时人工标记准备参考音频5分钟自动处理转录分离后逐段送 ASR直接输出目标人转录校对需核对分离边界是否正确只需校对转录内容本身多人重叠场景几乎无法处理只能弃用模型自动过滤非目标人声准确率方面LibriMix 2mix 测试里 CocktailASR-1 的 WER 是 4.11%LibriSpeechMix 2mix 低至 2.90%。作为对比传统先分离再识别的级联方案分离环节引入的误差会累积到识别环节尤其在 3 人及以上混叠时级联方案的 WER 往往飙升到不可用。LibriMix 3mix 测试中Qwen3-ASR、Gemini、StepAudio 等方案均无法完成而 CocktailASR-1 仍保持了 12.29% 的 WER——虽然比 2 人场景差但至少可用。真实会议场景的数据更有说服力AMI SDM 的 WER 21.81%AliMeeting Far 20.63%。这两个数据集模拟的是真实会议室的远场录音混响、噪声、说话人重叠都很真实能在这个水平上使用意味着播客场景通常录音条件更好的可用性更高。负样本拒识是另一个省时间的设计。如果参考音频对应的人某段时间没说话模型输出空文本而不是硬编一段。LibriSpeech 负样本拒识率 79.59%Aishell 75.35%小米自有中文测试集 68.54%。这意味着你不需要事后删除大量识别出来的废话输出更干净。一个可落地的播客剪辑工作流结合上面的点可以搭一个这样的流程素材准备从原始录音里截取每位嘉宾的自我介绍存为 16kHz 单声道 wav命名好段落切分按话题或时间把整期节目切成 5-10 分钟段批量处理对每段用对应嘉宾的参考音频跑 CocktailASR-1得到各嘉宾的独立转录人工校对重点看思维链里有疑点的部分确认转录边界精华提取在独立转录里搜索关键词快速定位可用片段这个流程的核心变化是后期人员从听音辨人的重复劳动里解放出来把精力放在内容判断和剪辑节奏上。局限与注意事项当然这个方案不是万能的。参考音频必须来自同一人。如果嘉宾声音状态变化大比如开场感冒、后半段好了单一参考音频可能覆盖不全。可以尝试分段用不同参考音频或选声音最稳定的片段。极端重叠仍有挑战。虽然 CocktailASR-1 在 3 人混叠场景表现优于竞品但如果目标人声被其他人完全盖住模型也爱莫能助。这种情况建议结合波形图人工判断不要盲信模型。中文场景数据。LibriSpeech 和 LibriMix 是英文数据集虽然小米自有中文测试集表现也不错但具体到你的播客领域尤其是有口音、网络用语、专业术语时建议先用小样本验证再批量跑。把 CocktailASR-1 塞进播客后期流程本质上是用目标说话人识别重新定义了剪辑的起点。以前剪一期多人对谈先得在音轨迷宫里找人现在人可以站在迷宫外面直接告诉模型我要这个人的。对于每周更新的播客团队来说这个时间账算下来值得认真试试。
