一句指令，决定稿面怎么写
2026 年 10 月 28 日，NVIDIA 发布 Nemotron 3.5 Transcribe。同一段录音可以留下口头禅，也可以收成书面句子。这个选择写在当次请求的指令里，不用为每种稿面再训一个模型。
逐字稿保留 uh、重复和口语拼法。书面稿把日期、时间和专名收成常见写法。指令里如果附上地点名单，听感接近 Teresa's Visa 的片段，可以写成名单中的 Theresienwiese。说话人稿在字句旁标出编号。丰富稿可以带上笑声一类事件标签。翻译和口语语种识别走同一套权重。报告首页用这些句子示范格式，示范句本身没有单独评分。
转写默认直接出稿。音频理解、语音指令和纯文本推理才打开“先推理再回答”，并换一套采样。模型能听语音、声音和音乐，用来支撑转写。训练目标不覆盖底层语言模型的全部纯文本能力。打开推理后，GPQA Diamond 为 62.12%，MMLU 为 83.99%。Lightning 模型卡上的 GPQA Diamond 是 75.44%，两套数字只能粗略对照。
语音数据覆盖 77 种语言，其中 41 种各有至少 370 小时不同音频。挪威语没有练出可用质量，转写因此支持 40 种。英语、西班牙语、法语和葡萄牙语还包含报告列出的地区变体。训练录音最长 1 小时。词级时间不写进指令：模型先生成转写，再由 CTC 对齐模块把词对回音频帧。
翻译在 FLEURS 上按英语与另外 36 种语言双向评估，平均 BLEU 译入英语 29.20、译出英语 26.54。CoVoST 2 上，16 种语言译入英语为 33.67，10 种语言从英语译出为 26.34。已发表结果覆盖的语言集合不同，名次不能直接横比。口语语种识别在 FLEURS 的 36 种语言上平均准确率 98.64%；拉脱维亚语 80.49%、斯洛文尼亚语 90.05%、印地语 94.02%，低于其余语言里“至少 97%”的那一档。
九个公开测试平均词错误率 4.71%
词错误率把听错、漏写和多写的词算进错误，分母是参考转写的词数，越低越好。2026 年 10 月 21 日的榜单快照上，英语 Open ASR Leaderboard 的公开部分有 9 个测试集，Nemotron 3.5 Transcribe 的不加权平均是 4.71%。开源权重模型里它最低，比下一名 Qwen3-ASR-1.7B 的 4.94% 低 0.23 个百分点。OtterAI speech-v3.1 的平均是 3.88%。报告写明，这项成绩只落后于七个商业系统。
九个测试的难度差得很开。朗读语音 LibriSpeech test-clean 是 1.09%，嘈杂退化语音 URGENT 2024 是 11.00%，会议 AMI 是 7.81%。AMI 上两款 Granite-Speech 更低；URGENT 上 Qwen3-ASR-1.7B 为 9.93%，Granite-Speech-5.0-2B 为 10.22%。同表开源模型里，它在财报电话 Earnings-22 和议会语音 VoxPopuli 上更稳。
默认榜单还包含报告作者拿不到的私有测试集，4.71% 只对应公开部分。发布帖写的是 Hugging Face 英语开源榜平均 5.33%。5.33% 与 4.71% 来自不同的集合，不能互相改写。
多语榜是另一张表、另一个日期。2026 年 10 月 2 日，德语、法语、意大利语、西班牙语、葡萄牙语、荷兰语和印地语平均 4.62%。印地语这一项用 OIWER，等价拼写不计错误，数值 9.15%。4.62% 不能读成“多语比英语更准”。
发布帖还给出 Artificial Analysis 非流式测试上的一组对照：Nemotron 2.81%，Voxtral Small 2.77%，活跃参数大约 4B 对 24B。这组数字说明两边的词错误率接近，活跃参数大约是对方的六分之一。它不测量运行速度，也不换成账单。
说话人线索先写进音频表示
整套模型约 34B 参数，每个 token 实际参与计算的约 4.3B。仓库名写作 30B-A4B。语言模型骨干是 Nemotron 3.5 Lightning 30B-A3B：混合 Mamba-2 与 Transformer，128 个路由专家里每次取 6 个，另有 1 个共享专家。语言模型本身在报告的参数表里约为 31.6B，活跃约 3.5B；4.3B 把语音编码器也算了进去。
音频以 16 kHz 进入，先切成各自独立的 30 秒块。一路是可训练的 Transformer 语音编码器，一路是冻结的 Sortformer，最多标 8 个说话人。两路合成 Parallel Expert Encoder，再交给语言模型。块内的说话人编号只在这 30 秒里有效，跨块之后是否仍是同一个人，由语言模型对齐。30 秒是内部窗口。录音长度按训练时的 1 小时和 65,536 token 上下文来定。
到发布所用的监督微调检查点，模型见过约 17.8 亿个音频样本、650 万小时。它们来自 3.72 亿个不同样本、170 万小时音频，平均每个样本大约看 5 次。同一段录音若同时有转写和翻译，会按样本各算一次。完整混合物含有私有数据。
一同发布的 Granary-v2 把整理管线覆盖的语言从 25 种扩到 48 种。完整处理过的集合大约 843,600 小时不同音频，公开发布的是标签和指令目标的一个子集。170 万小时是模型见过的不同音频，两笔小时数各算各的。
实体名单把命名实体词错误率降到 2.20%
专业词听错时，可以先把可能出现的实体写进指令，并要求只有音频对得上才采用。ContextASR-Bench Speech 的英语测试里，附上实体名单之后，整句词错误率从 3.33% 降到 1.71%，命名实体词错误率从 12.21% 降到 2.20%，命名实体漏检率从 14.99% 降到 1.32%。报告给出的相对降幅分别是 49%、82% 和 91%。
只给一个领域标签，报告里测过的三个模型几乎都看不到这种下降。名单要具体到实体，粗标签替代不了它。
长录音和重叠说话，用另外两把尺子
长音频轨道上的平均词错误率是 10.98%，所列开源权重模型里最低，仍高于该轨道上最强的商业系统。超过 55 分钟的录音切成 55 分钟一块，相邻块重叠 5 秒，中间不做语音活动检测。451 段里有 7 段出现生成循环。去掉循环防护，平均词错误率是 12.87%。防护只折叠重复，补不回循环期间漏掉的语音。
重叠说话还要核对是谁说的。cpWER 先为整场说话人标签找到匹配，再分别计算每个人的词错误。六个条件的平均是 15.80%，对照系统 DiCoW 是 16.83%。AMI 的两种麦克风和 NOTSOFAR-1 的头戴麦上，Nemotron 更低。远场的 NOTSOFAR-1 上，DiCoW 是 24.80%，Nemotron 是 25.91%。15.80% 与前面的 4.71% 分母不同，不能放在一起比谁更准。
普通话远场会议用 cpCER，按字计算。AISHELL-4 是 32.91%，AliMeeting 是 34.95%。这两套语料大约 210 小时，约占说话人归属训练样本的 1.7%，不到全部训练样本的 0.01%。报告把远场普通话会议写成明显弱项。
报告写道，据其所知，这是第一个在重叠多人语音的说话人归属转写上超过专用级联系统的语音增强语言模型。这句话的对照，是报告里列出的那些级联系统。
2,238 倍实时，对应 30 秒片段和优化服务
吞吐用 RTFx 表示：每秒墙钟时间能处理多少秒音频。单张 RTX PRO 6000 Blackwell Server Edition（96GB）上，NVFP4 加 DFlash2，30 秒片段的吞吐达到 2,238。同一配置一次只服务一个请求时，30 秒音频的转写在 0.13 秒内返回。10 分钟录音上，DFlash2 的平均接受长度降到 6.1 个 token，低于 MTP 的 7.9，曲线整段下移。
这组曲线来自优化过的 NIM 服务：最多 64 个引擎槽位、每步最多 4,096 token，并关闭了会让重复请求变快的前缀缓存。发布当天开源的 vLLM 集成面向模型开发，预期耗时大约是这套优化服务的两倍。报告写明，这些服务优化尚未进入开源发布。
权重以 BF16、FP8、NVFP4 和 GGUF 发布，许可为 OpenMDW-1.1，并附带 NeMo Speech 微调工具。兼容表里，A100 80GB 对应 BF16；H100 与 H200 对应 BF16 和 FP8；B200 与 GB200 再增加 NVFP4；L40S 对应 FP8；消费级 RTX 5090 对应 NVFP4。选机器时要同时看精度、上下文、批量和推理框架。
发布版本做离线转写，原生流式仍是后续工作。非语音片段可能被写成并不存在的句子，正常请求也可能返回空结果或进入重复循环。基于模型的脱敏还要按具体应用再测，不能单独充当隐私控制。
医疗录音：留出的说话人从 22.44% 降到 12.17%
Eka Care 的公开测试有 3,619 段印度医生和医学生的英语录音，一共约 8.4 小时，只有测试集、没有配套训练集。默认提示下词错误率 30.8%，模型有时把印度口音英语写成天城文或泰米尔文。提示写明“英语、拉丁字母”之后，全量 3,619 段降到 23.8%。
仍听错的药名和书写习惯，靠针对性训练。团队用医疗文本和药品目录准备内容，合成约 153 小时语音，再混入 29 小时印度口音英语和 63 小时真实医疗录音。写出来的样子和念出来的样子分开：目标文字可以是 HbA1c，送给语音合成器的读法是 H B A one C。同一段语音配上不同书写规则，提示里写明当前用哪一种。与测试参考完全相同、或共享连续八个词的训练文本会被去掉。
855 段用来选择提示和检查点，其余 2,764 段按说话人留出，只解一次。留出部分上，最佳提示是 22.44%，微调之后是 12.17%，相对减少 45.8%。同一评分流程里，这一档低于重跑的 Whisper-large-v3（14.92%）和医疗专用模型 Parrotlet-a-en-5b（13.79%）。全量测试上从 30.8% 到 23.8% 是改提示的结果，含有参与挑选的 855 段。45.8% 只统计留出的 2,764 段。
品牌药名的精确匹配仍是专用模型更高：留出部分 38.3% 对 36.6%。通用英语 LibriSpeech test-clean 从 1.54% 升到 1.69%。这个案例在一张 GB300 上大约用了 14 个 GPU 小时，其中语音合成约 5 小时、两次训练约 6.5 小时。报告正文的另一条口径更宽：17 项公开任务在单张 GB300 上适配，多数落在每个任务 0.5 到 2.3 个 GPU 小时。医疗案例多了文本生成和合成，所以长于这一档。
