转写错误降了约 25%,解决率只多 1%
把多家转写服务并行跑起来,在结果出现分歧时结合前几轮对话做判断,Sierra 称这套做法能把“含义被听错”的转写错误平均降低约 25%,在本身转写质量余量更大的语言里最高降低 37%。同一份技术材料接着给出这条改进走到终点的样子:客户的输入验证率提升超过 25%,而语音 agent 的整体解决率提升最高 1%——按 Sierra 的换算,那是每周数万次额外的解决。
25% 与 1% 之间没有矛盾。听清一句话只决定 agent 拿到什么输入。一通电话最终有没有被解决,还取决于它拿这份输入在业务系统里做成了什么:路由对不对、身份验证过不过、动作能不能落地。该转人工时上下文跟不跟得上,依赖出故障时谁兜底。任何一环掉链子,前面听得再准也换不成一个被解决的请求。
2026 年 9 月 3 日,客服 AI 供应商 Sierra 发布了《AI for call centers: an operating and rollout guide》,作者是 Jonathan Costet。这份指南要回答的正是这个落差。联络中心该不该上 AI,不看一次演示能不能流畅跑完,而看一条被选中的旅程能不能在不弄坏路由、队列、人力覆盖、质检和回退的前提下改善客户结果。
要看清这个落差,先得知道一通电话背后到底有几个环节要一起动。
客服 AI 不止一层:从联系前到联系后的六个环节
这份指南把客服 AI 拆成六个运营层,而不是一个笼统的“智能客服”。联系前,用来预测意图、估算需求或主动触达;进入环节,用自然语言理解替掉按键菜单,收集上下文并按真实需求路由。坐席辅助,负责取知识、总结历史、实时帮忙;自主服务,在语音或消息渠道上把符合条件的任务做完;转人工,把工作交给对的人;联系后,做总结、分类、更新记录和质量评估。每一层的归属方不同,卡住它的东西也不同——需求预测依赖授权与触达控制,路由依赖队列清单和溢出规则,自主服务依赖业务系统连通性和故障切换。
这张表是能力地图,不是自动化清单。指南要求按旅程逐个决定哪些任务交给 AI、哪些由 AI 辅助人、哪些仍由人主导,再定义这个选择怎么在路由、队列、系统和回退里成立。它还划了一个范围:后面的落地计划针对的是自主服务或 AI 路由的语音旅程——客户流量和队列归属真的会变的那类;坐席辅助、需求预测和质检分析类部署需要另一套切换标准。
语音被单独拿出来,是因为它在对话之外还要处理轮次转换、打断、背景噪声、语言、延迟和实时转人工。Sierra 的产品页称其 Voice 支持入站与出站通话、语音模拟、多语言和带上下文的转人工升级,并称同一个 Agent(智能体)可以跨 voice、messaging、email、Live Assist 和 ChatGPT 服务。渠道可用性和限制没有第三方说明,单渠道内部的交互与度量设计仍要各自重做。公司层面,Sierra 称其 Agent OS 为数百家公司的电话与聊天提供支持,覆盖几乎一半的 Fortune 50。客户名单和统计口径未披露。
客服 AI 的六个运营层与各自依赖
| 运营层 | 代表用例 | 主要归属方 | 运营依赖 |
|---|---|---|---|
| 联系前 | 预测意图、估算需求、发起有用的外呼触达 | 人力规划、数字渠道、旅程负责人 | 预测、授权、抑制与触达活动控制 |
| 进入 | 自然语言理解、替掉按键菜单、收集上下文、按需路由 | 联络中心运营 | 进入规则、队列清单、优先级、溢出与回退 |
| 坐席辅助 | 检索知识、总结历史、实时协助坐席 | 服务运营、知识团队、旅程负责人 | 桌面端、CRM、知识库、录音与主管工作流 |
| 自主服务 | 在语音或消息渠道完成符合条件的任务 | 旅程负责人、产品、运营 | 渠道运行时、业务系统连通性、监控与故障切换 |
| 转人工 | 把工作交给合适的坐席或专家 | 运营与人力规划 | 队列容量、优先级、上下文包与转接路径 |
| 联系后 | 总结、分类、更新记录、评估质量 | 质检、分析、运营 | 处置码、存储、质检校准与报表 |
六个环节里最容易量化的就是“听”,而它恰恰是落差最明显的那一层。
听清一通电话,和解决一通电话,是两件事
因为听清只决定输入,解决取决于输出:同一个 agent 在拿到正确输入之后,还要完成身份验证、调用业务系统、按政策行事、在必要时带着上下文转人工。Sierra 的修法集中在输入端的两件事。一是多提供商 ensembling,把多家转写结果交叉比对,出现分歧时结合此前对话轮次的信号做判断;二是上下文感知转写,把客户档案里已知的信息注入转写过程,减少专有名词被听错。这套组合刻意放在真实客服音频上测试:短促不完整的语句、背景噪声、多种口音、多语言对话,都在测试范围内。
内部基准给出的结果是一串落差明显的数字:utterance error rate(以一句话为单位、出现改变含义的错误的比率)相对最佳单一转写提供商平均下降约 25%,转写改进余量更大的语言里最高下降 37%。上下文感知转写让一个金融服务 agent 的输入验证率提升超过 25%;把这项能力扩展到所有语音轮次后,语音 agent 的解决率提升最高 1%,重大转写错误减少最高 15%。Sierra 把这些结果换算成“每周数万次额外解决”。
这些数字全部来自厂商内部基准。音频样本量、语言分布、参与的转写提供商、评分者资质、统计口径和置信区间都没有披露,也没有第三方复现;“最高”类数字没有说明适用语言与统计显著性;每周数万次额外解决没有给出换算基数。测试覆盖噪声、口音和多语言能说明测试意图,不能说明生产环境中的平均表现。
真正值得注意的是传导的比例。感知层动了约四分之一,落到业务结果只剩最高 1%。这不意味着修转写不值得做——规模足够大时,每周数万次额外解决并不小——但它说明客服 AI 的瓶颈大多不在麦克风这一侧。多语言口径也提示了同一件事:Sierra 的产品页称语音支持 55 种以上语言,转写材料称支持 70 种以上语言,两个数字口径不同、材料没有解释差别,它们都不是可直接比较的能力评分。
从听清到解决:一条被稀释的传导链
- 1转写错误率平均下降约 25%
多提供商交叉比对相对最佳单一提供商,Sierra 内部基准称平均降幅约 25%,在转写余量更大的语言中最高 37%。
- 2客户输入验证率提升超过 25%
把客户档案信息注入转写过程后,一个金融服务 agent 的输入验证率提升超过 25%。
- 3语音 agent 解决率提升最高 1%
把上下文感知转写扩展到所有语音轮次后的结果,Sierra 称相当于每周数万次额外解决。
修好“听”之后,解决率只动 1%:一次内部基准暴露的传导衰减
在真实客服音频条件下,多提供商转写 ensembling 与上下文感知转写能否降低转写错误,并改善下游通话结果(输入验证与解决率)。
- 实验设置
- Sierra 构建的内部基准,使用领域相关的客户服务音频,刻意为真实运营条件设计:短促不完整的语句、背景噪声、多种口音、多语言对话。系统并行查询多个转写提供商,用自定义逻辑交叉比对并在分歧时结合此前对话轮次的信号做判断,同时把客户档案信息注入转写过程。
- 样本与轮次
- 未知(材料未给出音频样本量、时长、语言分布或通话条数)
- 判定指标
- utterance error rate(一句话出现改变含义的错误的比率);输入验证率;语音 agent 解决率;重大转写错误比例
- 对照或基线
- 以最佳单一转写提供商为对照;上下文感知转写及其扩展前后为前后对比。材料没有描述随机分配或其他对照设计。
结果:相对最佳单一提供商,ensembling 平均降低约 25% 的 utterance error rate,在转写改进余量更大的语言中最高降低 37%;上下文感知转写使金融服务 agent 的输入验证率提升超过 25%;扩展到所有语音轮次后,语音 agent 解决率提升最高 1%,相当于每周数万次额外解决,重大转写错误减少最高 15%。
边界:内部基准、供应商自证;未披露样本量、音频来源、参与提供商名称、评分者与统计口径;“最高”类数字未说明适用语言与显著性;每周数万次额外解决没有换算基数;不能外推为生产环境的平均表现或通用收益。
既然瓶颈在整条链路,放量的顺序和判据就得跟着改。
放量之前:先基线化现状,再让整条链路跑一遍
顺序是四步,每一步都要求先拿到继续推进的证据。第一步,映射并基线化现状:把当前入口路径、身份验证、路由、队列、转接、系统、质检流程、排班模式、失败模式、客户结果和每个已解决联系人的总成本都量出来。前置条件是一条旅程、一个渠道,并且有足够的分时段和工单结构证据,让上线后的变化能被识别出来。第二步,测试整条运营路线,覆盖客户语言与账户状态、业务系统动作、转接、录音、处置码、报表、依赖失败和回滚。第三步,用单队列或单流量段上线,边界收紧到一个意图、一个队列、一个班次、一个客户群和一组动作,回退路径要有人值守,操作者要有权在阈值失败时减流量或回滚。第四步,按渠道证据扩展:把失败按渠道、路由、知识、政策、数据、集成、对话、动作、交接、人力、质量和度量分类,修好再重测。
判据要在试点之前定下来,而不是上线之后补。指南把阈值分成四类。客户结果,包括完成、重复联系、转接质量、客户费力程度或满意度、完整解决时长。运营与人力,包括到达量、路由分布、队列和服务水平、回退容量、渠道可靠性、人工工单结构和质检校准。经济性是每个已解决联系人的总成本,含平台、电话、集成、质检、支持和变更管理。技术与控制,包括身份验证、数据访问与留存、动作可审计、集成归属、可靠性和事件响应。在这些之上还要写一条扩展规则:下一个队列、班次、客户群或渠道的阈值、决策人、证据窗口和回滚触发。阈值要反映该旅程的风险和当前运营,而不是套用一套通用基准。
风险治理部分引用的是 NIST 的自愿性 AI 风险管理框架 1.0,它把风险工作分为 Govern、Map、Measure、Manage 四块,并主张贯穿 AI 生命周期;指南同时提醒,这是需要按情境适配的框架,不是一张上线检查清单。技术与控制的一项具体例子来自 Sierra 的 Voice 产品页:电话支付通过 DTMF 音调(电话按键音)在 Level 1 PCI 合规基础设施上采集卡信息,并直接路由到支付处理方——合规声明出自供应商自身产品页,没有第三方审计编号。
质检的校准遵循同一套逻辑:客户目标相同时用同一个结果标准,再按服务模式补充动作准确性、信息披露、交接和对话行为的检查;自动质检的覆盖率只有在知道它的结论与专家复核的一致程度、并能导向纠正动作时才有意义。还有一条容易被忽略的提醒:AI 会改变话务到达模式和人拿到的工单结构,因此排班、技能、辅导和升级覆盖要按新的例外工单重排,而且语音占用率、并发消息数和异步邮件的容量口径不能互换。
从基线到扩展:四步落地顺序
映射并基线化现状
量出现有入口路径、身份验证、路由、队列、转接、系统、质检流程、排班模式、失败模式、客户结果和每个已解决联系人的总成本。
端到端测试整条运营路线
覆盖客户语言与账户状态、业务系统动作、转接、录音、处置码、报表、依赖失败和回滚。
用单队列或单流量段上线
边界收紧到一个意图、一个队列、一个班次、一个客户群和一组动作,回退路径有人值守。
按渠道证据扩展
把失败按渠道、路由、知识、政策、数据、集成、对话、动作、交接、人力、质量和度量分类,修好再重测。
四步来自 Sierra 的落地指南,每一步都要求先拿到继续推进的证据;步与步之间的归属方不同。
阈值最终要在真实流量上执行,供应商提供了什么控制手段就变得关键。
灰度、结果计费、发布治理和仿真测试:判断供应商的四个信号
阈值和回滚最终要落在真实流量上,供应商能不能提供控制放量的机制,比演示是否流畅更能说明问题。Sierra 的材料里能数出四类。
第一类是流量控制。split traffic 把一部分真实用户按比例导向新版本,缩小单次变更的影响面;Sierra 称一家大型航空公司、一个旅游市场平台和一家金融科技公司已经在用它控制发布范围,客户未具名,使用规模无法核实。
第二类是流程控制下的发布治理。它把检查、模拟、审批和分阶段发布套在 agent 的每次改动上,Sierra 把它描述为上线之后“受控扩展”原则的延续——同一批材料还提到平台上存在单个 agent 由数百人协作、覆盖数百个旅程、服务数百万客户的情形,同样没有具名客户和具体数字。
第三类是流程控制下的仿真测试,可以检验不同人设、上下文和表达方式下客户能否达成目标,但模拟通过不等于渠道和队列通过。
第四类是计费控制。结果定价不按 token 付费,按交付的业务结果付费;Sierra 称会话未解决时多数情况下不收费,需要升级处理的案例多数情况下也不收费,并把“通常需要 20 分钟 L2 技术支持电话的问题”当作复杂结果的举例。价格水平、什么算“解决”、“多数情况”之外的例外条款和结算流程都没有公开。四类机制都出自 Sierra 自己发布的信息,属于厂商自述:它们能证明这类机制在市场上被提供,不能证明它们在客户环境里的实际效果。
供应商能提供的四类放量控制
切换方案,查看它分别改变哪一层问题。
灰度分流(split traffic)
作用对象 · 想让新 agent 先接触一小部分真实流量的运营团队
- 它怎样起作用
- 按比例把客户流量分配到新版本与旧版本
- 希望带来什么变化
- 缩小单次变更的影响面,让回滚成本可控
- 真正落地还缺什么
- 分流比例怎么定、观测窗口多长、谁有权回滚
发布治理
作用对象 · agent 改动频繁、需要留痕和审批链的大型组织
- 它怎样起作用
- 每次改动先过检查、模拟、审批,再分阶段发布
- 希望带来什么变化
- 让每一次变更都可复核、可回退
- 真正落地还缺什么
- 审批层级如何设置、自动化程度到哪一步、如何与传统变更管理衔接
仿真测试
作用对象 · 希望在真实流量前验证 agent 行为的运营与质检团队
- 它怎样起作用
- 用不同人设、上下文和表达方式模拟客户,检验 agent 能否达成目标
- 希望带来什么变化
- 在放量之前暴露对话与动作失败,减少真实客户受影响的范围
- 真正落地还缺什么
- 模拟通过标准由谁定义、覆盖哪些渠道与队列条件、模拟结果与真实流量表现差多少
结果计费
作用对象 · 希望把未解决会话的成本与供应商绑定的采购方
- 它怎样起作用
- 不按 token 计费,按交付的业务结果计费;未解决和需升级案例多数情况下不收费
- 希望带来什么变化
- 把未解决会话的部分成本转移给供应商
- 真正落地还缺什么
- 什么算“解决”、“多数情况”之外的例外条款、结算流程与价格水平
机制齐备之后,公开案例给到的实际速度是多少?
不到十周上线:这个数字证明的和没能证明的
公开的可核验案例只有一个,信息量也有限。Sierra 引述 Singtel 的说法称,客服 agent「Shirley」在不到十周内上线;已公布的初步结果覆盖的是虚拟客户服务平台;出站语音销售部署则被描述为计划中事项,需要在既定的合规与治理标准下推进。
这个数字能说明:在一个有边界的生产环境里,自主客服可以比较快地被推到上线。它不能说明所有计划渠道都已上线,不能确立通用的实施时间表,也不能当作性能预测——指南自己补了一句,另一家企业是否就绪取决于它的系统、政策、范围和决策权。核验层更薄弱:除了这层转述,没有可核对的原始案例细节,具体上线日期、覆盖渠道和时间口径都无从核对,整条案例链里也没有出现任何性能数字。
Singtel 的 Shirley:十周上线,以及它没有说出的部分
Singtel 部署 Sierra 的客服 agent「Shirley」,Sierra 在指南中引述 Singtel 的说法描述这次上线及其后续计划。
- 生产上线
Sierra 引述 Singtel 说法称,Shirley 在不到十周内完成上线。
- 证据范围
已公布的初步结果覆盖的是虚拟客户服务平台,材料没有给出任何性能指标或数值。
- 扩展计划
出站语音销售部署被描述为计划中事项,需要在既定的合规与治理标准下推进。
结果:材料把 Singtel 描述成一次有边界的生产上线,外加一项另行说明的扩展计划;唯一的具体数字是上线周期。
不能据此证明:不能证明所有计划渠道都已上线,不能确立通用实施时间表,不能作为性能预测,也无法推广到另一家企业的就绪判断;目前没有可核对的 Singtel 原始案例细节,上线日期与时间口径均无法核实。
基于证据重建事件顺序,非逐字对话
门槛不在演示,在四件必须量化的事
回到开头那组数字。转写错误降约 25%、解决率最高只涨 1%,不是模型不够聪明,而是业务结果不由单点决定:它由进入、路由、系统动作、转人和回退组成的整条链路共同决定,单点能力的改善在传导过程中被大幅稀释。这就是客服 AI 被定义成运营模式变更,而不是一次模型替换的原因。
所以判断一家企业能不能上线,看的不是演示视频,而是四件事有没有量化。现状基线要细到每个已解决联系人的总成本;峰值、非工作时段和依赖故障时的路由与队列行为要写清。人力排班与质检要按迁移后的工单结构重排过;阈值失败时要指明谁有权减流量或回滚。这四件事都不在模型里。
判断也确实会变。眼下这些数字都来自厂商自测,或对客户说法的转述,没有第三方复现;一旦独立机构给出解决率、队列服务水平和总成本的对比,问题就会从“有没有机制”变成“哪套方案更好”。在那之前,能确认的只有一句:听得清可以被工程化改善,但一次通话能否被解决,答案在话筒之外。



