只需提交一段音频,机器就能把某个人的嗓音「搬」过来使用。智谱在大模型声音复刻能力上推出升级:依托大模型的zero-shot能力,用户给出一句话级音频素材,就能在极短时间内克隆出对应音色。据智谱官方文档页面,该能力目前已开放自定义文本复刻与流式在线合成两种调用方式,并新增语音情感参数调节,同时覆盖日语与多个地区的方言复刻。官方给出的典型落地场景包括语音助手、情感陪伴类产品、内容配音以及数字人直播代播。

方言与情感能力同步解锁,复刻使用门槛降到5秒素材

此次功能升级有两个明确方向。其一是方言与情感的全面强化:官方在功能列表中标注为「技术升级」,新增方言迁移与情感控制两项能力,声音复刻本身也实现了跨语种、跨方言的扩展。其二是沿用原有的一降低门槛思路——不需要专业录音设备,也不需要专用场地,最短5秒的音频样本就能完成一次高品质复刻,复刻结果会尽量保留原声者的嗓音特征、说话风格、语调起伏乃至录音时的声学环境。

情感层面,官方说明当前已覆盖快乐、悲伤、恐惧等常见情绪类型的情感迁移。具体做法是先复刻一段中立语气的基础音色,再借助情感参数去影响最终合成音频的情绪色彩,相当于用一份音色资产组合出多种情绪版本。

支持中英日与上海四川河南方言,落地方向锁定四类场景

在语种方面,据官方页面信息,该能力支持中文、英文以及日语,同时能够较为准确地复刻上海话、四川话、河南话等地方方言。这一组合使语音助手可以针对不同地区用户提供更贴近本地表达习惯的交互语音。

官方列出的主要应用方向为:为AI助手提供更有个性、语种更丰富的语音交互,提升情感表现力以及与竞品之间的差异度,可部署在车载终端、智能音箱和移动应用之中;情感陪伴类产品可以借此获得更有温度的语音输出;内容生产者可用于配音;数字人代播同样是核心场景之一。页面同时展示了客户案例——声音复刻被华富用于实现个性化教学。

双流式合成边生成边播放,WebSocket承载实时语音

面向实时交互的流式能力上,平台基于WebSocket协议支持双向流式合成。这意味着在用户输入文字的同时,服务侧就能同步把合成后的音频返回给调用方,从而实现「一边生成、一边播放」的效果,避免了整段文本先合成完再统一返回带来的等待延迟,对语音助手这类需要即时响应的应用更为关键。

技术文档中还提到,创建音色的过程并不复杂:把用于训练的那段音频上传,就能快速生成对应的音色资产。

50次免费额度与按量计费并行,语音合成折扣低至3折

价格与计费方面,官方提供了两条路径:按调用量计费的次数包购买,以及在产品创建音色之后再统一使用的后付费模式。多次听写价格列表显示,50次的次数包定价为400元,有效期为12个月。

此外,页面标明企业完成认证即可领取50次试用额度;购买后可以获得10个并发。该能力正处于人工智能品类的促销周期中,官方给出的语音合成折扣力度为低至3折。

小结:智谱此番的关键变化不在音色克隆本身,而在于把可调情感参数与跨语种、跨方言复刻纳入同一套API体系,配合5秒起步的低门槛素材要求,把过去需要专门定制的语音资产变成按调用量计费的标准化商品。对做语音助手、情感陪伴和数字人代播的团队而言,这一技术环节的成本与交付周期都将被重新评估。