|
企业
|
Soul张璐带领团队开源语音新模块，助力全双工对话高效落地
近日,Soul张璐带领团队与上海交通大学X-LANCE Lab及西北工业大学ASLP@NPU团队紧密合作,正式宣布开源SoulX-Duplug。作为一款面向全双工语音对话系统(Full-Duplex Spoken Dialogue System)的即插即用流式状态预测模块,该成果旨在通过技术创新解决传统对话系统响应延迟高、交互不自然的痛点。
传统半双工模式下,系统响应延迟高、模块耦合严重,用户无法在机器回应时打断或补充信息,对话中缺乏自然的停顿、附和与即时反馈。尽管端到端全双工模型开始出现,但其将语言生成与交互控制强耦合的设计,带来了训练难度高、扩展性差等问题;而工业界常用的VAD+ASR+Turn Detection级联方案,又因多模块串联导致延迟累积,且传统VAD仅依赖声学特征,难以理解语义。在此背景下,SoulX-Duplug以“独立模块”的定位,提出了一种创新的解决方案。
该模块的核心突破,在于将语音活动检测(VAD)、流式语音识别(ASR)与对话状态预测统一于单一模型框架中。通过GLM-4-Voice speech tokenizer以12.5Hz频率提取离散语音token,并以160ms的极短窗口流式交替生成文本与状态token,SoulX-Duplug实现了“边听边判”的实时交互控制。其定义的五种核心状态token——从user_idle(静音)到user_nonidle(有效输入),从user_backchannel(附和)到user_complete(语义完成)与user_incomplete(语义未尽)——让机器能够精准捕捉对话中的细微动态,如同人类对话中对语气、停顿和意图的本能感知。
更关键的是,SoulX-Duplug引入了“文本引导的流式状态预测”机制。传统VAD如同“盲听”,仅凭声音有无判断活动;而该模块通过在训练中引入ASR目标,让模型在判断状态时能“看懂”语义。例如,当用户说“那个……”时,系统能结合上下文判断是“语义未尽”而非“静音”;当用户发出“嗯”“对”等附和词时,能准确识别为backchannel行为而非打断意图。这种语义感知的VAD能力(semantic VAD),让对话状态预测从“机械判断”升级为“理解式决策”。
为验证其实际效能,团队构建了完整的全双工对话系统,并在中英双语的Full-Duplex-Bench基准上进行测试。结果显示,该系统在轮次切换、停顿处理、用户附和与打断等场景中表现均衡,整体turn management能力优于现有模型,响应延迟指标尤为突出:独立模块的平均延迟约250ms,显著优于传统VAD方案(约500ms)和FlexDuo模块(约343ms)。这一数据意味着,机器能在0.25秒内完成从“听到声音”到“理解意图并决策”的全过程,接近人类对话的反应速度。
值得一提的是,SoulX-Duplug的“即插即用”特性,使其无需修改原有模型架构即可为传统半双工系统赋能,同时开源的SoulX-Duplug-Eval评测基准,为行业提供了标准化的研究工具。从“听声辨位”到“听话听音”,从“轮次问答”到“实时共舞”,SoulX-Duplug不仅解决了技术层面的延迟与耦合问题,更重新定义了人机对话的“呼吸感”——让机器不再是等待指令的冰冷容器,而是能感知对话节奏、理解言外之意的智慧伙伴。
从半双工的机械问答到全双工的自然交流,Soul张璐带领团队研发的SoulX-Duplug正在改写人机对话的规则。随着该模块的开源与推广,将来机器将不再是冰冷的应答器,而是能与用户同频共振、真正实现实时互动的对话伙伴。
商业时报所刊载信息均来源于网络，并不代表本站观点。本文所涉及的信息、数据和分析均来自公开渠道，如有任何不实之处、涉及版权问题，请邮箱Jubao_Times@163.com
本文仅供读者参考，任何人不得将本文用于非法用途，由此产生的法律后果由使用者自负