Interspeech 2026 将于 2026 年 9 月 27 日至 10 月 1 日在澳大利亚悉尼举行。Interspeech 年会由国际语音通信协会(International Speech Communication Association,简称 ISCA)主办,是全球规模最大的语音科学与技术顶级会议,也是语音领域最核心的学术交流平台。本届会议以“Speaking Together”为主题,强调语音在人际沟通中的核心作用,并探讨语音技术如何拉近不同语言、文化和模态下的人与社群距离。其接收的论文涵盖了语音信息处理的众多核心研究方向,包括但不限于:自动语音识别(ASR)与理解、语音合成(TTS)与编码、说话人识别与日志、情感计算与副语言学、语音交互(HRI)、多模态语音处理、语音增强与分离、病理语音分析、口音与方言建模、低资源语音技术以及语音大语言模型等。
哈尔滨工业大学听觉智能研究中心有 4 篇论文被 Interspeech 2026 录用。下面是论文列表及第一作者介绍。
题目:SRF-SVB: Style-Consistent Singing Voice Beautifying via Rectified Flow
作者:李文慧,董彪,胡立伟,何勇军,韩纪庆
简介:歌声美化(Singing Voice Beautifying, SVB)旨在对业余演唱中的音高和节奏问题进行自动修正,同时提升音质,并尽可能保留歌词内容、演唱者音色和个人表达风格。传统修音通常依赖专业音频工程师使用Autotune等软件手动处理,耗时费力且门槛较高;而现有自动化方法大多只关注音高校正,并在追求专业效果时削弱了业余演唱者的独特音色和演唱风格。本文提出了SRF-SVB,一个基于Rectified Flow的风格一致歌声美化框架。首先将音高、音色和内容特征解耦,以便分别控制音高修正、节奏对齐和音色保持。并通过更高效的生成路径实现高保真歌声重建。在推理阶段使用专业演唱的音高轨迹指导业余演唱向更准确的旋律靠近,通过DTW对齐实现节奏修正,同时保留业余演唱者的音色特征。为进一步保持风格一致性,本文设计了上下文引导的掩码梅尔频谱修复机制,使模型在生成美化片段时参考原始演唱的频谱上下文,从而保持演唱者的独特音色和表达习惯。
本文在英文和中文测试集上进行了实验,结果表明SRF-SVB在多数客观和主观指标上优于Diff-Pitcher、NSVB等基线模型。尤其在音色相似度方面,SRF-SVB在英文和中文测试集上分别达到0.85和0.82,显著高于对比方法,说明其能够在提升音准和音质的同时较好保留原始的音色和风格,主观听感指标也表明该方法在整体音质和音色相似度上表现突出。该研究对在线K歌、音乐创作、自动修音和实时演唱增强等应用具有较高参考价值。未来工作将进一步提升歌声的保真度,并优化推理效率以适配更多实时应用场景。
第一作者介绍:李文慧,哈尔滨工业大学听觉智能研究中心硕士研究生,师从韩纪庆教授与何勇军教授。研究方向聚焦于生成式歌声与音乐算法,主要包含歌声美化、歌声转换及音乐生成。致力于通过算法创新,推动音频生成技术的实际应用。
题目:Leveraging Temporal Redundancy via Layer-wise Key-Value Pooling Attention for Efficient ASR
作者:吴轶、郑贵滨、景晨昊、韩纪庆、张家瑞
简介:基于Transformer的自动语音识别(ASR)模型虽革命性的改变了该领域。然而,自注意力机制的二次方复杂度以及特征冗余问题使模型需要依赖深层堆叠架构来保证识别精度,限制了其处理长序列时的效率。为了解决上述问题,我们提出了键值池化注意力机制(KV-Pooling)。该机制利用语音中高度的时间冗余特性,通过平均池化来压缩 Key/Value(键/值)张量,在抑制噪声的同时保留 Query(查询)的分辨率以维持建模精度,从而降低了对网络深度的依赖。在此基础上,我们进一步引入了 KV-Pooling-Zipformer,将文章提出的机制融入 Zipformer 架构中,并根据各层特征的抽象程度预设了差异化的池化步长。与原生 Zipformer 相比,RNN-T 实验表明:在 AISHELL-1 数据集上字错率(CER)绝对下降了 0.2%,在 LibriSpeech 数据集上词错率(WER)绝对下降了 0.3%。值得一提的是,在 AMD EPYC 7763 处理器上,其推理实时率(RTF)提升了 10%,真正实现了准确率与效率的双重提升。
第一作者介绍:吴轶,本科毕业于哈尔滨工业大学威海校区,现为哈工大听觉智能研究中心硕士研究生,在郑贵滨老师的指导下从事自动语音识别(ASR)技术研究,聚焦于智能语音技术的实用化与落地应用,并致力于通过技术创新优化语音交互的实际应用体验。
题目:MPA-KWS: Multi-Modal Phoneme-Level Alignment for StreamingOpen-Vocabulary Keyword Spotting
作者:张珏,郑贵滨,张家瑞,韩纪庆,景晨昊
简介:在开放词汇关键词检测(Keyword Spotting, KWS)中,音素级对齐的引入有效提升了系统对语音易混淆词的识别性能。然而,现有的大多数研究均采用非流式方法,无法适用于流式(实时)应用场景。近期的一些方法虽然通过联结主义时间分类(CTC)算法实现了流式音素对齐,但它们仅局限于仅文本注册。为了解决这些问题,我们提出了一种新型的、基于音素级对齐的流式多模态开放词汇关键词检测方法。该方法通过 W-CTC 强制对齐算法和多模态音素级对比学习,实现了具有训练与推理一致性的细粒度建模。此外,我们还提出了一种基于 CTC 集束搜索(beam-search)的数据增强方法,用于动态挖掘困难负样本。在 LibriPhrase 数据集上的实验结果表明,所提方法取得了最佳的性能表现。
第一作者介绍:张珏,哈尔滨工业大学本科毕业,现为哈工大听觉智能研究中心硕士研究生,师从韩纪庆教授和郑贵滨副教授,研究方向聚焦在流式语音关键词检测以及语音识别领域,致力于探索语音与文本模态之间的对齐融合。
题目:Decoupling Search and Evaluation: Efficient Beam Decoding for Language Model-Based Text-to-Speech Synthesis
作者:刘陈林,高杰,韩纪庆
简介:基于语言模型(LM)的文本到语音(TTS)系统通常依赖于基于采样的解码方法,但该方法存在随机不稳定性问题。尽管集束搜索(beam search)提供了一种基于最大化的替代方案,但由于严重的生成退化(如时序坍缩)以及高延迟问题,其在语音生成中的应用受到了限制。我们的分析表明,集束搜索的计算开销在搜索阶段与评估阶段之间存在高度不平衡。受此启发,我们提出了一种“搜索与评估”集束解码方法(Search-and-eValuatE beam decoding, SaVE-Beam),该方法将假设扩展(hypothesis expansion)与序列打分(sequence scoring)进行了有效解耦。具体而言,该方法利用轻量级学生模型执行分块(chunk-wise)的集束构建,同时由教师语言模型(teacher LM)保留精确的序列评估。此外,我们引入了硬性重复约束机制,以防止模型陷入退化循环。实验结果表明,在不降低语音质量的前提下,SaVE-Beam 相比传统集束搜索实现了高达 5.1 倍的加速;与采样方法相比,其词错误率(WER)最高降低了 50%。这使得基于最大化的解码方法能够切实应用于实时的基于语言模型的 TTS 系统中。
第一作者介绍:刘陈林,哈尔滨工业大学威海校区本科毕业,现为哈工大听觉智能研究中心博士研究生,师从韩纪庆教授。其研究方向聚焦语音技术领域的前沿探索,主要从事文本转语音(TTS)技术以及基于语言模型的语音合成解码策略研究,致力于通过技术创新推动人机交互与智能语音系统的突破发展。
