INTERSPEECH 2024即将于9月1日至5日在希腊科斯岛举办。作为全球最大的语音科学专业会议，会议旨在展示最新的研究成果，挖掘语音应用的新机遇，推动语音科技的发展。该会是语音领域的顶级会议之一。

本文收集整理了本次会议的活动日程、挑战赛、部分论文及参会提示，供大家参考使用。数据堂也即将亮相INTERSPEECH 2024展会01号展位，分享我们在语音领域的最新解决方案，敬请关注。

01 会议日程

（9月2日正式开幕 - 9月5日会议结束）

02 挑战赛

Speech Processing Using Discrete Speech Unit Challenge

【简介】在传统的语音处理方法中，模型通常以原始波形或从这些波形中提取的高维特征作为输入。例如，频谱语音特征仍然被广泛应用，而基于学习的深度神经网络特征在近年来获得了显著关注。一种有前途的替代方法是使用离散语音表示，其中在时间窗口内的语音信号可以通过离散标记来表示，正如这项工作中所展示的那样。

【赛道】

1.ASR：评估所提出系统在所提数据上的ASR表现。

2.TTS：评估生成语音的质量。

3.歌声合成：评估合成歌声的质量。

【网址】点击跳转

The Second DIarization of SPeaker and LAnguage in Conversational Environments (DISPLACE) Challenge

【简介】DISPLACE 2024挑战赛聚焦于多语言说话人划分、多说话人环境下的语言划分以及在混合语码/切换语码和多重口音场景中的自动语音识别的新局限性和进展，并使用相同的数据集进行评估。

主办方发布了超过100小时的数据（包括监督和无监督数据）用于开发和评估。无监督领域匹配数据将发布给参与者以用于模型适应。比赛不会提供训练数据，参与者可以自由使用任何资源来训练模型。

【赛道】

1. 多语言场景中的说话人划分。

2. 多说话人环境下的语言划分。

3. 多重口音环境下的自动语音识别。

【网址】点击跳转

Speech-Based Cognitive Assessment in Chinese and English (TAUKADIAL) Challenge

【网址】点击跳转

03 论文

WenetSpeech4TTS: A 12,800-hour Mandarin TTS Corpus for Large Speech Generation Model Benchmark

【论文简介】随着大型文本转语音 (TTS) 模型的发展和训练数据规模的扩大，最先进的 TTS 系统取得了令人印象深刻的性能。本文提出了 WenetSpeech4TTS，这是一个源自开源 WenetSpeech 数据集的多域普通话语料库。我们通过调整片段边界、增强音频质量以及消除存在多说话人的片段来改进 WenetSpeech，以适配TTS任务。经过更准确的转录操作和基于数据质量的过滤过程，获得了包含 12,800 小时成对的音频和文本数据的 WenetSpeech4TTS 语料库。此外，我们根据质量评估分数的不同等级划分出了不同大小的子集，以便进行 TTS 模型的训练与微调。我们在这些子集上训练和微调了 VALL-E 和 NaturalSpeech 2 系统，以验证 WenetSpeech4TTS 的可用性，同时为公平对比 TTS 系统的基准建立基线模型。WenetSpeech4TTS 语料库、对应的基准以及训练的模型权重均在 huggingface 上公开获取。

【论文链接】点击跳转

【Huggingface】点击跳转

【代码链接】点击跳转

BS-PLCNet 2: Two-stage Band-split Packet Loss Concealment Network with Intra-model Knowledge Distillation

【论文作者】张子晗，夏咸军，黄传增，林丹峰，谢磊

【论文单位】西北工业大学、字节跳动

【论文简介】音频丢包是实时语音通信中不可避免的问题。最近我们提出了一种针对全频段信号的频带分割丢包隐藏网络(BS-PLCNet)。虽然它在ICASSP 2024 PLC挑战赛中表现优异，但BS-PLCNet是一个大型模型，具有8.95G FLOPS的高计算复杂度。为此我们提出了其改进版本BS-PLCNet 2，以进一步降低计算复杂度并提高性能。具体来说，为了弥补缺失的未来信息，在宽带模块中，我们设计了双路径编码器结构(具有非因果路径和因果路径)，并利用模型内知识蒸馏策略将未来信息从非因果教师提炼到因果学生路径。此外，我们在丢包恢复后引入了一个轻量级的后处理模块，以恢复语音失真并去除音频信号中的残留噪声。BS-PLCNet 2只有BS-PLCNet 40%的参数量以及38%的计算量，在ICASSP 2024 PLC挑战盲集上获得了0.18的PLCMOS提升，在该数据集上实现了SOTA的性能。

【论文链接】点击跳转

【Demo】点击跳转

AS-70: A Mandarin stuttered speech dataset for automatic speech recognition and stuttering event detection

【论文作者】龚嵘*，薛鸿飞*，王乐之，徐昕，李其声，谢磊，卜辉，吴少玫，周家名，秦勇，张彬彬，杜俊，宾佳，李明

【论文链接】点击跳转

Beyond Performance Plateaus: A Comprehensive Study on Scalability in Speech Enhancement

【论文作者】张王优¹，Kohei Saijo²，Jee-weon Jung³，李晨达¹，Shinji Watanabe³，钱彦旻¹

另一方面，当通过合并来自不同领域数据来扩充训练数据量时，BSRNN语音增强性能同样随着训练数据量增长而呈现一致改进的趋势。但通过仿真大量单一领域数据来进一步扩充语音数据规模时，语音增强性能反而出现下降，这表明在扩充数据量的同时保证数据的多样性对于语音增强模型的泛化性十分重要。

最后，论文比较了不同模型架构关于模型复杂度、训练时间、参数量的规模化能力。结果如下图所示，其中BSRNN和TF-GridNet分别在较低和较高复杂度的情况下展现出最强的规模化能力，它们均采用了时频域双路建模的网络架构，这体现出这一架构的强大表示能力。但另一方面，这些模型架构均基于RNN进行设计，随着模型复杂度不断增大，其并行化能力的缺陷逐渐显现，导致很低的训练效率。因此，设计具有更高计算效率和强大规模化能力的语音增强架构是亟待解决的问题。

【论文链接】点击跳转

【代码链接】点击跳转

Codecfake: An Initial Dataset for Detecting LLM-Based Deepfake Audio

【论文作者】陆逸*，谢元坤*，傅睿博，温正棋，陶建华，汪智勇，戚鑫，柳雪飞，李永伟，刘育坤，王小鹏，施淑辰（*代表对本工作同等贡献）

【论文单位】中国科学院自动化研究所，中国科学院大学，中国传媒大学，清华大学，上海第二工业大学

【论文亮点】本文提出了一个名为Codecfake的数据集，是首个针对大语言模型(LLM)合成的深度伪造音频进行检测数据集。这个数据集是通过七种代表性的神经编码器方法生成的伪造音频，涵盖了当前主流的LLM音频生成模型。Codecfake数据集包含总计1,058,216个音频样本，其中包括132,277个真实音频样本和925,939个假音频样本。通过该数据集的实验结果表明，使用Codecfake数据集训练的音频Deepfake检测（ADD）模型在检测基于编解码器的Deepfake音频方面表现显著优于基于声码器训练的ADD模型，有效提升了检测准确性和泛化能力。

【论文简介】

随着大型语言模型（LLM）在音频生成方面的进步，越来越多的Deepfake音频被生成。这些新型的音频生成方法采用了端到端的神经编解码技术，与传统依赖声码器的生成方法不同。这给现有的音频Deepfake检测（ADD）模型带来了挑战，因为它们主要依赖声码器的伪影进行检测。

为了应对这一挑战，我们提出了Codecfake数据集，这是一个专门用于检测基于LLM的Deepfake音频的初始数据集。该数据集包括七种代表性的神经编解码方法，涵盖了当前主流的音频生成技术。通过使用Codecfake数据集，我们希望评估并改进ADD模型在检测基于编解码器生成的Deepfake音频方面的性能。实验结果表明，基于声码器训练的ADD模型在检测基于编解码器生成的音频时效果不佳，无法有效区分真实音频和伪造音频。相反，使用Codecfake数据集训练的ADD模型在各种测试条件下表现出色，显著降低了平均等错误率（EER），表明其在检测任务中具有更好的泛化能力。总之，Codecfake数据集为检测基于LLM的deepfake音频提供了一个重要工具，帮助研究人员开发更有效的检测方法，从而提升对音频伪造的防护能力。

【论文链接】点击跳转

04 参会提示

会场信息

Kipriotis Hotels & Conference Center (KICC)，

Psalidi, 85300 Kos, Greece

交通信息

公交车：展方建议可于机场乘公交前往Kos市区，并转乘1路公交车（Agios Fokas方向）或5路公交车（Therma方向）前往Kipriotis Village/KICC。

出租车：出租车停靠点位于机场到达大厅前方。请注意岛上没有Uber服务。

此外，展方还与本地合作伙伴联合提供巴士接送服务，详见INTERSPEECH官网（点击跳转）。

数据堂参展信息

数据堂期待与您在INTERSPEECH 2024现场相见。本次我们将展示数据堂在大模型、多模态、ASR、TTS等领域的最新数据解决方案，并与语音圈顶尖学者和企业代表分享我们的见解与经验。

参展时间：9月2日 - 9月5日

参展展位：01号展位，KICC会场

期待与您在INTERSPEECH 2024相见！