近日，由计算机科学教学与研究中心关键老师带领的“智能信号处理组”(Group of Intelligent Signal Processing, GISP)在音频信号处理领域顶级国际会议ICASSP 2023中再添硕果。与悉尼科技大学、萨里大学及哈尔滨工业大学合作，关键老师为第一作者、哈尔滨工程大学为第一单位的两项异常声音检测合作研究成果受到大会专家高度赞誉并予以接收，这也是GISP课题组研究工作连续第四年被ICASSP录用。此外，GISP与悉尼科技大学、萨里大学合作发表在信号处理领域权威期刊IEEE Signal Processing Letters上的一项音频语意概述工作也收到了ICASSP大会的IEEE信号处理学会(SPS)期刊论文演示报告邀请。
国际声学、语音与信号处理会议(International Conference on Acoustics, Speech and Signal Processing, ICASSP)由IEEE主办，被业界公认为的信号处理领域顶级会议，在音频信号处理方向最具盛誉与学术影响力。作为音频信号处理领域的重要问题，异常声音检测(Anomalous Sound Detection, ASD)旨在根据机器设备运行声音自动判断机器运行状态是否异常，以实现机器设备的故障检测及预测性维护，该研究在工业生产领域具有广阔应用前景。GISP课题组近年来致力于在该方向攻坚克难，本次录用两篇论文的研究工作更是得到了评审专家“耳目一新(refreshing)”、“优雅(neat)”，以及“实验扎实(solid experiments)”的高度赞誉和认可。
图1 基于时间加权频域音频表示及GMM估计异常声音检测
GISP本次录用两篇会议论文针对异常声音检测领域存在的检测稳定性差、个体性能差异、检测效率低等问题，从声学特征表示角度出发，给出创新性解决方案。其一为“时间加权频域音频表示与GMM估计异常声音检测”(Time-weighted Frequency Domain Audio Representation with GMM Estimator for Anomalous Sound Detection)，该工作提出了结合基于时域加权频率特征表示的高斯混合模型(TWFR-GMM)，以解决现有基于频率统计的音频特征表示的高斯混合模型(GMM)对无监督异音检测任务中不同机器类型的表现参差不齐问题；另一篇论文为“基于机器ID的音频表示与对比学习预训练的异常声音检测”(Anomalous Sound Detection Using Audio Representation with Machine ID based Contrastive Learning Pretraining)，该工作针对现有方法的音频特征表示难以有效区分不同设备正常/异常的问题，提出了基于元数据信息的对比学习预训练策略，并构建了一个用于异音检测的两阶段方法。此次被大会录用论文成果曾在声音识别权威赛事IEEE ASSP声学场景和事件检测及分类竞赛(DCASE 2022)中获得了国际第三、国际第六优异成绩。
图2 基于机器ID的音频表示与对比学习预训练的异常声音检测T-SNE对比示例图
此外，GISP在音频语意概述研究方向的一项最新成果“基于局部注意力信息感知辅助解码的音频语意概述”(Local Information Assisted Attention-Free Decoder for Audio Captioning)，被本次大会邀请进行IEEE SPS期刊论文现场报告。该工作第一作者为2020级硕士研究生肖飞扬，关键老师为通讯作者，论文于2022年7月发表在以创新度高著称的信号处理领域权威国际期刊IEEE Signal Processing Letters。研究中提出了一种基于局部注意力机制的解码器(LocalAFT)结构，用于有效捕获短时音频事件，提升音频字幕预测精度，该项成果在DCASE 2022挑战任务6a取得了国际第六名。同时，肖飞扬同学也是本次所接收的“基于机器ID的音频表示与对比学习预训练的异常声音检测”工作的第二作者。
图3 基于局部注意力信息感知辅助解码的音频语意概述方法的对比示例图
智能信号处理组自2020年成立以来，致力于人工智能技术驱动的信号处理基础理论及应用研究，坚持“面向学术前沿，以实际应用需求为导向，以高素质人才培养为目标”，与国内外学术界和工业界广泛合作、成果斐然。研究成果相继发表于IEEE SPL、IEEE TMM、IEEE GRSL、IEEE IGARSS、IEEE ICASSP、EUSIPCO等信号处理领域权威期刊会议，此次也是课题组研究成果连续四年被ICASSP录用。
近年来，计算机学院大力倡导学术交流与国际合作，积极推动学科专业交叉融合建设，依托学科优势，促进以人工智能技术为代表的新技术跨领域融合研究。本次高水平研究成果发表体现了计算机学院在学科交叉融合建设的成效，也反映了学院在人工智能及声学信号处理领域的研究实力，促进了国际交流合作、扩大了我校的国际影响力。