近日,我校大数据与计算机科学学院夏道勋博士团队等人在人工智能领域1区TOP期刊IEEE Transactions on Neural Networks and Learning System(IF=10.451)在线发表题目为“SFANet: A Spectrum-Aware Feature AugmentationNetwork for Visible-Infrared PersonRe-Identification”的研究论文。该研究提出了一种新型频谱感知特征增强网络模型,为可见光-热红外跨模态行人再识别提供了新的解决思路。

行人再识别是人工智能计算机视觉研究领域下的一个基本问题,也被视为图像检索的一个子问题。基于可见光-热红外的跨模态行人重识别(VI-ReID)则是非常具有挑战性的图像检索匹配问题,它们之间存在严重的模态差异。现有的算法模型通常使用特征级别的条件约束来弥合这种差异,却忽略了图像在像素级别上的变化。也有尝试利用生成式对抗网络(GAN)模型来产生模态一致的行人图像,但是这种方法破坏了图像原有的结构信息,并且额外引入了较多的噪声。在本文中,夏道勋博士团队提出了一种名为SFANet的新型频谱感知特征增强网络模型,较好地解决了可见光-热红外行人重识别的跨模态匹配问题,通过平衡特定且可共享的卷积块数量来改进传统的双流网络,保留了行人特征的空间结构信息。在SYSU-MM01和RegDB数据集上,本文所提出的网络模型取得了优异的性能,并且计算效率更为高效。

该研究领域是我校贵州省教育大数据应用技术工程实验室的重要研究方向之一,并为教育大数据提供必要的理论和技术支撑(如学生的课堂行为分析等),该成果得到了国家自然科学基金项目(61762023)和贵州省教育大数据应用技术工程实验室(黔发改投资〔2017〕941号)的联合资助。

论文连接:https://ieeexplore.ieee.org/document/9525833


来源:贵州师范大学