近日，我校信息科学技术学院余梓彤助理教授指导(唯一通信作者)的文章“PhysMamba: Efficient Remote Physiological Measurement with SlowFast Temporal Difference Mamba”被第18届中国生物特征识别大会(Chinese Conference on Biometrics Recognition, CCBR) 2024收录为口头报告(Oral Presentation)及墙报展示(Poster Presentation)，并在大会晚宴上被授予CCBR最佳论文提名奖。 其中，论文的共同第一作者是我校本科访问学生罗朝旗同学及深大-湾大联培硕士谢怡萍同学。该论文提出了业界首个基于时差Mamba的远程生理测量框架，有效地解决了远程时间依赖问题，在生理信号检测与远程监控技术方面实现了重大突破，论文已开源于 https://github.com/Chaoqi31/PhysMamba。
图1. 最佳提名奖荣誉证书
第十八届中国生物特征识别在六朝古都南京举办。本届会议由中国图象图形学学会、中国人工智能学会、中国科学院自动化研究所联合主办，南京理工大学、南京大学、南京邮电大学、东南大学联合承办。来自国内外70余所知名高校、科研院所以及企业的近400名专家学者和研究生莅临现场参加了本届盛会。
图2. 会议现场开幕式
我校信息科学技术学院助理教授余梓彤及其深大-湾大联培学生谢怡萍共同参与了此次会议。学生谢怡萍在大会口头报告环节对收录论文做了细致的报告。报告中提到，基于面部视频的远程心电图（rPPG）旨在测量生理信号并在无任何接触的情况下检测心脏活动，在各种应用中显示出巨大的潜力。而以往的基于CNN的方式感受野受限，限制了其捕捉长距离时空相关性的能力，且基于Transformers的方法也难以对复杂度较高的长视频序列进行建模。为应对这一挑战，我们提出基于Mamba的框架——PhysMamba，以有效地表示面部视频中的长距离依赖关系。
图3. 余老师与学生大会合影
图4. 墙报展示(Poster Presentation)
图5. 学生谢怡萍作口头报告
PhysMamba主要由一个浅层Stem、若干个时差Mamba（Temporal Difference - Mamba, TD-Mamba）块组成。首先采用差异归一化方法对裁剪后的面部帧进行帧间差值提取，减轻背景像素的影响。我们使用浅层Stem来提取粗略的局部时空特征。随后，利用两个卷积块对进行时间降采样，得到慢速时间特征和快速时间特征，其中，的时间维度是的时间维度的2倍。接着，快速和慢速特征都将被送入三组时差Mamba（TD-Mamba）中，并利用横向链接将“快流”特征融合到“慢流”特种中，同时，我们在前两个区块后分别添加一个MaxPool（1×2×2）。最后，经过时间上采样的慢速流特征和快速流特征合并，输入到rPPG预测器，得到最终的rPPG信号。主体部分为时差Mamba块，其由时差卷积（Temporal Difference Convolution，TDC）及双向Mamba（Bi-Mamba）组成，能有效地描述细粒度的局部时空动态及长程时空依赖。其中的双向Mamba层更是能够有效地捕捉双向的帧间长距离的时空依赖关系。
图6. 主体框架图
图7. 数据集内测试的实验结果
图8. 可视化效果展示
数据集内及跨数据集实验均展示出了其优越的性能，注意力图等可视化效果均体现本方法的有效性。
大会晚宴环节，工作“PhysMamba: Efficient Remote Physiological Measurement with SlowFast Temporal Difference Mamba”被授予CCBR最佳论文提名奖，由我校谢怡萍同学作为代表上台领奖，这一荣誉是对该工作的肯定及高度认可。
图9. 晚宴颁奖现场
未来的研究方向包括探索跨域性能和无监督、半监督方法，以应对现实场景中的无标签问题。项目已经开源，且已被rPPG-Toolbox官方库（https://github.com/ubicomplab/rPPG-Toolbox）收录，这为研究者提供了进一步探索和改进的机会。
教师简介
余梓彤，信息科学技术学院任职助理教授，YUV (YU Vision Group) 课题组负责人，2023年2月加入大湾区大学（筹），谷歌学术总引超5000次，2023-2024连续两年入选全球前2%顶尖科学家榜单。课题组主要研究方向为“以人为本”的计算机视觉和可信媒体计算。课题组诚聘访问学生、联培硕博研究生、研究助理和博士后研究人员。具体事宜欢迎垂询。邮箱：yuzitong@gbu.edu.cn。个人主页https://zitongyu.github.io/。
