新突破！天大这项最“知心”的研究读懂你的情绪
快乐还是伤心
机器可能比你自己更清楚？
有无情感
是人与机器最大的区别之一
而在由天津大学牵头建设的
脑机交互与人机共融海河实验室
有这样一支
由青年科研人员挑重担的科研团队
致力于用“情感计算”
赋予精神医学的发展更多“温度”
以期消弭人机智能交互之间的鸿沟
近日，刘爽团队提出了一种基于人体姿态运动的多尺度空时网络情感计算新模型，通过捕捉全身运动所传达的粗、细粒度情感信息，结合基于迭代模式的空时融合算法 ST-ITE，以解码情绪与身体运动之间的复杂映射关系。
本研究所提出方法的模型框架
(a)-(b)多尺度空域网络编-解码模块；(c)-(d)多尺度时域网络编-解码模块；(e)空时网络联合优化模块；(f)交叉验证结果分
实验证明，该模型显著提高了基于姿态运动的情绪识别性能，识别准确率优于现有方法，为进一步推动人机交互技术的应用与创新，促进新一代大规模、低成本、非侵入式的精神疾病个性化诊疗系统的发展提供了技术支撑。相关研究成果已于近日发表至国际情感计算领域TOP期刊《IEEE Transactions on Affective Computing》。
除了用情感计算识别和理解情绪，刘爽还带领团队将情感计算应用于精神障碍疾病的客观评估，并在抑郁、精神分裂、焦虑等精神疾病的脑机制及干预治疗方面取得多项创新成果。
据世界卫生组织(WHO)统计，全球约10亿人正在遭受精神障碍困扰。新冠疫情后，全球精神障碍疾病负担更加沉重，重度抑郁症和焦虑症的病例分别增加了28%和26%，抑郁症患者激增5300万，增幅高达27.6%。我国每年大约有28万人自杀，其中40%患有抑郁症，我国抑郁症患者患人数约9500万。
然而目前，精神障碍疾病的临床诊断主要依靠医生的经验和量表评估，主观性强，一致性差，亟需客观的生理靶标。
为破解这些难题，刘爽和团队成员集智攻关，从底层效应和源头机制出发，独创了一种基于情感脑机接口技术的Chirp（啁啾）高频稳态响应诱发范式，显著提升了脑电Gamma振荡信噪比；随后提出脑电Gamma时频联合特征解码方法，有效增强病理特征解码特异性，从而发现脑电40Hz-chirp-ASSR可作为表征抑郁及不同抑郁症的生理靶标，抑郁识别正确率、特异性与灵敏度均大于90%。
基于以上成果，刘爽带领团队进一步自主研发了国内首款面向抑郁评估的情感脑机交互机器人系统“神工-神心”。它的使用过程十分简单，患者只需戴上采集头部信号的设备，系统通过声音刺激诱发用户听觉稳态响应，采集脑电信号并解码情绪信息，构建识别模型，机器人就会根据患者的大脑信号，在短时间内对用户进行全面、客观的抑郁评估，实现抑郁症的智能化评估，并为患者的个性化治疗提供科学依据。
神工-神心系统
探索背后，是成百上千次向未知的冲锋。目前，“神工-神心”机器人系统已授权和公开2项国际专利，7项国家发明专利，2项国家软件著作权，在多地三甲医院临床测试成功，获得国家医疗器械注册证和天津市技术发明奖，并作为医疗科技创新代表性成果入选北京“奋进新时代”主题成就展，目前相关产品正在天开高教科技园实施转化。
除了依靠电生理和行为分析技术，团队还进一步设计了基于语音信号的非接触式抑郁识别技术，提出了一种适用于抑郁语音识别的机器语音链模型，利用声音的物理特征而不是文本信息进行抑郁评估，该模型在不同语言和采集范式的多个数据集上都表现出了良好的泛化能力和识别性能。研究结果同时表明，抑郁症患者的声道特性或已发生变化，为抑郁症语音研究提供了理论基础和启发。相关成果发表于国际精神病学领域TOP期刊《Journal of Affective Disorders》。
所提出MSCDR示意图
语音链模型示意图
构筑更良性的人机关系，让机器不仅有“智商”，更有“情商”，是刘爽选择情绪解码与调控这一研究方向的初衷。1989年出生的“准90后”她，已经先后入选了国家级青年人才工程和国家级高层次领军人才计划。未来，刘爽将继续带领她年青的科研团队深耕情绪解码与调控新理论、新技术和新应用研究，重点面向精神医学与康复工程、特种医学与人机工程等重大领域的工程应用，为新一代的医学人机交互和人机混合智能的发展提供重要支撑。
通讯员 / 董玥欣
编辑 / 白锦川
封面摄影 / 杨鸿钦
「 天 津 大 学 新 媒 体 中 心 」
投稿 & 加入我们 Tju_nmc@163.com
跟小天一起