抑郁症是一种情感障碍，往往导致精神残疾、生病和死亡。重度抑郁症被认为是自杀和药物滥用的主要原因之一。根据世界卫生组织（WHO）的最新报 告，估计全世界约有 3.5 亿人患有中度和重度抑郁症。抑郁症已被认定是经济、 司法和社会制度的负担。目前，抑郁症尚无独特有效的临床特征，这使得抑郁 症的诊断既费时又主观。 本项目提出了一种基于深度学习的多模态情感计算方法，采用语音、图像特征进行抑郁症预测，并围绕情感计算数据采集方式开发了虚拟访谈式的抑郁症测试系统。项目希望能够为可能患有抑郁症的个人提供可操作的反馈以及通过视觉、 音频和语言信号改进临床医生的自动抑郁症筛查工具。
访问 web 端网页可以通过与“小愈同学”进行虚拟访谈测试抑郁症、查看历史记录，便于医生及时分析病情并修改治疗方案，以及一些辅助功能，例如： 了解什么是抑郁症、查看**各省抑郁症的发病率、了解其他情绪病并对其他情绪病进行一个简单的测试、最后可以在休息室了解抑郁症和情绪病的一些缓解方 法。
- 虚拟访谈式设计：研究表明，患者与机器交谈时对信息透露的恐惧感较 低并表现出更高的情绪强度，因此，本系统创造虚拟采访助手—“小愈同学”记 录与参与者的访谈视频，分析研判其是否存在抑郁问题以及严重程度。
- 语音问答设计：我们从 AVEC2017 数据集的中提取采访问题，并将其转 为甜美语音向用户进行访谈，可以使用户更加的不拘束
- 历史研判分析：记录测试者一段时间的抑郁症测试结果，便于医生及时分析病情并修改治疗方案。
本文提出了基于时域卷积网络的多模态框架，用于从音频和视觉线索估计抑郁症的严重程度。对于多模态融合策略，本文采用了一种用于视听多模态抑郁估计的决策融合方法，来自音频输出的 PHQ-8 分数和面部特征的 PHQ-8 分数做线性回归，得到最终预测结果的 PHQ-8 分数。
视频链接：https://v.afbcs.cn/nChfi9
