非接触式面部表情分析关键技术的研究与应用

　　一、项目背景

　　在2020年1月17日召开的中央政法委工作会议上，习近平总书记强调“着力推进政法领域全面深化改革，提高政法工作现代化水平”。人工智能技术作为一项高端技术成果，已经成为国家发展战略。将人工智能技术应用于政法领域，是全面深化司法改革，提高政法工作现代化水平的重要举措。

　　近年来，随着“智慧警务”的推进，立体防控体系逐步形成、智能单兵设备不断更新、智能审讯系统得到广泛应用。但在实战应用中，我们发现现有科技装备难以实现对人员情绪的识别和预警。主要表现在以下一个方面：

　　一是办案审讯过程中，依靠现有设备难以及时掌握发现审讯对象的生理心理状态。

　　二是巡逻执勤中，现有智能单兵无法实现对处警和巡逻盘查对象情绪变化的掌握。

　　三是维稳安保中，现有技术无法实时分析预警情绪异常人员，人为的重大敏感突发事件不可控。

　　因此，亟需研发一种非接触式面部表情分析技术，通过采集分析人脸情绪，可以实现人员情绪识别预警与警务实战有效结合。

　　非接触式面部表情分析基于深度学习图像分析技术，通过深度学习图像分析识别技术识别不同攻击性、压力、虚假反应等不同情绪状态的面部表情，可广泛应用于智能单兵、侦查讯问等场景。在智能单兵中通过对可疑人员和危险人员进行检测、记录、分析、识别来实现提前预警和安全管控，保护民警执法权益和人身安全。在审讯工作中急需一种非接触式、客观性、智能化的新型智能辅助审讯技术的应用，非接触式面部表情分析是实现智能辅助审讯技术的关键。

　　二、应用领域和技术原理

　　1.民警携带单警装备巡逻处警：

　　民警装备的二代执法记录仪，针对回传的实时视频流对目标人员进行视频情绪识别分析，出现人员情绪异常，可以及时给出风险提示预警。通过视频，非接触、无知觉的采取心理生理信息并分析目标人员异常反应；通过存储的视频事后进行分析(陈述, 交谈, 咨询等录制视频进行事后分析)；目标人员情绪异常可以给出风险预警；保护处警民警人身安全。

　　2.车载智能装备、警用无人机日常巡逻：

　　通过车载只能装备、警用无人机的前端视频感知设备，可以将视频资源实时回传至后台进行视频情绪识别分析，可以远程观测目标人员状态，出现人员情绪异常，可以及时给出风险提示预警。

　　3.刑侦审讯场景：

　　公检法机关在侦查、审理案件过程中对犯罪嫌疑人进行讯问，对犯罪嫌疑人的犯罪事实进行查证的时候，可以利用视频对目标人员进行视频情绪识别分析，分析目标人员情绪变化，同时可以通过心理检测辅助判断是否说谎。

　　4.庭审场景：

　　在案件诉讼开庭审理流程中，在以下4个流程中：1.被告人、被害人就起诉书指控的犯罪事实陈述流程；2.发问被告人、被害人流程；3.法庭辩论流程；4.被告人最后陈述流程，可以利用视频对目标人员进行视频情绪识别分析，同时可以通过心理检测辅助判断是否说谎。

　　5.纪检监察讯问场景：

　　通过视频，非接触、无知觉的采取心理生理信息并分析目标人员异常反应；采用与传统检查流程同样的提问/回答过程，分析说谎反应 (STIM, POT, Backster, utha等) ；实时显示当前陈述的真伪概率；通过存储的视频事后进行分析(陈述, 交谈, 咨询等录制视频进行事后分析)；维护被测人的人权。

　　6.安保维稳等大场景：

　　通过在感知网部署应用，非接触式面部表情分析技术可以从海量的视频监控中实时分析推送情绪异常人员，跟现有的大数据研判和人脸识别技术结合，可以有效控制重大敏感突发事件的发生，一方面极大的减轻民警的工作量，更重要的是对现有技术进行“补盲”。

　　在技术上主要分为四个步骤实现，概括来说就是“采集-分析-识别-预警”

　　第一步：根据外部输入的视频流信息对人脸情绪特征进行提取得到振动图像：首先采集人脸视频流信息；根据视频流信息，获取受测人脸每个像素点的振幅和振动频率；根据振动频率和振幅得到振动图像。

　　第二步：根据振动图像进行像素微震分析形成振动光环：根据振动图像每个像素点振动频率的振动范围确定振动色阶；根据预设范围内振动图像的平均振幅确定振动光环大小；根据振动色阶和振动光环大小得到振动光环。

　　第三步：根据振动光环进行情绪状态识别:因为任何非均匀颜色和大小的光环都描绘其情感状态的运动，因此在得到振动光环之后，确定该振动光环的颜色和大小，根据振动光环的颜色识别情绪状态，根据振动光环的大小判断情绪状态的程度。

　　第四步：根据情绪识别结果生成情绪分析报告、发送预警信号，情绪分析报告包括：人员基本信息、精神状态、心态分布、情绪-能量变化图、情绪-能量相关性等。同时，根据识别结果发送预警信号。比如：当振动光环为红色时，即特定对象表现为攻击性情绪，发送红色预警信号。

　　三、成果的创造性、先进性

　　1、非接触式：利用执法仪、摄像头等视频摄录设备，基于非接触式、无意识实时对场景对象面部表情图像信息进行提取，具体可分为实时提取和录像提取。通过对心理生理学参数的不同曲线反应分析识别攻击性、压力、虚假反应等不同情绪状态，可对可疑人员和危险人员进行风险情绪识别和解决传统测谎技术应用中的缺陷。该项技术为国内首创。

　　2、面部表情提取技术：非接触式面部表情分析技术通过网络或摄像机获取的图像测量人面部肌肉的微动（微动，振动）数据，包含医学影像学和生物特征识别技术、振动图像及心理基础、 情感识别的视觉成像技术，形成一种以新型图像形态显示的彩图，这种新型的彩色图像与热力图或X射线图一样都会产生独特的信息，以所有像素点的振动参数--频率和振幅形式进行分别显示，振动频率和振幅的每一帧图像形成一帧外部图像，而每一帧外部图像以震动频率和振幅参数的像素微震分析，因此可分析各种心理状态，如愤怒、 紧张、 侵略，以及情绪、潜意识思考等。

　　3、面部表情分析技术：100多年前，亚里士多德和过去的科学家、生物学家，已经知道某些肌肉运动的每个参数表征着某些情感特征。所有人产生的细微肌肉颤动，通过数字化视频摄像机和高速计算机快速处理，实现情感识别，就是本项技术优势。人的面部微振是与一个人的前庭器官（情绪反射 VER）相关联，并且能够暗示其情感状态等人格特质。在提取人的面部表情信息频率和振幅的每个细微振动变量基础上，通过三维控制（3D）来分析人的情绪所致的头颈运动和波动，在多个视频图像中采集帧差同时累积帧，采用专利数学公式进行计算并分析出相应结论，实现测定心理、生理的每个参数的数字可视化，进行技术等级分类辨别。基于振动的每个参数值，对人物的三维空间的动态图像在正常状态和潜在意识反应下的生气、紧张、攻击性状态等多种精神状态进行关联分辨。

　　4、深度学习图像识别算法：深度学习中的网络（尤其是CNN）对图像具有较好的提取特征的能力，从而避免了人工提取特征的繁琐，人脸的人工特征包括常用的68个Faciallandmarks等其他的特征，而深度学习除了预测外，往往还扮演着特征工程的角色，从而省去了人工提取特征的步骤。深度学习图像识别算法，通过若干层CNN进行图像特征的提取，然后通过全连接层进行非线性分类，这时的全连接层就类似与MLP，只是还加入了dropout等机制防止过拟合等，最后一层有几个分类就连接几个神经元，并且通过softmax变换得到样本属于各个分类的概率分布。

　　5、全方位辅助审讯技术：通过5个阶段的陈述，反复检测回答控制问题和事件相关问题的生理信号变化，以振动光环展示，能够准确得到目标对象陈述信息的真伪性，相比现有技术中在不同部位安装传感器的方式，不用对目标对象进行身体接触，以保证识别的准确性。

　　四、运用成效

　　在公安范围内实战使用情况：目前该技术在我局已成功应用于18个所队95个讯问室、463个4G执法仪和视频图像实战平台；实战效果得到市局充分肯定，已在全市3市4区公安机关全面推广应用；在全国范围内，XX市局、XX市局和XX市局等单位部署应用，效果得到一致好评。一是办案审讯更具主动性。近3年，我局在“孔某某等人抢劫案”等143个案件审讯中，利用该技术总计发现334名嫌疑人1159次疑似说谎或心理、生理状态明显波动，及时推送提醒办案民警调整讯问方式、讯问思路或进行心理干预，牢牢掌握了审讯主动权。二是巡逻防范更具针对性。我局借助嵌入该技术的4G执法仪，及时有效地将处警巡逻民警目视范围内人员的情绪异常情况实时推送，更有针对性地发现高危人员和风险隐患。2018年以来，借助该技术共抓获犯罪嫌疑人759名、盘查发现前科劣迹人员2744名。近3年来，我区发案数持续下降，破案率、群众安全感、公众满意度持续上升。三是区域协作更具广泛性。XX市公安局和XX州公安局侦办某重大案件过程中，在没有指向性信息情况下开展拉网式审查时，借助该技术及时有效排查出重点嫌疑人。XX公安局XX公安检查站借助该技术，仅半年时间就筛查出非法入境外国人11名、吸毒人员2名、携带违禁品人员5名和其他违法行为人4名，有效地把不安全因素阻挡在国门之外。该技术的推广应用，使我局对外协作模式由传统的协作模式向科技协作领域延伸。

　　在地方行业部门使用情况：在XX市中级人民法院、XX城管局、北XX技术公司等单位应用反馈评价较高，针对性地解决了他们在实际工作中的痛点难点。

　　五、可复制推广性

　　非接触式面部表情分析是一种基于非接触式、无意识实时视频图像信息提取，通过对心理生理学参数的不同曲线反应分析识别攻击性、压力、虚假反应等不同情绪状态，可对可疑人员和危险人员进行风险情绪识别和解决传统测谎技术应用中的缺陷。本项目的核心优势在于人脸情绪识别的创新实战应用，该创新应用为国内首创，具备完全的自主知识产权，经实战应用效果显著。本项目创新应用成果填补了国内公安在非接触式条件下的面部表情分析的技术空白，具有极高的应用推广价值。

　　在经济价值上，以同方神火和中科院研发的专业测谎仪为对比，一台专业测谎仪需要20万左右，同时需要一名专业测谎师操作，按照姜堰分局规模部署到所有办案区和4G执法仪成本就近1100万元，一个地级市的部署成本大概1亿元，全国范围内应用部署至少在百亿规模。而我们的基于视频技术的辅助执法技术研发成本不到100万元，后期部署可以利旧原有的前端摄像头和4G执法仪。

　　该项目可有效利用无线执法记录仪、人脸识别摄像机后台、警用无人机、机器人、车载智能装备、办案区的审讯系统等现有软硬件设备及系统,具有投入低（设备复用率高，硬件投入少）、建设方便、易维护、安全性高、易推广的特点,非常适合搭载在单兵设备中、应用在公安执法办案审讯室等场所以及部署在感知网后台。

　　可以推广应用到纪检监察、检察院、法院、环保、城管等行政执法部门，全流程掌握执法对象生理心理状态；保险、信贷行业的金融风控和HR行业远程视频面试等也有广泛的应用前景。

　　责任编辑：广汉