技术负责人：郑淇
技术联系人：联系电话： 13638613407 邮箱：zhengqi@xidian.edu.cn
关键词：人工智能、疲劳检测
项目概况：
（一）项目背景
针对众多疲劳敏感行业，基于监控视频数据，实现操作者业务动作的疲劳程度实时AI自动评测，既可对早期疲劳做到实时监测预警，又可为操作员群体整体疲劳状态分析提供支持。
（二）项目简介
方案基于计算机视觉先进技术以及“计算社会理解”先进理论，集成目标跟踪、轨迹提取、时空行为模式分析、异常检测等核心算法对监控视频中安检员的行为模式进行实时分析，开发“安检行为模式分析与异常状态监测系统”，旨在实时提供安检工作人员的工作状态信息，更加快捷、准确地实现安检员的早期疲劳等异常行为检测，并进行实时监测和预警工作，为安检质量提供技术监管支撑。
总体上，该系统优化了安检技术防范实施策略，将技术监管方式从传统的动作、表情、生理状态检测模式转变为安检人员大数据行为模式分析；突破了疲惫和烦躁状态检测技术瓶颈，通过研究安检员行为模式和其异常状态的统一表达的理论与方法，将安检员安检行为模式和异常状态检测建立联系，构建严重-中等-轻微三级异常状态，实时准确的检测安检员的异常行为并预警。实现安检行业业务模式、功能、技术的创新与技术体系的升级换代，为重要场所安全和国家安全提供重要的技术支撑。
（三）关键技术与创新点
以下是本项目涉及的关键技术：
1、关键技术一：监管策略转换
传统的安检主要将注意力集中在旅客身上，而旅客人数规模巨大，状态各异，异常行为复杂多变。不同于旅客，安检人员则规模有限，流程简单，行为规范。本方案转换监督策略，将关注点由复杂多样的乘客转向相对单一的安检人员，将复杂多样的行为模式问题变为了相对简单单一的行为模式问题。实时检测安检员疲劳等异常行为模式，提升安检员安检工作的工作效率和效果的同时，极大的降低了工作量和工作难度，有利于提升民航安全防护能力。
2、关键技术二：无感持续检测
对于异常状态的检测，传统的基于生理特征的识别需要借助特定设备采集生理特征数据，进而区分正常工作与异常工作状态，这样会对安检员产生一定的侵入性，不仅会影响安检员的日常安检工作，还会在一定程度上影响到安检员的工作情绪和工作状态。而本产品是一套结合监控摄像头的线上智能监测系统，可以保证在无侵入的状态下对安检员的行为模式进行分析与监测，相比于传统方法具有非常好的无侵入性，让安检员可以在无任何感知的情况下安心工作。
无感持续检测
3、关键技术三：早期疲劳检测
本产品针对安检中手检员与X光机值机员早期疲劳检测问题。根据现场视频监控数据，对安检员行为模式进行模式分析，建立早期疲劳现象和异常行为模式的关联关系，通过风险感知模块在线判断安检人员工作状态是否出现异常。当系统检测出安检员工作状态异常后，本产品能够及时、准确反馈在预警主页面，为安检质量提供有效的技术监管支撑。
本项目创新点包括：
1、构建安检员早期异常行为模式的统一检测理论和方法，准确率提升约15%。
本项目基于计算行为科学，利用短时分帧处理，对安检员的行为轨迹数据进行分帧加窗处理，提取对应的MFCC梅尔倒谱系数，构建安检员的行为模式库；然后采用行为模式表达技术，利用改进的小波变换提取突变的小信号，实现早期异常行为异常检测，这突破传统了计算机视觉方法只能针对中晚期疲劳等异常行为进行检测的瓶颈，并使得异常检测的准确率提升约15%。
2、利用多点协同建模以及改进注意力机制提升可解释性和检测效率。
本项目进一步利用安检员部分骨骼姿态关键点，实现安检员行为模式多点协同建模，增加了可解释性，并改进基于注意力机制的自编码器，大大降低安检员早期疲劳等异常检测复杂度。相比于传统的计算机视觉方法，提升了模型的可解释性，检测效率上也有明显提升，算力支持的情况下，模型响应时间提升到1s内。
技术成熟度：
概念验证 原理样机 工程样机 中试 产业化
合作方式：
联合研发 技术入股 转让 授权（许可） 面议
