vlambda博客
学习文章列表

不断发展的X光安检图像识别基于深度学习的智能识别设计与实现

为了确保公共交通的安全,安全检查已成为确保公共生命财产安全的必要手段。但是,由于中国人口流动性高和客流量大,对安全检查技术的需求和要求也在增加。由于依靠人工检查和图像识别的传统工作方法无法满足人们出行时的人流需求,因此越来越多的现代智能技术被应用在安全检查领域。

目前,在许多机场安全检查场景中已经实现了人工智能和硬件的结合。通过对各种安全检查图像的数据处理,使用深度学习算法来实现对违禁品的自动识别和预警。这样,大大降低了安全人员的劳动强度,提高了安全检查的质量,避免了因遗漏,误判危险品而造成的不良后果。

一套专门针对 X 光安检图像的目标检测算法、数据收集和标定方案,并开发相应的软硬件系统,可与 X光安检机松耦合对接,实现从 X 光安检图像的输入、检测、输出的完整系统。

一、算法流程设计

专门针对 X 光安检图像设计的算法为二阶段目标检测网络,通过训练卷积神经网络得到适用于 X 光安检图像数据的模型。该模型的输入是一定尺度范围的 X 光图像,输出为该图像中存在的违禁品类别、坐标和置信度,网络结构图如图 1 所示。



算法流程如下。

(1) 经过捕获卡处理后的图像在补边、减均值后保持原有尺寸送入特征提取网络。

(2) 特征提取网络采用全卷积网络结构,输出特征图。

(3) 特征图经过 RPN,输出可能有目标的区域 ROI。

(4)ROI 经过池化(Pooling)变换后产生小尺寸的特征图,再经过 Head 网络后完成分类和定位偏移量的计算。

(5)Head 网络的输出偏离量对 ROI 精修,得到最终预测结果,即针对 X 光安检图像的目标检测结果和置信度。

数据质量优劣决定了模型质量。为训练出专门针对 X 光图像的模型,本模型并未采用常规图像数据集训练,而是大量制造带有真实违禁品、并有各种箱包、填充物、干扰物组合的 X 光安检图像,并结合现场采集的真实行包数据作为训练样本,同时辅以颜色变换、尺度变换、水平翻转和镜面翻转等多种数据增强方法和域自适应的图像风格迁移方法,构建出数百万级别的训练样本,涵盖了国内常见的十几种主流品牌安检机的图像特征,使得模型具备较强的泛化识别能力。

二、硬件系统结构和功能

硬件系统设计需要承载 X 射线安检机视频信号接入、X射线安检机 EDID 信号反馈、视频信号放大并分配、视频信号数字化、视频图像预处理、深度神经网络推理和计算、渲染显示输出的完整业务流程,硬件系统设计如图 2 所示。


不断发展的X光安检图像识别基于深度学习的智能识别设计与实现


各模块和功能如下:

(1) 视频信号分配模块

(2) 视频信号采集模块

(3) 图像处理模块(CPU)

(4) 神经网络计算模块(GPU-1)

(5) 显示渲染模块(GPU-2)

三、成品实物展示

根据软硬件设计,成品样机实物如图所示。屏幕展示效果目标标签展示方式尽量和伪彩色图像有所区别,并对安检员的视线干扰最小。



针对 X 光安检图像进行违禁品目标检测和识别的有效算法,并且实现了用于安检实战场景的软硬件系统。即可实现 X 光安检图像智能判图的完整流程,无需对现有的 X 光安检机进行任何定制改造。该系统目前已广泛在地铁、高铁、机场、物流等领域。未来可以通过增加待检测目标训练样本,进一步扩展识别目标类型,提升识别率,以满足轨交、物流、机场、海关等不同应用场景的不同需求,通过人机耦合判图,最终实现降本增效、提升安检服务质量,应用前景广阔。