一种基于视频检测技术的交通路口执勤机器人

　　道路交通安全一直为人们所重视，但是道路上违章行人数量巨大，并没有得到很好的管控，为此我们设计了一款交通路口执勤机器人。它可以完成对行人交通行为的有效管控，实现对脸部信息的采集、抓拍、上传、记录等，并设有问路和语音提示功能。本项目旨在通过管控行人方面来降低交通事故的发生频率，保障交通安全，维护出行健康，具有一定的实际应用价值。

　　近年来，随着城市化的发展和交通管理需求的不断增长，城市交通枢纽压力不断增大，道路交通安全管理面临着技术要求的提升。大数据技术在新一代智慧城市交通管理系统中得到了广泛应用，为整个社会提供了海量的数据资源。现阶段我们所面临的主要交通问题已经从机动车违法方面转化为了行人违法行为的管制，比如闯红灯行为。本项目主要在于开发已有道路交通管制中未进行完全开发的公共设施，设计一款基于视频检测技术的交通路口执勤机器人，保障交通安全，利于行人出行。

　　1. 交通路口执勤机器人系统设计及功能

　　1.1 系统设计

　　交 通 路 口 执 勤 机 器 人 通 过 Python 语 言 编 写， 以 树莓派 4B 作为硬件载体，通过 OpenCV 计算机视觉库和OneNET 云平台等软件，对闯红灯的行人进行人脸识别和拍照处理，上传到该路口对面机器人身后的显示屏和云平台上，实现对行人闯红灯行为的警示与记录。同时调用高德地图 API，通过语音输入模块实现行人语音输入功能，通过机械臂模拟交通指挥手势，结合语音辅助指挥，以此完成为行人指路的人机交互方案。

　　机器人技术论文：堆外核探测器安装机器人设计与底盘运动分析

　　1.2 功能设计

　　交通路口智能执勤机器人通过图像处理达到对人脸的精准识别，并对闯红灯人员抓拍，上传到后端云平台网络作为记录闯红灯人员的依据;通过机械臂动作提醒行人的行为;行人可语音向机器人询问目标地点，具有导航功能，一定程度上实现了人机交互功能。交警可通过后端云平台网络直接查看到有闯红灯行为的行人信息，机器人通过机械臂的手势变换进行一定程度上的交通指挥，可以减轻交警的劳动量。

　　对于行人，行人会在红绿灯时得到对应的语音提醒，红灯时“红灯，禁止通行”，同时机器人开启人脸识别系统，抓拍闯红灯人员信息;绿灯时提醒“绿灯，请按交规通行”。同时，行人可点击问路按键，语音询问如何去往目的地，机器人将通过高德地图 API 和语音模块予以回答。该机器人不仅增强了对行人的监管和保护能力，减少了交警的工作量，也方便了人们的出行，保障了行人的安全，适用于人流量与车流量较大的交通路口，具有一定的现实应用价值。

　　2.硬件电路设计该系统

　　通过 Python 语言编写实现以树莓派 4B 作为硬件载体，通过高清摄像头实时捕捉人行道上的行人面部图像，通过舵机控制机械臂动作模拟交通指挥手势提醒行人的行为;通过 WiFi 模块进行联网以完成信息传输;通过语音模块完成语音输入和语音指挥功能;显示屏用来显示行人的问路信息与导航地图。

　　2.1 核心控制模块由于交通路口执勤机器人需要进行实时目标抓拍识别、上传数据等任务，采用普通单片机难以满足设计要求，所以核心控制器采用树莓派 4B 微型计算机。树莓派开发板不仅体积小，而且具有丰富的内部资源，既能保证较高的运算速度，又能简化系统外围电路设计，因此我们选用树莓派 4B作为核心控制器。

　　2.2 摄像头模块本模块是机器人图像识别系统的硬件部分。图像识别模块选择使用小型 USB 高清摄像头以确保拍摄图像清晰，能够很好地满足交通路口执勤机器人对图像采集的要求。

　　2.3 语音识别模块语音识别过程主要分为三步：首先把帧通过模块识别为一种状态，再把这种状态进行组合为音素，最后把这些组合形成的音素合成为具体词汇。声音是一种波，在识别之前，为了减少干扰，静音区段会被切除。然后利用移动窗函数对声音进行分帧等预处理后，将声音转化成数字信号传送至特征提取模块。特征提取模块接收到信号后，把能有效反映语音特征的信息转化成一离散型矢量序列，将其压缩打包后传递至百度智能云 API 完成语音识别搜索。本系统采用该模块实现行人语音问路和机器人红绿灯语音提醒功能。

　　2.4 机械臂机械臂是一款新兴的能够模仿人类手臂部分动作的装置，可按照设置好的代码执行相应的动作，实现基础位移和对物品的抓取等行为。一个完整的机械臂系统包含电源、控制系统、机械机构等诸多单元。本机器人所使用的六自由度机械臂以平面运行动作为主，由运动元件、关节和手臂组成。运动元件起驱动作用，关节能通过旋转和转动实现机械手臂全方位的移动，手臂起到支持、连接的作用。机械手的指挥手势我们通过控制舵机旋转固定角度来实现本系统使用六自由度仿生机械臂模拟交通指挥手势辅助警察指导行人。

　　3.软件设计

　　本系统利用 OpenCV 进行人脸检测，使用 YOLOv3算法及优化改进算法保障行人的人脸检测的时效性和准确性，采用百度 AI 开放平台提供的 API 接口实现语音控制，并且将指示文字合成为声音完成机器人的语音提醒功能。违法行人的图像信息及时会上传至 OneNET 云平台中，交警可在 OneNET 云平台进行查看并下载记录。

　　3.1 OpenCV 的人脸检测OpenCV 是一个跨平台计算机软件库，能够实现图像处理和计算机视觉方面的多种计算机算法。目前，人脸识别已经在各个方面都得到了广泛且深远的应用。人脸识别主要分为两个阶段，首先设备调用摄像头搜索图像寻找人脸区域，获取行人面部视频流数据后进行图像处理，提取到视频流中的人脸图像集合，接着清理面部图像排除其他干扰以进行更好的识别。然后对集合中单帧人脸图像进行处理，之后与云数据库中的人脸信息进行匹配从而确定对应的行人信息。在本系统中，我们使用 Python 语言编写、优化代码和启用 imutils 库，利用 OpenCV 进行人脸检测完成违规行人信息的识别。

　　3.2 百度智能 AI 语音合成本设计通过使用百度 AI 开放平台提供的语音 API 接口进行语音功能的设计。语音转换组件可以将文字精准识别为语音，包含中文普通话输入法、英语、粤语等模型。除此之外，它还可以实现计算机、机器人等智能设备终端间的信号响应。本系统利用百度智能 AI 语音合成将输入文字转化为声音达到机器人的语音提醒功能。

　　3.3 YOLO 算法实现视频流中的目标检测YOLO 是一种兼具良好的准确性与实时性的一阶段目标检测算法。其算法原理是将原始图像输入网络后，采用regression(回归)的方法完成坐标框的检测及分类，通过损失计算预测出物体的类别和位置信息，将目标检测问题变成一种回归问题求解。YOLO 算法原理为把输入图像划分成 S 为边长的正方形网格，然后对每个格子都预测 B 个 bounding boxes，每 个 bounding box 都 包 含 有 5 个 预 测 值：x，y，w，h 和 confidence。

　　其 中，confidence 定 义 为 P r( O bj e c t )* I O U p r e d t r u t h P_r(Object)*IOU_{pred}^{truth}，如果不存在检测物体，那么 confidence 为0，否则期望其为 IOU。而 bounding box 为：[x，y，w，h]，其中(x，y)为 object 中心点坐标，与 grid cell 对齐，使范围变成 0-1;w 和 h 进行归一化处理。YOLO 在 测 试 过 程 中 将 confidence 与 C 类 的probability 相乘，如：P r ( C l a s s i | O b j e c t )*P r (O b j e c t )*I O U p r e d t r u t h = P r ( C l a s s i )*I O U _{pred}^{truth}，就可以得到类别概率及其准确度。YOLO 在训练和检测的时候可以看到全局图像，优化于其他算法，本智能执勤机器人依靠此算法提高在实时监测过程中人脸识别的速度和精确度。

　　4.结语

　　交通路口执勤机器人以树莓派 4B 为控制核心，通过机械臂完成手势指挥功能，通过语音模块和百度智能语音合成API进行人机交互;设有问路指路功能、红绿灯通行提醒功能、行人检测和人脸识别功能，能对违反交规的行人进行精准识别与处理。通过 OneNET 云平台与交警信息网连接，大大减轻了交警的工作量，为维护交通安全提供了保障。

　　作者：袁玮含 1 耿莽河 2 王新宇 3