井下装备多传感器融合碰撞预警系统设计与实践

防爆胶轮车在采区巷道里倒车采煤机在端头调向支架搬运车驮着重物转弯——这几个场景放在地面上都不算太复杂到了井下就完全是另一回事。巷道本身窄装备自身体积大、盲区多司机往往只能靠后视镜和经验判断周边有没有人。我参与过几个矿用装备智能化改造项目最早团队也试过装个摄像头AI识别的简单思路结果井下跑了一圈回来全都得重新想。粉尘、水雾、低照度、电磁干扰这套组合拳打下来单一传感器几乎没有能全身而退的。所以后来我们做了一套基于多传感器融合的井下装备周边人员碰撞预警系统把视觉、毫米波雷达、UWB定位、热成像几个来源的数据揉在一起才总算把检测可靠性和误报率压到可接受的范围。这篇东西主要把这些年从方案设计、传感器选型、空间标定、算法融合到井下安装实测的完整过程整理出来既是一份技术参考也是一份踩坑记录。煤炭、非煤矿山做装备智能化、做安全监控的同行以及准备往这个方向立项的团队应该都能用得上。1. 井下装备碰撞事故的根源与现状在展开多传感器融合方案之前得先把为什么井下碰撞事故这么难防这个问题掰扯清楚。很多人觉得装备上加个声光报警器或者装个摄像头不就行了市面上同类产品也不少但真正的坎儿在于需求端面临的复杂度远超地面开放场景。1.1 作业环境的固有危险因素井下空间是一个高度受限的三维环境装备和人员的活动轨迹天然就是交叉的。采掘工作面附近的巷道宽度往往只有4到5米一台采煤机或者支架搬运车开过去剩余的空间可能就够一两个人侧身贴着帮站行人避让装备的余地非常有限。司机坐在驾驶室里车头车尾有几个关键的视觉盲区车越大盲区越大很多碰撞事故本质上是司机根本没看到人。更麻烦的是井下这个环境对感知这件事处处不友好。巷道照明是分段布置的灯光照不到的地方就靠头灯整体照度远低于室内标准空气中常年飘着煤尘和水雾能见度忽好忽坏有些采区噪声大到面对面喊话都听不清声光报警在嘈杂环境下很容易被忽略。这些因素叠加起来意味着任何一种检测手段都必须先跟恶劣的物理环境作斗争才有资格谈检测精度。1.2 常规防护手段的短板目前矿井里最常见的防护手段是人工指挥和声光报警。工作面端头作业时安排一个专职人员打手势、吹哨子引导车辆这确实能挡住一部分事故但问题也很明显指挥人员本身也在盲区范围里指挥动作和司机操作之间的时间配合一旦出错反而容易出问题长时间作业注意力下降更是人之常情。声光报警装置的问题在于它只解决了提醒环节没有解决发现环节。蜂鸣器再响、爆闪灯再亮前提是司机和周边人员都能收到信号、来得及反应。至于安装摄像头的方案很多矿井布了几十路视频最后还是靠调度员盯屏幕。人盯屏这件事的疲劳曲线我实测过进入状态之后大概15分钟就会开始漏看这不是责任心问题是人类注意力的物理极限。这些短板背后的本质是缺少一个不依赖人的主观状态、能在危险接近前主动给出可靠判断的自动化感知环节。碰撞预警要做到的不是替代司机而是在司机判断之前先把风险看出来。2. 单一传感器的能力边界谁也无法独挑大梁方案设计阶段我们把市面上能用的感知传感器挨个过了一遍结论很直接单靠任何一种传感器在井下环境下都有致命的短板。这不是某个品牌的问题是传感器物理原理和矿山环境之间的结构性矛盾。2.1 视觉检测白光环境下好用井下直接近视摄像头AI目标检测是最先被考虑的方案毕竟这几年YOLO系列算法成熟度很高地面上行人检测效果确实不错。但井下光照分布极不均匀巷道里一段亮一段暗摄像头为了照顾暗区就得提高曝光亮区就过曝反过来说井下作业面通常有强烈的局部光源车灯、头灯、矿灯直射过来逆光下的行人几乎是一团黑影。粉尘和水雾对视觉的影响更是要命的。煤尘附着在镜头表面哪怕是一层薄薄的灰图像分辨率就肉眼可见地掉档。我们在地面测试时检测率能做到95%以上的模型搬到井下粉尘环境里直接掉到80%出头这还没算夜间无照明路段的情况。视觉传感器的另一个隐性成本是清洁维护井下摄像头需要定期擦镜头不然报警质量持续劣化很多矿一开始兴致冲冲后期连擦镜头的人员都排不出来。2.2 毫米波雷达知识盲区少但巷道里全是回声毫米波雷达是防碰撞领域的老兵不受光照影响对距离和速度的测量非常直接。它在井下有个老大难问题——多径效应。井下巷道是金属支护结构顶板、帮壁、设备表面到处是金属反射面雷达发射的电磁波会在这些表面之间来回反射产生大量虚假回波。很多时候雷达屏幕上会出现幽灵目标明明前方没人显示距离3米处有个反弹点转过头真有人了目标反而被淹没在杂波里。另外人体对毫米波雷达来说算弱反射目标尤其穿普通工装的矿工雷达散射截面比金属设备小得多探测距离和稳定性都受限。我们实测中普通行人目标在干净环境下能被雷达稳定跟踪的距离约30米到了井下金属支护密集的巷道里有效跟踪距离可能砍掉一半还伴随着间歇性丢点。2.3 激光雷达、热成像、UWB各有苦衷激光雷达的测距精度高、点云密度大但粉尘和水雾对激光的衰减非常明显几级浓度一上来点云就开始发糊。热成像的原理是探测温差能在完全无光的环境里看到人体热源这本来很诱人但井下底板、机械设备、电缆都会发热热背景杂乱人员识别要靠算法仔细抠特征再加上防爆热成像模组成本偏高批量部署的压力不小。UWB定位则完全是另一个思路要给人员佩戴标签才能定位外来的无关人员没戴标签就检测不到而且它只能告诉系统人在哪个位置无法判断这个人面对的还是背对装备、处于什么姿态。2.4 单传感器能力对比没有一科全优传感器类型优势井下主要短板适合承担的融合角色可见光摄像头纹理细节丰富可分类识别低照度、粉尘遮挡、逆光目标分类身份确认毫米波雷达全天候测距测速穿透粉尘多径虚警人体弱反射距离、速度的核心测量激光雷达高精度测距点云直观粉尘衰减严重近距离高精度复核红外热成像无光可见识别热源热背景杂乱成本高弱光/粉尘条件下的备份检测UWB标签定位位置精确坐标可直接用依赖佩戴无法识别未佩戴人员已知人员位置校正所以多传感器融合不是赶时髦是这个场景下的必然选择。核心矛盾在于每种传感器在某个维度上都有可靠的一面在场景的另一个维度上又都不可靠只有把互补信息叠加起来才能得出一个足够可信的结论。3. 多传感器融合的整体架构与传感器配置明确了必须融合之后紧接着的问题就是怎么搭这个系统。我们最后采用的分层逻辑很朴素感知层各干各的决策层统一仲裁。整套系统用一句话概括就是——把每一种传感器当成一个专家委员每个委员基于自身物理原理解读环境融合层负责综合各委员的意见在冲突时决定听谁的。3.1 系统分层感知、标定、融合、决策、执行整个预警系统分为五层感知层摄像头、毫米波雷达、UWB基站/标签、可选的热成像模组各传感器独立采集原始数据。标定层解决传感器之间的坐标系对齐和时钟对齐问题这是融合的数据基础。融合层将视觉目标、雷达点云、UWB坐标等异构数据关联到同一个物理目标上形成统一的对象列表。决策层基于统一目标列表计算碰撞风险输出分级报警或联动指令。执行层声光报警器、显示屏、车载控制器联动必要时执行减速或停车。这个分层的意义在于解耦。传感器品牌、型号可以后续替换只要感知层输出的数据格式不变融合和决策就不用重写。项目后期我们换过一版性能更好的雷达融合层代码一行没改这就是分层架构的收益。3.2 传感器组合怎么定主力、辅助与备份传感器配置不用贪多关键是角色定义清楚。我们最终的主力组合是可见光摄像头毫米波雷达摄像头干识别、雷达干测距两者互为校验。热成像作为无光场景的备份检测UWB作为已知人员的实时位置基准。这个组合覆盖了井下最常见的三类风险场景有光条件下的行人识别、粉尘/无光条件下的人体探测、已知人员精确定位。选型时有几个容易被忽略的细节。第一摄像头的镜头视场角要跟雷达的方位角范围匹配否则目标出了雷达视野、只剩视觉数据融合就没意义了第二雷达的探测仰角不能只盯着地面井下有些人员从侧帮或者高处平台经过垂直视场角买小了目标直接从扫描平面外面溜过去第三UWB基站的布局要避免跟金属支护柱体太近否则定位误差会从0.3米量级恶化到1米以上。3.3 空间标定把不同坐标系拧成一股绳多传感器融合的第一步是外参标定。摄像头输出的像素坐标、毫米波雷达输出的极坐标、UWB输出的世界坐标本质上都是对同一个物理空间的不同语言描述空间标定的任务就是建立这些语言之间的翻译关系。摄像头和雷达的联合标定常用方法是在车辆前方布置若干角反射器和标定板同时采集雷达回波和图像找到同一目标在两个坐标系下的对应点然后求解旋转矩阵R和平移向量t。这一步看着简单实际在井下做有特殊的麻烦巷道空间太窄标定场景架不开我们最后是在井上检修车间完成初标下井安装后再用车体上固定的两个基准反光板做微调校验。标定结果要保存成参数文件并且每次设备维护后复查一遍。我见过有项目用了半年后报警位置持续偏了20多厘米查来查去是安装支架螺栓松动导致传感器角度变化重新标定后立即恢复教训就是标定不是一次性工作要纳入定期维护项。3.4 时间同步毫秒级偏差带来的连锁误差空间对齐之外时间同步是另一个基础难点。视觉每秒25帧到30帧雷达每秒10帧到20帧UWB标签刷新又是另外一个频率三个传感器各自按自己的节拍输出数据。假如不对齐时间融合层看到的当前时刻实际上是三个不同时刻的快照——以20公里/小时行驶的装备0.1秒时间差异对应的目标位置偏差就有0.5米以上。工程上常见两种方案硬同步和软同步。硬同步通过信号线触发所有传感器同一时刻采样精度最高但对设备硬件有要求。软同步则是给每帧数据打上时间戳融合时通过插值算法把各传感器数据对齐到同一个时刻。我们在项目中选用了软同步用PTP协议同步系统时钟实测时间偏差控制在10毫秒以内。对碰撞预警这个量级完全够用一个是省去了定制触发行二是传感器型号更换时不用改线。4. 融合算法从检测到决策的完整链路架构搭好了传感器数据接进来了接下来的核心问题是算法。这个部分我按检测、关联、融合、决策四步走来讲每一步都有对应的工程选择逻辑。4.1 视觉检测在低照度上调优模型的实用路线视觉通道的目标检测主干直接采用轻量化的YOLO系列骨干网络在井下低照度场景做了专门微调。一个非常实用的做法是不直接用公开数据集训练完的权重而是先采集目标矿井的真实图像标注戴安全帽的人员和穿反光衣的人员两类样本再结合公开行人数据集做迁移学习。井下人员和地面行人外观差异明显反光衣在强光下的光晕、安全帽的形态单靠通用模型识别效果会打折扣。低照度处理上最简单有效的方法不是堆图像增强算法而是给摄像头配一个宽动态功能避免车灯直射导致人物过曝。如果夜间或粉尘条件下图像质量确实不行就把视觉通道的置信度调低把判断权更多让渡给雷达——这个思路对降低整体误报率很关键后面第五节还会展开说。4.2 雷达通道从杂波里把人抠出来毫米波雷达数据处理的第一步是恒虚警率检测CFAR把超过背景杂波强度的回波点挑出来。井下环境杂波强烈CFAR的阈值设置直接影响虚警率。第二步是聚类把同一个目标的多个回波点聚成一簇DBSCAN这类基于密度的聚类算法在井下数据上比固定网格法稳定得多因为它能适应目标距离变化带来的点密度变化。雷达的优势在于能直接给出目标的径向速度和距离。这个信息对碰撞风险判断极有价值目标距离20米相对速度5米/秒跟目标距离20米、相对速度0危险等级完全不同。视觉很难直接算出径向速度雷达则是天然自带这个参数。4.3 目标关联与跟踪别把一个人认成三个人同一时刻视觉目标、雷达目标、UWB目标可能各有各的列表融合层的第一个任务是判断哪些条目指向同一个物理目标这一步在目标检测里称为数据关联。常见做法是用匈牙利算法解决匹配问题把视觉框的中心点雷达的距离角度UWB的坐标统一投影到车辆坐标系下两两计算距离代价矩阵代价最小且低于阈值的条目合并成同一个目标。匹配完成后用卡尔曼滤波对目标的位置和速度做平滑预测。这样做有两个实际收益一是目标框不再忽大忽小报警状态更稳定二是短时间某一传感器丢帧时滤波器可以根据历史状态预测位置不至于报警状态频繁闪断。测试里有个很有趣的现象加了跟踪滤波之后一个行人从车前方横穿时报警连续性从时断时续变成了持续有效因为单帧偶尔识别失败被滤波器自动修正了。4.4 决策级融合与分级报警什么时候报报了怎么报决策逻辑上我们采用了置信度区域双要素模型。每个融合后的目标先计算一个综合置信度来源包括视觉识别分数、雷达回波强度、目标跟踪帧数然后判断目标所处的风险区域——装备周围划分为两个区域警示区距离15到6米和危险区距离6米以内。目标进入危险区且综合置信度超过阈值触发一级报警声光报警器启动接近速度高时触发联动减速信号。报警阈值怎么确定是个精细活。阈值太高会漏报阈值太低会整天误报司机被闹得麻木之后反而把报警当背景音。我们调试时使用的一个经验法则是现场的虚警容忍度取决于误报方式。停车误报比减速误报严重得多所以停车指令的判定条件比普通报警苛刻得多要求目标连续3帧以上都处于危险区且置信度持续高于高阈值宁可多给驾驶员0.3秒的反应时间也不能因为单帧瞬时误判让装备在巷道里急停。5. 井下实测中的典型问题与排查链路再好的设计进了现场都会原形毕露。这一章写的是我们在井下安装实测阶段碰到的几个典型问题按完整的排查链路来还原希望能帮后来的人少走一些弯路。5.1 金属支护引发的虚警风暴从调阈值到区域屏蔽第一台样机下井测试时雷达通道几乎每隔一两分钟就报一次警报警位置集中在巷道侧帮。打开原始点云一看密密麻麻的反射点分布在两帮典型的金属支护多径反射。一开始我们尝试提高CFAR阈值虚警确实少了但远处真人目标也跟着丢了此消彼长明显是方向错了。排查路径是逐步收敛的先把目标从点云聚类层面区分成静止目标和动态目标金属支护是静止的人员一般带有移动特征把静止目标直接过滤掉虚警率立刻降了一多半。剩下的一部分静止目标偶尔因为装备自身运动产生微多普勒会短暂被识别为动态于是再引入区域屏蔽——在车的坐标系里标定出巷道两帮的固定区域这些区域的报警直接抑制。两道措施叠加后误报降到平均每小时1到2次可以进下一步测试了。同行如果遇到类似虚警建议按这个顺序排查先看回波是否来自静止目标再看是否位于已知结构区域最后才考虑动阈值不要一上来就动全局参数。5.2 粉尘遮挡视觉时雷达如何兜底融合的胜负手有一次在掘进巷道测试前方有掘进机作业粉尘浓度大摄像头画面几乎一片灰。视觉通道检测率掉到六成以下单独用视觉根本没法用。但整个系统在融合状态下报警功能依然稳定原因是雷达通道在这种场景下几乎不受影响CFAR照常工作人的回波虽然弱但还在。这给了我们一个明确的设计原则融合系统必须能够在主传感器失灵时降级工作而不是直接瘫痪。工程实现上就是给每个融合目标记录证据来源组合。目标同时有视觉和雷达证据时置信度最高只剩雷达证据时置信度下调但仍可触发报警只剩视觉证据时因为缺少测距信息只触发提示不触发联动。这个分级设计的意义在于系统的失效模式是性能下降而不是彻底失效。5.3 标定漂移振动环境下传感器慢慢跑偏前面提到过标定要定期复查这个问题的触发来自一次真实故障。项目运行两个月后调度反馈某辆车报出的目标距离总是偏远比如屏幕上显示3米现场实际大概2米5。当时怀疑是雷达本身精度问题换了雷达后依旧最后检查到摄像头的安装支架发现固定螺栓在持续振动作用下松动了小半圈摄像头光轴偏移导致视觉与雷达的融合目标位置偏差增大跟踪结果整体偏移。修复方案分两步第一步重新拧紧螺栓并加装防松垫片重新做外参标定第二步把所有车载设备的固定支架标准改成每周巡检一次并在软件里增加一个标定健康度监测周期性用车辆前方的固定参照物检查投影误差一旦误差超限就提示重新标定。井下设备长期振动是常态凡是安装在车体上的传感器固定方式必须按振动环境设计这是花钱买来的教训。5.4 联动停车技术完全可行责任边界要提前谈明白系统做到最后一个绕不开的话题是检测到危险区域内有人要不要直接让装备刹停技术上车载控制器联动制动完全可以实现但这里面的责任边界问题比技术问题复杂得多。我们调研过不同矿的做法有的要求只报警不联动给司机留决定权有的允许联动减速但要求司机踩下确认踏板才能继续行驶还有的在低速移库场景下允许自动刹车。我的建议是项目立项阶段就把联动策略跟矿方安全、生产部门谈清楚形成书面确认。技术侧能做的是给联动策略提供多种挡位配置比如仅报警、报警降速、降速急停三档管理侧根据矿上的规程选择。纯技术判断会替代司机决策的情况必须避免系统定位始终是辅助安全手段不是自动驾驶大脑。6. 工程化落地的几个补充经验6.1 防爆改型与防护等级不能等做完再想井下设备必须满足矿用防爆要求传感器、控制器、线缆接口全都要按防爆标准整改。常见的方案是本质安全型Ex ib和隔爆型Ex d摄像头和雷达属于低功耗设备走本质安全型比较合理控制器如果功率大往往要加隔爆外壳。这一块的坑在于选型时买的常规工业级摄像头和雷达普遍没有防爆认证需要外送做防爆改型和认证周期长、费用不低而且改型后外壳、散热、接口都可能变化要留足时间和预算。另外粉尘环境对防护等级的要求是IP65及以上屏幕和按钮也要防尘防水。实测中我们发现设备防尘网的日常清理频率直接影响可靠性建议在设备布局图上明确标注清洁点位和周期写进维护规程。6.2 安装位置与走线盲区覆盖和线束保护要兼顾传感器的安装位置决定了盲区覆盖效果。实测下来设备前向的视觉和雷达装在驾驶室前方高处视野开阔但容易被顶板滴水影响后向传感器装在高位尾翼上对车辆正后方人员的探测效果最好。侧向盲区是融合覆盖最薄弱的区域通常需要额外加装两侧短距雷达。布线时所有线缆必须穿防爆软管避免与车体运动部件干涉接头要打胶密封这些细节直接决定系统能稳定运行多久。6.3 验收评估方法用三类指标量化系统能力系统上线前的验收评估建议用三类指标量化检出率、误报率和响应时间。检出率统计方式是设置标准测试场景安排人员在不同距离、不同速度、不同粉尘模拟条件下通过危险区域统计正确触发比例一般要求不低于95%误报率以每班次误报次数计算控制在个位数以内响应时间测量从目标进入危险区到报警输出的延迟实测值建议控制在200毫秒以内。验收一定要在真实工况下进行模拟环境数据再漂亮井下粉尘一盖就现原形。我们首轮验收时特意选择掘进作业时段让系统在粉尘浓度高的条件下跑完整班这比在干净环境下测一百次都有说服力。最后再分享一个小技巧系统投入运行后一定要保留完整的报警日志包括时间、位置、传感器证据组合、报警级别、司机处置动作。这些数据是后续调优和事故回溯的重要依据。我见过不少项目把重点放在算法上忽略了日志积累结果出了问题连当时发生了什么、系统怎么判断的都说不清楚。日志就是预警系统的事故黑匣子这一项设计和部署时就应该考虑进去。