Laser wireless charging protection system based on deep learning

以激光为载体的激光无线能量传输(laser wireless power transfer, LWPT)技术具有能量密度高、设备体积小、传输距离远等特点^[1]，既可以为微型飞行器^[2]、微小卫星等空间移动目标进行远程充电，也可以为智能家居如手机、平板电脑、移动机器人等进行无线能量供给，给移动电器的使用带来便利。但值得注意的是，由于LWPT技术采用高能量激光束提供电能，在对智能家居实施充电的过程中，可能会出现人或物体进入光路，造成激光对其有损伤的可能。因此，在激光无线充电过程中，如何快速、精准地判断出充电光路中有异物进入，并迅速关断激光，确保激光使用的安全性，是LWPT在室内安全使用的一个重要技术问题。

近年来，国内外学者针对智能家居激光无线充电的安全防护设计了多种不同的方案。一类是接收端需要增加反馈器件的方案：2008年，ZHANG等人^[3]设计了一种具有保护措施的远距离激光充电设备，在激光发射器和激光接收器周围布局了位置对应、数量相等的特定频率光传感器，利用光传感器之间的信号传输情况来监控系统的充电状态；2017年，华盛顿大学VIKRAM等人^[4]在发射端用于充电的高功率激光器周围布局了低功率保护光束，在接收端布局角锥棱镜用来反射保护光束，并在发射端测量来自接收器的反射光，反射光束减少即表明光路中有异物进入；2020年，JIN等人^[5]研究了一种具有保护功能的远距离激光自动充电系统，在接收端设备角锥棱镜，通过发射端的环形光电探测器来监测角锥棱镜的反射光，使其能够在有异物进入光路时快速做出判断。虽然这些方案都具有足够快的保护响应速度，但接收端需加入其它负载，增加了设备的复杂性和体积，不利于接收端的小型化。

另一类是利用阻断激光束谐振来实现保护的方案：2017年，Wi-charge公司REFAEL等人^[6]发布的一种分布式共振器激光器系统专利，核心是使用猫眼器件使激光束形成振荡，当异物进入光路时，后泄漏光束轮廓的畸变将会触发保护系统；2020年，WU等人^[7]设计了一种自适应分布式激光充电系统，将激光器输出反射镜装载到接收器上，一旦有异物进入光路，谐振腔损耗便会瞬间增大，激光振荡将即刻停止；2020年，YUN等人^[8]搭建了一套以角锥棱镜为谐振腔反射镜的固体激光器系统，只要光路被障碍物遮挡，激光振荡就会立即停止。这类保护方案的特点是充电与保护同时进行、同时结束，保护响应时间短、安全可靠，且不需附加保护器件，是一种理论上可行、但技术上实现十分困难的方案。因为在将激光谐振腔的输出镜装载到接收器上时，由发射端的反射镜与接收端的输出镜组成光学谐振腔产生激光振荡困难。尤其是接收器与发射端距离较远(实际需求一般大于2 m)的情况下，即便是使用对调整精度要求较低的角锥棱镜或猫眼系统作为谐振腔反射镜，也很难产生激光振荡。由于本文中的使用场景为智能家居的激光无线充电保护，需要研究一种设备小型化、简便化的系统设计方案。

随着计算机视觉技术的飞速发展，深度学习、帧间差分法等技术在图像处理领域得到了广泛的应用，并且以图像处理技术为核心的设备通常结构较为简单、生产成本较低。你只需看一次(you only look once, YOLO)深度学习算法因其可靠性而被强烈推荐用于实时检测^[9]，新发布的YOLOv7网络模型更是适用于对检测结果准确性、实时性要求高的场合。同时，帧间差分法是运动目标检测技术中应用最广泛的方法之一，因其原理简单、计算量小，已被用于医疗输液过程中液滴速度的测量^[10]、海洋水文环境剖面参数的测量^[11]等多个领域，也可应用于运动车辆检测^[12]。目前，已有许多学者将深度学习与帧间差分法结合，充分发挥出两种技术的优势，使得网络模型的识别准确性与运动目标检测速度都有了很大的提升。2018年，CHEN等人^[13]基于深度学习YOLOv2网络模型及帧间差分法设计了输电线路悬挂物识别算法，此算法能够有效克服光照变化、镜头抖动等不利于目标识别的场景条件。2019年，WANG等人^[14]在深度学习视觉几何群(visual geometry group, VGG)16网络模型的基础上，融入帧间差分法，两者结合不仅使算法识别率有所提高，并且能够识别出目标的运动状态。2021年，YANG^[15]基于深度学习YOLOv5网络模型和帧间差分法的动态检测算法，对复杂环境中的飞鸟进行高效、精准的识别，为机场、高压电站等区域排除安全隐患。

因此，为了精确识别到光伏电池的特征信息，本文作者先利用深度学习得到预选框，并在此基础上扩大一定区域作为充电目标的保护监测区，排除大量背景区域后，在保护监测区内结合帧间差分法进行移动异物的检测。一旦有异物进入充电区域，场景特征信息将发生变化，以此为反馈信号触发系统做出快速保护响应动作，确保在异物接触激光束之前停止发射激光。由于光伏电池具有目标小、特征信息不明显等特点，传统的YOLOv7网络并不能满足其精度要求，会导致最终保护系统的性能不达标。

综上所述，本文中基于YOLOv7模型提出一种满足识别精度的YOLOv7-NH模型，并结合帧间差分法作为算法支撑搭建网络模型，基于此算法，搭建一套激光无线充电异物快速识别与激光束关断保护系统，并通过实验验证了该系统的可靠性。该系统的接收端除了必要的光电转换器件，不需要附加任何其它的器件，即该保护系统的接收端具有结构精巧、设计简单的特点，特别适用于对手机、平板电脑等小型用电负载的激光充电保护。

本系统的充电对象为距离摄像头10 m范围内，尺寸仅为10 mm×10 mm大小的光伏电池，其贴附于智能家居表面。由于光伏电池尺寸小于原图尺寸的10%，属于小目标物体^[16]，且其所含特征信息较少，不易于网络识别。因此，在搭建算法框架之前，首先对光伏电池进行简单改造，以便于网络模型更好地进行特征学习，提高网络模型对光伏电池的识别能力。为了不给接收端增加多余负载，本文中采用荧光材料给光伏电池周围附上一圈纹路标记，如图 1所示。

Figure 1.  Photocell renovation

要想提高网络模型对光伏电池的识别准确性，除了对光伏电池的特征改造，更重要的是需要加强网络模型本身的小目标识别、检测能力，即需要对YOLOv7网络模型做出适应小目标检测的改进。

经过许多版本的更新迭代，新发布的YOLOv7网络模型针对现有的一些训练技巧集合以及模块重参化和动态标签分配策略进行了改进。在模型结构方面，使用扩展高效层聚会网络(extended efficient layer aggregation networks，E-ELAN)；在稳定通道数方面，采用先缩放宽度后进行连接处理的复合模型缩放策略；在提高训练速度与精度方面，去除恒等映射，设计了一种计划的重参数化卷积。因此，YOLOv7网络模型在实时性和准确性方面有了显著提升，模型平均精度(average precision, AP)最高可达到56.8%，且在画面每秒传输帧数为5 frame/s~160 frame/s的范围内，其速度和精度都较其它类型的检测器有优势^[17]，特别适用于对目标识别实时性、准确性要求高的场景。

目前，基于深度学习的目标检测算法模型大多适用于尺寸或比例大于原图10%的中大型目标，对于小目标的检测能力还有待提升。因此，对于本系统中光伏电池的检测，还需要针对YOLOv7网络模型在小目标检测中精度较低、易出现漏检误检等问题进行改进，改进的YOLOv7网络模型命名为YOLOv7-NH网络模型，如图 2所示。图 2中，CBS(convolution batch structure) 表示卷积结构；ELAN(efficient layer aggregation network)表示高效层聚合网络；MP(maxpool) 表示最大池化；ELANW表示W型的高效层聚合网络；C(convolution) 表示卷积；UP(upsampling)表示上采样；SPPC(spatial pyramid pooling concoct)表示空间金字塔池化；SPC(spatial py-ramid concoct) 表示空间金字塔化；REP(reparameterized)表示重参数化。尺寸大小的单位为pixel。

Figure 2.  YOLOv7-NH network model

YOLOv7-NH网络模型在YOLOv7网络模型的基础上增加一个小目标检测层，即增加一个多尺度检测头(head)，对应的颈部网络(neck)也随之增加，如图 2中两个橙色虚线框所示。改进之后的网络增加了一个尺寸的输出，使得该网络模型对于小目标特征学习的能力显著提升，能实现对小目标光伏电池的精准识别。

因此，本文中的激光无线充电保护系统采用YOLOv7-NH网络模型作为算法主体。同时，利用YOLOv7-NH网络模型得到光伏电池预选框，并对此预选框适当扩展后作为光伏电池的保护监测区。剔除大量与光伏电池无关的背景区域后，结合帧间差分法进行保护监测区的移动异物检测，有效提升了本保护系统的工作效率，提高了系统的可靠性、安全性。

为了确保充电过程的安全性，本文作者在算法主体中融入帧间差分法，对保护监测区进行快速的移动异物检测。一旦有异物进入保护监测区，前后场景像素出现变化，本系统快速响应，快门快速关闭，激光器也会立刻被关断，实现激光远程充电过程中的安全保护。

在图像处理过程中，帧间差分法通过计算相邻两帧图像之间的差值来获得运动目标轮廓，其处理对象可以是视频图像序列中的相邻两帧或者连续3帧^[18]。两帧差分法具有算法简单、计算量小的特点，但检测能力缺少鲁棒性。3帧差分法是在两帧差分法的基础上进行改进的，具有较高的帧利用程度^[19]，能够较为稳定地检测出图像序列中的运动目标。因此，在保证网络模型识别速度的前提下，本文中采用连续3帧图像作为运算处理对象。

3帧差分法的具体算法描述见下。

(a) 假设n帧图像序列为：{ I₀(x, y) … I_i(x, y) … I_n(x, y)}。其中，I_i(x, y)为图像集的第i帧图像(n>i)。在图像序列中任意选取连续的第i-1帧、第i帧、第i+1帧即I_i-1(x, y)，I_i(x, y)，I_i+1(x, y) 3帧图像，分别计算第i-1帧与第i帧、第i帧与第i+1帧图像的差值：

(b) 结合实际运动目标速度，针对步骤(a)中得到的两幅差值图像设定合适的阈值d_th，可以得到二值化图像b_{i, i-1}(x, y)和b_{i+1, i}(x, y)：

(c) 针对原始图像中的每一个像素点(x, y)，将步骤(b)中得到的两幅二值化图像b_{i, i-1}(x, y)和b_{i+1, i}(x, y)逻辑相“与”，得到3帧图像中间帧I_i(x, y)的二值图像B_i(x, y)：

(d) 针对步骤(c)得到的二值图像B_i(x, y)进行形态学上的滤波处理，可有效去除图像中的噪点，降低目标检测中“空洞”现象出现的概率：

式中：close(·)和open(·)分别表示形态学处理中的闭运算和开运算。

步骤(b)中提到的阈值d_th的选择是3帧差分法计算流程的重中之重。若是选取的阈值d_th过小，则无法抑制差分图像中的噪声，因此要使噪声尽可能少，就要加大阈值d_th；但若选取的阈值d_th过大，噪声减少，又有很大可能将差分图像中的目标信息抹去^[20]。由于目标所处环境总是存在光线变化，固定阈值d_th则无法保证其工作性能。为此，在判决条件中加入对整体光照敏感的添加项，将判决条件修改为：

式中：f(·)表示光强分布；N_A为待检测区域中像素的总数目；λ为光照的抑制系数；A可设为整帧图像。通过附加项$ \left|f_n(x, y)-f_{n-1}(x, y)\right|$可以得出图像的光照变化情况。若是监控视场光照变化小，则此项趋于零；若是光照变化明显，则此项将会影响右侧判决条件随之增大，判定为监控视场中不存在运动目标，如此便可一定程度上抑制光照变化对运动目标检测结果的影响。然而，阈值的设置需要根据摄像头的成像质量及环境条件的不同而实时更新。因此在监测过程中，需要网络模型对阈值不断地进行刷新，使得运动目标检测的情况更加稳定。

为了提高充电保护系统的稳定性及安全性，本文作者从软件方面进行技术上的改进，可保证移动异物在未触碰激光束前，便可启动充电保护系统，确保激光对智能家居实施远程无线充电的安全性。

如图 3所示，本保护系统的算法设计方案如下：将工作内容分为充电过程和保护过程。充电过程是利用深度学习网络模型识别充电目标，并控制激光器发射激光。将网络模型识别到的充电区域适当扩大，作为充电目标的保护监测区，结合帧间差分法对此区域进行移动异物的检测。一旦有异物进入保护监测区，使得场景像素出现变化，意味着异物即将触碰激光束，需利用此信号控制系统作出快速的保护响应动作。由以上工作内容分析可得，本文中需要解决两个技术问题：(a)提高网络模型对充电目标的识别准确性；(b)确保无接触式的保护响应。

Figure 3.  Schematic diagram of system scenario and working process

一方面，以充电目标光伏电池属于小目标为关键点，对YOLOv7网络模型做出相应的修改得到YOLOv7-NH网络模型。此网络模型具有小目标特征信息学习能力强、速度快的优点，为后续帧间差分法的结合使用打好了基础。

同时，为了确保无需接触激光束才能触发本保护系统，需要将YOLOv7-NH网络模型与帧间差分法结合。在YOLOv7-NH网络模型进行目标识别后，得到预选框，并将此预选框扩展成尺寸大小为40 mm×40 mm的区域，为保护系统留出充裕的响应时间。一旦有异物进入保护监测区，视频序列中相邻3帧的图像像素差值超过设定的阈值，充电保护系统将被触发，并立即传输信号至激光器及暂时遮挡激光束的快门，从而确保移动目标在接触到激光束之前，快门关闭，激光器已关断，以此达到对充电目标所在区域实施双重保护的效果。

最终，对光伏电池的简单改造以及网络模型的双重改进，使得其对小目标识别能力得到显著提升。并且此网络模型还具有高鲁棒性的运动目标检测功能，能为激光无线充电系统提供安全保护的算法支撑。

本文中选取立式电扇为光伏电池的贴附载体，搭建的激光无线充电实物系统如图 4所示。

Figure 4.  Laser wireless charging physical system

激光无线充电保护系统发射模块由半导体激光器、嵌入式集成版、激光发射器、激光准直器、双目识别系统、2维转台、快门、光纤组成。两个1600万像素的高分辨率自动对焦摄像头，组成双目识别系统，将双目识别系统、激光发射器及激光准直器设备于2维转台之上加装的L型支架。双目识别系统持续将场景视频序列输入算法中，经过识别、对准后，完成对光伏电池的充电流程。当光伏电池正常充电中，一旦有异物进入保护监测区，保护系统就被触发，嵌入式集成板将信号传输至快门及激光器，控制快门关闭、激光器立刻关断，完成快速的保护响应动作。算法部分实现了YOLOv7-NH网络模型的搭建，并进行了训练及测试。

对贴附于立式电扇表面的光伏电池在不同距离下进行验证系统性能，充电目标在距离该系统发射端水平方向8 m、垂直方向3 m的范围内，进行了多次实验，结果如表 1所示。

由表 1分析得出：当发射端距离接收端越近，光伏电池在场景中的比例增大，保护算法的检测速度相应提升。根据光伏电池的尺寸(10 mm×10 mm)及保护监测区域的尺寸(40 mm×40 mm)可以计算出，移动目标从监测区域边缘进入到接触激光束大约需要10 ms，是系统保护响应时间的10倍。

综上所述，本文中所研究的激光无线充电保护系统可在距充电目标10 m的空间范围内，精准识别尺寸为10 mm×10 mm的光伏电池。同时，当有移动物体靠近激光束传输空间时，系统响应时间低于1 ms，能确保在移动物体接触到激光束之前系统关断激光。

为了防止激光充电过程中人体、异物等不慎进入光路出现不必要的安全隐患，本文中采用深度学习和运动目标检测等技术，设计并搭建了一套激光对室内家电无线充电保护系统。通过将YOLOv7-NH算法模型和帧间差分法的融合及优化，编写了保护控制软件，实现了激光对室内家电的精准识别、高效充电保护一体化。测试结果表明：载承激光的2维转台模块处于高3 m、充电区域为直径10 m的室内空间时，保护动作响应时间低于1 ms，且可保证移动目标无须触碰激光束便会启动保护系统，确保了激光无线充电系统使用过程中室内移动物体、人体的安全，具有较高的安全保护性能。本安全保护系统无须在接收端添加任何其它器件，能够做到设备小型化、简便化。因此，本文中所设计的激光无线充电保护系统为智能家居激光无线能量传输的安全使用提供了一种可靠的解决途径。