高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于点云特征的城市道路标识线提取与分类

郑帅锋 王山东 张陈意 王伦炜

引用本文:
Citation:

基于点云特征的城市道路标识线提取与分类

    通讯作者: 王山东, wsd@hhu.edu.cn
  • 基金项目:

    江苏省幸福河湖评价标准和骨干河道管护评估标准应用研究资助项目 JSZC-320000-HYGS-C2021-0156

  • 中图分类号: P407.8;P234.1

Extraction and classification of urban road marking lines based on point cloud features

    Corresponding author: WANG Shangdong, wsd@hhu.edu.cn ;
  • CLC number: P407.8;P234.1

  • 摘要: 为了解决基于车载激光雷达(LiDAR)点云数据中的道路标识线提取完整度与提取精确度方面数值偏低等问题, 提出了一种基于点云多元特征的道路标识线快速提取方法。在城市道路标识线的强度信息、几何信息和语义信息基础上, 结合路面点云的强度特征、高程特征和点密度特征, 生成多个地理参考图像, 对多元特征图像进行特征提取与填充, 再利用Ostu算法以及Alpha shapes算法实现道路标识线点云精提取, 并根据标识线的几何、语义信息和模型匹配方案实现标识线的细分类, 进行了理论分析和实验验证, 取得了澳大利亚某城市道路的点云数据。结果表明, 提取的短虚线、斑马线、单向转向箭头、长虚线的准确率均高于96%, 召回率均达到91%及以上, 综合评价指标均达到94%及以上。这些结果对无人驾驶领域研究起到了添砖加瓦的作用, 也为城市数字化建设提供了一定的参考价值。
  • 图 1  技术路线

    Figure 1.  Technical flow chart

    图 2  地理参考图像处理流程图

    Figure 2.  Georeferenced image processing flow chart

    图 3  模板点云图

    Figure 3.  Template point cloud diagram

    图 4  实验点云数据

    Figure 4.  Experimental point cloud data

    图 5  点云局部渲染图

    Figure 5.  Point cloud local rendering map

    图 6  原始点云与强度特征图像对比图

    Figure 6.  Comparison between original point cloud and intensity feature image

    图 7  强度二值化

    Figure 7.  Strength binarization

    图 8  道路标识线边缘检测局部图

    Figure 8.  Local image of road marking line edge detection

    图 9  连通区域分析与标记局部结果图

    Figure 9.  Connected region analysis and marking local result graph

    图 10  标识线点云提取效果图

    Figure 10.  Rendering of marking line point cloud extraction

    图 11  标识线局部效果图

    Figure 11.  Partial effect picture of marking line

    表 1  标识线提取精度

    Table 1.  Marking line extraction precision

    category TP FP FN precision/% recall/% F/%
    short dotted line 155 3 15 98.10 91.17 94.51
    zebra crossing 26 1 1 96.29 96.29 96.29
    arrow 11 0 0 100.00 100.00 100.00
    long dotted line 95 1 5 98.95 95 96.93
    下载: 导出CSV

    表 2  不同方法标识线分类对比精度

    Table 2.  Classification and comparison accuracy of marking lines of different methods

    method category precision/% recall/% F/%
    YU[10] dashed type marking line 93.24 97.89 95.51
    zebra crossing 99.46 92.73 95.57
    one way steering arrow 88.89 88.89 88.89
    ours dashed type marking line 98.45 92.59 95.41
    zebra crossing 96.29 96.29 96.29
    one way steering arrow 100.00 100.00 100.00
    下载: 导出CSV
  • [1] 赵焱. 基于车载LiDAR数据的高精地图道路要素提取[D]. 武汉: 武汉大学, 2020.

    ZHAO Y. Extraction of road elements in high-definition maps based on vehicle LiDAR data[D]. Wuhan: Wuhan University, 2020(in Chinese).
    [2] 王腾, 兰青, 杨默含, 等. 点云反射强度道路标识线角点提取方法[J]. 激光杂志, 2020, 41(4): 76-80.

    WANG T, LAN Q, YANG M H, et al. Corner detection of marking line based on point cloud reflection intensity[J]. Laser Journal, 2020, 41(4): 76-80(in Chinese).
    [3]

    YAO L B, QIN Ch C, CHEN Q Ch, et al. Automatic road marking extraction and vectorization from vehicle-borne laser scanning data[J]. Remote Sensing, 2021, 13(13): 2612. doi: 10.3390/rs13132612
    [4]

    YANG B S, FANG L N, LI Q Q, et al. Automated extraction of road markings from mobile LiDAR point clouds[J]. Photogrammetric Engineering & Remote Sensing, 2012, 78(4): 331-338.
    [5]

    GUAN H Y, LI J, YU Y T, et al. Using mobile laser scanning data for automated extraction of road markings[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 87(1): 93-107.
    [6]

    KUMAR P, MCELHINNEY C P, LEWIS P, et al. Automated road markings extraction from mobile laser scanning data[J]. International Journal of Applied Earth Observation and Geoinformation, 2014, 32: 125-137. doi: 10.1016/j.jag.2014.03.023
    [7]

    LIU L R, MA H, CHEN S Y, et al. Image-translation-based road marking extraction from mobile laser point clouds[J]. IEEE Access, 2020, 8: 64297-64309. doi: 10.1109/ACCESS.2020.2985413
    [8]

    ZEYBEK M. Extraction of road lane markings from mobile LiDAR data[J]. Transportation Research Record, 2021, 2675(5): 30-47. doi: 10.1177/0361198120981948
    [9]

    YAN L, LIU H, TAN J X, et al. Scan line based road marking extraction from mobile LiDAR point clouds[J]. Sensors, 2016, 16(6): 903. doi: 10.3390/s16060903
    [10]

    YU Y T, LI J, GUAN H Y, et al. Learning hierarchical features for automated extraction of road markings from 3-D mobile LiDAR point clouds[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 8(2): 709-726.
    [11]

    CHEN X, KOHLMEYER B, STROILA M, et al. Next generation map making: Geo-referenced ground-level LiDAR point clouds for automatic retro-reflective road feature extraction[C]//Proceedings of the 17th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York, USA: Ouri Wolfson, 2009: 488-491.
    [12] 邹晓亮, 缪剑, 郭锐增, 等. 移动车载激光点云的道路标线自动识别与提取[J]. 测绘与空间地理信息, 2012, 35(9): 5-8.

    ZOU X L, MIAO J, GUO R Z, et al. Automatic road marking detection and extraction based on LiDAR point clouds from vehicle-borne MMS[J]. Geomatics & Spatial Information Technology, 2012, 35(9): 5-8(in Chinese).
    [13] 马浩, 裴智惠, 李婷婷. 移动激光扫描数据的道路标线自动提取[J]. 测绘科学, 2019, 44(6): 217-221.

    MA H, PEI Zh H, LI T T. Automatic extraction of road markings from mobile laser scanning data[J]. Science of Surveying and Mapping, 2019, 44(6): 217-221(in Chinese).
    [14]

    YE Ch M, LI J, JIANG H, et al. Semi-automated generation of road transition lines using mobile laser scanning data[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 21(5): 1877-1890.
    [15] 侯德藻, 何勇, 唐琤琤, 等. 道路交通标志和标线第三部分: 道路交通标线: GB 5768.3-2009[S]. 北京: 交通部公路科学研究院, 2009.

    HOU D Z, HE Y, TANG Zh Zh, et al. Road traffic signs and markings—Part 3: Road traffic markings: GB 5768.3-2009[S]. Beijing: Highway Science Research Institute, Ministry of Communications, 2009(in Chinese).
    [16] 刘国栋, 刘佳, 刘浪. 一种基于机载LiDAR数据的山区道路提取方法[J]. 激光技术, 2022, 46(4): 466-473.

    LIU G D, LIU J, LIU L. A mountain road extraction method based on airborne LiDAR data[J]. Laser Technology, 2022, 46(4): 466-473(in Chinese). 
    [17] 曾妮红. 基于车载LiDAR点云数据的滤波及道路标识线提取研究[D]. 武汉: 中国地质大学, 2016: 24-31.

    ZENG N H. The research on filtering and extraction of road marking from vehicle-borne laser scanning point clouds data[D]. Wuhan: China University of Geosciences, 2016: 24-31(in Chinese).
    [18] 张莹, 黄影平, 郭志阳, 等. 基于点云与图像交叉融合的道路分割方法[J]. 光电工程, 2021, 48(12): 210340.

    ZHANG Y, HUANG Y P, GUO Zh Y, et al. Point cloud-image data fusion for road segmentation[J]. Opto-Electronic Engineering, 2021, 48(12): 210340(in Chinese).
    [19] 杨必胜, 魏征, 李清泉, 等. 面向车载激光扫描点云快速分类的点云特征图像生成方法[J]. 测绘学报, 2010, 39(5): 540-545.

    YANG B Sh, WEI Zh, LI Q Q, et al. A classification-oriented method of feature image generation for vehicle-borne laser scanning point clouds[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(5): 540-545(in Chinese).
    [20] 刘硕, 刘如飞, 柴永宁. 一种基于结构特征匹配的道路标识线分类方法[J]. 地理空间信息, 2021, 19(3): 14-17.

    LIU Sh, LIU R F, CHAI Y N. Road marker line classification method based on structural characteristic match[J]. Geospatial Information, 2021, 19(3): 14-17(in Chinese).
    [21]

    KAPUR J N, SAHOO P K, WONG A K C. A new method for gray-level picture thresholding using the entropy of the histogram[J]. Computer Vision, Graphics, and Image Processing, 1985, 29(3): 273-285. doi: 10.1016/0734-189X(85)90125-2
    [22] 苗龙元, 于正林, 王震. 基于连通区域标记的区域填充算法[J]. 长春理工大学学报(自然科学版), 2018, 41(4): 114-117.

    MIAO L Y, YU Zh L, WANG Zh. Regional filling algorithm based on connected region labeling[J]. Journal of Changchun University of Science and Technology(Natural Science Edition), 2018, 41(4): 114-117(in Chinese).
    [23] 杨振, 鲁欣宇, 武永斌, 等. 结合城区道路特征与点云回波信息的道路标识线提取[J]. 测绘与空间地理信息, 2020, 43(11): 193-196.

    YANG Zh, LU X Y, WU Y B, et al. Extraction of road marks based on urban road characteristics and point cloud echo information[J]. Geomatics & Spatial Information Technology, 2020, 43(11): 193-196(in Chinese).
    [24]

    OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66. doi: 10.1109/TSMC.1979.4310076
    [25]

    EDELSBRUNNER H, KIRKPATRICK D, SEIDEL R. On the shape of a set of points in the plane[J]. IEEE Transactions on Information Theory, 1983, 29(4): 551-559. doi: 10.1109/TIT.1983.1056714
  • [1] 吴侃敖建锋方茜 . 地面3维激光扫描技术建筑物特征线提取. 激光技术, 2012, 36(4): 553-556. doi: 10.3969/j.issn.1001-806.2012.04.030
    [2] 徐梁刚虢韬吴绍华王坤辉赵健杨龙王迪 . 基于点云数据特征的电力线快速提取和重建. 激光技术, 2020, 44(2): 244-249. doi: 10.7510/jgjs.issn.1001-3806.2020.02.019
    [3] 李靖钱建国王伟玺李晓明李游 . 基于机载激光点云的电力线自动提取方法. 激光技术, 2021, 45(3): 362-366. doi: 10.7510/jgjs.issn.1001-3806.2021.03.017
    [4] 吴华刘海燕丁高峰曹飞 . 复杂环境中电力线激光点云的自动提取. 激光技术, 2020, 44(4): 509-514. doi: 10.7510/jgjs.issn.1001-3806.2020.04.019
    [5] 史洪云虢韬王迪王时春赵健刘欣龙新 . 基于激光点云的电力线悬挂点定位方法. 激光技术, 2020, 44(3): 364-370. doi: 10.7510/jgjs.issn.1001-3806.2020.03.017
    [6] 吴俊河林松施向丰 . 层次化点云边界快速精确提取方法研究. 激光技术, 2021, 45(5): 571-575. doi: 10.7510/jgjs.issn.1001-3806.2021.05.006
    [7] 柳长安孙书明赵丽娟 . 基于激光点云实现杆塔提取的轻量级网络. 激光技术, 2021, 45(3): 367-372. doi: 10.7510/jgjs.issn.1001-3806.2021.03.018
    [8] 时磊虢韬彭赤石书山杨立任曦胡伟 . 电力线激光点云的分割及安全检测研究. 激光技术, 2019, 43(3): 341-346. doi: 10.7510/jgjs.issn.1001-3806.2019.03.010
    [9] 朱依民田林亚毕继鑫林松 . 基于无人机机载LiDAR的电力线点云提取与重建. 激光技术, 2021, 45(5): 554-560. doi: 10.7510/jgjs.issn.1001-3806.2021.05.003
    [10] 刘兆亮杜龙龙王荣扬赵文超 . 基于激光点云技术的机床夹具设计与改进. 激光技术, 2024, 48(4): 597-602. doi: 10.7510/jgjs.issn.1001-3806.2024.04.020
    [11] 周乐陈培锋王英 . 多棱镜扫描分光多头激光毛化圆形毛化点分析. 激光技术, 2009, 33(6): 607-610. doi: 10.3969/j.issn.1001-3806.2009.06.014
    [12] 王果王强徐棒赵光兴杨彬 . 机载激光雷达电力线提取的布料模拟法. 激光技术, 2022, 46(1): 134-138. doi: 10.7510/jgjs.issn.1001-3806.2022.01.015
    [13] 吴建军陈灵李磊杨金刚梁晓莉 . 机载LiDAR点云中电力线的提取和重建研究. 激光技术, 2019, 43(4): 500-505. doi: 10.7510/jgjs.issn.1001-3806.2019.04.012
    [14] 段军 . 激光微加工磁盘——激光毛化技术现状与发展. 激光技术, 2006, 30(5): 490-493.
    [15] 刘澳顾嘉阳罗春晖童照鹏戴子杰任旭东 . 基于激光空化技术的酸性黑溶液降解特性研究. 激光技术, 2023, 47(5): 613-619. doi: 10.7510/jgjs.issn.1001-3806.2023.05.006
    [16] 张浩樊红英赵琦蒋泽伟孟庆安欧阳刚陈好 . 基于非球面镜组的大口径激光匀化技术研究. 激光技术, 2023, 47(3): 340-344. doi: 10.7510/jgjs.issn.1001-3806.2023.03.009
    [17] 于益王卫民鲁燕华谢刚彭跃峰 . 二极管激光光谱合束技术实验研究. 激光技术, 2010, 34(1): 138-140. doi: 10.3969/j.issn.1001-3806.2010.01.039
    [18] 巩育江庞亚军王汞白振旭 . 基于几何特征的点云分割算法研究进展. 激光技术, 2022, 46(3): 326-336. doi: 10.7510/jgjs.issn.1001-3806.2022.03.006
    [19] 梁希豪杨寅冯亮杜星王清平 . 基于测风激光雷达银川机场动量下传大风特征研究. 激光技术, 2023, 47(3): 432-438. doi: 10.7510/jgjs.issn.1001-3806.2023.03.023
    [20] 徐梁刚时磊陈凤翔王时春龙新王迪 . 基于激光点云的输电线路杆塔倾斜检测算法. 激光技术, 2022, 46(3): 390-396. doi: 10.7510/jgjs.issn.1001-3806.2022.03.015
  • 加载中
图(11) / 表(2)
计量
  • 文章访问数:  2147
  • HTML全文浏览量:  1441
  • PDF下载量:  11
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-11-21
  • 录用日期:  2023-01-13
  • 刊出日期:  2024-01-25

基于点云特征的城市道路标识线提取与分类

    通讯作者: 王山东, wsd@hhu.edu.cn
  • 河海大学 地球科学与工程学院, 南京 211100, 中国
基金项目:  江苏省幸福河湖评价标准和骨干河道管护评估标准应用研究资助项目 JSZC-320000-HYGS-C2021-0156

摘要: 为了解决基于车载激光雷达(LiDAR)点云数据中的道路标识线提取完整度与提取精确度方面数值偏低等问题, 提出了一种基于点云多元特征的道路标识线快速提取方法。在城市道路标识线的强度信息、几何信息和语义信息基础上, 结合路面点云的强度特征、高程特征和点密度特征, 生成多个地理参考图像, 对多元特征图像进行特征提取与填充, 再利用Ostu算法以及Alpha shapes算法实现道路标识线点云精提取, 并根据标识线的几何、语义信息和模型匹配方案实现标识线的细分类, 进行了理论分析和实验验证, 取得了澳大利亚某城市道路的点云数据。结果表明, 提取的短虚线、斑马线、单向转向箭头、长虚线的准确率均高于96%, 召回率均达到91%及以上, 综合评价指标均达到94%及以上。这些结果对无人驾驶领域研究起到了添砖加瓦的作用, 也为城市数字化建设提供了一定的参考价值。

English Abstract

    • 在自动驾驶所使用的3维高精度地图中,道路标识线是极其重要的核心要素。在城市道路环境中,通常根据指导车辆交通的不同功能,在道路路面上采用高反射率的涂料绘制相应的文字、符号、图形、线条等[1]。而3维坐标和强度信息是车载激光雷达(light detection and ranging,LiDAR)点云数据的主要属性信息,地物的表面附带不同的材质,而这些材质的回波反射强度信息也表现得不同,因此可以参考这一特性提取点云标识线[2]

      近些年来,国内外学者以反射强度差异这一特性从车载LiDAR点云中提取标识线的方法有两类:一类是将3维信息压缩成2维信息,即将3维点云信息转换为2维影像,再分割提取道路标识线信息[3-7];另一类是直接利用点云反射强度进行提取[8-14]

      基于点云图像维度转换的方式,对3维点云扫描数据进行降维处理,保留其某一特性生成2维特征图像,并结合图像处理算法提取点云道路标识线。YAO等人[3]根据道路边界处的几何突变从扫描线中提取路面,并将路面点云反距离加权插值生成栅格图像进行道路标识线的精确提取,但此方法未考虑城市道路环境的影响。GUAN[5]与KUMAR[6]等人结合道路走向对特征图像进行分块、自适应阈值处理,实现标识线的提取,但此方法存在标识线图像3维信息缺失的问题。

      基于点云反射强度提取道路标识线, ZEYBEK[8]利用Alpha shape算法提取3维和2维道路特征,结合点云反射强度获得标识线结果,并与手动数字化参考标记进行比较,但未考虑到标识线的磨损状态。YAN等人[9]对每一条扫描线点云进行基于移动窗口的强度中值滤波,利用标识线点云与路面点的反射强度差异,进行标识线点的提取。YU[10]与MA[13]等人同样对道路点云进行分块处理,对每一块点云进行强度阈值判断,但该类方法的场景受限于弯曲道路中。

      综上所述,点云道路标识线的提取精度问题,与车道标识线磨损或断裂等状况相关,与复杂环境中其它要素的影响程度相关。针对上述问题,本文作者提出了一种改进的基于点云多元特征的城市道路标识线提取方法,通过结合点云的强度信息、点密度信息以及高程信息进行道路标识线的提取,更好地缓解了由车道标识线磨损断裂等情况对精度造成的影响;在不同场景条件下,利用标识线的几何信息和语义信息,结合临近点迭代(iterative closest point,ICP)模板匹配,提高算法的泛化性。

    • 车载LiDAR数据以3维坐标及反射强度反映道路环境及部件材质。城市道路标识线采用特殊的材料制作,相比于周边要素,反射强度更强,而且没有突出的空间立体特征城市道路标准线附着于道路表面[12, 15]。本文作者基于点云多元特征的地理参考图像,实现点云道路标识线自动化提取,技术路线如图 1所示。由于原始点云数据存在着一些不规则分布的离群噪声点,首先基于半径滤波去除噪声点,并用布料模拟滤波算法滤除非地面点;其次将地面点数据进行格网化处理,去除非路面点的高强度点云和稀疏分布的高强度点云[16];然后通过投影生成点云的高程、强度、点密度特征地理参考图像,并基于多元特征图像提取道路标识线边缘范围;接着利用Ostu算法实现路面点云标识线精提取;最后根据标识线的边界框信息和ICP模型匹配方案实现标识线的细分类。

      图  1  技术路线

      Figure 1.  Technical flow chart

    • 分析道路标识线的强度特征[17]可知,道路表面的标识线通常使用特殊的高反射率的白色或黄色涂料,而路面普遍使用低反射率的混凝土或带卵石的沥青铺就而成,因此两者强度差异明显。考虑到实际城市道路因部分标识线磨损或断裂导致其反射率下降等情况,采用局部区域的强度阈值作为判断依据,结合点云的高程特征和点密度特征,生成2维地理参考图像,并进行图像增强[18], 凸显道路标识线特征。

      道路标识线位于道路表面,在局部邻域内高程变化很小,但在实际的复杂道路环境中,不可避免地存在一些与标识线强度相似的其它路面噪声点[19]。通过对地面点云格网化,根据格网高差大小将点云分离为路面点gcloud与非路面点ngcloud,去除非路面点的高强度点云和稀疏分布的高强度点云,并都投影到水平面XOY上进行栅格化处理,生成3个灰度地理参考图像(高程特征图像、强度特征图像和点密度图像)。

      对于点密度特征图像,其特征值为去噪后的点密度值。对于高程特征图像,其特征值为ngcloud的平均Z值。在生成点云强度特征图像时,其格网特征值主要由落入格网内部点云的强度信息、与格网中心点的水平距离、点的个数决定,并根据每一个点的强度信息与离散分布情况来计算该点的内插权重。

      位于(ij)的格网强度特征值Fij的权值Wij, n受两个影响因素限制: 第1个影响因素是Iij, n, 即格网中最低强度值与格网内所有点之间的强度差异; 第2个影响因素是Dij, n(n代表点号,0≤nNijNij为格网(ij)内的总点数),即格网中心点到格网内每一个点的水平距离。因此落入第(ij)个格网中的点的权值定义为[19]

      $ \left\{\begin{array}{l} W_{i j, n}=\alpha W_{i j, n, X Y}+\beta W_{i j, n, I} \\ W_{i j, n, X Y}=\frac{\sqrt{2} G}{D_{i j, n}} \\ W_{i j, n, I}=\frac{\left(I_{i j, n}-I_{\min (i j)}\right)\left(I_{\min (i j)}-I_{p, \min }\right)}{I_{p, \max }-I_{\max (i j)}} \end{array}\right. $

      (1)

      式中:Wij, n, XYWij, n, I分别为格网中第n个点与第(ij)个格网中心点在XOY上的水平距离及其强度的权重; αβ为这两部分的权重,且α+β=1;Imin(ij)Imax(ij)分别为第(ij)个格网中所有点的强度最小、最大值;G为网格的长度大小;Ip, maxIp, min分别为整个点云集p的强度最大值和最小值。根据式(1)计算格网(ij)的强度特征值[19]

      $ {F_{ij}} = \left( {\sum\limits_{n = 1}^{{N_{ij}}} {{W_{ij,n}}} \times {I_{ij,n}}^\prime } \right)/\left( {\sum\limits_{n = 1}^{{N_{ij}}} {{W_{ij,n}}} } \right) $

      (2)

      式中: Iij, n′为格网(ij)中第n个点的强度值。

      在0~255的灰度空间更能体现图像的对比度,然后将所有格网的强度特征值Fij进行归一化处理,得到点云强度地理参考图像。

    • 在强度特征图像中,低反射强度的路面像素点较为灰暗,高反射强度的标识线像素点较为明亮,两者的灰度值差异明显[20]。Sobel算子可以更好地识别和提取标识线边缘像素以及非路面点中高程突变的像素,以此生成强度梯度图像和坡度梯度图像,并利用最大熵阈值分割法[20]对坡度梯度图像和点密度特征图像进行二值化,坡度二值化图像中像素值为0的像素点以及坡度二值化图像中像素值为1的像素点将被保留,并综合到点云强度梯度图像中去,最后对道路强度梯度图像进行二值化,得到道路标记边界像素,处理流程如图 2所示。

      图  2  地理参考图像处理流程图

      Figure 2.  Georeferenced image processing flow chart

      通过计算图像中每一个灰度级m(0~255)出现的概率Pm以及相应的熵Hm=-Pmlg Pm,确定图像的最佳阈值。依次遍历每一级灰度值T,分别计算目标区域A的熵HA和背景区域B的熵HB以及图像的总熵H(T)[21]

      $ \left\{ {\begin{array}{*{20}{l}} {{H_A} = - \sum\limits_{m = 0}^T {\frac{{{P_m}}}{{{P_A}}}} \lg \left( {\frac{{{P_m}}}{{{P_A}}}} \right)} \\ {{H_B} = - \sum\limits_{m = T + 1}^{255} {\frac{{{P_m}}}{{{P_B}}}} \lg \left( {\frac{{{P_m}}}{{{P_B}}}} \right)} \\ {H(T) = {H_A} + {H_B}} \end{array}} \right. $

      (3)

      式中: PAPB分别表示目标区域A和背景区域B中各灰度级出现的概率。最后总熵H(T)取最大值时所对应的灰度值作为最佳阈值,并基于该阈值进行图像二值化。

    • 道路标识线拥有规则的形状和大小,其二值图像应完整独立,而现有二值图像的像素点各自独立,因此,采用种子填充法对二值图像进行连通区域分析[22],并滤除面积过小的噪声区域;同时,对标识线内部的黑色空洞进行填充,得到互相独立且分割完成的标识线连通区域。

      由于道路标识线与路面噪声点两者的连通区域面积相差较大,需统计所有连通区域中小于面积阈值的连通区域并剔除。为尽可能保留标识线区域,防止一个标识线区域被当成多个小区域而误删,在进行几何区域分析时采用8邻接搜索方式。为去除道路标识线内部的黑色孔洞,对上述处理后的标识线二值图像取反,进行几何连通区域分析,除去小于面积阈值的连通区域。最后基于道路标识线边缘范围及其面积阈值实现小区域的去除和孔洞填充。

    • 从第1.2节中点云特征图像的生成可知,图像中的所有像素点均与地面点云所处的相应格网相对应。投影反变换可快速提取点云道路标识线,而点云特征图像受到像素大小的影响,其分辨率相对较低,且当点云投影坐标系方向与道路标识线指向不一致时,得到的点云道路标识线其边缘呈锯齿状,含有大量的地面噪声点[23]。对此,利用Otsu算法[24]对每一个标识线点云进行强度滤波,保留强度较高的点,以此来消除道路标识线点云的锯齿效应,从而实现点云道路标识线的精提取。

      首先, 将投影得到的点云的强度归一化为0~255的灰度范围, 然后利用Ostu算法最大化类间方差与类内方差之比,类间方差定义为[24]

      $ g=\omega_0 \omega_1\left(\mu_0-\mu_1\right)^2 $

      (4)

      式中: ω0ω1分别为道路标识和路面出现的概率;μ0μ1是相应的平均水平。

      最后,通过遍历每块标识线点云计算出使类间方差g最大时的阈值T,此时T为最优阈值。

    • 从道路标识线的几何特征和语义特征[15]来看,城市道路上单黄线、单白线、虚线、停止线、箭头方向线、文字等道路标识线在几何形状上均有相应的标准与规范,这一约束是道路标识线模板匹配的参考依据之一。

      考虑到因标识线点云的磨损导致标识线的错误识别,需对标识线点云重新聚类。在不受边界点轮廓形状影响的情况下,利用Alpha shape算法[25]提取每一个标识线的边界点,提升提取边界点的效率,并依次统计其边界框的边长和对边比等信息,以此作为粗分类的准则,快速提取出道路边界、车道分界线等规则道路标记,并对剩余不规则标识线与模板中的每一个模型点云通过平移、旋转后进行ICP配准,估计目标与每一个模型的最佳重叠率,然后获取整体最佳重叠率。若整体最佳重叠率小于重叠阈值,则标记为未分类道路标记;否则,该道路标记的类别为获取整体最佳重叠率时的模型点云的类别。

      将实验数据中几个典型的清晰完整的道路标识线边界点云保存为模型以进行配准,如图 3所示。通过ICP配准算法对所有标识线边界点云与模板进行从粗到精的配准,并估计标识线点云与模型的重叠率,如果最高重叠率不超过60%,则目标被视为未识别标识线,反之则为重叠率最高的模型类别。

      图  3  模板点云图

      Figure 3.  Template point cloud diagram

    • 点云道路标识线自动提取及分类实验是基于Visual Studio 2017 C++集成开发。实验平台配置为2.20 GHz的Intel(R) Core(TM) i7-10870H处理器,32 GB的随机存取存储器(random access memory,RAM)。

    • 实验数据主要采用澳大利亚某城市的复杂街区路段, 如图 4所示。该点云数据主要包含点的3维坐标信息与强度信息,全长约379 m,宽度约18 m,点云个数为79942109个。

      图  4  实验点云数据

      Figure 4.  Experimental point cloud data

      局部点云按照强度分层显示的效果如图 5a所示。实验数据中道路表面起伏不大,整体较为平坦,道路宽度基本一致,中间为弯曲路段,并有十字路口、交叉路口等复杂地形,路面点与道路标识线有着明显的强度差异,完全满足实验提取的需要。如图 5b所示,局部点云按照高程显示可以看出,道路两边的路坎近似垂直于路面,并与路面有一定的高度差异。

      图  5  点云局部渲染图

      Figure 5.  Point cloud local rendering map

    • 提取的地面点云仍包含有一些栏杆或者车辆等与地面相交的部分非地面点,将地面点云格网化,根据格网内高差大小将点云分离为路面点和非路面点云,并将路面点和非路面点分别投影到格网中。经过多次实验,当格网间距为0.065 m时,提取效果最佳。

      利用点云投影及栅格化处理得到点云多元特征图像,图 6a图 6b分别是车载LiDAR点云和强度特征图像。由图 6a图 6b可知,强度特征图像很好地保留了地面的强度信息,但对离散点云进行2维投影时,不可避免地会造成一定的精度损失。利用中值滤波对强度特征图像进行处理,极大地减少了椒盐噪声对于标识线提取的影响,滤波后的效果图如图 6c所示。

      图  6  原始点云与强度特征图像对比图

      Figure 6.  Comparison between original point cloud and intensity feature image

      利用第1.3节中的算法对图像上的特征线边缘进行提取与强化,提取结果如图 7所示。

      图  7  强度二值化

      Figure 7.  Strength binarization

      图 8可知,虽然基于强度特征图像利用边缘检测可以初步确定标识线的边缘位置,但仍有一些高强度稀疏路面噪声点需要剔除,边缘二值化可以较好地解决这一问题。

      图  8  道路标识线边缘检测局部图

      Figure 8.  Local image of road marking line edge detection

      在二值图像的像素点的离散性问题上,通过连通区域分析滤除面积过小的噪声区域,同时对标识线内部的黑色空洞进行填充,得到互相独立且分割完成的标识线连通区域,结果如图 9所示。其中,图 9a为符合要求的标识线连通区域,图 9b为所有标识线连通区域随机赋色后的效果。

      图  9  连通区域分析与标记局部结果图

      Figure 9.  Connected region analysis and marking local result graph

      在强度二值化图像中进行连通域分析后,道路标识线基本被识别。此时将2维标识线投影反变换,得到标识线点云,并结合Ostu算法实现点云的精细化处理,最终道路标识线分割结果如图 10所示。

      图  10  标识线点云提取效果图

      Figure 10.  Rendering of marking line point cloud extraction

      由于提取的标识线存在部分单一标识线被分割为多个标识线的现象,所以对标识线点云进行欧式聚类,经过多次实验,聚类半径为0.1 m更符合实际场景,利用Alpha shape对每一个聚类的标识线进行边界点的提取,并计算包围盒边长和对边比信息,以此作为粗分类的准则,快速提取出道路边界、车道分界线等规则道路标记,剩下不规则标识线通过模板匹配进一步分类,局部分类效果图如图 11所示。

      图  11  标识线局部效果图

      Figure 11.  Partial effect picture of marking line

      实验数据中的标识线基本都被正确提取和分类,没有出现大面积的噪声点和部分标识线漏提的现象。但从图 11来看,仍有一些标识线类别被误判,图 11a图 11c中的标识线由于间隔距离太近,多个标识线被识别为同一个标识线点云,导致标识线类别的误判; 图 11b中的标识线一方面因为标识线局部被磨损,导致部分标识线点云的强度值较低,被视为地面点或者噪声点进行了剔除,使得被提取的剩余的标识线被识别为其它类别的标识线;另一方面则是由于采样点的稀疏,使得标识线在进行几何连通时,同一标识线被识别为多个标识线。

    • 为了进一步对道路标识线提取的结果进行评价,本文中采用人工判读的方式从标识线提取效率中计数每一类标识线的真正数(true positive, TP)、假负数(false negative, FN)、假正数(false positive, FP)。采用准确率指标(precision)、召回率指标(recall)以及综合评价指标F对道路标识线提取结果进行精度评价,结果如表 1所示。

      表 1  标识线提取精度

      Table 1.  Marking line extraction precision

      category TP FP FN precision/% recall/% F/%
      short dotted line 155 3 15 98.10 91.17 94.51
      zebra crossing 26 1 1 96.29 96.29 96.29
      arrow 11 0 0 100.00 100.00 100.00
      long dotted line 95 1 5 98.95 95 96.93

      表 1可知,基于多元点云特征的道路标识线提取算法所提出的每一类标识线的准确率均超过96%,召回率超过91%,综合评价指标超过94%,表明该算法对于城市道路上绝大部分的道路标识线进行提取时,能够取得较好的结果和精度。

      为进一步分析本文中标识线分类结果,与YU等人[10]提及的道路标识线提取算法进行对比,结果如表 2所示。由表 2可知,基于多元点云特征的道路标识线提取算法对虚线和斑马线标识线的分类精度与YU等人[10]所提出的算法相近,但算法对单向转向箭头的分类效果相比于参考文献[10]中的方法取得了较大的提升,这是因为参考文献[10]中的方法在进行标识线细分类时所构建的空间语义结构较为单一,且只适用于线状标识线,但基于ICP配准进行模板匹配的方法不仅有一定的容错度,而且对存在结构差异的目标识别效果也更好。

      表 2  不同方法标识线分类对比精度

      Table 2.  Classification and comparison accuracy of marking lines of different methods

      method category precision/% recall/% F/%
      YU[10] dashed type marking line 93.24 97.89 95.51
      zebra crossing 99.46 92.73 95.57
      one way steering arrow 88.89 88.89 88.89
      ours dashed type marking line 98.45 92.59 95.41
      zebra crossing 96.29 96.29 96.29
      one way steering arrow 100.00 100.00 100.00
    • 针对如何从车载LiDAR点云中提取标识线的问题,综合利用道路标识线的强度、几何和语义等特征,设计了图像与点云相结合的处理算法,整体提升了道路各类标识线的提取精度,对城市数字化建设具有一定的参考意义。对于道路标识线的提取,结合点云的多元特征信息, 能够更好地辅助标识线的提取,这对后续无人驾驶的研究有着推动作用;对于道路标识线的分类问题,基于ICP配准进行模板匹配的方法不仅有一定的容错度,对存在结构差异的目标识别效果也更好。结果表明,提取的短虚线、斑马线、箭头以及长虚线的准确率均高于96%,召回率均高于91%,精度准均高于89%,综合评价指标均高于94%。尽管通过实验和综合评估证明了所提出方法的可行性和优越性,但在道路标识线的自动提取方面仍有很大的改进空间。未来,将进一步研究深度学习在道路标识线提取上的应用。

参考文献 (25)

目录

    /

    返回文章
    返回