Double-filtering method for point cloud data in densely vegetated area
-
摘要: 为了解决目前机载激光雷达点云滤波算法中特征单一、运算效率低、植被覆盖区效果较差等问题,提出一种植被茂密地区的点云自适应双重滤波方法。首先利用回波分离方法,分别提取点云的单次回波和末次回波进行粗滤波处理;然后利用偏度平衡理论进行单次回波的强度阈值确定,同时利用最大类间方差法对首次回波和末次回波的高程差进行高差运算,实现末次回波高差阈值自动化,并融合粗滤波后单次回波和末次回波的点云数据;最后,利用不规则三角网渐进加密滤波算法对融合后的点云数据进行精滤波处理,并通过了实验验证。结果表明,3组数据集的Ⅱ类误差都相对较低,分别为1.06%, 1.64%, 1.34%。结合回波信息和高差信息的双重滤波方法不仅能较好地剔除植被,而且能较好地保留地形细节。Abstract: In order to solve the problems such as single feature, low calculation efficiency, and poor effect of vegetation coverage of the current airborne light detection and ranging(LiDAR) point cloud filtering algorithm, an adaptive double filtering method for point cloud in densely-vegetated areas was proposed. Firstly, the single and last echo of point cloud were extracted respectively and processed by coarse filtering by using the echo separation method. Then, the skewness balance theory was used to determine the intensity threshold of the single echo, and the maximum inter-class variance method was used to calculate the height difference between the first echo and the last echo, so as to realize the automation of the height difference threshold of the last echo. And the point cloud data of the single echo and the last echo after rough filtering were integrated. Finally, the incremental encryption filtering algorithm of triangulated irregular network was used to carry out the fine filtering processing on the fused point cloud data, and the experimental verification had been done. The results show that the type Ⅱ errors of the three data sets are relatively low of 1.06%, 1.64%, and 1.34% respectively. The dual filtering method that combines echo information and height difference information can not only eliminate vegetation, but also retain terrain details.
-
引言
机载激光雷达(light detection and ranging, LiDAR)系统是一种集激光测距技术、全球导航卫星定位系统动态定位技术、惯性导航系统姿态测量技术和计算机技术4种技术于一体的空间测量系统[1],可获得高分辨率高精度的空间信息。目前,机载LiDAR技术已广泛应用于数字地面模型获取、道路提取、电力线提取、林业调查、3维城市模型建立、点云分类等地球空间信息学科的众多领域[2]。
尽管机载LiDAR系统硬件已发展较为成熟,然而,机载LiDAR点云数据的滤波算法仍相对比较落后,许多学者对点云滤波算法进行了研究,并提出了多种滤波算法,大概可概括为两种:第1种是利用点云数据的几何特性(3维坐标)进行的滤波;第2种是利用点云数据的回波特性(回波强度、多回波信息)进行的滤波[3-6]。经典的滤波算法都是基于几何特性提出的,如:基于坡度的方法、基于数学形态学的方法、基于曲面拟合的方法以及基于不规则三角网(triangulated irregular network,TIN)算法。近年来,硬件设备快速发展,点云的回波特性得到了学者们的重视。LIU等人利用不同介质的反射率,提出了一种激光强度信息与点云高程信息结合对LiDAR数据进行分类的算法[7]。ZHANG等人提出利用首末次回波的高程差实现了机载LiDAR数据的分类[8]。TANG等人基于点云数据回波信息,将点云以不同分辨率的体素为单位实现点云滤波,在森林地区达到了较好的滤波效果[9-10]。LIN等人利用激光脉冲的多回波特性,预先剔除一部分非地面点的激光脚点,增强了滤波的效果[11]。SUN等人提出了一种基于多回波及Fisher判别的滤波算法,验证了该方法在陡坡点云滤波中的适应性与有效性[12]。LI等人提出一种基于回波强度的k均值聚类算法,该方法可提高研究区点云滤波精度并减少地面脚点的数据量[13]。
在前人的基础上,作者提出一种结合几何特性与回波特性实现点云数据滤波的方法。针对回波特性,知道多次回波会产生不同反射阶段,导致激光的能量均有所减弱,就会使单次回波和末次回波之间强度存在差异;且植被密集区域通过多回波分离,发现单次回波的地物类型多样(道路、建筑、植被),而末次回波的地物较单一(植被)。因此,本文中对单次回波和末次回波点云数据分别结合不同特征利用不同方法实现自适应粗滤波。另外,不规则三角网渐进加密滤波算法对各种不同地形能取得较好的滤波效果,但其种子点的选取至关重要,所以本文中引入分块思想,利用局域点云数据密度来选取种子点,使种子点选取更加准确,进而提高不规则三角网渐进加密精滤波算法的结果精度。
1. 点云双重滤波
利用多回波信息进行滤波之前,需根据原始点云的回波次数和第几次回波数据序列分离出各回波信息,即回波分离。通过回波分离结果分析得出:单次回波包含地面点、大部分植被冠层点以及建筑物等多种地物的回波信号;首次回波则大概率都是植被冠层、树干等非地面点;末次回波为地表点和植被点的集合;而中间次回波数据量极其少,因此不做分析处理。基于此,本文中只选取单次回波和末次回波的激光脚点参与滤波算法,且针对单次回波和末次回波所包含地物类别的差异性,利用不同的方法分别对单次回波和末次回波进行粗滤波,提出了一种基于偏度平衡-最大类间方差的联合粗滤波方法;然后,将粗滤波后的单次回波和末次回波数据叠加,参与后续不规则三角网渐进加密精滤波处理,实现点云自适应双重滤波方法。操作流程如图 1所示。
1.1 点云偏度平衡-Otsu联合粗滤波
1.1.1 基于偏度平衡的单次回波粗滤波
由于原始LiDAR点云中存在噪声点,首先利用TERRASOLID软件通过目视检查剔除部分相对明显的高位和低位噪声点,然后结合强度信息进行频数统计分析,剔除强度异常值。剔除噪声点后,对单次回波的实验数据结合强度信息利用偏度平衡理论自动计算强度阈值。
2006年, BARTELS等人最先提出了一种基于偏度平衡的滤波算法[14],通过引入偏度统计量与峰度统计量的平衡思想,该方法凭借其非监督、无阈值的优点被广泛使用。根据统计学的中心极限定理,BARTELS提出了两个假设:(1)自然状态下,无序离散分布的点云数据中的地面点数据的概率密度函数总是呈正态分布; (2)由于植被、建筑物等非地面点云数据的存在,影响了原始点云数据中的地面点数据的正态分布,导致LiDAR点云数据的概率密度函数从原本近似正态分布呈现出偏态分布[15]。因此,将原始LiDAR点云数据的概率密度函数呈现的偏态分布曲线校正为近似正态分布的过程,就是把点云数据中的非地面点滤除来实现点云数据滤波的过程。本文中基于偏度平衡理论剔除部分非地面点,实现单次回波点云数据的粗滤波。
基于偏度平衡的点云粗滤波方法的具体实现步骤如下:(1)将去噪后的单次回波的点云数据(包括3维坐标xi, yi, zi和强度信息Ii(i=1, …, N),N为点云总数)单独标记出来; (2)对点云强度信息进行统计,获取其最大、最小强度值Imax, Imin,并将最小强度值Imin设为初始强度阈值I; (3)计算单次回波的点云强度偏度值Sk,然后判断Sk值的正负。计算公式如下:
Sk=μ3σ3 (1) 式中,Sk为偏度,μ3为3阶中心矩,σ为标准差; (4)若Sk < 0,则激光强度阈值I自动加1,即I=I+1;若Sk>0,输出结果Ith,即点云数据的最佳强度阈值; (5)将所有反射强度值大于最佳强度阈值Ith的点云数据保留, 并参与后续精滤波。
1.1.2 基于最大类间方差的多次回波粗滤波
最大类间方差法是由日本学者OTSU于1979年提出的[16],是一种图像分割中确定阈值的最佳算法, 简称Otsu法。本文中利用该方法获取最佳阈值的优势,计算首末次回波的高差阈值,进而实现末次回波点云的粗滤波。
记T为高差阈值,大于高差阈值的点所占比例为ω0, 平均高差为μ0;小于高差阈值的点比例为ω1,平均高差为μ1,首末次回波高差的总平均高差为μ,计算类间方差δ,则有[17]:
μ=ω0×μ0+ω1×μ1 (2) δ=ω0×(μ0−μ)2+ω1×(μ0−μ)2 (3) 将两式联立可得:
δ=ω0×ω1×(μ0−μ1)2 (4) δ=ω01−ω0×(μ0−μ)2 (5) 当方差最大时,可以认为获取的高差为最佳阈值,所以利用最大类间方差法可自适应计算阈值的特性,实现首末次高差的自适应阈值。其具体的算法步骤如下:(1)首先将同一束激光的首次回波和末次回波一一对应,进行标记; (2)计算同束激光对应首末次回波的高程之差,统计其最大、最小值分别为Hmax和Hmin; (3)假设首末次高差进行分类的最佳阈值记为T,则有Hmin < T < Hmax, 利用MATLAB编程实现最大类间方差法; (4)最后自动计算得到一个高差阈值,将高差值小于最佳阈值对应的末次回波数据点作为非地面点剔除,将高差值大于最佳阈值对应的末次回波激光脚点提取出来参与后续精滤波过程。
1.2 点云精滤波
经典不规则三角网渐进加密滤波算法是AXELSSON于2000年提出的[18],该方法对不同场景的适应能力较强、滤波质量较好[19]。通过选取初始地面种子点构建初始不规则三角网,由于初始三角网的精度会影响后续加密过程的判断,则地面种子点的选取一定程度上会影响滤波的效果[20]。在植被茂密地区,激光点云数据分布很不均匀,因此,本文中引入分块点云密度,基于局部点云密度设置自适应格网大小,从而获取可靠地面种子点。
具体步骤如下:
(1) 统计粗滤波后获取的点云数量N和点云数据所占面积S,计算参与精滤波的激光点云分布的整体平均密度ρ=N/S。
(2) 点云数据按最大建筑物边长L进行分块,记每块面积为Sj(j=1, 2, 3, …),计算分块后激光点云分布的局部平均密度ρj=Nj/Sj(j=1, 2, 3, …), 其中, Nj为每块实验区的点云数量。
(3) 点云分布的局部平均密度与整体平均密度ρ进行比较,若ρj>ρ, 则计算规则格网大小为gj=int[M÷ρ]-B(j=1, 2, 3, …);若ρj < ρ, 则计算规则格网大小为gj=[M÷ρ]+B, 其中, M表示每个格网中必须包含的最少点数量,B为常数。
(4) 点云数据格网分配并建立索引,根据计算得到的虚拟格网大小gj(j=1, 2, …)、分块边长L以及局部点云最大高差值Hj,可以将局部区域分别确定一个mj×nj×1(j=1, 2, …)的虚拟格网,其中, mj和nj的计算方式为:
mj=nj=Lgj+1,(j=1,2,…) (6) 每块虚拟格网的编号(Rj, Cj)的计算公式为:
Rj=⌊xj,k−xj,mingj⌋,(j=1,2,…) (7) Cj=⌊yj,k−yj,mingj⌋,(j=1,2,…) (8) 式中,⌊⌋为向下取整;xj, k为第j块第k个点的x坐标;xj, min为第j块的坐标x的最小值;yj, k为第j块第k个点的y坐标;yj, min为第j块的坐标y的最小值。
(5) 遍历格网。通过索引对每个格网中点云数据的高程值z从小到大进行排序,则第1个数据值即为格网中的最小高程值对应激光点,所有格网获取的第一个数据构成地面种子点集。
(6) 将最后获取的地面种子点构建初始TIN, 然后不断迭代加密实现点云数据精滤波,得到地面点集。
2. 实验数据与结果分析
2.1 实验数据
本文中选取了3组具有不同地形特征的数据集,如图 2所示。图 2a中的数据集1为平坦区域,包含建筑物、道路、少许植被等地物;图 2b中的数据集2为较平坦区域,但包含大量植被;图 2c中的数据集3为地形起伏区域,包含植被、少许建筑物、道路等地物。3组实验数据集的单次回波和末次回波点云总数分别为:3882510,3716640,4570200。其中对应单次回波激光脚点数分别为:3721050,3327300,3950280,则末次回波激光脚点数分别为:161460,389340,619920,且每条数据均记录了3维位置坐标x, y, z, 回波号和回波强度信息。
2.2 点云粗滤波结果
2.2.1 基于偏度平衡的单次回波滤波结果
实验区的单次回波点云数据中主要包含建筑物、道路以及大量植被点等地物,由于不同介质有不同反射率,如:混凝土、沥青等物质的反射率在20%左右;植被不同种类各不相同,大概在30%~60%范围;而黏土的反射率则接近于75%,则部分植被与土壤的反射率较为接近[7],则依据不同地物的反射率存在差异的特性,可利用强度信息滤除一大部分地物点。而在植被覆盖地区,多回波中首次回波点云数据一般为树冠、树干等,且考虑到首次回波没有激光能量消耗,将其作为单次回波的一个比较对象。图 3为单次回波和首次回波点云强度示意图。其中条形图表示单次回波,折线表示首次回波,横坐标轴为无量纲量强度值,纵坐标为对应强度值点云个数。
从单次回波强度分布可以发现,其强度在0~20范围的数据量极少,而255数据量极大,造成强度变化幅度过大,影响整体回波强度分布规律,则将单次回波强度值为0~20和255的数据作为噪声点或异常点剔除。另外,图中单次回波有两个峰值,与首次回波对应分析可得出,峰值在200左右大概率为地面点,峰值在40左右大概率为地物点,而首次回波在100左右出现数据量急速减少趋势,可认为强度值在100之前几乎均为非地面点,对单次回波强度值为100左右的点云进行可视化分析,通过强度数据和可视化判别的综合分析,最后选取强度值在80~254范围的单次回波点云数据参与粗滤波。
通过MATLAB平台编写该实验的程序,实现基于偏度平衡的粗滤波方法。将实验区的单次回波数据序列包含3维坐标x, y, z和强度值(80~254)加载到该滤波方法程序中,作为输入数据,最后输出相应的强度阈值分别为160, 145, 130,结果如图 4所示。从图中可以看出, 利用强度信息能较好地滤除建筑物、道路及大量植被点等地物,且较好保留了地面形态细节,增加了后续种子点选取的准确性。
2.2.2 基于最大类间方差的多次回波滤波结果
实验数据的首末次回波主要分布在植被覆盖区域,计算同一激光束对应的首末次回波对应高差值,采用最大类间方差法对实验数据的首末次回波的高差通过MATLAB编程实现阈值自适应,得到高差阈值分别为6.5m, 7.0m, 6.0m。将实验数据中高差大于阈值所对应的末次回波激光脚点提取出来,参与后续滤波处理,其结果如图 5所示。
基于偏度平衡的单次回波粗滤波和基于Otsu法的多次回波粗滤波分别完成后,得到对应单次回波和末次回波的粗滤波结果并进行融合,实现了偏度平衡-Otsu联合粗滤波,如图 6所示。从图中能明显看到道路和建筑物被剔除,地形结构得到了较好的保留,为后续地面种子点的选取提高了可靠性。
2.3 点云精滤波结果
将粗滤波后的点云数据参与改进的不规则三角网渐进加密精滤波,获取地面点集。为获取较高可靠性的地面种子点,首先将实验区域按照20m×20m进行分块划分,然后分别计算分块后的局部点云密度,将局部点云密度ρi(i=1, 2, 3, …)与总平均密度ρ进行比较来确定格网大小,其中每个格网中必须包含的最少点数量M和常数B值的设置与平均密度相关,分别分别设置为150, 1;100, 1;100, 2。最后将每个格网中数据按z值进行排序,选取最低点作为地面种子点,进行不规则三角网渐进加密滤波算法实现。图 7为3组数据精滤波得到的地面点俯视图。从图中可以看出, 该方法较好保留了地形结构,但在植被茂密区域,获取地面点较小甚至会出现一些空洞,这是以后需要进行改进的一个方向。
对滤波方法进行结果评价时,仅通过定性分析具有一定片面性,可结合定量分析综合评定滤波结果。3类误差是评定点云滤波效果的一个重要指标,将误差分为第Ⅰ类误差、第Ⅱ类误差和总误差,其中Ⅰ类误差指地面点误分为非地面点,Ⅱ类误差指非地面点误分为地面点,总误差为两类误差的综合。表 1为精度评定表。表中, e表示参考数据的地面点,即a+b;f表示参考数据的非地面点,即c+d;p表示本文中滤波结果的地面点,即a+c;q表示本文中滤波结果的非地面点,即b+d;h为总数据[21];且a和d分别为正确滤波的地面点和非地面点,b和c则为错误分类的地面点和非地面点。
Table 1. Precision evaluationsample filtered data total ground point non-ground point ground point a b e=a+b non-ground point c d f=c+d total p=a+c q=b+d h=a+b+c+d 3类误差的计算公式如下:
εⅠ=be×100% (9) εⅡ=cf×100% (10) εtotal=b+ch×100% (11) 利用该方法分别对3组实验数据经过精度进行评定,计算的3类误差分别如表 2所示。从表中可以看出,该滤波方法得到的滤波结果综合效果较好,数据集1的地形相对平坦且植被覆盖较低,其3类误差都相对较小;数据集2则植被覆盖率极高,相比其它两组数据集的3类误差相对较大,但第Ⅱ类误差即误分为地面点的误差相对来说也是较低的,说明获取的地面点准确度相对比较高;数据集3的地形有一定坡度且植被覆盖率较高,其结果精度相对较高,也较好保留了地形细节。因此,本文中提出的双重滤波方法不仅在平坦且植被覆盖较少的地区取得较好结果,而且在地形起伏且茂密植被覆盖区域仍能较好保留地形细节,但植被覆盖率过高时,可考虑与其它多源数据进行融合分析。
Table 2. Error evaluation table of experimental resultserror data set 1 data set 2 data set 3 type Ⅰ/% 2.12 3.23 3.09 type Ⅱ/% 1.06 1.64 1.34 total/% 1.64 2.10 1.89 3. 结论
本文中的方法对单次回波和末次回波的激光脚点进行粗滤波,实现阈值自动化,且降低了后续种子点选取无法自动剔除建筑物和植被等非地面点的可能性,大大提高了精滤波运算效率和滤波精度,但该方法只适用于植被高度分布相对均匀的区域,高差阈值的确定方法需要进一步研究。另外,针对植被茂密地区滤波后出现的稀疏点云或者空洞区域如何处理仍需深入研究。
-
Table 1 Precision evaluation
sample filtered data total ground point non-ground point ground point a b e=a+b non-ground point c d f=c+d total p=a+c q=b+d h=a+b+c+d Table 2 Error evaluation table of experimental results
error data set 1 data set 2 data set 3 type Ⅰ/% 2.12 3.23 3.09 type Ⅱ/% 1.06 1.64 1.34 total/% 1.64 2.10 1.89 -
[1] HUI Z Y, CHENG P G, GUAN Y L, et al. Review on airborne LiDAR point cloud filtering[J]. Laser & Optoelectronics Progress, 2018, 55(6): 060001(in Chinese).
[2] YU Y Y. Research on filtering and classification algorithms of LiDAR data[D]. Hefei: University of Science and Technology of China, 2020: 19-20(in Chinese).
[3] CHEN C F, GAO Y, LI Y. A feature-preserving point cloud denoising algorithm for LiDAR-derived DEM construction[J]. Survey Review, 2021, 53(377): 146-157. DOI: 10.1080/00396265.2019.1704562
[4] MOUDRY V, KLAPSTĚ P, FOGL M, et al. Assessment of LiDAR ground filtering algorithms for determining ground surface of non-natural terrain overgrown with forest and steppe vegetation[J]. Measurement, 2020, 150: 107047. DOI: 10.1016/j.measurement.2019.107047
[5] LIU Y, SUN Sh Y. Laser point cloud denoising based on principal component analysis and surface fitting[J]. Laser Technology, 2020, 44(4): 497-502(in Chinese).
[6] WANG M H, ZHANG X H, ZENG T, et al. Preprocessing algorithms for filtering airborne LiDAR data[J]. Geomatics and Information Science of Wuhan University, 2010, 35(02): 224-227(in Chinese).
[7] LIU J N, ZHANG X H. Classification of laser scanning altimetry data using laser intensity[J]. Geomatics and Information Science of Wuhan University, 2005, 30(3): 189-193(in Chinese).
[8] ZHANG X H. A irborne LiDAR points cloud classification based on difference of twice return pulse heights[J]. Science of Surveying and Mapping, 2006, 31(4): 48-50(in Chinese).
[9] TANG F F, LIU J N, ZHANG X H, et al. A voxel-based filtering algorithm for DTM data extraction in forest areas [J]. Journal of Beijing Forestry University, 2009, 31(1): 55-59(in Chinese).
[10] TANG F F, RUAN Zh M, LIU X. Research of filtering method for urban airborne LiDAR data[J]. Laser Technology, 2011, 35(4): 527-530(in Chinese).
[11] LIN X G, ZHANG J X. Analysis of multiple returns of airborne LiDAR pulse and its application in filtering[J]. Science of Surveying and Mapping, 2013, 38(2): 22-25(in Chinese).
[12] SUN D, LI Y Q, SUN Zh Zh, et al. Research on the point cloud filter-ing for steep slope based on multi-pulse and fisher discrimination algorithm[J]. Geography and Geo-Information Science, 2018, 34(2): 34-39(in Chinese).
[13] LI P T, ZHAO Q Zh, CHEN H. Filtering UAV LiDAR point cloud with k-means clustering under the constraint of echo intensity[J]. Journal of Geo-information Science, 2018, 20(4): 471-479(in Ch-inese).
[14] BARTELS M, WEI H. Segmentation of LiDAR data using measures of distribution[J]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2006, 36(7): 31-426.
[15] CROSILLA F, MACORIG D, SCAIONI M, et al. LiDAR data filter-ing and classification by skewness and kurtosis iterative analysis of multiple point cloud data categories[J]. Applied Geomatics, 2013, 5(3): 225-240. DOI: 10.1007/s12518-013-0113-9
[16] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 1979, 9(1): 62-66.
[17] DONG Q, WANG J Q, SUN Y G. An improved two-dimensional OTSU segmentation method for nvshu character image[J]. Journal of Multimedia, 2014, 9(9): 1081-1088.
[18] AXELSSON P. DEM generation from laser scanner data using adaptive TIN models[J]. International Archives of Photogrammetry Remote Sensing, 2000, 33(4): 110-117.
[19] LIU Y, XI X H, WANG Ch, et al. An improved progressive TIN densification filtering algorithm for point clouds[J]. Science of Surveying and Mapping, 2020, 45(5): 106-111(in Chinese).
[20] XING Ch B, DENG X Sh, LI Y X. Seed point optimal selection method of PTD algorithm based on confidence interval estimation th-eory[J]. Engineering of Surveying and Mapping, 2020, 29(5): 27-32(in Chinese).
[21] TIAN W W. A study on data filtering and dem extraction of lidar point cloud[D]. Changchun: Changchun University of Science and Technology, 2018: 23-24(in Chinese).
-
期刊类型引用(7)
1. 张兵,武殿文. 基于LiDAR点云滤波技术的风电场地形图处理方法. 电力勘测设计. 2024(01): 63-68 . 百度学术
2. 刘洪飞,张烁,李宏超. 基于无人机激光雷达的建筑变化立体检测. 现代雷达. 2024(07): 71-76 . 百度学术
3. 梁玉琪,秦小平,宋军平. 基于高程跳变的机载激光雷达点云数据滤波方法. 激光杂志. 2024(10): 192-197 . 百度学术
4. 姜宇鸣,周益民. 海量机载激光点云数据分布式分片存储方法研究. 电子器件. 2023(04): 978-983 . 百度学术
5. 李慧荣,张兆江,席思远,张强. 渐进三角网加密滤波辅助的布料模拟滤波. 北京测绘. 2023(10): 1346-1350 . 百度学术
6. 张启光. 一种融合形态学与渐进三角网的滤波算法. 测绘标准化. 2022(02): 46-51 . 百度学术
7. 潘丽娟,王冬梅,任旭华,石一凡. 基于机载LiDAR技术的典型水库水量变化估算. 水利信息化. 2022(04): 28-34 . 百度学术
其他类型引用(2)