网站地图
-
遥感图像目标检测与识别一直是遥感图像处理和模式识别领域研究的热点课题，而舰船作为海上运输载体和重要的军事目标，其自动检测与识别具有非常重要的现实意义，无论在民用还是军事领域都有着广阔的应用前景[1]。
近年来，随着对地观测技术的飞速发展，卫星遥感进入了一个前所未有的新阶段，可利用的卫星遥感图像数据迅速增长，为海域侦察和舰船目标监视提供了极为丰富的数据源。对于由卫星、无人机等侦察平台在海洋背景下获取的海量的大幅面可见光图像数据而言，若仅仅依靠人工目视判读会出现工作量大、效率低、重复性高、主观性强、成本高等问题，无法满足现代社会对高效信息的需求。因此，为提高工作效率，研究海洋背景下目标的快速自动检测很有必要。
当前，许多学者都深入研究了海洋背景下舰船目标检测技术。参考文献[2]中利用水体与舰船目标的灰度差异进行图像分割，获取舰船目标候选区域。参考文献[3]中通过自适应定向正交投影的高斯分解法来拟合海洋区域直方图，并采用改进的信息熵极小误差分割算法进行图像分割。参考文献[4]中利用形态学对比度法在水域中进行目标检测。参考文献[5]中利用目标的灰度统计特性和目标的空间结构信息，提出一种基于标准差特征平面contrast box滤波的舰船目标检测方法。参考文献[6]中利用水体与舰船目标的类高阶梯度差异进行图像分割，实现舰船的检测。以上方法均属于基于统计特征的检测方法。该方法需要对整幅图像进行全局分析，计算复杂度比较高，且一般适用于平静海面情况。对于复杂海面情况(如存在海浪、云雾、阴影、噪声等干扰或水体较亮)，容易产生虚警和漏警。参考文献[7]中则利用舰船目标边缘特征显著的特性，线性组合原始灰度和边缘强度图，并进行Otsu自适应阈值分割。但是该方法仅在海面平静且舰船与海面对比度明显时，效果较好，对于复杂海面情况不适用。
作者将视觉关注模型与空间降维方法引入高分辨率海面遥感图像的舰船目标检测中，在大幅提高了检测速度的同时，还降低了复杂海面背景对舰船检测的影响。
-
高斯金字塔[8-9]的实质是通过高斯平滑和亚采样获得一些列下采样图像，其公式表示如下：
$ {G_l}\left( {i,j} \right) = \sum\limits_{m = - 2}^2 {\sum\limits_{n = - 2}^2 {\omega \left( {m,n} \right){G_{l - 1}}\left( {2i + m,2j + n} \right)} } $
(1) 式中，l为高斯金字塔层数，且1≤l≤N，Gl(i, j)为第l层高斯金字塔图，G0(i, j)为原始图，i和j分别为图像行数与列数；ω(m, n)=h(m)h(n)是5×5具有低通特性的窗口函数，h是高斯密度分布函数；由此可以得到G0, G1, G2, …, GN构成的高斯金字塔图，其中N+1为金字塔总层数，且上一层图像大小是下一层图像大小的1/4。金字塔示意图如图 1所示。
Figure 1. Image of pyramid decomposition
-
传统的图像目标检测算法大多是对整幅图像进行全面搜索处理。而目标通常只占据图像中的很小一部分区域，因此，这种传统方法处理分析难度较大，计算效率受到严重制约。自底向上的视觉显著算法能较好地解决这个问题。在面对一个复杂场景时，它能根据视觉刺激有选择性地分配计算资源，从而提高计算效率，降低分析难度。因此将视觉显著算法引入到遥感图像的目标检测中，有助于感兴趣目标的快速检测。
-
1998年，ITTI，KOCH等人在KOCH和ULLMAN的工作基础上提出基于显著性特征的注意力选择模型，Itti模型[10]。
该模型首先利用高斯金字塔对输入图像进行线性滤波，然后提取初级视觉特征：颜色、亮度和方位，之后在多种尺度下使用中央周边差异操作产生颜色，亮度和方位特征图，并将这些特征图融合得到最终的显著图，最后利用生物学中胜者为王(winner-take-all，WTA)的竞争机制和返回抑制的方法来完成注意焦点的提取和转移。Itti模型结构如图 2所示。
Figure 2. General architecture of Itti model
-
从信息理论角度, 信息可分为冗余部分和变化部分:
$ {H_{{\rm{im}}}} = {H_{{\rm{in}}}} + {H_{\rm{p}}} $
(2) 式中，Hin表示突出的部分，Hp则表示冗余的信息。通过去除图像冗余信息，就可以获得图像与众不同的部分，即显著目标。
对于给定图像I(x)，其显著图的计算如下：
$ A\left( f \right) = {\mathop{\rm Re}\nolimits} \left( {\mathscr{F}\left[ {I\left( x \right)} \right]} \right) $
(3) $ P\left( f \right) = {\mathop{\rm Im}\nolimits} \left( {\mathscr{F}\left[ {I\left( x \right)} \right]} \right) $
(4) $ L\left( f \right) = \lg \left[ {A\left( f \right)} \right] $
(5) $ R\left( f \right) = L\left( f \right) - {h_n}\left( f \right) * L\left( f \right) $
(6) $ S\left( x \right) = g\left( x \right) * {\mathscr{F}^{ - 1}}{\left\{ {\exp \left[ {R\left( f \right) + P\left( f \right)} \right]} \right\}^2} $
(7) $ {h_n}\left( f \right) = \frac{1}{{{n^2}}}\left[ {\begin{array}{*{20}{c}} 1&1& \cdots &1\\ 1&1& \cdots &1\\ \vdots&\ddots &{}& \vdots \\ 1&1& \cdots &1 \end{array}} \right] $
(8) 式中，f表示输入的原始图像，$\mathscr{F}$和$\mathscr{F}$-1分别表示傅里叶变换和傅里叶逆变换，A(f)，P(f)分别为图像的振幅谱和相位谱，L(f)是对数振幅谱，hn(f)是n×n均值滤波的卷积核，R(f)代表谱残差，g(x)为高斯滤波器，用来平滑显著图，以获取更好的视觉效果。最后由谱残差和相位谱反向傅里叶变换得到显著图S(x)。
-
FT[12]方法从频率的角度对图像进行分析。
令ωl为低频阈值，ωh为高频阈值，为了强调最大的显著性目标，ωl必须非常低，这也有助于突出整体显著性区域；为了显著性目标具有良好的边界，ωh必须很高，然而，为了避免噪声和纹理图案，需要忽略最高的频率。
FT方法使用高斯函数差分(difference of Gaussian, DoG)G(x, y)滤波器进行带通滤波。
$ \begin{array}{*{20}{c}} {G\left( {x,y} \right) = \frac{1}{{2{\rm{ \mathsf{ π} }}}}\left[ {\frac{1}{{{\sigma _1}^2}}\exp \left( { - \frac{{{x^2} + {y^2}}}{{2{\sigma _1}^2}}} \right) - } \right.}\\ {\left. {\frac{1}{{{\sigma _2}^2}}\exp \left( { - \frac{{{x^2} + {y^2}}}{{2{\sigma _2}^2}}} \right)} \right] = }\\ {G\left( {x,y,{\sigma _1}} \right) - G\left( {x,y,{\sigma _2}} \right)} \end{array} $
(9) 当算子ρ=σ1:σ2=1:1.6时，是最令人满意的检测物体边缘的算子, σ1和σ2表示标准差, ρ限定了DoG的带宽。因此组合几个窄带通DoG滤波器得到足够大的[ωl, ωh]。
$ \begin{array}{*{20}{c}} {\sum\limits_{n = 0}^{N - 1} {G\left( {x,y,{\rho ^{n + 1}}\sigma } \right) - G\left( {x,y,{\rho ^n}\sigma } \right)} = }\\ {G\left( {x,y,\sigma {\rho ^N}} \right) - G\left( {x,y,\sigma } \right)} \end{array} $
(10) 可以通过选择具有大的比例K=ρN的DoG来获得应用几个带通滤波器的组合结果。取N=∞，则G(x, y, σρN)对图像的滤波就是计算整幅图像的平均值，而σ取一个小的高斯核，可以滤去一些噪声。
得到显著图S的计算方程为：
$ S\left( {x,y} \right) = \left\| {{I_\mu } - {I_{{\omega _h}}}\left( {x,y} \right)} \right\| $
(11) 式中, Iμ为图像的平均特征，Iωh(x, y)是高斯模糊后的图像的特征, ‖·‖是L2范数, L2范数是欧氏距离。FT方法使用的是Lab颜色空间，每个像素的位置是一个[L, a, b]T向量，其中，L是亮度，a, b是两个颜色通道。
-
HC[13-14]是基于直方图对比度的方法，它是根据像素间的颜色差异来分配显著值，并产生具有全分辨率的显著性图像[15]。
图像I中的像素Ik的显著值被定义为：
$ S\left( {{I_k}} \right) = S\left( {{c_l}} \right) = \sum\limits_{j = 1}^n {{f_j}D\left( {{c_l},{c_j}} \right)} $
(12) 式中, cl是像素Ik的颜色值，n是与cl不同的颜色的数量，fj是图像I中的颜色cj的概率，D(cl, cj)为对应像素在Lab空间的颜色距离度量。由于3维直方图计算量大，对直方图进行简化。
-
将每个通道的颜色量化到12个级别，减少为123=1728种颜色。忽略出现频率较小的颜色，选择高频出现的颜色至覆盖95%以上的像素，剩下的小于5%的像素所占的颜色由直方图中距离最近的颜色所代替。
-
虽然用颜色量化后的直方图计算对比度提高了效率，但量化会产生瑕疵，一些相似的颜色可能被量化为不同的值。因此，为了减少这种随机性给显著性值计算带来的噪声，采用平滑操作来改善每个颜色的显著性值。将每个颜色的显著性值替换为相似颜色(用Lab距离测量)显著性值的加权平均。选择m=n/4个最近邻颜色来改善颜色c的显著性值。
$ S{\left( c \right)^\prime } = \frac{1}{{\left( {m - 1} \right)T}}\sum\limits_{i = 1}^m {\left[ {T - D\left( {c,{c_i}} \right)} \right]S\left( {{c_i}} \right)} $
(13) $ T = \sum\limits_{i = 1}^m {D\left( {c,{c_i}} \right)} $
(14) 式中, T为颜色c和其m个最近邻颜色ci的距离和。
-
为了验证本文中算法的可行性，进行实验仿真。实验中所用软件为Visual C++ 2010，硬件条件为i5CPU，内存2G。对海面舰船目标的快速检测，分别作了2组实验加以说明。其图像来源于Google Earth。
-
对3组高分辨率舰船遥感图像分别采用Itti，SR，FT，HC方法进行显著图的计算。实验结果如图 4所示。图 4a为512×512的平静海面背景下的舰船目标遥感图像，且目标与海面对比度明显；图 4b为512×512的不平静海面背景下的舰船目标遥感图像，且目标与海面对比度不明显；图 4c为1024×600的多舰船目标遥感图像。
Figure 4. Different saliency map
对图 4a~图 4c做图像多次实验，记录其平均处理时间，如表 1所示。
Table 1. The processing time of different algorithms
the processing time/ms Itti SR FT H the first image
(512×512)2271.4 126.1 106.8 64.7 the second image
(512×512)2390.0 129.2 110.3 69.5 the third image
(1024×600)4895.2 286.9 235.7 106.1 综合分析实验结果发现，3组图像的Itti显著图效果都较差，背景复杂，且目标与背景区分度小，不利于目标的分割，此外Itti算法计算复杂度高，处理时间较其它3重算法相比最长；SR显著图的优点是计算简单、速度快，但是只能粗略的显示目标，且不能克服物体表面纹理的影响，不利于目标整体的分割(如第1幅图像的SR显著图其舰船内部纹理影响目标突显的完整性)；FT和HC算法的计算时间都较快，且两种方法在目标的突显等方面具有明显的优势，但HC算法在计算时间和显著区域的一致高亮上略优于FT算法。
-
分别计算实验1中3幅图像的高斯降维图，并依次计算每幅图像的第2层高斯降维图的HC显著图，最后对HC显著图采用最大类间方差法算法分割检测目标。在实际可见光海面遥感图像舰船目标检测中，根据图像的分辨率及目标具体情况，可进行不同层次的高斯降维图的计算。高斯降维的层数越多，检测速度越快，但是图像越模糊，若层数太多会导致检测效果变差。考虑到本文中使用图像的分辨率及目标情况，因此，本文中计算到第2层高斯降维图。第1幅图和第2幅图两层高斯降维后大小由512×512变为128×128，第3幅图两层高斯降维后大小由1024×600变为256×150，降维后的图像为原图像的1/16。实验结果如图 5~图 7所示。
Figure 5. Comparison of ship detection results before and after dimension reduction of Fig. 4a
Figure 6. Comparison of ship detection results before and after dimension reduction Fig. 4b
Figure 7. Comparison of ship detection results before and after dimension reduction of Fig. 4c
图 5~图 7中分别给出了空间降维策略在不同的高分辨率遥感图像中的目标检测结果。从图中所显示的结果不难发现，针对高分辨率遥感影像，降维后的目标检测结果与没有进行降维处理前基本一致，并且，对于海面不平静的复杂纹理背景遥感图像，降维处理能减小背景对目标检测的影响(如图 6所示)。
从表 2可以看出，与直接对遥感图像进行基于HC视觉显著的目标检测相比，本文中在计算高斯降维图后进行基于HC视觉显著的目标检测，最终检测的运行时间缩减为原来的10%~12%，效率明显提高。
Table 2. Comparison of target detection time
original image/ms Gaussian dimension reductionimage/ms the first image 73.4 8.9 the second image 78.4 9.1 the third image 121.9 12.6 综上所述，作者的算法利用高斯降维方式在提高检测效率的前提下，通过视觉显著图的计算，能很好的突显舰船目标区域，实现海洋背景下舰船的快速检测。
-
传统的高分辨率海面遥感图像舰船目标的检测方法大都采用滑动窗口对整幅图像进行全面搜索，计算复杂度较高。对典型的几种视觉显著模型进行实验对比分析后，将基于直方图对比度的视觉显著模型(HC视觉显著模型)引入高分辨率遥感图像的舰船目标检测中，提出了一种新的基于视觉显著与空间降维的高分辨率遥感图像舰船目标检测算法。实验结果表明，该方法通过空间降维策略不仅使目标检测所消耗的时间减小为原来的10%~12%，而且弱化了复杂海面纹理背景对目标检测的影响，充分证明了该算法的有效性，具有理论意义与实用价值。
基于视觉显著模型的遥感图像舰船快速检测
Rapid ship detection in remote sensing images based on visual saliency model
-
摘要: 为了降低传统高分辨率海面遥感图像舰船目标检测方法的计算复杂度，提高检测速度，在舰船目标检测中引入了基于直方图对比度的视觉显著模型和空间降维算法，提出一种新的高分辨率海面遥感图像舰船目标快速检测算法。首先对高分辨率遥感图像进行空间降维，然后计算降维图的视觉显著图，突出感兴趣目标区域，最后利用最大类间方差法分割视觉显著图以获取舰船目标候选区域。结果表明，目标检测所消耗的时间减小为原来的10%~12%，弱化了复杂海面纹理背景对目标检测的影响。该研究提高了高分辨率遥感图像舰船目标的检测效率。Abstract: In order to reduce the computational complexity of ship target detection methods for sea surface remote sensing images of traditional high resolution and improve the speed of detection, combined with visual salience algorithm based on histogram contrast and spatial dimension reduction algorithm, a new ship target fast detection algorithm for sea surface remote sensing images of high resolution was proposed.Firstly, spatial dimension reduction of high resolution remote sensing images was carried out. The saliency map was calculated and the interest area of the target area was highlighted. At last, the visual salient image was segmented by the method of maximum inter class variance to obtain the candidate region of the ship target. The results show that the time consumed by the target detection is reduced to 10%~12% of the original.The influence of complex sea surface texture background on target detection is weakened.The research improves ship target detection efficiency for high resolution remote sensing images.
-
Key words:
- image processing /
- ship detection /
- visual salience /
- spatial dimension reduction /
- remote sensing
-
Figure 4. Different saliency map
a~c—original image d~f—Itti saliency map g~i—SR saliency map j~l—FT saliency map m~o—HC saliency map
Figure 5. Comparison of ship detection results before and after dimension reduction of Fig. 4a
a—original image b—HC saliency map c—the result of segmentation d—the reduced dimension image e—HC saliency map after dimension reduction f—the result of segmentation after dimension reduction
Figure 6. Comparison of ship detection results before and after dimension reduction Fig. 4b
a—original image b—HC saliency map c—the result of segmentation d—the reduced dimension image e—HC saliency map after dimension reduction f—the result of segmentation after dimension reduction
Figure 7. Comparison of ship detection results before and after dimension reduction of Fig. 4c
a—original image b—HC saliency map c—the result of segmentation d—the reduced dimension image e—HC saliency map after dimension reduction f—the result of segmentation after dimension reduction
Table 1. The processing time of different algorithms
the processing time/ms Itti SR FT H the first image
(512×512)2271.4 126.1 106.8 64.7 the second image
(512×512)2390.0 129.2 110.3 69.5 the third image
(1024×600)4895.2 286.9 235.7 106.1 
下载: 导出CSV
Table 2. Comparison of target detection time
original image/ms Gaussian dimension reductionimage/ms the first image 73.4 8.9 the second image 78.4 9.1 the third image 121.9 12.6
下载: 导出CSV
-
[1] ZHANG Zh. A study on harbor target recognition in high resolution optical remote sensing image[D].Hefei: University of Science and Technology of China, 2005: 79-84(in Chinese). [2] WANG M, LUO J Ch, MING D P. Extract ship targets from high spatial resolution remote sensed imagery with shape feature[J]. Geomatics and Information Science of Wuhan University, 2005, 30(8):685-688(in Chinese). [3] CHU Zh L, WANG Q H, CHEN H L, et al. Ship auto detection method based on minimum error threshold segmentation[J]. Computer Engineering, 2007, 33(11):239-241(in Chinese). [4] XIAO L P, CAO J, GAO X Y. Detection for ship targets in complicated background of sea and land[J]. Opto-Electronic Engineering, 2007, 34(6):6-10(in Chinese). [5] ZHAO Y H, WU X Q, WEN L Y, et al. Ship target detection scheme for optical remote sensing images[J]. Opto-Electronic Engineering, 2008, 35(8):102-106(in Chinese). [6] XU J, XIANG J Y, ZHOU X, et al. A target segmentation algorithm based on feature field[J]. Infrared and Laser Engineering, 1998, 27(2):21-24(in Chinese). [7] ZHU C, ZHOU H, WANG R, et al. A novel hierarchical method of ship detection from spaceborne optical image based on shape and texture features[J]. IEEE Transactions on Geoscience & Remote Sensing, 2010, 48(9):3446-3456. [8] WANG F Ch, ZHANG M, GONG L M, et al. Fast detection algorithm for ships under the background of ocean[J].Laser & Infrared, 2016, 46(5):602-606(in Chinese). [9] ZHANG L B, WANG P F. Fast detection of regions of interest in high resolution remote sensing image[J].Chinese Journal of Lasers, 2012, 39(7):714001(in Chinese). doi: 10.3788/CJL [10] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998, 20(11):1254-1259. [11] HOU X, ZHANG L. Saliency detection: a spectral residual approach[C]//Computer Vision and Pattern Recognition CVPR 2007.New York, USA: IEEE, 2007: 1-8. [12] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//Computer Vision and Pattern Recognition CVPR 2009.New York, USA: IEEE, 2009: 1597-1604. [13] CHENG M M, ZHANG G X, MITRA N J, et al. Global contrast based salient region detection[C]//IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2011: 409-416. [14] CHENG M M. Saliency and similarity detection for image scene analysis[D].Beijing: Tsinghua University, 2012: 31-53(in Chinese). [15] WEI Y. Research on image salient region detection methods and applications[D].Ji'nan: Shandong University, 2012: 35-46(in Chinese). [16] WANG Y W, LIANG Y Y, WANG Zh H. Otsu image threshold segmentation method based on new genetic algorithm[J]. Laser Technology, 2014, 38(3):364-367(in Chinese). [17] WEI X F, LIU X. Research of image segmentation based on 2-D maximum entropy optimal threshold[J]. Laser Technology, 2013, 37(4):519-522(in Chinese). [18] ZHANG J B, YANG H X, ZHOU T T, et al.Improved segmentation method of 2-D Otsu infrared image[J]. Laser Technology, 2014, 38(5):713-717(in Chinese). -
点击查看大图
计量
- 文章访问数: 9398
- HTML全文浏览量: 7107
- PDF下载量: 239
- 被引次数: 0
