-
POCS算法可灵活运用各类先验知识,相关先验知识可以作为图像重建的约束条件。每个约束条件都可视为图像空间中的一个含有目标高分辨图像的凸集合。多个约束条件所对应凸集合的交集,即可视为高分辨重建结果。
使用POCS算法进行超分辨重建的基本思想为:(1)从低分辨率图像序列中,选取任意一帧进行插值操作,使其达到所期望的空间分辨率,作为初始估计;(2)对每一帧低分辨率图像进行运动估计,找到低分辨率图像每个像素所对应的高分辨初始帧PSF作用范围内的像素;(3)模拟低分辨率图像获取过程,由高分辨初始帧计算出低分辨率图像;(4)将计算出的低分辨率图像与原始低分辨率序列图像进行对比,计算残差;(5)若残差超过一定范围,则对当前高分辨初始帧进行修正;(6)重复整个迭代过程,直到得到可以接受的高分辨率重建图像。
点扩散函数PSF是由具体成像系统决定的,通常采用最常见的高斯模型:
$ \begin{array}{l} \mathit{\boldsymbol{h}}\left( {x, y} \right) = {\rm{exp}}\left[ {\frac{{{{(x - {X_0})}^2} + {{(y - {Y_0})}^2}}}{2}} \right], \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(\left( {x, y} \right) \in {\mathit{\boldsymbol{S}}_\mathit{\boldsymbol{h}}}) \end{array} $
(1) 式中,h(x, y)即为PSF模板,X0和Y0为点扩散函数的中心点坐标,Sh表示支撑域,支撑域大小为5×5。把上式进行归一化操作,即:
$ \begin{array}{l} \mathit{\boldsymbol{h}}\prime \left( {x, y} \right) = \frac{{\mathit{\boldsymbol{h}}\left( {x, y} \right)}}{{\sum\limits_{m = {X_0} - 2}^{{X_0} + 2} {\sum\limits_{n = {Y_0} - 2}^{{Y_0} + 2} {\mathit{\boldsymbol{h}}\left( {x, y} \right)} } }}, \\ \;\;\;\;\;\;\;\;\;\;\;\;(\left( {x, y} \right) \in {\mathit{\boldsymbol{S}}_\mathit{\boldsymbol{h}}}) \end{array} $
(2) 式中,h′(x, y)即为归一化后的PSF模板,支撑域的大小为5×5。
当前估计的高分辨率参考帧设为fref(s, t),当前低分辨率观测帧设为gl(i, j)。逐一对当前低分辨率观测帧的像素点进行处理。若观测帧中某像素(i0, j0)映射到高分辨率参考帧的位置为(s0, t0),则该像素的估计值由下式决定:
$ f({s_0}, {t_0}) = \sum\limits_{s = {X_0} - 2}^{{X_0} + 2} {\sum\limits_{t = {Y_0} - 2}^{{Y_0} + 2} {{f_{{\rm{ref}}}}} } \left( {s, t} \right)\mathit{\boldsymbol{h}}\prime ({s_0}, {t_0}) $
(3) 计算可得f(s0, t0)即为该像素的估计值。于是,灰度估计值f(s0, t0)与观察图像像素点gl(i0, j0)的残差为:
$ {r_{\rm{l}}}\left( {{i_0}, {j_0}} \right) = {g_{\rm{l}}}({i_0}, {j_0}) - f({s_0}, {t_0}) $
(4) 对序列低分辨率图像每一个像素点进行处理时,计算获得的残差rl(i0, j0)的绝对值必须限制在预先设置的边界内。若残差rl(i0, j0)的绝对值大于指定阈值σ0,则对当前高分辨率图像PSF作用窗口中的像素值进行修正,具体修正方法如下式所示:
$ \begin{array}{l} \;\;\;\;\;\;\;\;{f_{{\rm{ref}}}}(s, t) = {f_{{\rm{ref}}}}(s, t) + \\ \left\{ \begin{array}{l} \left[ {{r_{\rm{l}}}({i_0}, {j_0}) + {\sigma _0}} \right]\mathit{\boldsymbol{h}}\prime ({s_0}, {t_0}), ({r_{\rm{l}}}({i_0}, {j_0}) < - {\sigma _0})\\ 0, ( - {\sigma _0} \le {r_{\rm{l}}}({i_0}, {j_0}) \le {\sigma _0})\\ \left[ {{r_{\rm{l}}}({i_0}, {j_0}) - {\sigma _0}} \right]\mathit{\boldsymbol{h}}\prime ({s_0}, {t_0}), ({r_{\rm{l}}}({i_0}, {j_0}) > {\sigma _0}) \end{array} \right. \end{array} $
(5) (5) 式所表示的即为数据一致性约束,图像中的每一个像素点都可定义一个凸集约束。除此之外,还可以根据实际情况灵活选择其它约束,如幅值约束、能量约束等[13, 16]。
-
图像边缘是图像包含信息最丰富的地方,图像边缘像素点是指图像中周围像素灰度值有巨大变化的像素点,即灰度值导数较大的地方。POCS算法的核心是基于PSF的图像灰度值修正,但这也是图像边缘保持不良的原因。在用POCS算法重建的高分辨图像的边缘处,深色一侧的像素会变得越深,浅色一侧的像素会变得越浅。这是因为观测帧中位于深色一侧的像素,其对应的高分辨率图像中的像素也在图像边缘的深色一侧,但是其PSF作用范围内会有浅色像素的干扰。因此,在进行POCS重建时,这类像素的计算值将会大于实际值,再根据残差对高分辨初始帧进行修正时,会导致边缘深色一侧的像素变得更深[13, 16]。
-
以上分析了POCS算法边缘保持不良的原因。基于此,本文中对传统POCS算法做出改进:在进行低分辨率序列图像迭代优化前,先对高分辨率初始帧进行边缘检测,对检测到的边缘像素,采用不同的PSF:
$ \begin{array}{l} \mathit{\boldsymbol{h}}(x, y) = {\rm{exp}}\left[ {\frac{{{\beta _1}{{(x - {X_0})}^2} + {\beta _2}{{(y - {Y_0})}^2}}}{2}} \right], \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(\left( {x, y} \right) \in {\mathit{\boldsymbol{S}}_\mathit{\boldsymbol{h}}}) \end{array} $
(6) 式中,β1和β2分别是PSF模板水平方向与垂直方向的权重系数。
边缘检测的方法有多种,高斯-拉普拉斯算子(Laplace of a Gaussian,LoG)相较于普通Laplace算子具有抗噪声能力强的显著特点,因此本文中采用LoG算子进行边缘检测。
对于检测到的边缘,本文中使用Sobel模板计算其与水平方向的夹角。用Gx和Gy分别表示水平方向与垂直方向梯度,则检测到的边缘与水平方向的夹角θ为:
$ \theta = {\rm{arctan}}\left( {\frac{{{G_y}}}{{{G_x}}}} \right) $
(7) 根据第2.1节中的分析,当检测到的边缘趋近于水平方向时,希望PSF模板水平方向所占权重更大;当检测到的边缘趋近于垂直方向时,则希望PSF模板垂直方向所占权重更大。本文中所设计的改进PSF,其参量β1和β2可随着夹角的变化而变化,即当θ=0时,β1=1且β2=0;随着θ的增大,β1随之减小而β2随之增大;当θ=90°时,β1=0且β2=1。因此,可定义θ与β1, β2之间的关系如下:
$ {\beta _1} = \frac{{\pi - 2\theta }}{\pi }, {\beta _2} = \frac{{2\theta }}{\pi } $
(8) 代入(6)式可得:
$ \begin{array}{l} \mathit{\boldsymbol{h}}(x, y) = {\rm{exp}}\left[ { - \frac{{\frac{{\pi - 2\theta }}{\pi }{{(x - {X_0})}^2} + \frac{{2\theta }}{\pi }{{(y - {Y_0})}^2}}}{2}} \right], \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(\left( {x, y} \right) \in {\mathit{\boldsymbol{S}}_\mathit{\boldsymbol{h}}}) \end{array} $
(9) (9) 式即为改进的PSF。本文中的创新性在于通过(9)式,可以使边缘处像素的PSF模板水平方向权重系数β1和垂直方向权重系数β2随着边缘与水平方向的夹角θ的不同而自适应调整,从而增强重建高分辨率图像的边缘保持能力。
-
以上分别介绍了POCS算法的基本原理以及如何对传统POCS算法进行改进,改进POCS算法的具体实现步骤见下:(1)对任意一帧低分辨率图像进行双线性插值操作,得到目标高分辨率图像的初始参考帧;对该初始帧进行边缘提取,得到其边缘图像; (2)选取一帧低分辨率图像,逐一对该低分辨率图像中每个像素点进行处理,即找到相应像素点在高分辨率初始帧中PSF作用窗口的中心坐标,判断中心坐标处的像素是否为边缘像素; (3)根据步骤(2)的判断结果,如果是边缘像素,则计算该像素点处的边缘与水平方向的夹角,并根据夹角的大小推导出新的PSF;如果不是边缘像素,则不改变原有的PSF; (4)根据步骤(3)的结果,选取相应的PSF,模拟低分辨率图像的生成过程,由高分辨初始帧估计计算出低分辨率图像的像素值,并计算该像素值与相应原有序列低分辨率图像像素值之间的残差,根据残差对高分辨初始帧做出修正。
在步骤(4)完成后,判断是否已经完成了每一帧序列低分辨率图像的每个像素点的处理,若已完成,则重建过程结束。根据具体问题的实际需求,可设置合适的总迭代循环次数,在每一次迭代中依次对每一帧序列低分辨率图像应用步骤(2)至步骤(4),最终可得到目标高分辨率图像。改进的POCS算法流程图如图 1所示。
-
图像质量评价按评价方式可分为主观评价和客观评价。主观评价主要指人自身通过肉眼观察对图像清晰度的评价。本文中采用平均绝对误差、灰度平均梯度、信息熵3种客观评价指标定量地评价图像的重建质量[17-18]。
(1) 平均绝对误差(mean absolute error,MAE)。把待评价图像与标准图像中各像素点的灰度差的绝对值之和除以图像大小,即得到平均绝对误差EMAE。平均绝对误差越小表示与标准图像的偏差越小,则图像质量越好。
$ {E_{{\rm{MAE}}}} = \frac{{\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\left| {g\left( {i, j} \right) - \hat g\left( {i, j} \right)} \right|} } }}{{M \times N}} $
(10) 式中,g(i, j)表示待评价图像相应灰度值,${\hat g}$(i, j)表示标准图像的相应灰度值,M和N分别为图像的行、列数。
(2) 灰度平均梯度(average gradient,AG)。AG是图像的灰度变化率,反映了图像微小细节的反差变化和纹理变化,表示图像的清晰程度,其值越大说明图像越清晰。灰度平均梯度定义如下:
$ \begin{array}{l} \nabla g = \frac{1}{{\left( {M - 1} \right)\left( {N - 1} \right)}} \times \\ \sum\limits_{i = 1}^{M - 1} {\sum\limits_{j = 1}^{N - 1} {\sqrt {\frac{{{\nabla _i}^2f\left( {i, j} \right) + {\nabla _j}^2f\left( {i, j} \right)}}{2}} } } \end{array} $
(11) 式中,f(i, j),${\nabla _i}f\left({i, j} \right)$,${\nabla _j}f\left({i, j} \right)$分别为像素点以及其在行、列方向上的梯度,M和N分别为图像的行、列数。
(3) 信息熵(information entropy,IE)。信息熵是从信息论角度反映图像中信息丰富程度的统计量,定义为:
$ H\left( \mathit{\boldsymbol{X}} \right) = - \sum\limits_{i = 0}^{L - 1} {{P_i}} {\rm{lg}}({P_i}) $
(12) 式中,L表示图像的最大灰度级,Pi表示图像X上的像素灰度值为i的概率。一般情况下,熵值越大,则图像重建质量越好[19]。
-
实验中的计算机配置为: Intel(R) Core(TM) i5-3470 CPU,主频3.20GHz,3.89GB内存,Windows 10操作系统。编程环境和运行平台为MATLAB R2015b。分别进行以下两组实验,验证本文中所提出的改进POCS算法的有效性。
-
序列图像为4帧尺寸为128×128的汽车车牌图像,重建出一帧256×256的高分辨率图像。PSF是支撑域为3×3,标准差为1的高斯型模糊函数,迭代3次。
首先利用图像配准进行运动参量估计,得到几何变形参量,然后利用双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进的POCS算法进行重建,并比较重建结果图像质量。重建结果如图 2所示。
表 1是实验结果的评价参量。
Table 1. Comparison between our method and other methods
就视觉效果而言,改进的POCS算法重建结果与双线性插值相比有明显的提升,图像明显更为清晰,图像细节的表达能力更强。改进的POCS算法与传统POCS算法等相比,就视觉效果而言没有肉眼可见的明显提升。通过放大局部细节,如图 3所示。
由图 3观察可知, 本文中提出的改进POCS算法相较于其它算法重建质量有了明显的提高,图像细节更为清晰。
由表 1可知,就平均绝对误差而言,双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进POCS算法其计算结果分别为32.21,30.36,30.30,30.18,30.12。平均绝对误差能直接体现重建图像与原始高分辨图像的差异程度,其值越小,则表示重建结果与原始高分辨图像越接近。本实验中,改进POCS算法与传统POCS算法相比有了0.79%的提升。
就平均梯度而言,双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进POCS算法其计算结果分别为1.78,3.97,4.03,4.12,4.22。平均梯度体现了图像的清晰程度,其值越大,表示图像越清晰。本实验中,改进POCS算法与传统POCS算法相比有了6.30%的提升,是3组评价指标中提升最显著的。这说明传统POCS算法经过改进后,重建结果的清晰程度明显提高,图像细节更为丰富。
就信息熵而言,双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进POCS算法的计算结果分别为5.48,5.50,5.50,5.50,5.50。由计算结果可以得出图像的信息熵指标并没有明显的提升,这是因为信息熵是对全图信息量的体现,而重建结果的差异主要体现在图像细节上,而非图像的整体特性上。因此,改进POCS算法相较于传统POCS算法的优势无法在信息熵这一指标上有明显体现。
-
遥感图像广泛的应用于矿物勘探、海洋资源探测、植被生长监测等领域。遥感图像的空间分辨率直接决定对图像相关目标的探测能力和识别能力,因此提高遥感图像的空间分辨率具有重要的研究价值和意义[20-21]。
序列图像为4帧尺寸为256×256的低空航拍遥感图像,重建出1帧512×512的高分辨率图像。PSF是支撑域为5×5、标准差为1的高斯型模糊函数,迭代次数为3次。
首先利用图像配准进行运动参量估计,得到几何变形参量,然后利用双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进的POCS算法进行重建,并比较重建结果图像质量。重建结果如图 4所示。表 2是实验结果的评价参量。
Table 2. Comparison between our method and other methods
由图 4以及表 2可知,重建的评价指标提升效果与实验一基本一致。改进POCS算法相较于传统POCS算法,平均绝对误差有了0.26%的提升,平均梯度有了5.26%的提升。图像信息熵则依然没有明显变化。
从以上分析结果可得出,本文中所提出的改进POCS算法,相较于传统POCS算法,重建质量有了明显的提升。其中,平均绝对误差和平均梯度提升效果最为明显,图像边缘的细节表达能力有了明显提升。
基于改进点扩散函数的遥感图像超分辨率重建
Super-resolution reconstruction of remote sensing images based on the improved point spread function
-
摘要: 为了提高遥感图像空间域重建质量, 采用改进凸集投影(POCS)算法的点扩散函数, 提出了一种改进的POCS超分辨率重建算法。首先给出POCS算法基本原理以及具体实现步骤, 在此基础上对算法做出改进, 即对待重建的高分辨初始帧进行边缘检测, 对检测到的边缘像素点应用改进的点扩散函数(PSF), 使边缘处像素点对应的PSF水平方向与垂直方向系数依据边缘斜率变化而设置不同的权重; 最后分别采用两组数据集对改进POCS算法的有效性进行验证。结果表明, 该改进的POCS算法有效地提高了图像重建的效果, 两组实验平均绝对误差效果分别提升了0.79%和0.26%, 达到了提高图像重建质量的目的。该算法具有较好的实际应用价值。Abstract: In order to improve the quality of remote sensing image reconstruction in spatial domain, point spread function of improved projection onto convex set (POCS) algorithm was adopted and an improved POCS super-resolution reconstruction algorithm was proposed. Firstly, the basic principle and implementation steps of POCS algorithm were given. On this basis, the algorithm was improved and the reconstructed high-resolution initial frames were detected on edge. The improved point spread function (PSF) was applied to the detected edge pixels. The horizontal and vertical direction coefficients of PSF corresponding to the pixels at the edge were set with different weights according to the change of the slope of the edge. Finally, two sets of data sets were used to verify the effectiveness of the improved POCS algorithm. The results show that the improved POCS algorithm effectively improves the effect of image reconstruction. The average absolute errors of two groups increase by 0.79% and 0.26%, respectively. It achieves the goal of improving the quality of image reconstruction. The algorithm has good practical application value.
-
Table 1. Comparison between our method and other methods
-
[1] LU J. Studies on several problems in image super-resolution reconstruction[D]. Dalian: Dalian University of Technology, 2014: 1-16(in Chinese). [2] LEDIG C, WANG Z, SHI W, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Computer Vision and Pattern Recognition. New York, USA: IEEE, 2017: 105-114. [3] CUI G M. Research on image quality improvement and assessment for optical remote sensing image [D].Hangzhou: Zhejiang University, 2016: 1-14(in Chinese). [4] DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2):295-307. doi: 10.1109/TPAMI.2015.2439281 [5] TIMOFTE R, ROTHE R, GOOL L V. Seven ways to improve example-based single image super resolution[C]// IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2016: 1865-1873. [6] LI Q, LIU Zh, NAN B B, et al. Improved image super-resolution reconstruction based neighbor embedding [J]. Laser Technology, 2015, 39(1):13-18(in Chinese). [7] GUO X F, QI B, SHI J L. Research on the sequence image super-resolution reconstruction [J]. Foreign Electronic Measurement Technology, 2018, 37(8):16-19(in Chinese). [8] MORGANELLA S, OEDEGAARD O, ALEXANDER S, et al. ChromoTrace: Reconstruction of 3-D chromosome configurations by super-resolution microscopy[J]. Food Chemistry, 2017, 131(2):387-396. [9] VON D A, SHECHTMAN Y, MOERNER W E. Three-dimensional localization of single molecules for super-resolution imaging and single-particle tracking[J]. Chemical Reviews, 2017, 117(11): 7244-7275. doi: 10.1021/acs.chemrev.6b00629 [10] WILLETS K A, WILSON A J, SUNDARESAN V, et al. Super-re-solution imaging and plasmonics[J]. Chemical Reviews, 2017, 117(11):7538-7582. doi: 10.1021/acs.chemrev.6b00547 [11] CULLEY S, ALBRECHT D, JACOBS C, et al. Quantitative mapping and minimization of super-resolution optical imaging artifacts[J]. Nature Methods, 2018, 15:263-266. doi: 10.1038/nmeth.4605 [12] LI H F, DU M H. Super-resolution image restoration based on improved POCS algorithm [J]. Journal of South China University of Technology (Natural Science Edition), 2003, 31(10):24-27(in Chinese). [13] YU J, SU K N, XIAO Ch B. Edge artifact reduction for super-resolution image reconstruction [J]. Acta Automatica Sinica, 2007, 33(6):577-582(in Chinese). [14] GUO M, ZHAO Y, WANG Sh G, et al. Infrared dirrrsmall target super-resolution restoration algorithm based on region selection [J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(4): 415-420(in Chinese). doi: 10.3788/YJYXS20163104.0415 [15] WANG L L, ZHAO Y, WANG Sh G. Super resolution restoration based on modified point spread function [J]. Journal of Jilin University (Information Science Edition), 2017, 35(1):1-7(in Chin-ese). [16] XIAO Ch B, DUAN J, YU J. POCS super-resolution reconstruction from image sequences [J]. Journal of Beijing University of Techno-logy, 2009, 35(1):108-113(in Chinese). [17] XU L N, HE L X. GF-4 images super resolution reconstruction based on POCS [J]. Acta Geodaeticaet Cartographica Sinica, 2017, 46(8):1026-1033(in Chinese). [18] WANG X H, OUYANG J H, ZHANG G, et al. Super-resolution reconstruction of infrared images based on micro-scanner [J]. Journal of Jilin University (Engineering and Technology Edition), 2017, 47(1):235-241(in Chinese). [19] XU M F. Research for super-resolution reconstruction technologies of image based on POCS algorithm[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2010: 47-56(in Chinese). [20] SUN Y J, LEI W H, HU Y H, et al. Rapid ship detection in remote sensing images based on visual saliency model [J]. Laser Technology, 2018, 42(3):379-384(in Chinese). [21] XIONG Y, ZUO X Q, HUANG L, et al. Classification of color remote sensing images based on multi-feature combination [J]. Laser Technology, 2014, 38(2):165-171(in Chinese).