Digital holographic phase unwrapping based on UMnet

离轴数字全息显微(digital holography microscopy, DHM)基于光的干涉原理，用CCD记录干涉全息图，通过计算机相位恢复被测样品的3维形貌，具有非接触、无标定、可定量显微成像的优点，广泛应用于医学测量领域^[1]。相干光通过干涉产生携带被测物体的表面轮廓信息的干涉条纹图。干涉条纹中记录物体重要信息是相位信息，因此获取物体相位信息变得尤其重要。全息图相位信息包裹在(-π, π]区间内，被称为包裹相位，将测量到的包裹相位展开到真实相位，这个过程被称作相位解包裹。

近30年来，人们相继提出多种相位解包裹算法，以实现复杂相位的解包裹运算。这些算法大致分为两类：路径跟踪算法和路径无关算法^[2]。路径跟踪算法通过识别残差点或者依靠质量图建立积分路径^[3-4]，运算速度快，但其缺点也很明显，当残差点较多分布密集导致形成低质量区域时，造成相位展开误差，出现包裹相位空洞或者有不间断区域。路径无关算法的代表为最小二乘算法^[5-7]，如离散余弦最小二乘算法(discrete cosine transform least square，DCT-LS)^[8]、横向剪切最小二乘算法(transverse shear least square，TS-LS)^[9]、四向剪切最小二乘算法(four-way shear least squares, FS-LS)^[10]等，其运算稳定性好，不需要识别残差点，但是如果相位存在噪点，会将噪声产生的误差进行放大，对全局造成影响。与此同时，由于被测物体不同，测量过程中的干涉因素不同，所选用的解包裹算法也不尽相同。因此，如何选择合适的解包裹算法才能得到最优的结果是所要面临的问题。

近几年来，相关科研人员将深度学习和光学检测领域进行了结合^[11-12]。通过卷积神经网络学习包裹相位到真实相位之间的映射关系，以实现数字全息相位解包裹。WANG等人使用模拟数据对深度学习相位解包裹网络(deep learning phase unwrapping, DLPU)进行训练，实现实验图的相位解包裹^[13]，DLPU在Unet网络基础上通过内部增加跳跃连接，解决网络深度加深造成学习率和准确率降低的问题，使卷积神经网络(convolutional neural networks, CNN)模型性能提升，同时计算复杂程度增高。为降低计算复杂度，谷歌提出轻量级深度可分离卷积网络MobileNetV3^[14]，由深度可分离卷积、倒残差模块和轻量级注意力机制组成^[15]，参数数量和运算成本降低，降低网络计算复杂度，提升网络计算速度。

本文中在Unet网络框架下融合MobileNetV3的轻量级深度学习网络，选用两种自动机器学习(automated machine learning，AutoML)技术，引入注意力机制(squeeze-and-excitation，SE)，调用激活函数hard-Swish，通过重新构建超参数和层配置，删除平均池化层和分类操作，设计UMnet神经网络实现相位解包裹。

基于横向剪切的最小二乘法是对多个数据点上的2维包裹相位建立一个等效的2维复光场，沿x方向平移一个剪切量得到一次剪切观察，将两个光场相除得到新的光场^[16]，求出x方向的2阶差分，这样2阶差分连续分布，有效避免相位不连续对相位展开的影响。但是在实际物体测量中被测光场局部相位变化率很大时，横向剪切不能解决因相位变换导致的1阶差分不连续的影响。

光学传输方程(transport of intensity equation, TIE)是一种典型的相位恢复技术，通过已知待测面光强分布和光强轴向微分，运用求解方程直接得到待测面的相位分布^[17-18]。TIE利用2阶偏微分方程建立纵向强度导数和相位之间的定量关系^[19]。基于TIE相位恢复算法需要对焦和离焦图像，用光学模型描述两幅离焦图和一幅聚焦图的关系，运用插值方法得出新图像和采集的对焦图像计算TIE，从而获得准确的相位关系。测量物体相位变化剧烈，造成轴向导数的非线性误差，影响包裹相位展开。

UMnet网络实现相位解包裹分为两部分，训练包裹相位和真实相位的映射关系如图 1a所示，实现从包裹相位到真实相位的相位解包裹运算如图 1b所示。对于网络的训练，橙色部分是准备阶段，模拟生成包裹相位和真实相位，蓝色部分是网络训练，网络训练获得网络输出的最优参数。

Figure 1.  UMnet network operation flow chart

UMNet整体网络的设计结构为6层的U形网络结构，如图 2所示。左侧的收缩路径和桥接路径由MobileNetV3改进，选用两种AutoML算法^[20]，分别为神经架构搜索(neural architecture search，NAS)算法和平台感知NetAdapt算法。运用NAS算法优化网络模块搜索全局网络结构^[21]，同时使用NetAdapt算法搜索每一层过滤器的数量。NAS和NetAdapt相结合可有效优化网络模型。左侧收缩路径和桥接路径如表 1所示，其中input为输入通道数，bneck为网络的基本结构，SE为是否使用注意力机制，激活函数类型(activation function type，AFT)是ReLU和hard-Swish，output为输出通道数，使用卷积stride进行降采样操作，每一层由多个block组成。block模块是由1×1卷积进行升维、倒残差结构的深度可分离卷积、灵活调用SE模块、1×1降维卷积组成。其中深度可分离卷积将卷积分成深层卷积(depthwise, DW)与逐点卷积(pointwise, PW)，与传统卷积网络Unet相比，降低了卷积运算的计算量；与此同时直接调用SE模块会降低网络的运算速度，故本文中将其放在深度可分离卷积之后，扩张层的通道数变为原来的1/4, 在不增加时间消耗的同时提升了网络计算精度。block模块图如图 3所示，当stride为1时，运用shortcut；当stride为2时，不运用shortcut; 运用shortcut可解决网络模型梯度发散问题。

Figure 2.  Overall structure of UMnet

Figure 3.  Shrink path block module

SE模块通过建立卷积特征通道之间的关系来提高网络的精度^[22-23]，对网络特征进行重新校准，学习使用全局信息，达到强调有效的信息特征抑制无效特征进而提升网络学习能力。SE模块结构如图 4所示。由两个全连接(fully connected, FC)和两个激活函数组成, SERadio是一个缩放参数，用以减少通道数，从而降低网络计算量。

Figure 4.  SE module

桥接路径是由两个MobileNetV3网络block模块和1×1卷积组成，桥接路径最后操作为1×1卷积，可用于更小的特征图，提升了网络的计算速度。扩展路径的每一层是由一个反卷积通过跳跃连接与收缩路径上对应的特征映射相连接，是由3×3卷积、残差块、3×3卷积组成，每个重复的两次卷积特征通道数减半。

收缩路径中激活函数选用ReLU和hard-Swish，在网络的前半段选用ReLU，后半段选用hard-Swish，hard-Swish函数在更深的网络中体现出更多的优势^[24]。

式中，x为输入值，ReLU6函数用于抑制最大值，设备精度高低不影响分辨率。Swish非线性提高网络的精度，同时在量化模式下，用ReLU6代替Sigmoid，可减少网络计算量，提升网络的计算速度。

SE模块中选用ReLU和hard-Sigmoid, hard-Sigmoid与Sigmoid函数分段性近似，更容易计算，提升了计算的效率，以此提升SE模块的运算速度。

式中，x是输入值，clip函数是Python库里面对多维数组执行计算中用于限定固定上下值的函数。

假设φ(x，y)是待测的真实相位，ψ(x，y)是光学系统提供的包裹相位，它们有以下关系:

式中，i为虚数单位，angle函数采用复数自变量，将真实相位包裹在(-π, π]区间内。

选用随机生成相位图作为数据集，由尺寸为2×2~20×20，取值范围0~20的矩阵经过双三次插值扩大为256×256的矩阵组成，随机生成数据为高斯分布和平均分布随机选取，以获得更好的鲁棒性。由(3)式得出相应的包裹相位，同时对其中20%数据集加入噪声，提升网络抗噪声能力，训练集由包裹相位图和真实相位图作为一对输入和标签，其中21579对用于训练，2381对用于测试。

对于UMnet的实现，使用Pytorch(Python 3.8)框架，主机采用Intel(R)Core(TM)i7-9700, CPU运行主频为3.00 GHz，搭载4G内存NVIDA Geforce RXT 2060 GPU电脑上进行网络训练和测试。网络训练完成后，运用网络(大小为256×256像素)的相位展开时间为0.3 s。

使用Mach-Zender光路获取生物细胞的全息图^[25]。如图 5所示，由He-Ne激光器发出的波长为632.8 nm的激光经偏振分束棱镜(patical beam structure, PBS)分为参考光R和物光O，参考光R经准直扩束系统(beam expansion, BE)BE 2形成平行光，经过反射镜M₂，物光O经准直扩束系统BE 1形成平行光，经过反射镜M₁，分别经过40倍显微物镜(microscopic objective, MO)，参考光和物光发生干涉，通过合束棱镜(beam structure, BS)合束，被CCD记录下来。

Figure 5.  Mach-Zehnder optical path

用模拟数据集对网络进行训练，学习包裹相位和真实相位之间的映射关系。为避免网络过拟合，分别对不同迭代次数训练模型进行测试，实验结果如图 6所示。当网络迭代至100次，测试集结构性相似指数(structural similarity，SSIM)值达到最高，而后开始下降，停止训练。黑色折线表示SSIM值在0.95以上所占比例，红色折线表示SSIM值在0.98以上所占比例。

Figure 6.  Model training results

测试集随机选取3张图进行网络测试，实验结果如图 7所示。UMnet网络生成相位图和真实相位图SSIM指数分别为0.994，0.995，0.996，表明能够很好地完成相位解包裹工作。第1列为包裹相位，第2列为真实相位，第3列为UMnet网络生成的相位图。

Figure 7.  Test results of simulation test set

为验证网络的抗噪声能力，分别选取没有噪声、含有椒盐密度为0.03，0.06，0.09，0.12，0.15，0.18，0.21椒盐噪声模拟数据通过DCT-LS，TIE-FFT，DLPU和UMnet网络进行相位解包裹, 结果如图 8所示。不同方法相位解包裹SSIM变化如图 9所示。DCT-LS方法SSIM值由0.988降至0.369，TIE-FFT方法SSIM值由0.987降至0.497，DLPU方法SSIM值由0.984降至0.858，UMnet方法SSIM值由0.99降至0.924。相比于DCT-LS、TIE-FFT和DLPU方法，本文中生成的真实相位图SSIM分别提升0.55，0.427，0.06，具有良好的降噪声能力。

Figure 8.  Salt and pepper noise with different salt and pepper density is added to the analog test set and unpacked by DCT-LS, TIE-FFT, DLPU and UMnet digital holography

Figure 9.  Different methods of phase unwrapping SSIM value after adding noise

为验证网络泛化能力，分别对血细胞、骨髓癌细胞进行测试，将该方法与DCT-LS、TIE-FFT和DLPU进行比较，实验结果如图 10所示。实验表明，通过DCT-LS和TIE-FFT解包裹，细胞边缘有部分缺失，DLPU网络物体相位高度信息发生改变。通过UMnet方法消除由激光照射产生的散斑噪声的影响。虽然这两种细胞全息图并不在训练集里，仍可以实现相位解包裹运算。UMnet网络不仅能反映模拟包裹和未包裹相位之间的关系，还可以同时获得不同相位的包裹和未包裹相位之间的映射关系。

Figure 10.  Real phase diagram and 3-D display of blood cells and bone marrow cancer cells

对网络的抗噪声能力进行测试，分别对血细胞加入0.02，0.03，0.04，0.05，0.06椒盐密度的椒盐噪声，如图 11所示。用DCT-LS，TIE-FFT，DLPU和UMnet实现了相位解包裹，实验证明：在椒盐噪声下，DCT-LS方法背景噪声明显，细胞形态发生改变; TIE-FFT方法相对较好，但细胞边缘有包裹噪声; DLPU网络解包裹细胞背景影响较大；本文中的算法细胞展开较好，受背景噪声影响较小。

Figure 11.  Phase unwrapping of blood cells after adding noise of different salt and pepper density

基于Unet网络框架设计了UMnet神经网络，通过模拟数据进行网络训练，最终实现真实全息相位解包裹。同时通过血细胞、骨髓癌细胞等生物样品细胞进行测试，证明该网络的泛化能力。对不同椒盐密度噪声的血细胞进行网络测试，和传统方法相比，UMnet网络具有良好的降噪能力，能够快速准确地实现数字全息相位解包裹，可应用于多种生物样品相位展开，具有广泛的实用性。