网站地图
下载:
-
荧光显微镜因其具有无损、非接触、高特异性、高灵敏和高活体友好等特点在生命科学领域有着巨大的作用，但由于光学衍射极限(0.61λ/dNA，dNA是数值孔径)的限制，传统的光学显微镜不能观测到小于光波长半宽尺寸的结构和特征(200nm~300nm)。采用点扫描方式的共聚焦显微镜[1]虽然能够提高成像分辨率$ \sqrt 2 $倍，但无法真正意义上突破光学衍射极限。因此，超分辨荧光显微技术一直是近几年来研究的热点。
如今，光敏定位显微镜(photo-activated localization microscopy, PALM)[2]、随机光学重构显微技术(stochastic optical reconstruction microscopy, STORM)[3]和基于光学涨落信号的超分辨显微技术(super-resolution optical fluctuation imaging, SOFI)[4]的出现真正打破了光学衍射极限，它们主要利用荧光分子自身固有性质或光诱导来获得荧光信号的随机闪烁和涨落特性，从而实现单分子定位或关联成像。在成像过程中，虽然是基于宽场显微镜，不需要采取扫描方式，但为了获得荧光信号随着时间光的闪烁和涨落信息，往往需要采集几千到上万帧图像来重构一张超分辨图像，这大大降低了成像速度, 导致无法有效地对活细胞和动态过程实现快速成像。为了缩短STORM的采样帧数，HUANG课题组[5]提出将压缩感知(compressed sensing, CS)与STORM结合的CS-STORM技术，利用凸优化算法实现压缩采样，采样帧数可以从几万帧缩短到几百帧。但由于算法的限制，得到一张超分辨图像却需要几天的时间。ZHUANG课题组[6]在此基础上提出压缩感知最小l1范数(l1 homotopy, L1H)算法来降低图片处理时间。但压缩感知在STORM上的应用只起到了压缩采样的作用，并没有充分利用其基于稀疏性的超分辨能力，并且CS-STORM获得一张超分辨图像任需要采集几百帧，依然无法实现快速动态成像。因此，科学家们迫切需要一种能实现超分辨成像并能够快速采样的荧光显微镜。
压缩感知理论[7]提供了一种新型信号重构方法。它可以利用信号的稀疏性在低采样率的情况下通过求解优化问题准确重构原始信号，并实现单幅超分辨成像。其超分辨能力已经被CANDÈS等人严格地数学证明[8]，并且该方法已经有效地应用在了雷达成像[9]、磁共振成像[10]、计算机断层扫描成像(computed tomography, CT)[11]和鬼成像[12]等领域。本文中将压缩感知应用到荧光显微镜中，利用基于荧光标记的样品具有天然稀疏性这一特点，实现单帧宽场超分辨成像，且成像分辨率相比宽场提高1.8倍，采样帧数缩短至单帧。该方法的优势在于不需要改变显微镜光学系统，不需要点扫描或多帧采样，也不需要利用荧光染料的闪烁特性，可针对任何荧光样品实现快速成像，这大大降低了设备搭建和样品制作的难度。利用压缩感知的投影梯度稀疏重构算法(gradient projection for sparse reconstruction, GPSR)[13]对信号进行分块重构，大大降低了数据存储空间和计算时间，从而也降低了成像时间，在采样速率和成像时间上都优于现有的算法。本文中通过仿真分析该方法的单帧超分辨能力，以及采样数对分辨率和稀疏度的影响，在搭建的全内反射(total internal reflection fluorescence, TIRF)显微成像系统上，通过实际的细胞成像来验证该方法的有效性。
-
压缩感知理论利用信号的稀疏性，用远低于Nyquist采样定理要求的采样次数对信号进行采样或高噪声和有损测量时，也能很好地恢复出原始信号。压缩感知理论公式是:
$ \min \|\boldsymbol{X}\|_{0}, (\boldsymbol{Y}=\boldsymbol{A} \boldsymbol{X}) $
(1) 式中, Y为采样信号，是N×1的列向量，A是N×M的测量矩阵，X是M×1的原始信号。目标信号的稀疏或变换后稀疏是压缩感知的先决条件，在原始信号X中，有$ K \ll M$个元素是非零的，其余大部分信号为零或近似为零，则称信号是K稀疏的。N是采样数，它影响着压缩感知恢复信号的能力[14]。
目前常用的压缩感知重构算法主要分为三大类[15]：(1)贪婪方法。包括匹配追踪(matching pursuit, MP)[16]、正交匹配追踪(orthogonal matching pursuit, OMP)[17]等，其主要思想是通过迭代寻找匹配信号的最优值; (2)松弛方法。它是基于l1范数的最小化，主要有GPSR、基追踪算法(basis pursuit, BP)[18]，这一类方法精度高、需要的测量个数少，但计算复杂度高; (3)非凸算法。该方法计算复杂度和精度都是介于以上两种方法之间，典型的有迭代重加权重构算法[19]。此外，还有软、硬迭代阈值等[20]、贝叶斯压缩感知重构算法[21]等也是使用较多的压缩感知重构算法。
本文中采用GPSR算法来重构原始图像，由于(1)式中‖X‖0为非凸函数，无法求解，为获得次优解，将(1)式中对0范数的求解改写为求解次优解，即:
$ \min \|\boldsymbol{X}\|_{1}, \left(\|\boldsymbol{A} \boldsymbol{X}-\boldsymbol{Y}\|_{2} \leqslant \varepsilon\right) $
(2) 式中, ε是与噪声有关的一个参量，根据参考文献[22], 可将(2)式转化为下式:
$ \min \frac{1}{2}\|\boldsymbol{Y}-\boldsymbol{A} \boldsymbol{X}\|_{2}^{2}+\tau\|\boldsymbol{X}\|_{1} $
(3) 式中, τ>0表示可自定义的正则化参量，对于(2)式，任意ε总有τ与其对应，从而保证(2)式、(3)式有共同解。该算法由于ε的参与而具有一定的抗噪能力，因此利用(3)式求解的算法被称作基追踪降噪算法。但是由于宽场显微成像中测量矩阵的数据量大, 导致(3)式不能够快速高效地求解出超分辨图像，因此根据参考文献[23], 将(3)式进行再次优化，从而简化计算过程，降低计算时间。优化算法采用GPSR-BB(Barzilai-Borwein)，这种算法计算复杂度低于基追踪降噪的方式，对于有限等距约束的要求低于正交匹配追踪算法。因此，能够在测量矩阵数据大和噪声干扰的情况下快速准确地重构出原始信号。
-
TIRF荧光显微镜系统原理和装置图如图 1所示。系统基于Ⅸ83(Olympus)显微镜搭建，主要分为4个模块：(1)激发光模块。包括可见光波段下不同波长的连续光和控制器，不同激光对应不同的荧光染料; (2)光纤耦合与全内反射模块。全内反射用于提高信噪比，防止样品其它焦面的信号干扰; (3)成像、扫描、空间调制及探测整合系统模块。探测模块用科研级相机探测，具有高灵敏度和高采样帧率; (4)时序机电控制模块。控制位移台和探测器的同步，用于漂移校正和点扩散函数(point spread function, PSF)拟合时多帧采集过程。
Figure 1. a—schematic diagram of the imaging system b—experimental setup of the system
-
本文中通过仿真来分析该方法单帧的超分辨能力以及评价采样数对成像分辨率和原始信号稀疏度的影响。在仿真之前，先要在搭建好的显微镜上通过定标来构建测量矩阵A，A矩阵中的列向量表示单个染料分子在样品面上某一位置下的PSF图像，通过收集单个染料分子在样品面上不同位置的PSF图像来构建A121×4096矩阵，其中行数N=121, 表示探测器的采样数为11pixel×11pixel，列数M=4096，表示重构的原始图像X转化为2维矩阵的大小为64pixel×64pixel。定标过程是对探测到的单个染料分子的荧光信号进行2维高斯拟合，获得PSF，再根据函数生成染料分子在不同位置下荧光宽场图像，从而构建A矩阵[5]。通过探测单个染料分子的PSF半峰全宽(full width at half maxima, FWHM)可知，该系统的衍射极限，即系统的分辨率是330nm。获得A矩阵后，通过仿真来验证该系统的超分辨能力。首先在X上生成两个相距180nm的分子，如图 2a所示。通过与实验获得的PSF卷积来模拟探测器上的衍射极限下宽场图像Y，如图 2b所示，由于衍射极限的影响，这两个分子无法分辨。通过压缩感知GPSR-BB算法对Y进行重构，如图 2c所示，这两个分子可以清楚的分辨。分别对宽场图像和重构图像白线上的强度进行拟合，如图 2d所示，点线表示原始图像分子的分布，实线表示宽场图像的强度分布，虚线表示重构后的强度分布，根据瑞利判据可知，相比于衍射极限下的宽场图像，利用压缩感知可以实现超分辨成像，分辨率是180nm，相比衍射极限330nm提升了1.8倍。此外，还比较了不同采样数(对探测器像素插值获得)对分辨率的影响，图 2e~图 2h中是利用更低的采样数构建的测量矩阵A49×4096的重构结果，可见采样数降低导致分辨率减小，减小到200nm。
Figure 2. Imaging resolution and influence of sampling numbers on resolution
稀疏度表示在一定视场下标记样品的染料分子的个数，是影响压缩感知重构效果的关键因素，虽然荧光信号具有天然的稀疏性，但对于高密度标记或密集结构的生物样品也会影响信号的重构质量。因此，需要了解稀疏度对成像分辨率和重构质量的影响。如图 3a~图 3c所示，在X上构建180nm间距的圆环，实现高密度的重构，重构结果对比宽场图像可知，在高密度下，依然能实现180nm的分辨率，可见密度的提高不会影响分辨率，此时提高的极限应该是分辨率的倒数。稀疏度对重构质量的影响利用均方误差(mean square error, MSE)eMSE=(1/M)∑‖X′-X‖2来评价，X′和X分别表示重构图像和原始图像。为了判断不同稀疏度对重构质量的影响，在X上生成不同数量的随机分布的分子，通过PSF卷积获得宽场图像Y，再利用压缩感知重构得X′，比较X′和X在不同数量分子下均方误差。如图 3d所示，均方误差会随着稀疏度的提高而缓慢的提高，表示重构的质量会逐渐变差。但是提高采样数能够降低均方误差，提高重构质量。在相同的均方误差下，利用A121×4096矩阵相比A49×4096能实现更高密度的重构，重构密度可以提高3倍。若要获得更高密度的重构，需要对信号进行稀疏表征，通过变换获得稀疏性。
Figure 3. Simulation results of high density images
-
为了验证该方法的超分辨能力，本文实验中利用Alexa647染料分子标记的固定细胞微管进行成像，利用639nm激光来激发样品产生荧光。成像视场是3.2μm×3.2μm，将视场分为6×6块，每块在A49×4096下用GPSR-BB进行重构，重构结果去除块与块之间相互重合的边缘区域后拼接，这是为了防止相邻块的信号的影响。实际探测到的宽场图像如图 4a和图 4d所示，可见由于衍射极限的影响，无法分清细胞内部微管的结构细节。经过压缩感知重构后，如图 4b和图 4e所示，有一些宽场下无法分辨的结构可以被清晰地分辨，如图中白线所示。通过对白线上强度分布进行拟合，如图 4c和图 4f所示，宽场图像下的强度分布曲线(实线)显示两根微管无法分辨，而重构后可以看到明显的双峰(虚线)，根据瑞利判据可知，两根微管可以被清晰分辨。这说明利用压缩感知对显微图像重构可以突破宽场的衍射极限，提高成像分辨率。并且采样帧数降低到单帧，计算时间也只需要3s~5s，在同等视场下相比现有的超分辨荧光显微成像方法都有数量级的提升。图 4中上行和下行表示不同密度下，该方法都能体现很好超分辨能力和重构效果。
Figure 4. Experimental results of microtubule
-
作者提出将压缩感知应用到超分辨荧光显微成像中，利用稀疏性实现超分辨。通过仿真和实验证明了该方法不仅能够突破光学衍射极限，成像分辨率相比传统的显微镜提高了1.8倍，还可以实现单帧显微成像，比现有的超分辨成像技术具有更快的采样速度和更少的计算时间。该方法可以同时兼顾超分辨、快速成像和视场，还能应用在任何荧光样品上，并且激发功率低，可以降低显微成像的光毒性，这些优势对生物学中观察活细胞或动态过程都具有重要的意义。为了进一步提高成像分辨率，可以对测量矩阵优化，降低它的互相关度，使它的有限等距性质更好，更满足压缩感知的条件，最大限度利用稀疏度来提高分辨率。此外，还可以通过插值或对信号进一步放大来提高探测器的采样数，从而提高成像分辨率。
压缩感知实现快速超分辨荧光显微成像
Fast super-resolution fluorescence microscopy by compressed sensing
-
摘要: 为了发展能够同时兼顾超分辨、快速成像和视场的荧光显微镜, 以促进其在活细胞或微观动态过程成像的应用, 将压缩感知应用到超分辨荧光显微镜中, 利用投影梯度稀疏重构算法对单帧荧光宽场图像重构, 并进行了理论分析、仿真和实验验证。结果表明, 该方法能够突破光学衍射极限, 成像分辨率达到180nm, 相比衍射极限提高1.8倍。此结果说明压缩感知能够实现单帧宽场超分辨荧光显微成像, 相比现有的方法在成像速度上有巨大的提升。
-
关键词:
- 显微 /
- 超分辨 /
- 压缩感知 /
- 投影梯度稀疏重构算法
Abstract: In order to develop fluorescent microscope that can simultaneously take into account super-resolution, fast imaging and field of view, and promote its application in imaging of living cells or micro-dynamic processes, the compressed sensing was applied to super-resolution fluorescence microscopy. The algorithm of gradient projection for sparse reconstruction was used to reconstruct single fluorescence wide field image. Theoretical analysis, simulation and experimental verification were carried out. The results show that, this method can break through the optical diffraction limit. The imaging resolution is 180nm. Compared with the diffraction limit, it is 1.8 times higher. Compressed sensing can realize single-frame wide-field super-resolution fluorescence microscopy imaging. Compared with the existing methods, the imaging speed has been greatly improved. -
Figure 1. a—schematic diagram of the imaging system b—experimental setup of the system
Figure 2. Imaging resolution and influence of sampling numbers on resolution
a—original image of two fluorescence molecules separated by 180nm b—wide-field image (160nm/pixel) of two fluorescence molecules separated by 180nm c—reconstruction results at sampling number 121 d—Gaussian fitting curve of intensity distribution on white line in Fig. 2a~Fig. 2c e—original image of two fluorescence molecules at a distance of 200nm f—wide-field images (160nm/pixel) of two fluorescence molecules at distance of 200nm g—reconstruction results at sampling number of 49 h—Gaussian fitting curve of intensity distribution on white line in Fig. 2e~Fig. 2g
Figure 3. Simulation results of high density images
a—original image of ring with spacing of 180nm b—wide-field image (160nm/pixel) of ring c—reconstruction result of ring d—MSE curves under different sampling numbers and different sparsity
-
[1] GRUBER A, DRABENSTEDT A, TIETZ C, et al. Scanning confocal optical microscopy and magnetic resonance on single defect centers[J]. Science, 1997, 276(5321):2012-2014. doi: 10.1126/science.276.5321.2012 [2] BETZIG E, PATTERSON G H, SOUGRAT R, et al. Imaging intracellular fluorescent proteins at nanometer resolution[J]. Science, 2006, 313(5793): 1642-1645. doi: 10.1126/science.1127344 [3] RUST M J, BATES M, ZHUANG X W. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)[J]. Nature Methods, 2010, 3(10):793-796. [4] DERTINGER T, COLYER R, IYER G, et al. Fast, background-free, 3-D super-resolution optical fluctuation imaging (SOFI)[J]. Proceedings of the National Academy of Sciences, 2009, 106(52):22287-22292. doi: 10.1073/pnas.0907866106 [5] ZHU L, ZHANG W, ELNATAN D, et al. Faster STORM using compressed sensing[J]. Nature Methods, 2012, 9(7):721-723. doi: 10.1038/nmeth.1978 [6] BABCOCK H P, MOFFITT J R, CAO Y, et al. Fast compressed sensing analysis for super-resolution imaging using l1-homotopy[J]. Optics Express, 2013, 21(23):28583. doi: 10.1364/OE.21.028583 [7] CANDES E J, WAKIN M B. An introduction to compressive sampling. IEEE Signal Process Mag, 2008, 25(2): 21-30. doi: 10.1109/MSP.2007.914731 [8] CANDS E J, FERNANDEZ C. Towards a mathematical theory of super-resolution[J]. Communications on Pure & Applied Mathematics, 2014, 67(6):906-956. [9] WU M, XING M D, ZHANG L.Two dimensional joint super-resolution ISAR imaging algorithm based on compressive sensing[J]. Journal of Electronics and Information Technology, 2014, 36(1):187-193(in Chinese). [10] LUSTING M, DONOHO D, PAULY J M. Sparse MRI: The application of compressed sensing for rapid MR imaging[J]. Magnetic Resonance in Medicine, 2010, 58(6):1182-1195. [11] WANG L Y, WEI Zh H, LUO Sh H, et al.Image superreconstruction for micro-CT based on compressed sensing[J]. Journal of Image and Graphics, 2012, 17(4) :487-493(in Chinese). [12] GONG W L, HAN Sh Sh. Super-resolution ghost imaging via compressive sampling reconstruction[DB/OL]. (2009-10-26)[2019-7-4]. https://arxiv.org/abs/0910.4823. [13] FIGUEIREDO M A T, NOWAK R D, WRIGHT S J. Gradient projection for sparse reconstruction: Application to compressed sensing and other inverse problems[J]. IEEE Journal of Selected Topics in Signal Processing, 2008, 1(4):586-597. [14] CHENG T, CHEN D N, YU B. Compressive sensing post processing of STORM's raw images and measurement matrix based on PSF[J]. Journal of Detection & Control, 2017, 39(4): 31-38 (in Ch-inese). [15] LI Sh, MA C W, LI Y, et al. Survey on reconstruction algorithm based on compressive sensing[J]. Infrared and Laser Engineering, 2013, 42(s1): 225-232(in Chinese). [16] STEPHANE G M, ZHANG Zh F. Matching pursuits with time-frequency dictionaries[J]. IEEE Transactions on Signal Processing, 1993, 41(12):3397-3415. doi: 10.1109/78.258082 [17] TROPP J A, GILBERT A C. Signal recovery from random measurements via orthogonal matching pursuit[J]. IEEE Transactions on Information Theory, 2007, 53(12):4655-4666. doi: 10.1109/TIT.2007.909108 [18] CHEN S S, SAUNDERS D M A. Atomic decomposition by basis pursuit[J]. SIAM Review, 2001, 43(1):129-159. doi: 10.1137/S003614450037906X [19] MALEKI A. Coherence analysis of iterative thresholding algorithms[C]//2009 47th Annual Allerton Conference on Communication, Control, and Computing. New York, USA: IEEE, 2009: 236-243. [20] GIACOBELLO D, CHRISTENSEN M G, MURTHI M N, et al. Enhancing sparsity in linear prediction of speech by iteratively reweighted 1-norm minimization[C]//2010 IEEE International Conference on Acoustics, Speech and Signal Processing. New York, USA: IEEE, 2010: 4650-4653. [21] BARON D, SARYOTHAM S, BARANIUK R G. Bayesian compre-ssive sensing via belief propagation[J]. IEEE Transactions on Signal Processing, 2010, 58(1):269-280. doi: 10.1109/TSP.2009.2027773 [22] ROCKAFELLAR R T. Convex analysis[M]. Princeton, USA:Princeton University Press, 1970: 1-40. [23] BARZILAI J, BORWEIN J M. Two-point step size gradient methods[J]. IMA Journal of Numerical Analysis, 1988, 8(1):141-148. doi: 10.1093/imanum/8.1.141 -
点击查看大图
图(4)
计量
- 文章访问数: 3901
- HTML全文浏览量: 2429
- PDF下载量: 28
- 被引次数: 0
