Map
HTML
-
激光具有高相干性，照射不均匀介质时受到反射及散射等因素的影响形成明暗相间的散斑图像，且图像随着介质变化发生相应变化。根据此现象，研究人员开发了生物散斑技术，通过连续拍摄动植物样品表面的散斑图像，计算生物散斑活性指标表征连续散斑图像的变化，进而反映样品内部介质变化的动态特性，具有高灵敏度、实时、非侵入测量的优点，有效补充了比色法[1-2]、红外光谱[3-5]、激光质谱法[6]等传统光电测量方法的不足，在农业和医学领域受到了广泛关注。农业方面，生物散斑技术已成功应用于判断西红柿、苹果等果蔬瘀伤[7]、果蔬成熟生化过程[8-10]、生鲜肉类品质[11-13]、种子活力[14]和果蔬真菌菌落污染程度等场景。在医学方面，已有研究表明通过生物散斑图像可以监测血液流速[15]、检测精子发育能力[16]以及表征眼底血管与神经的活动[17]。由此可见生物散斑技术具有广阔的应用前景。
由于散斑图像具有随机分布特性，难以准确预测，因此一般需要利用统计学原理定量表征散斑变化，获得被测物相关信息。针对生物散斑技术的特点，目前已提出了多种图像处理算法，其中广泛使用的基础算法包括散斑对比分析法、Fujii分析法、加权广义差分法、惯性矩法、时间空间对比度法等[18-21]，主要根据连续两帧图像中单像素的强度变化情况或窗口内统计平均值的变化情况设定指标表征生物的活性。由于生物散斑技术本质上为测量样品中散射颗粒的变化或运动速度，而实际样品内部运动组成复杂，上述指标将内部运动作为黑箱处理，通过经验或实验数据设定阈值，难以充分利用散斑图像信息反映内部运动的组成，且测量结果极易受到实验参数的影响，普适性较差。动态光散射及荧光相关光谱技术[22-23]是纳米科学领域测量溶液中颗粒运动速率的重要手段，能通过测量散射光或荧光时域信号的相关系数有效表征多种分布颗粒群的运动特性。为了提高信号质量，两者均需使用高倍物镜聚焦约束照明区域，受到多重散射影响，均难以直接应用于生物样品的测量。上述工作启发本文作者根据相关系数随时间的变化处理生物散斑图像，对散射颗粒的运动进行更准确的表征，为测量生物散斑活性提供新的技术工具及实验基础。
-
本文中搭建的实验装置与传统生物散斑测量装置类似，如图 1所示。光束由激光二极管(Osram, PLT5 520)发出，波长为520 nm，功率为50 mW，经过准直后出射。准直光约以45°角倾斜照明样品，并被样品中颗粒散射，散射光进入可调倍率工业显微镜头后成像，实验中使用倍率为0.75×，并由工业相机(Mightex，SME-C050-U)成像，像素尺寸为2.4 μm×2.4 μm，曝光时间及增益可手动调节，图像像素数目为2560 pixel× 1920 pixel。相机及镜头安装在平移台上，可上下移动调节成像系统位置。
Figure 1. Experimental setup of laser biospeckle measurement
实验测量了市场购买的中药糖浆(京都念慈庵蜜炼川贝枇杷膏)、老酸奶(君乐宝低温原味)、酸奶(安慕希原味)、西红柿、苹果等样品的散斑图像，典型散斑图像如图 2a所示。由于散斑图像的形成具有随机性，直接观察图像判断散斑工作量较大，使用图像处理算法表征散斑活性必不可少。图 2b为去背景的散斑图像。
Figure 2. a—typical biospeckle image d—biospeckle image after removing background
-
动态光散射及荧光相关光谱技术中使用雪崩二极管或光电倍增管等点探测器测量微观聚焦照明区域内散射光及荧光的时域信号，信号的时间相关性定义为相关系数[22-23]。由于照明区域内颗粒数目有限，颗粒进入及离开照明区域时会引起散射光及荧光强度的变化，变化持续的时间与颗粒运动速率密切相关，因此相关系数反映了颗粒运动的速率。荧光相关光谱技术测量的典型单分散颗粒群相关系数曲线如图 3所示。可见相关系数随着时间间隔增大迅速降低，且下降速度与颗粒运动速率有关。
Figure 3. Correlation coefficient of fluorescence correlation spectroscopy[23]
由于生物散斑技术中照明区域较大，现有以聚焦区域内强度涨落为基础的相关系数定义[23]已不再适用，因此本文中对相关系数C0(Δt)进行了改进，如下式所示：
式中：I(i, j, n)为第n帧图像i行j列的像素值；Δt为两幅图像的时间间隔；Δn为两幅图像的帧数间隔；h及w分别为感兴趣区域的行数及列数。式(1)为不同时刻图像之间的空间相关性，改进后的相关系数引入了散斑图像的统计信息，能够准确全面反映感兴趣区域内散斑图像的变化情况。当第n帧及第n+Δn帧散斑图像完全相同时，C0(Δt)取得最大值1，随着时间间隔增加，散斑位置及强度逐渐变化，C0(Δt)值减小，观察曲线，近似可用下式描述：
式中：c0是自定义常数，与散斑图像背景强度有关；τ0为相关系数衰减时间；Δt足够大时，C0(Δt)逼近稳定值1-c0；τ0与颗粒速率密切相关，颗粒运动速率越快，其对应值越小。通过测量样品τ0即可表征颗粒群分布或运动速率是否发生变化，进而判断样品是否发生变化。
受到杂散光影响，散斑图像一般具有较强背景，导致相关系数衰减不够明显。为便于观察，增大曲线对比度，本文作者在式(1)基础上进行了改进，突出了高频细节的影响，改进后的相关系数为：
式中：I0(i, j, n)为使用像素点(i, j)邻域窗口(宽为w0，高为h0)内像素值均值滤波的结果，近似为图像背景，因此I1(i, j, n)可认为是保留了散斑图像中高频部分。如图 2b所示，当散斑变化时，改进后的相关系数C1(Δt)变化更大，能够更准确反映颗粒的移动。
1.1. 实验装置及材料
1.2. 生物散斑活性指标
-
基于上述实验装置及处理算法，本文中开展了实验研究，实验地点为南京，测试了改进后相关系数的性能。实验中设置相机帧频为每秒18帧，连续采集8 s，在硬盘中保存图像便于后续处理。实验前使用白光照明，根据预览图像调整镜头与样品的相对位置，使得样品表面处成像较为清晰。由于散斑测量的结果一般较易受到实验及图像参数的影响，本文作者分别对相机曝光时间、散斑区域尺寸及均值滤波窗口尺寸进行了测试，确保不同参数下测量结果具有良好的一致性，方便实际应用。由于散斑方法主要表征颗粒的运动，而几种样品中中药糖浆的质地最为均匀，因此本文中首先使用中药糖浆进行了测试。实验时吸取约2 mL糖浆放置于透明载波片上暴露在空气中。由于糖浆较为粘稠，长时间放置后仍保持液体状态边缘处有较大曲率，可能导致镜面反射，实验中需移动样品位置，避免边缘处位于成像视场内。
-
曝光时间对图像的绝对强度影响较大，过曝光及欠曝光均可能导致散斑活性指标计算发生较大偏差。不失一般性，本文中分别将相机曝光时间T设置为10 ms及50 ms，观察图像没有明显的过曝光及欠曝光情况。基于式(1)及式(3)计算了未消除背景及消除背景后不同时间间隔时相关系数的曲线，结果如图 4所示。根据相关系数定义可知，Δt=0时相关系数始终为1，无需处理，其天然具有最大值归一化的效果，其下降速度与散斑图像变化速度有关。图 4a中当曝光时间变化时曲线稳态值显著不同，表明未消除背景时相关系数的最小值没有归一化的效果，这主要是因为曝光时间较大时，图像背景强度明显偏大，即使颗粒移动导致散斑光点发生移动，相关系数值仍然较大。尽管可使用式(2)拟合曲线确定c0及τ0等参数，但实际拟合时由于式(2)使用的指数衰减模型与实际测量数据存在一定偏差，拟合误差可能较大。对于指数下降曲线，可定义曲线值下降到一定值对应的时间为特征时间表征下降速度，但由于相关系数值始终缓慢降低，最小值难以确定，因此该方法难以应用。与图 4a不同，经过消除背景(均值滤波窗口为矩形窗口，面积S=11 pixel×11 pixel)后，图 4b中相关系数曲线的最大值和最小值均表现出归一化的特性，即最大值1对应于Δt=0，最小值0对应于无穷远时刻，无需任何特别处理，因此不失一般性，可定义当相关系数下降至0.707时对应的延迟时间为特征时间，记为T0。对比不同曝光时间的曲线可见，T0均为0.22 s，与曝光时间设置几乎无关，这主要是因为T0远大于相机曝光时间，在相机曝光过程中，颗粒位移较小，不影响测量。与拟合法相比，使用特征时间的另一优势为具有较高的效率。拟合法需采集整个时间段内的图像，耗时数秒以上(本文中为8 s)，而T0只需采集0.3 s内图像。由于散斑测量对振动噪声更为敏感，长时间测量可能引入较多的噪声干扰，缩短测量时间将显著提高抗干扰能力。另一方面，当颗粒种类及速度分布多样时，曲线下降趋势复杂，因此观察曲线的下降趋势同样可揭示颗粒运动的信息。
Figure 4. Correlation curves
-
由于T0为整幅图像的统计指标，若对散斑计算区域具有依赖性，则难以在实际应用中使用。本文中测试了散斑计算区域对T0的影响，将图 2a散斑图像等分为1~4共4个区域，分别计算每个区域的相关系数曲线，结果如图 5所示。4个区域的曲线在Δt较大时的稳态值存在一定差异，而在较小处几乎重合。由于T0只需相关系数下降至0.707即可，无需稳态处取值，因此稳态处差异并不影响特征时间的计算。
Figure 5. Correlation curves in different regions of sample surface
-
去除散斑图像背景的核心是均值滤波，滤波窗口尺寸变化时可能导致曲线的趋势发生变化，本文中计算了窗口的影响，结果如图 6所示。窗口尺寸w0×h0从5 pixel×5 pixel增加至101 pixel×101 pixel时相关系数变化趋势几乎不变，且在特征时间内曲线几乎重合，长时间后稳态值则稍有区别，这主要是因为窗口尺寸较大时，背景难以反映局部变化，导致减去平滑图像后局部仍存在一定的非零背景。由于T0几乎不受曝光时间、散斑位置等实验参数影响，可视为样品的一个客观物理量。
Figure 6. Correlation coefficient curves associated with different window sizes for average filter
-
为进一步定性表征特征时间T0及颗粒运动速率之间的关系，本文中将糖浆样品放置于1维电动平移台(派迪威，PP110-50)上，使用运动控制卡及闭环步进电机驱动平移台以恒定速率v匀速运动，测量T0随平移台运动速率v的变化，每组速率均重复5次，结果如图 7所示。当v较小时，样品内颗粒的平均速率与v一致，但由于颗粒自身布朗运动的影响不可忽略，T0与图 4b中数值相差不大。随着v增加，颗粒定向运动的影响逐渐超越布朗运动，T0逐渐减小，且与v近似成反比，表明T0与v之间存在一定的对应关系。
Figure 7. Characteristic time at different stage velocities
-
Fujii指标具有计算效率高、物理意义明确的特点，在生物散斑图像处理中获得广泛应用，定义式为：
式中：N为散斑图像总帧数。可见Fujii指标直接计算连续两张图像像素值的差，能够直观反映强度的变化。本文作者进一步测试了Fujii指标的效果，验证Fujii指标是否存在类似特征参数。由于糖浆样品各处颗粒运动的速率应近似相同，本文作者模仿相关系数的处理方法绘制了不同曝光时间时感兴趣区域内Fujii指标的平均值随时间间隔的变化关系，结果如图 8a所示，Fujii指标在短时间内快速上升后逐渐趋向于稳定值。受到曝光时间变化的影响，背景光强发生了较大的变化，使得两种曝光时间对应的稳态值不同，10 ms时的稳态值略大于50 ms时的稳态值。为构造特征参数，使用稳态时的最大值对Fujii指标进行了归一化处理，结果如图 8b所示。尽管稳态时的曲线几乎重合，但快速上升期的曲线差异较大，曝光时间10 ms对应的曲线上升速率远大于50 ms对应的曲线，意味着难以确定一个只与样品性质有关的特征参数。上述结果表明，与Fujii指标相比，相关系数随时间的变化关系能更有效表征颗粒扩散的速率。
Figure 8. Fujii curves
2.1. 特征时间
2.2. 散斑计算区域
2.3. 滤波窗口尺寸
2.4. 颗粒运动速率
2.5. Fujii指标
-
本文中开展了糖浆、酸奶、老酸奶、西红柿、苹果等常见5种食品及药品的实验测量，为减小测量时长，每次测量均持续5 s，不同时刻的相关系数如图 9a~图 9e，T0随实验时间的变化如图 10a~图 10e所示。图中，Ts为实验时间。
Figure 9. Correlation coefficient curves at different time
Figure 10. Dependence of T0 on the experiment time
于2023-05-17—05-25每日10点测量糖浆样品的散斑活性，不同时刻的相关系数及特征时间结果分别如图 9a及图 10a所示。实验初期T0从当天0.22 s上升至第4 d 0.30 s，这主要是因为中药糖浆中一般含有一定水分，随着水分蒸发，液体粘度逐渐增加，导致颗粒运动速率降低。由于暴露在空气中，样品中乳酸菌含量逐渐增加，糖浆开始吸收空气中水气，蔗糖转化为葡萄糖和乳糖，产生酸败现象，导致颗粒速度加快，因此实验后期从第5 d开始T0逐渐减小，至第8 d时已减小至0.17 s。
同样吸取酸奶样品约2 mL放置于载玻片上，于2023-05-26T10:00开始测量。由于含水量较高，蒸发快，酸奶10 h后已近似成为粉末，导致颗粒运动速率逐渐降低。图 9b中相关系数曲线初始时下降速度较快，5 h后则极为平缓，T0上升至1.78 s。图 10b中初始时刻T0为0.05 s，随着水分蒸发T0迅速上升，8 min后达到0.17 s，此时T0上升速度降低，最终在5 h后达到1.78 s。
由于老酸奶为胶状，在载玻片上无法自然流动，影响测量，因此撕开包装后直接在盒内测量，实验于2023-05-27T10:00开始测量，结果如图 9c及图 10c所示。实验开始时老酸奶表面存在一定水分，颗粒运动速率较快，T0=0.71 s，随着水分蒸发，颗粒运动速率降低，3 h后T0上升至2.04 s。由于老酸奶暴露在空气中时稳定期较短，蛋白质和乳糖发生分解，析出了水分，导致4 h后颗粒运动重新加快，在6 h后T0下降至0.045 s。
购买西红柿及苹果时，均目测样品表面，确保没有可见伤痕。实验于2023-06-02T10:00开始随机确定测量区域后首先测量该区域的相关系数，然后目测调整样品姿态，将样品从30 cm高度处自由掉落至光学面包板上，接触区域为前测量区域，最后连续测量相关系数。西红柿测量结果如图 9d及图 10d所示，图中实验时间为负时代表碰撞前，为0时代表碰撞后开始测量。碰撞前T0=0.42 s，碰撞后由于西红柿结构受到机械破坏，游离水被排出，酚类化合物氧化，导致受损组织褐变，T0上升至0.58 s，10 min后内部结构逐渐稳定，T0几乎保持不变，为0.92 s。苹果的实验现象与西红柿类似，如图 9e及图 10e所示，同样在受到碰撞后颗粒运动速率降低。
为了验证T0测量的一致性，在实验时每次测量均重复了5次，图 10中绘制了误差棒，5种样品的平均相对误差均小于5%，表明相关系数反映了样品内部颗粒运动的速率，T0为样品自身的特征参数，且具有明确的物理意义，能够有效补充传统分析指标，具有较好的应用潜力。同时通过限制感兴趣区域，相关系数同样可具备空间分辨能力。
生物散斑测量技术主要通过散斑图像的变化速率表征样品内部颗粒运动的速率，理论上对样品形态没有限制，本文作者测试了糖浆、酸奶、老酸奶、西红柿、苹果等不同种类的样品，验证了可行性。由于工业相机采集图像的帧速有限，颗粒运动速率过快时T0可能短于两帧图像的间隔，引入误差，而西红柿、苹果、糖浆等样品内部颗粒运动速率有限，能够满足测量要求，因此一方面可将该技术应用于市场质量监督，另一方面也可应用于农产品及药品在线测量，确认产品是否存在被污染的情况。
-
针对生物散斑技术的特点，本文中搭建了实验测量装置，开发了相应图像处理算法，提出基于相关系数曲线构造特征时间表征样品的生物散斑活性。以中药糖浆、酸奶、老酸奶、西红柿及苹果作为对象开展了实验，结果表明，特征时间几乎不受曝光时间及实验区域的影响，稳定性好且计算效率较高，可视为仅与样品相关的属性，具有较好的工程应用优势。特征时间直观揭示了样品内部颗粒运动的速率，包括：(a)中药糖浆首先因水分蒸发粘度变大活性降低，然后因为酸败现象活性升高；(b)酸奶因水分蒸发逐渐形成粉末，过程中活性连续降低；(c)老酸奶首先表面水分蒸发活性降低，然后内部分解析出水分活性升高；(d)西红柿和苹果在碰撞后因机械损伤活性持续降低，十多分钟后结构进入稳定状态。本文中的研究结果有望为食品、药品行业提供一种新的无损检测工具，通过颗粒运动速率表征生物样品的特性，应用前景广阔。
DownLoad: