高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向计算机显微视觉系统的白细胞识别

张从鹏 马岩 毛潭 熊国顺

引用本文:
Citation:

面向计算机显微视觉系统的白细胞识别

    作者简介: 张从鹏(1975-), 男, 工学博士, 教授, 主要从事复杂机电装备系统的智能测控技术、机器视觉与图像检测技术方面的研究。E-mail:soaringroc@ncut.edu.cn.
  • 基金项目:

    北京市教委基本科研资助项目 110052971803

  • 中图分类号: TP391.4

Leukocyte recognition oriented to computer micro-vision system

  • CLC number: TP391.4

  • 摘要: 为了解决人工镜检白细胞识别效率低下的问题, 采用计算机显微视觉平台进行了白细胞自动识别研究。白细胞图像分割方面, 筛选图像颜色模型之后采用区域生长算法实现白细胞与图像背景的精确剥离; 并利用大津法(即灰度直方图波谷阈值分割方法)实现了白细胞细胞核和细胞浆的提取; 根据细胞的形态、颜色及纹理特征用人工神经网络分类器对大样本量的白细胞进行了识别分类。结果表明, 采用白细胞图像分割和智能辨识算法具有较高的精度和效率, 最终准确度能够达到95.6%。该系统满足临床医学显微视觉白细胞自动检测的需求。
  • Figure 1.  Micro-vision detection system for blood cell smears

    Figure 2.  Comparison of RGB model and HSI model of white blood cells

    Figure 3.  Cell region growth segmentation diagram

    Figure 4.  Valley threshold of channel B

    a—gray image b—histogram c—smooth histogram

    Figure 5.  Nucleus extraction results

    a—nuclear image b—cytoplasmic image

    Figure 6.  Leukocyte segmentation process

    Table 1.  Experimental results of leukocyte recognition

    leukocyte species leukocyte count correct segmentation correct recognition recognition rate/%
    neutrophils 137 137 134 97.8
    lymphocyte 125 125 122 97.6
    monocyte 115 115 113 98.2
    eosinophil 105 102 98 96
    basophil 85 79 75 88.2
    cell count 567 558 543 95.6
    下载: 导出CSV
  • [1]

    CSEKE I. A fast segmentation scheme for white blood cell images[C]//11th IAPR International Conference on Pattern Recognition, Conference C: Image, Speech and Signal Analysis. New York, USA: IEEE, 1992: 530-533.
    [2]

    MOHAPATRA S, PATRA D, KUMAR S, et al. Lymphocyte image segmentation using functional link neural architecture for acute leukemia detection[J]. Biomedical Engineering Letters, 2012, 2(2): 100-110. doi: 10.1007/s13534-012-0056-9
    [3]

    HUANGA D C, HUNGA K D, CHAN Y. A computer assisted method for leukocyte nucleus segmentation and recognition in blood smear images[J]. The Journal of Systems and Software, 2012, 85(9):2104-2118. doi: 10.1016/j.jss.2012.04.012
    [4]

    REZATOFIGHI S H, SOLTANIAN-ZADEH H. Automatic recognition of five types of white blood cells in peripheral blood[J]. Compu-terized Medical Imaging & Graphics, 2011, 35(4):333-343.
    [5]

    WANG W X, SU P Y. Extraction and classification of white blood cells based on color, gradient vector flow active contour and support vector machine[J]. Optical Precision Engineering, 2012, 20 (12): 2781-2790 (in Chinese). doi: 10.3788/OPE.20122012.2781
    [6]

    LI X Sh, CAO Y P, WANG Y P. High robustness white blood cell five-classification recognition algorithm based on mean-shift clustering[J]. Journal of Biomedical Engineering, 2018, 35(5): 761-766 (in Chinese).
    [7]

    LIU Y, LÜ X Q, ZHANG M, et al. White blood cell segmentation based on RGB and C-Y color space[J]. Laser Technology, 2019, 43(4): 506-510(in Chinese). 
    [8]

    HUAI T T, ZHAO J W, CAO F L, et al. Algorithms for white cell classification based on comprehensive features and random forests[J]. Journal of China Institute of Metrology, 2015, 26(4): 474-479.
    [9]

    ZHANG C P, CAO W Z, XU M G, et al. Automatic focusing of microscopic visual detection system for tuberculosis bacteria smears[J]. Optical Precision Engineering, 2018, 26(6): 1480-1488 (in Chin-ese). doi: 10.3788/OPE.20182606.1480
    [10]

    SHEN X X, ZHANG H, GAO Z, et al. Behavior recognition algorithms based on depth information and RGB image[J]. Pattern Recognition and Artificial Intelligence, 2013, 26(8): 722-728.
    [11]

    DUAN J, YU L. A WBC segmentation methord based on HSI color space[C]//2011 4th IEEE International Conference on Broadband Network and Multimedia Technology. New York, USA: IEEE, 2011: 629-632.
    [12]

    WANG J, CAO Y P, CHENG X Sh. A white cell image segmentation method based on H histogram transform[J]. Optical and Opto-electronic Technology, 2013, 11(2): 74-78(in Chinese).
    [13]

    XIA Y Q, XIE X W, ZHI J, et al. Automatic segmentation method of liver image based on maximum tangential circle[J]. Computer Engineering and Application, 2019, 55(14): 162-167.
    [14]

    JIANG K, LIAO Q M, DAI S Y. A novel white blood cell segmentation scheme using scale-space filtering and watershed clustering[C]// Proceedings of the 2003 International Conference on Machine Learning and Cybernetics. New York, USA: IEEE, 2003: 2820-2825.
    [15]

    YUAN X ZH, JIANG H, CHEN Y Zh, et al. An adaptive threshold water extraction method based on Otsu method[J]. Remote Sensing Information, 2016, 31(5): 36-42(in Chinese).
    [16]

    CHEN Ch, CHENG SH J, LI W B, et al. Classification of periphe-ral blood leukocytes based on convolutional neural network[J]. Chinese Journal of Biomedical Engineering, 2018, 37(1): 17-24 (in Chinese).
    [17]

    LIU J. Research on key technologies of automated blood cell morphological analysis and classification[D]. Ji'nan: Shandong University, 2016: 34-41(in Chinese).
    [18]

    DORINI L B, MINETTO R, LEITE N J. White blood cell segmentation using morphological operators and scale-space analysis[C]// Brazilian Symposium on Computer Graphics and Image Processing, 2007. New York, USA: IEEE, 2007: 294-304.
    [19]

    NASIR A S A, MASHOR M Y, ROSLINE H. Unsupervised colour segmentation of white blood cell for acute leukaemia images[C]// IEEE International Conference on Imaging Systems & Techniques. New York, USA: IEEE, 2011: 142-145.
    [20]

    PANG C Y, LIU J K, HAN L X. Improving the classification of white blood cell image combined with FCM and LFP[J]. Chinese Journal of Image Graphics, 2013, 18(5): 545-551 (in Chinese).
  • [1] 王大承 . 人工神经网络在激光表面强化控制上的应用. 激光技术, 2003, 27(4): 317-320.
    [2] 王秀凤吕晓东陈光南胡世光 . 人工神经网络技术在板料激光弯曲中的应用. 激光技术, 2005, 29(3): 244-247.
    [3] 吴家洲刘君施佳文张胜 . 激光焊缝图像分割与颜色识别方法研究. 激光技术, 2023, 47(5): 723-728. doi: 10.7510/jgjs.issn.1001-3806.2023.05.022
    [4] 唐霞辉秦应雄钟如涛周金鑫李正佳 . 基于神经网络的粉末冶金材料激光焊接工艺优化. 激光技术, 2006, 30(5): 471-475.
    [5] 徐大鹏周建忠郭华锋季霞 . 基于进化神经网络的激光熔覆层质量预测. 激光技术, 2007, 31(5): 511-514.
    [6] 李泽峰欧阳八生 . 基于MFC+HALCON图像识别Mark圆的检测方法. 激光技术, 2020, 44(3): 358-363. doi: 10.7510/jgjs.issn.1001-3806.2020.03.016
    [7] 张海庄姚梅雷萍李鹏曾庆平 . 远场激光光斑图像处理方法研究. 激光技术, 2013, 37(4): 460-463. doi: 10.7510/jgjs.issn.1001-3806.2013.04.010
    [8] 冯煦张瑞瑛周萍李松 . 大功率半导体线激光图像处理方法研究. 激光技术, 2010, 34(5): 624-627. doi: 10.3969/j.issn.1001-3806.2010.O5.013
    [9] 刘逸飞苏亚姚晓天崔省伟杨丽君周聪聪何松 . OCT无创血糖检测图像处理最优化方法研究. 激光技术, 2023, 47(2): 178-184. doi: 10.7510/jgjs.issn.1001-3806.2023.02.004
    [10] 常颖常大俊 . 改进型卷积神经网络焊点缺陷识别算法研究. 激光技术, 2020, 44(6): 779-783. doi: 10.7510/jgjs.issn.1001-3806.2020.06.023
    [11] 黄威威游德勇高向东张艳喜黄宇辉 . 基于相关分析和神经网络的激光焊接稳态识别. 激光技术, 2022, 46(3): 312-319. doi: 10.7510/jgjs.issn.1001-3806.2022.03.004
    [12] 刘阳吕晓琪张明李菁谷宇 . 基于RGBC-Y颜色空间的白细胞分割. 激光技术, 2019, 43(4): 506-510. doi: 10.7510/jgjs.issn.1001-3806.2019.04.013
    [13] 陈树越刘金星丁艺 . 基于小波变换的红外与X光图像融合方法研究. 激光技术, 2015, 39(5): 685-688. doi: 10.7510/jgjs.issn.1001-3806.2015.05.021
    [14] 王宏文梁彦彦王志华 . 基于新遗传算法的Otsu图像阈值分割方法. 激光技术, 2014, 38(3): 364-367. doi: 10.7510/jgjs.issn.1001-3806.2014.03.017
    [15] 魏雪峰刘晓 . 基于2维最大熵最佳阈值算法的图像分割研究. 激光技术, 2013, 37(4): 519-522. doi: 10.7510/jgjs.issn.1001-3806.2013.04.023
    [16] 张宝华刘鹤 . 基于能量梯度场映射关系的红外图像分割方法. 激光技术, 2015, 39(1): 76-81. doi: 10.7510/jgjs.issn.1001-3806.2015.01.015
    [17] 张健李白燕 . 基于图论最小割集算法的图像分割研究. 激光技术, 2014, 38(6): 863-866. doi: 10.7510/jgjs.issn.1001-3806.2014.06.030
    [18] 张建波杨恢先周彤彤谭正华李淼 . 一种改进的2维Otsu红外图像分割法研究. 激光技术, 2014, 38(5): 713-717. doi: 10.7510/jgjs.issn.1001-3806.2014.05.029
    [19] 李丽宏华国光 . 基于改进遗传算法的最大2维熵图像分割. 激光技术, 2019, 43(1): 119-124. doi: 10.7510/jgjs.issn.1001-3806.2019.01.024
    [20] 周娇王力陈小青 . 基于改进鲸鱼优化算法的最大2维熵图像分割. 激光技术, 2021, 45(3): 378-385. doi: 10.7510/jgjs.issn.1001-3806.2021.03.020
  • 加载中
图(6) / 表(1)
计量
  • 文章访问数:  5330
  • HTML全文浏览量:  3850
  • PDF下载量:  18
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-03-11
  • 录用日期:  2019-04-18
  • 刊出日期:  2020-01-25

面向计算机显微视觉系统的白细胞识别

    作者简介: 张从鹏(1975-), 男, 工学博士, 教授, 主要从事复杂机电装备系统的智能测控技术、机器视觉与图像检测技术方面的研究。E-mail:soaringroc@ncut.edu.cn
  • 北方工业大学 机械与材料工程学院, 北京 100144
基金项目:  北京市教委基本科研资助项目 110052971803

摘要: 为了解决人工镜检白细胞识别效率低下的问题, 采用计算机显微视觉平台进行了白细胞自动识别研究。白细胞图像分割方面, 筛选图像颜色模型之后采用区域生长算法实现白细胞与图像背景的精确剥离; 并利用大津法(即灰度直方图波谷阈值分割方法)实现了白细胞细胞核和细胞浆的提取; 根据细胞的形态、颜色及纹理特征用人工神经网络分类器对大样本量的白细胞进行了识别分类。结果表明, 采用白细胞图像分割和智能辨识算法具有较高的精度和效率, 最终准确度能够达到95.6%。该系统满足临床医学显微视觉白细胞自动检测的需求。

English Abstract

    • 血涂片白细胞显微视觉检验是临床医学中的重要检验项目。利用计算机视觉技术实现白细胞检验的自动化和智能化是当前的热点和发展趋势。国内外很多学者针对如何更好地分割和识别白细胞提出了很多方法。CSEKE[1]基于Otsu算法,通过递归方法最大化图像中黑色、灰色和白色区域之间的类内方差并自动筛选出分割阈值,实现白细胞的分割,但该方法无法将细胞浆分割出来。2012年,MOHAPATRA等人[2]基于范函链接型网络对白细胞分割,根据各区域像素按颜色分类,将白细胞分割为细胞核和细胞质两部分。HUANGA等人[3]利用共生矩阵和形态信息提取85个纹理和形态特征,采用主成分分析(principal component analysis,PCA)进行特征降维、K均值进行五分类,该方法对于嗜中性粒细胞的分类准确率比较低。REZATOFIGHI等人首先利用Gram-Schmidt正交化增强白细胞区域颜色向量,由灰度直方图确定分割阈值并分割出白细胞核,然后采用snake分割细胞浆。WANG等人[5]利用梯度矢量流轮廓法实现白细胞和细胞核的提取,并根据白细胞形态学等特征利用支持向量机(support vector machine,SVM)对白细胞进行分类,但在分类精度上还有待提高。LI等人[6]基于mean-shift聚类算法在细胞图像上得到可视化纹理的区域块,并根据区域块的特征参量利用人工神经网络进行白细胞识别。LIU等人[7]基于C-Y颜色空间和形态学运算得到白细胞图像,并阈值分割对比度拉伸的G图像,完成细胞核的提取。HUAI等人[8]将细胞核和细胞质的旋转不变共生局部二值模式特征和常规形态学特征进行归一化处理,并利用随机森林分类器完成白细胞分类。上述分割和分类算法虽侧重角度不同,但都是为了提高白细胞的分类识别率。

      本文中搭建了面向显微视觉检测系统,研究血涂片自动检验中的关键技术问题,拟采用高效图像提取方法和分类识别算法,提高检测系统的检测效率和精度,满足显微视觉平台对白细胞临床形态学自动检验的需求。

    • 显微形态学检验平台由显微光学成像系统、计算机视觉系统、自动控制系统等组成[9]。光学成像系统选用奥林巴斯光学显微镜,搭配UPLFLN100X02油镜。利用230万像素的彩色CCD工业相机对血涂片显微图像进行采集。图 1所示的玻片为血细胞涂片。

      Figure 1.  Micro-vision detection system for blood cell smears

    • 白细胞图像预处理包括:通过中值滤波器对采集到的细胞图像进行平滑处理,去除细胞图像上的颗粒噪声;采用相应的滤波器进行细胞图像边缘的锐化。

    • 为了提高白细胞背景剥离方法的简易性,将预处理后的血细胞图像采用固定阈值方法分割成像素为200×200的白细胞子图。然后将彩色细胞子图转换为R, G, B三通道[10]的单通道图像。实验中发现, 除了G通道细胞核灰度值跟背景灰度值上有较大的差异外,R通道和B通道表现不明显。因此,RGB模型不适合用来分割图中的白细胞。

      HSI颜色模型可用作白细胞显微图像的分割颜色模型[11]。通过对细胞图像的H, S, I单通道图像灰度观察发现,H通道表现出适合白细胞背景剥离的良好性能,与参考文献[12]中结论基本一致。模型灰度图如图 2所示。

      Figure 2.  Comparison of RGB model and HSI model of white blood cells

      综上分析,本文中采用H通道图像进行白细胞背景剥离。

    • 区域生长[13]是根据一种事先定义的准则将像素或者子区域聚合成更大区域的过程。其相似性质可包括平均灰度值、纹理、颜色等信息。区域生长算法实现的步骤如下:(1)对图像目标区域进行扫描,令R表示整幅图像区域,根据预设相似准则,将目标图像区域分裂成若干不重叠的子区域Rii=1, 2, 3, …, n;(2)以Ri为中心,判断其邻域Rj是否满足相似准则,若满足, 则合并RiRj,对任何ij都有ij; (3)以合并后的RiRj为中心,重复步骤(2);(4)当无法进行新的合并时,返回步骤(1);(5)重复步骤(1)~步骤(4),当无法进行新的分裂时,生长结束。

      那么分割可以看成将整幅图像R划分为n个子区域R1, R2, …, Rn的过程,并满足以下条件:(1)U(Ri)= R;(2) Ri是一个连通区域,i=1, 2, 3, …, n;(3) RiRj=空集,对任何ij都有ij;(4)P(Ri)= ture, i=1, 2, …, n;(5)P(RiRj)=false, ij。)

      在血细胞H单通道图像上,使用区域生长分割算法后,会得到很多不同的子区域,可以精确地将整个白细胞在图中与其它红细胞以及背景分割开来,如图 3所示。然后根据先验知识,除背景区域之外,整张图像中选取最靠近图片中心的区域,得到白细胞图像。

      Figure 3.  Cell region growth segmentation diagram

    • 最大类间方差法是1979年由日本学者OTSU提出的,简称大津法[15],是一种自适应阈值确定的方法。根据图像的灰度特性,将图像分为前景和背景两个部分。当取最佳阈值时,前景与背景之间差别是最大的,评价差别的标准就是最大类间方差。通常细胞核与细胞质在RGB颜色模型的B通道上灰度级别存在较大差异,在上一步进行白细胞背景剥离的基础上,拟采用细胞核与细胞浆作为白细胞背景剥离后B通道灰度图像的前景和背景,利用大津法进行细胞核的提取。

      设背景剥离后的B通道白细胞图像为I(x, y),细胞核和细胞浆的分割阈值记作T,细胞核区域像素比例为w1,平均灰度值为μ1;细胞浆区域像素比例为w2,平均灰度值为μ2。白细胞平均灰度值为μ0,类间方差为g。令图像大小为M,细胞核像素数为N1,细胞浆像素数记作N2,则:

      $ {w_1} = {N_1}/M $

      (1)

      $ {w_2} = {N_2}/M $

      (2)

      $ {N_1} + {N_2} = M $

      (3)

      $ {w_1} + {w_2} = 1 $

      (4)

      $ {\mu _0} = {\mu _1} \times {w_1} + {\mu _2} \times {w_2} $

      (5)

      $ g = {w_1} \times {\left( {{\mu _0} - {\mu _1}} \right)^2} + {w_2} \times {\left( {{\mu _0} - {\mu _2}} \right)^2} $

      (6)

      将(5)式代入(6)式得到g的等价表达式:

      $ g=w_{1} \times w_{2} \times\left(\mu_{1}-\mu_{2}\right)^{2} $

      (7)

      采用遍历的方法使类间方差最大的阈值T即为所求。通过对B通道白细胞图像阈值为T的阈值分割,即得到细胞核图像与细胞浆图像。从灰度直方图角度观察,灰度图横坐标为灰度等级, 取值范围是0~255,纵坐标为每个灰度等级相应的像素个数,最大类间方差的过程其实是在寻找前景和背景两个灰度波峰之间的波谷值,如图 4所示。图 4b图 4c中横坐标为灰度等级,纵坐标为像素个数,横纵坐标均为无量纲物理量。

      Figure 4.  Valley threshold of channel B

      图 4b为灰度图原图, 存在较多毛刺,确定波谷值时会产生偏移。进一步采用平滑的方法对原灰度图进行拟合,如图 4c所示。平滑后的直方图可以清晰地找到波谷点,从而确定分割的阈值。利用波谷点阈值对白细胞B通道灰度图像进行细胞核提取,得到细胞核和细胞浆图像,如图 5所示。

      Figure 5.  Nucleus extraction results

      本文中将预处理后的图片,在H通道上采用区域生长的方法进行白细胞的背景剥离。并在提取出白细胞的基础上,将白细胞的细胞核与细胞浆作为图像的前景与背景,在白细胞B通道图像上利用大津法,实现了细胞核的提取。图 6为白细胞完整分割流程。图 6h灰度图中横坐标为灰度等级, 取值范围是0~255,纵坐标为每个灰度等级相应的像素个数。

      Figure 6.  Leukocyte segmentation process

    • 在应用反向传播(back propagation,BP)神经网络[16]进行分类时,训练集数据占有重要的地位,直接影响分类器的质量。选取具有代表性且分割效果较好的白细胞子图作为训练集,可以避免因为过分割或欠分割造成的提取特征参量偏差,并增强分类器的鲁棒性。然后对测试集中白细胞图像进行特征提取,组建特征向量,然后传入训练好的BP神经网络分类器进行分类。

    • 白细胞图像的分割是为了提取对细胞核和细胞浆描述的特征参量[17],拟采用形态、颜色、纹理3个方面对细胞核和细胞浆进行特征提取。

    • 提取的细胞的形态特征[18]包括细胞核的分叶数,细胞核的凸性,细胞核的偏心率,细胞核的伸长度,细胞核的圆形度,细胞的面积、周长、圆形度、核质比, 以及形状因子。

    • 颜色特征[19]选取细胞,细胞核以及细胞浆在R, G, B这3个通道上的灰度均值,方差以及偏斜率。

    • 纹理特征选取细胞、细胞核和细胞浆像素的灰度共生矩阵[20],求取其能量、对比度、逆差矩、熵、相关性。

    • BP神经网络的工作原理是将样本数据通过输入层、经隐含层向网络输出层进行正向传递,传递过程称为正向传播。样本数据经过多层网络计算,将得到的结果与标注的分类标签进行比较,通过损失函数计算误差,然后再由输出层向输入层进行反馈调节,这种反馈调节机制称为反向传播。通过反馈信号,每层神经元进行自我更新,逐层反馈到输入层。其中,反馈误差信号就是各个神经元更新权值的依据。本文中拟采用3层网络架构,选取sigmoid函数作为激活函数。

      (1) 确定网络节点数。在白细胞的形态特征、颜色特征、纹理特征中选取了17种特征作为输入层节点数,即m=17,输出层节点数对应白细胞的常规分类种数,即n=5,隐含层节点数l的确定参考如下公式:

      $ l <\sqrt{(m+n)}+a $

      (8)

      式中,a取0~10的常数,通过实验方法确定节点数l=12。

      (2) 特征参量归一化。将白细胞特征参量进行归一化操作,避免数据量级差别带来的计算偏差。

      (3) 网络初始化和算法选择。初始化阶段,给予权重系数W一个随机数(-1.0~1.0),学习速率为0.1,迭代次数为500次。然后采用梯度修正法和反向错误传播算法。

    • 图 1所示的显微视觉平台上,完成了1075幅高质量白细胞图像采集,其中训练集数据是508幅,567幅作为测试集数据。实验结果如表 1所示。

      Table 1.  Experimental results of leukocyte recognition

      leukocyte species leukocyte count correct segmentation correct recognition recognition rate/%
      neutrophils 137 137 134 97.8
      lymphocyte 125 125 122 97.6
      monocyte 115 115 113 98.2
      eosinophil 105 102 98 96
      basophil 85 79 75 88.2
      cell count 567 558 543 95.6

      由实验结果可以看出,对5类常见白细胞的识别率为88.2%~98.2%,由于嗜碱性粒细胞其表面颗粒度复杂,在细胞核提取过程中容易造成过分割和欠分割的现象,导致分割方法失效。故分类过程中取得了较低的识别率。

      良好的分割是识别的前提,精确的分割结果可以得到白细胞的高识别率。如表 1所示,白细胞样本综合识别率为95.6%,在临床应用中取得预期效果。

    • 面向血细胞形态学临床检验应用需求,研究了白细胞的显微视觉图像人工智能识别算法。通过实验筛选,白细胞图像颜色模型采用的背景分割方法具有较高的效率和精度;并在背景剥离的基础上,利用大津法实现了白细胞细胞核和细胞浆的有效提取;设计了白细胞BP神经网络分类器,并完成了特征向量库训练,实现了对白细胞的自动识别,大样本识别准确率达到95.6%,为白细胞形态学识别的自动化和智能化奠定了基础。

参考文献 (20)

目录

    /

    返回文章
    返回