Summary of color night vision technology

夜视技术是通过光电成像器件来探测夜间目标的技术^[1-3]，它能够通过光探测器和成像设备的采集、处理和显示等过程将肉眼在夜间无法辨别的目标转换成可视目标^[4]。从1929年柯勒发明的银氧铯光阴极为标志，开始了夜视技术的研究。传统夜视技术主要分为微光夜视技术和红外夜视技术。目前，红外夜视仪、热像仪以及微光夜视仪等夜视设备已具有成熟的理论和技术，但它们获得的夜视图像均为单色的灰度图像，很容易有其它物体对目标造成干扰，这对人眼对于目标的识别造成了困难^[5-7]。

人眼对于灰度级识别仅为几十种，但对于颜色的识别可达到上千种^[8]，色彩信息可极大增强人眼对目标的识别概率，经试验，彩色图像相比灰度图像可提高识别速率30%，可减少误识率60%^[9]。在监视、侦察和安全应用等应用领域，彩色图像比单色图像有两个主要优点。首先，颜色可以改善对比度^[10]，从而实现更好的场景分割和物体检测。这种对比度改进可以应用于真彩色和假彩色图像，其中伪彩色图像可以通过融合来自具有不同光谱灵敏度的相机(例如可见光)的图像来形成^[11]。颜色的第2个好处是它提供了更多信息。可以利用对大脑或计算机数据库中存储的颜色知识的访问来更好地实现对象识别和场景理解^[12]，这个优点仅适用于真彩色图像。所以，为了更好地应用夜视图像的色彩信息，彩色夜视技术越来越受到关注^[13]。

彩色夜视技术既可依靠图像亮度差别，又可依靠颜色差别识别目标。相比于传统的单色夜视仪器，其图像细节信息极大丰富，夜视作用距离显著提高^[14]。彩色夜视技术主要经历了两个阶段：一是伪彩色阶段，二是真彩色阶段^[15]。真彩色夜视技术致力于得到与人眼在白昼条件下与可见光波段相吻合的、色彩信息更加接近物体真实颜色的彩色夜视图像^[16]，它相比伪彩色夜视图像进一步提高了目标的识别速率和正确率，所以具有很高的实际意义和应用价值。彩色夜视仪器在夜间侦察、作战、医疗、交通、监视等领域具有重要的应用价值^[17]。例如：夜间作战人员利用彩色夜视仪器可迅速判断景物地形，正确进行敌我识别、伪装识别，提高人员与武器装备操作的协调性，提升精确打击能力；夜间军事战争中，医疗救助人员可依靠彩色夜视仪器准确判断伤员位置、受伤程度，缩短医疗救助时间，为伤员的生命救助带来更多的可能性；利用彩色夜视仪器进行监视夜间犯罪行为，可为警方提供更多的犯罪细节信息，为案件侦破带来更多的帮助。所以，无论在军事或是民用领域，均具有广泛的应用前景。

国外对于彩色夜视技术十分重视，目前已有不少产品投入军事和民用领域。许多研究表明，与单色图像相比，彩色图像的场景理解、反应时间和物体识别更快、更准确^[18]。20世纪70年代，荷兰便已开始了彩色夜视技术的研究，但未成功^[19]。直至上世纪80、90年代，美国、日本、加拿大等国家都进行了彩色夜视设备的深入研究，如荷兰代尔夫特(Delft)公司研制出利用两个不同光谱响应的探测器探测到同一场景的不同波段图像，将其融合后得到假彩色图像^[19]；美国伍德公司研制出全彩色夜视摄像机，它能够实现在获取图像的同时，对视频图像进行增强^[20]。2006年，OKSI公司对采用不同真彩色夜视方案的两台真彩色夜视摄像机的分辨率、图像对比度、色彩再现保真度、信噪比等性能进行了测试^[15]，第1台摄像机是在定制的第3代图像增强型互补金属氧化物半导体(complementary metal oxide semiconductor, CMOS)探测器前使用快速切换液晶滤波器，第2台摄像机则将马赛克滤波器直接置于电子倍增电耦合器件(electron-multiplying charge-coupled device，EMCCD)前，这两台摄像机于当时均处于原型机阶段，并未投产。2014年，日本一款新相机FALCON EYE KC-2000作为第一款专门用于录制夜间或全彩色低光场景的摄像机问世，它的分辨率可达到1280像素×720像素，这就意味着不仅可以获得看起来像是在白天拍摄的图像，还可以看到比从数码相机或专用夜视摄像头获得的更多细节^[15]。

目前，我国军用领域主要装备传统微光夜视仪、红外夜视仪和红外热像仪，对于彩色夜视装备的研究与制备刻不容缓。以南京理工大学和北京理工大学为代表的国内高校和研究所从20世纪90年代开始，一直致力于彩色夜视技术的研究和实验验证^[21]。北京理工大学的JIN和GAO等人对彩色融合算法、配准技术、色彩传递以及结果图像效果评价做出深入研究，其主要涉及到微光双谱融合、微光与长波红外热图像融合、紫外与微光图像融合、多光谱彩色融合夜视技术以及激光助视融合彩色夜视技术进行了大量研究。北京理工大学光电工程系提出一种基于视觉拮抗模型的非线性图像增强与线性组合法结合的混合结构融合法，较MIT法更为简单、实时性更好且融合更佳^[4]。南京理工大学开展了多项彩色夜视技术的研究，例如微光双谱彩色夜视技术、微光与红外彩色夜视技术、激光注视彩色夜视技术，涉及到光谱分割点的确定、图像融合算法的研究以及彩色夜视系统的构建等相关内容^[22]。另外，昆明物理研究所、西安电子科技大学关于图像配准与图像融合技术也取得长足进展^[23]。

现国外仅有为数不多的报道与真彩夜视仪器相关，但这些报道只是简单介绍产品，并没有描述彩色夜视技术的具体设计和实施方案，例如来自日本的新相机FALCON EYE KC-2000、美国Tenebraex公司研制的ColorPath^TM彩色夜视仪(color capable night vision device, CCNVD)。北京理工大学等高校对于彩色夜视技术进行了深入研究。本文中着重介绍目前了解到的彩色夜视技术的几种方式。

硬件方式也称为直接方式^[23]，它是基于彩色夜视系统中硬件平台的设计实现彩色夜视图像的实时处理。一种方式是利用人眼视觉的暂留效应通过同一目标不同颜色图像迅速切换，在人眼形成一幅彩色图像。OKSI公司2007年推出一款彩色夜视相机，如图 1所示。它通过在第3代像增强CMOS探测器前增加液晶滤光片，其透过颜色可通过驱动电压调节，使得分次曝光后获得同一视场不同颜色的图像，最后进行图像重构获得具有自然感彩色的可视图像。因其液晶滤光片可在1ms内迅速转换，故此系统具有很好的实时性。

另一种硬件方式是采用光能增强的方式^[24]。事实上，夜间目标的辐射或反射光中是存在光谱(颜色)信息的，因此，只要将夜间目标的光能进行放大处理，利用彩色相机完全可以获得目标的彩色图像。1996年，McDonnell Douglas公司推出一款彩色夜视头盔，它分别由物镜、像增强器、电光滤波器以及目镜组成。由物镜接收低照度条件下场景的辐射能，像增强器将其能量放大增强后，经过电路控制的电光滤波器后可获得不同颜色状态(红、绿、蓝)的增强的视场图像，最终人眼通过目镜观察到彩色夜视图像。此过程需保持控制电路产生高频信号控制电光滤波器，从而视觉中形成的图像不会闪烁。近期，美国研制的X27第4代全彩夜视仪不仅具备将夜晚变成如白昼条件下的景象，还支持4K画质输出，使得黑夜与白昼几无差别。

软件方式又称间接方式^[15]，它包括基于多传感器图像融合的方法和基于颜色转换的方法，其中基于融合的方法是通过多个传感器采集分光谱图像进行融合得到彩色图像，而基于颜色转换的方法则是通过与参考图像作对比，使当前的灰度图像转换为彩色图像^[6]。

多个传感器可采集多个分波段图像，例如微光、近红外、短波红外、中波红外和长波红外图像，它们携有不同的颜色信息，故经图像融合后可显示为彩色图像^[25]。图像融合算法的选择则更具有灵活性，可根据不同的目的需求调整融合算法。大致分为以下4个步骤：(1)采集夜视分波段源图像；(2)源图像预处理；(3)源图像间组合得到处理后图像；(4)将处理后图像映射到彩色空间得到彩色夜视图像。其中第(3)步源图像间组合可分为线性组合法和非线性组合法^[26]，亦可跳过此步骤直接进行映射^[10]。

最为典型的是美国麻省理工学院林肯实验室开发的MIT(Massachusetts Institute of Technology)法^[9]，它基于生物视觉特性，将微光与红外图像融合。人的视网膜分为on域和off域(统称为感受野)，它们分别对光照具有兴奋和抑制的作用。on感受野增强中心，抑制周边，而off感受野正好相反，这就是拮抗处理过程，此过程可增强图像的对比度。中心-周边感受野神经动力学方程如下：

式中，E是增强后的图像；I₁是使感受野中心兴奋的输入图像；I₂是使感受野周边抑制的输入图像；G(s)为高斯函数的缩写形式；i, j为像素位置；A, C为调节参量。

MIT法的基本思路为：(1)使用中心-周边神经分离网络分别使微光图像和红外图像对比度增强; (2)使用中心-周边神经分离网络，将微光图形送入中心，红外图像送入周边，形成单拮抗彩色对比度图像; (3)将以上得到的图像经过色彩空间映射成一幅彩色图像。图 2为MIT法基本流程图。而后在此基础上对MIT法做了许多改进，得到了不错的效果。

有学者于2001年提出一种颜色转换的思想^[27]，即将一幅图像赋予与参考图形颜色类似的彩色图像。TOET于2003年通过一幅具有自然感彩色的参考图像用色彩传递的方法使一幅经过直接映射得到的夜视图像“赋予了自然感彩色”。图 3是TOET得到的彩色夜视图像。

2008年，TOET通过建立2维查找表的方法使双通道微光夜视图像输出彩色图像，为彩色夜视的实时性处理带来便利，可实现视频处理^[28-30]。他的方法流程如下：(1)将参考图像颜色传递给双通道夜视融合图像；(2)得到的彩色夜视融合图像与双通道的分波段图像的灰度信息建立色彩查找表；(3)通过查找表实现实时输出彩色夜视图像^[31-32]。

自TOET提出基于色彩传递的彩色夜视方法提出后，许多学者热衷于如何将参考图像的自然感彩色信息“传递”给融合图像。2008年，北京理工大学开发了基于双数字信号处理的实时自然感彩色彩色融合处理板，它实现基于色彩传递的融合实时处理，将微光图像与红外热像仪图像融合后获得具有自然感彩色的彩色夜视图像^[15]。

目前，基于色彩传递的方法已广泛应用于彩色夜视技术中，其获得的彩色夜视图像相比于多波段图像融合得到的假彩色夜视图像的色彩更符合人眼视觉特性，具有自然感彩色以及较好的实时性。

彩色夜视技术对于人类社会的发展具有重要意义。本文中叙述了夜视技术背景、彩色夜视技术的发展^[18]，详细分述了彩色夜视技术两种工作方式中的几种方法。彩色夜视技术可分为硬件方式和软件方式，在文中对于每一种工作方式均做出阐述与举例，并对其彩色夜视效果做了简要说明。其中通过硬件方式的彩色夜视技术具有更好的实时性，并具有良好的色彩效果；而通过软件合成的方式具有更好的可调节性和可操作性，可人为根据目的需求调整处理算法^[33-34]，达到最佳的色彩效果。

对于彩色夜视技术工作方式的几种方法，均有待对其关键技术进行完善^[35-36]。例如基于色彩传递的方法得到彩色夜视图像的色彩效果基本取决于参考图像或者查找表，基于融合的方法对于实时处理速度要高的条件不适用，而基于硬件方式的色彩处理效果直接受到传感器性能的制约。所以，彩色夜视技术还有很大的发展空间^[36]。