高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于光谱重建技术的壁画颜色复原与评价

王可 王慧琴 殷颖 毛力 张毅

引用本文:
Citation:

基于光谱重建技术的壁画颜色复原与评价

    作者简介: 王可(1981-), 男, 博士, 讲师, 现主要从事光谱图像处理的研究。E-mail:wangke@xauat.edu.cn.
  • 基金项目:

    西安建筑科技大学基金资助项目 JC1514

    西安建筑科技大学基金资助项目 QN1628

    陕西省科技厅重点研发计划资助项目 2017KW-036

    国家自然科学基金青年基金资助项目 61701388

    西安市碑林区科技计划资助项目 GX1606

    西安市科技计划资助项目 2016043SF/RK06(3)

    住房和城乡建设部科学技术计划资助项目 2017-K2-014

    陕西省教育厅科研计划资助项目 17JK0431

  • 中图分类号: O433.4

Reproduction and evaluation of mural color based on spectral reconstruction technology

  • CLC number: O433.4

  • 摘要: 为了在给定的照明和观察条件下,用相机响应信号重建物体表面光谱反射率,实现颜色的高精度复原,采用了多光谱成像技术采集物体表面的多光谱图像,使用主成分分析、 R 矩阵和正则化 R 矩阵方法进行了光谱反射率重建的理论研究,并对壁画色块颜色复原进行了实验验证,取得了壁画色块的重建光谱和颜色复原数据,同时对基于正则化 R 矩阵方法的壁画色块颜色复原结果进行了评价。结果表明,正则化 R 矩阵方法进行光谱重建的光谱精度和色度精度更高,与主成分分析和 R 矩阵方法相比,色差降低了0.0732,适应度系数提高了1.10%,均方根误差降低了0.0035,光谱匹配偏指数降低了0.0225。该方法能够满足高精度颜色再现的需要,适用于文物艺术品数字化存档、文物艺术品修复等领域。
  • Figure 1.  Flow chart of color reproduction based on spectra

    Figure 2.  a—mural referential patches b—mural's multi-spectra images

    Figure 3.  The reconstructed spectral reflectance of mural referential patches

    Figure 4.  CIE LAB colorimetric spatial distribution of mural referential patches by three reconstruction methods

    Figure 5.  The original and reproduced mural images rendered by different light sources

    a—the original mural rendered by D65 light source b—the original mural rendered by A light source c—the reproduced mural rendered by D65 light source d—the reproduced mural rendered by A light source

    Table 1.  ΔE, RMSE, GFC, ISSD of mural referential patches by three reconstruction methodsc

    method target 1 2 3 4 5 6 mean
    RMR ΔE 1.2415 0.9127 2.2456 1.8367 4.7675 1.5689 2.0955
    GFC/% 99.73 99.32 99.25 99.54 99.16 99.85 99.47
    ISSD 0.1168 0.0102 0.1605 0.1387 0.3101 0.1609 0.1492
    RMSE 0.0133 0.0122 0.0327 0.0204 0.0384 0.0127 0.0214
    MR ΔE 1.3045 0.9218 2.3003 1.8836 4.9995 1.6024 2.1687
    GFC/% 99.60 99.28 99.21 99.45 99.01 99.80 99.39
    ISSD 0.1211 0.0154 0.1835 0.2019 0.3301 0.1783 0.1717
    RMSE 0.0147 0.0166 0.0354 0.0245 0.0401 0.0179 0.0249
    PCA ΔE 1.3357 0.9276 2.5976 1.9081 5.0874 1.6701 2.2544
    GFC/% 99.53 99.25 99.17 99.31 98.92 99.75 99.32
    ISSD 0.1234 0.0178 0.2096 0.2297 0.3299 0.1721 0.1754
    RMSE 0.0155 0.0188 0.0357 0.0249 0.0472 0.0187 0.0268
    下载: 导出CSV

    Table 2.  Test results of subjective evaluation

    light source D65 light source A light source
    score 0.8927 0.8702
    下载: 导出CSV

    Table 3.  Score description of subjective evaluation

    score effect
    0.9001~1.0000 perfect
    0.8001~0.9000 very good
    0.7001~0.8000 good
    0.6001~0.7000 general
    0.5001~0.6000 poor
    0.1001~0.5000 very poor
    下载: 导出CSV
  • [1]

    ZOU J P, YANG J, LI H N, et al. Study of spectral reflectance reconstruction based on matrix R method[J]. Acta Optica Sinica, 2014, 34(s2):s233001(in Chinese).
    [2]

    ZHENG C Y, GUO Zh H, JING L. Measurement of total viable count on chilled mutton surface based on hyperspectral imaging technique[J]. Laser Technology, 2015, 39(2):284-288(in Chinese). 
    [3]

    LI Y M, CHEN H J, LIU Ch J. Talking about the development of spectral color reproduction of printed manuscripts[J]. China Print, 2017, 298(10):75-78(in Chinese).
    [4]

    FAN L N, ZHOU Sh Sh. Online detection and evaluation of print co-lor reproduction quality based on iCAM[J]. Packaging Engineering, 2018, 39(1):196-201(in Chinese).
    [5]

    HE S H, GAO Y, CHEN Q, et al. The set up of primary liner mixed space in spectral color reproduction[J]. Acta Optica Sinica, 2016, 36(3):0333001(in Chinese). doi: 10.3788/AOS
    [6]

    XIAO W, CHEN J Zh, YANG G G. Color printing and printing spectrum color separation method for metachromatic spectrum anti-counterfeiting: China, 104316469 A[P]. 2015-01-28(in Chinese).
    [7]

    WU Q, WANG H, SHI Y L. Color reproduction quantitative analysis of color reflection holography[J]. Chinese Journal of Lasers, 2016, 43(11):1109001(in Chinese). doi: 10.3788/CJL
    [8]

    HUANG H L, YI W N, DU L L, et al. Multi-spectral remote sensing image true color synthesis technique based on artificial target[J]. Infrared and Laser Engineering, 2016, 45(11):347-352(in Chin-ese). 
    [9]

    ZENG Y, ZENG Y A, ZHANG N Y Sh, et al. A novel method to improve spectral detection capability of imaging spectrometers[J]. Laser Technology, 2018, 42(2):196-200(in Chinese). 
    [10]

    LONG Y Q, WANG H Q, WANG K, et al. Study on spectral reconstruction method based on optimized selected samples[J]. Imaging Science and Photochemistry, 2017, 35(1):88-96(in Chinese). 
    [11]

    HE S H, LIU Zh, CHEN Q. Research of spectral dimension reduction method based on matrix R theory[J]. Acta Optica Sinica, 2014, 34(2):0233001(in Chinese). doi: 10.3788/AOS
    [12]

    WANG J J, LIAO N F, WU W M, et al. Spectral reflectance reconstruction with nonlinear composite model of the metameric black[J]. Spectroscopy and Spectral Analysis, 2017, 37(3):704-709(in Chinese). 
    [13]

    OU J X, LIU W Ch. Fitting of sphere point clouds by weighted total least squares based on IGGⅢ scheme[J]. Laser Technology, 2017, 41(5):749-753(in Chinese). 
    [14]

    WANG K, WANG H Q, LONG Y Q, et al. Spectral reflectance reconstruction based on dimension reduction regularization polynomials[J]. Laser & Optoelectronics Progress, 2018, 55(5):053004(in Chinese). 
    [15]

    ONETO L, RIDELLA S, ANGUITA D. Tikhonov, Ivanov and Morozov regularization for support vector machine learning[J]. Machine Learning, 2016, 103(1):103-136. doi: 10.1007/s10994-015-5540-x
    [16]

    ZHENG H Y, HU F R. Design of narrowband guided-mode resonance filters in visible wavelength region[J]. Laser Technology, 2016, 40(1):118-121(in Chinese). 
    [17]

    LI F. Characteristics, mechanism and cleaning of mycosis diseases in ancient architecture murals[J]. Identification and Appreciation to Cultural Relics, 2016, 96(11):110-111(in Chinese).
    [18]

    ZHANG F Zh, XU H S, FENG H. Spectral matching method for improving metamerism quality of LED daylight simulator[J]. China Illuminating Engineering Journal, 2017, 28(2):23-27(in Chin-ese). 
    [19]

    HUANG M, SHI Ch J, LI Z Y. Influences on observers color discrimination with normal color vision[J]. Acta Optica Sinica, 2016, 36(9):0933001(in Chinese). doi: 10.3788/AOS
    [20]

    HUANG M, CUI G H, LIU Y. Analysis of observers metamerism differences for different retinal cone visual responses[J]. Spectroscopy and Spectral Analysis, 2015, 35(10):2802-2809(in Chin-ese). 
  • [1] 雷选华孔小健杨文亮 . 基于粒子群优化的正则化水下图像盲复原. 激光技术, 2015, 39(6): 811-814. doi: 10.7510/jgjs.issn.1001-3806.2015.06.017
    [2] 郝健张记龙崔丹凤景宁 . 基于FPGA的傅里叶变换光谱仪光谱复原技术. 激光技术, 2011, 35(6): 804-807. doi: 10.3969/j.issn.1001-3806.2011.06.022
    [3] 陆俊高淑梅熊婕杨幼益陈国庆 . 女性尿液荧光光谱学特性及机理分析. 激光技术, 2010, 34(1): 45-47,84. doi: 10.3969/j.issn.1001-3806.2010.01.013
    [4] 付奎娄本浊孙彦清龙姝明黄朝军 . Zn0.95-xBe0.05MnxSe稀磁半导体的光谱特性分析. 激光技术, 2015, 39(1): 135-139. doi: 10.7510/jgjs.issn.1001-3806.2015.01.027
    [5] 徐永浩宋彪陈晓帆黄梅珍 . 微型近红外光谱仪在苹果糖度测量中的应用研究. 激光技术, 2019, 43(6): 735-740. doi: 10.7510/jgjs.issn.1001-3806.2019.06.001
    [6] 赵佳乐周冰王广龙应家驹王强辉邓磊 . 基于广义逆矩阵的BRDF模型参数拟合方法. 激光技术, 2023, 47(3): 407-412. doi: 10.7510/jgjs.issn.1001-3806.2023.03.019
    [7] 邱选兵魏永卜孙冬远张恩华李传亮魏计林臧振中 . 小型化燃煤电厂逃逸氨气激光测量仪. 激光技术, 2019, 43(5): 697-701. doi: 10.7510/jgjs.issn.1001-3806.2019.05.021
    [8] 张进姜红刘峰段斌 . 差分喇曼光谱结合化学计量学检验烟用内衬纸. 激光技术, 2021, 45(1): 61-66. doi: 10.7510/jgjs.issn.1001-3806.2021.01.011
    [9] 毕琳娜陈国庆王俊颜浩然 . 甲基对硫磷溶液的荧光光谱及其特性----. 激光技术, 2010, 34(2): 253-257. doi: 10.3969/j.issn.1001-3806.2010.02.030
    [10] 付翔乐文冉王颖汪亚邹林邓志峰占生宝 . 基于凹面光栅的光谱检测仪性能提升的研究进展. 激光技术, 2023, 47(6): 757-765. doi: 10.7510/jgjs.issn.1001-3806.2023.06.005
    [11] 张咏程瑶闫雨桐陈超陈国庆 . 几种常见食用油加热后荧光光谱特性变化的研究. 激光技术, 2013, 37(1): 109-113. doi: 10.7510/jgjs.issn.1001-3806.2013.01.027
    [12] 严阳华文深刘恂崔子浩 . 高光谱解混方法研究. 激光技术, 2018, 42(5): 692-698. doi: 10.7510/jgjs.issn.1001-3806.2018.05.020
    [13] 王龙沈学举张维安董红军 . 高斯光束的光谱传输特性分析. 激光技术, 2012, 36(5): 700-703. doi: 10.3969/j.issn.1001-3806.2012.05.032
    [14] 向英杰杨桄张俭峰王琪 . 基于光谱梯度角的高光谱影像流形学习降维法. 激光技术, 2017, 41(6): 921-926. doi: 10.7510/jgjs.issn.1001-3806.2017.06.030
    [15] 曾言曾延安张南洋生赵宇龙建明 . 一种改善成像光谱仪光谱检测能力的新方法. 激光技术, 2018, 42(2): 196-200. doi: 10.7510/jgjs.issn.1001-3806.2018.02.011
    [16] 罗泽鹏黄佐华唐志列 . 用光声光谱法测量紫外光探测器的光谱响应. 激光技术, 2008, 32(5): 453-455,459.
    [17] 王强辉华文深黄富瑜严阳张炎索文凯 . 基于光谱角背景纯化的高光谱异常检测算法. 激光技术, 2020, 44(5): 623-627. doi: 10.7510/jgjs.issn.1001-3806.2020.05.016
    [18] 林伟豪高致慧杨勇黄必昌贺威 . 基于激光光谱差分法检测NO2. 激光技术, 2014, 38(6): 835-838. doi: 10.7510/jgjs.issn.1001-3806.2014.06.024
    [19] 陈亮游利兵王庆胜尹广玥褚状状方晓东 . 紫外激光诱导击穿光谱的应用与发展. 激光技术, 2017, 41(5): 619-625. doi: 10.7510/jgjs.issn.1001-3806.2017.05.001
    [20] 姚中一熊东升白玉思王新兵左都罗 . 蓝紫光的腔增强空气喇曼光谱. 激光技术, 2020, 44(2): 217-220. doi: 10.7510/jgjs.issn.1001-3806.2020.02.014
  • 加载中
图(5) / 表(3)
计量
  • 文章访问数:  6354
  • HTML全文浏览量:  4237
  • PDF下载量:  82
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-04-20
  • 录用日期:  2018-06-16
  • 刊出日期:  2019-03-25

基于光谱重建技术的壁画颜色复原与评价

    作者简介: 王可(1981-), 男, 博士, 讲师, 现主要从事光谱图像处理的研究。E-mail:wangke@xauat.edu.cn
  • 西安建筑科技大学 信息与控制工程学院, 西安 710055
基金项目:  西安建筑科技大学基金资助项目 JC1514西安建筑科技大学基金资助项目 QN1628陕西省科技厅重点研发计划资助项目 2017KW-036国家自然科学基金青年基金资助项目 61701388西安市碑林区科技计划资助项目 GX1606西安市科技计划资助项目 2016043SF/RK06(3)住房和城乡建设部科学技术计划资助项目 2017-K2-014陕西省教育厅科研计划资助项目 17JK0431

摘要: 为了在给定的照明和观察条件下,用相机响应信号重建物体表面光谱反射率,实现颜色的高精度复原,采用了多光谱成像技术采集物体表面的多光谱图像,使用主成分分析、 R 矩阵和正则化 R 矩阵方法进行了光谱反射率重建的理论研究,并对壁画色块颜色复原进行了实验验证,取得了壁画色块的重建光谱和颜色复原数据,同时对基于正则化 R 矩阵方法的壁画色块颜色复原结果进行了评价。结果表明,正则化 R 矩阵方法进行光谱重建的光谱精度和色度精度更高,与主成分分析和 R 矩阵方法相比,色差降低了0.0732,适应度系数提高了1.10%,均方根误差降低了0.0035,光谱匹配偏指数降低了0.0225。该方法能够满足高精度颜色再现的需要,适用于文物艺术品数字化存档、文物艺术品修复等领域。

English Abstract

    • 彩色图像的应用在人们的日常生活中随处可见,随着社会的进步和科学技术的发展,人们对颜色复原技术的要求也在不断的提高[1]。传统的颜色复原方式有基于色度的颜色复原、正确的颜色复原、等价颜色复原以及对应颜色的颜色复原等。因为同色异谱现象的存在,这些方式虽然能成功实现颜色的复原,但无法实现颜色的无条件复原。由于物体的反射光谱具有“指纹”效应,可以利用不同物不同谱、同物一定同谱的原理来分辨不同的物质信息[2],并且物体的反射光谱不会随着光源及观察者的变化而改变,因此,利用反射光谱来实现颜色复原具有很高的稳定性和可靠性。基于光谱的颜色复原逐渐成为了当前跨媒体颜色复原的重要技术手段,可以有效地消除同色异谱的问题,实现颜色的无条件匹配。多光谱成像技术对反射光谱的多个波段采样,可以详细地记录颜色特性,有效地解决了传统彩色相机采集数据精度不高的问题,能够实现高精度的颜色复原[3-5]。因此,利用多光谱成像技术重建物体的反射光谱来实现物体真实颜色的复原,能够满足文物艺术品复制的高精度需要。

      本文中利用多光谱成像系统采集色卡和壁画的多通道响应数据,使用多种光谱重建算法计算壁画表面的光谱反射率,结合相关颜色理论和光谱图像处理方法实现壁画的颜色复原。

    • 基于光谱的颜色复原以反射光谱为基础,能够保证复原颜色与物体真实颜色在特定的光照条件下具有相同的颜色值。基于光谱的颜色复原流程如图 1所示。

      Figure 1.  Flow chart of color reproduction based on spectra

      图 1可知,首先利用多光谱成像系统采集物体颜色的多光谱图像,然后通过重建物体表面的反射光谱得到光谱空间,再利用色度学将光谱空间变换到国际照明委员会(Commission Internationale de L’Eclairage/International,CIE)定义的XYZ标准色度空间,进而变换到标准RGB(standard red green blue,sRGB)色彩空间,从而复原物体表面真实的颜色。

      不同的物质在光照条件下产生不同的颜色,呈现出颜色是物质的光谱特性、特定光源和观察者视觉三者共同作用的结果。在物体、光照和观察者三者共同影响下,利用光谱空间进行表色,能够准确的计算出物质在不同光照和观察者条件下的颜色值[6]。在物体不透明的情况下,由光源照射到物体表面的反射光线与入射光线之比称之为光谱反射率,在光照l(λ)的条件下,光谱辐射率空间p(λ)和光谱反射率空间r(λ)之间的转换公式为:

      $ \left\{ \begin{array}{l} r\left( \lambda \right) = \frac{{p\left( \lambda \right)}}{{l\left( \lambda \right)}}\\ p\left( \lambda \right) = r\left( \lambda \right)l\left( \lambda \right) \end{array} \right. $

      (1)

      对380nm~780nm范围内的可见光每隔20nm进行采样,可以得到41维的光谱空间,该光谱空间又可以变换到CIE XYZ标准色度空间[7],进而映射到sRGB色彩空间[8],用于显示标准的CIE RGB色彩空间[7]。不透明物体的CIE XYZ三刺激值X, Y, Z计算公式为:

      $ \left\{ \begin{array}{l} X = \rho \sum\limits_{380}^{780} {\left[ {r\left( \lambda \right) \cdot l\left( \lambda \right) \cdot \bar x\left( \lambda \right)\Delta \lambda } \right]} \\ Y = \rho \sum\limits_{380}^{780} {\left[ {r\left( \lambda \right) \cdot l\left( \lambda \right) \cdot \bar y\left( \lambda \right)\Delta \lambda } \right]} \\ Z = \rho \sum\limits_{380}^{780} {\left[ {r\left( \lambda \right) \cdot l\left( \lambda \right) \cdot \bar z\left( \lambda \right)\Delta \lambda } \right]} \end{array} \right. $

      (2)

      式中,r(λ)为物体的光谱反射率,l(λ)为光照的光谱功率分布函数,x(λ), y(λ), z(λ)为CIE XYZ标准观察者光匹配函数,ρ为归一化系数。由CIE XYZ到色彩空间RGB的转换公式为:

      $ \left[ {\begin{array}{*{20}{c}} R\\ G\\ B \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {3.24045}&{ - 1.53714}&{ - 0.498531}\\ { - 0.96927}&{1.876011}&{0.0415560}\\ {0.055643}&{ - 0.20403}&{1.057225} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} X\\ Y\\ Z \end{array}} \right] $

      (3)

      式中,R, B, G的取值范围为[1, 0]。将得到的RGB值转到图形颜色范围[0, 255]的r, g, b分量,公式为:

      $ \left\{ \begin{array}{l} r = {\gamma ^ + }\left( R \right) \times 255\\ g = {\gamma ^ + }\left( G \right) \times 255\\ b = {\gamma ^ + }\left( B \right) \times 255 \end{array} \right. $

      (4)

      式中,γ+R, G, Bγ逆变换。

    • 光谱成像系统采集物体后,得到的多通道输出图像信号是采集设备的光谱属性、特定光照条件和物体的光谱特性共同作用的响应结果[9]。对于确定的滤光片和照明条件,光谱反射率可以由相机信号经过线性变化得到。设相机的信号g到反射率r的转化矩阵为Q,则有:

      $ \mathit{\boldsymbol{g}} = \mathit{\boldsymbol{Qr}} $

      (5)
    • 由于光谱数据维度较大,在实际计算中,可以将光谱反射率数据集r近似表示为k个彼此正交的单位基向量Bi的线性组合[10],即:

      $ \mathit{\boldsymbol{r}} = \mathit{\boldsymbol{Ba}} = \sum\limits_{i = 1}^k {{\mathit{\boldsymbol{B}}_i}{a_i}} $

      (6)

      式中,B=[B1B2Bk]为特征向量矩阵,a=[a1a2ak]T为转换矩阵。设定M个不相等的N维光谱反射率组成矩阵r=[r1r2rM]T,对r奇异值分解,令r=USVT,其中,S=diag(σ1, σ2, …, σi)是对角矩阵,σ为奇异值,UV分别由rrTrTr的特征向量组成。使用主成分分析(principal component analysis,PCA)方法计算中,当光谱反射率数据的组合满足前k个主成分累积贡献率大于99.95%时,将(6)式代入(5)式中可以得到:

      $ {\mathit{\boldsymbol{g}}_0} = \mathit{\boldsymbol{QB}}{\mathit{\boldsymbol{a}}_0} $

      (7)

      式中,g0Ba0Q分别为训练样本集(r0, g0)的通道响应值、r0的特征向量矩阵和转换矩阵,根据(7)式令系数转换矩阵a0=[(QB)T(QB)]-1(QB)Tg0,这样QB的值可以使用g0表示为[(QB)T(QB)]-1(QB)T=a0g0T(g0g0T)-1。对于测试样本集的通道响应g,系数转换矩阵为a=[(QB)T(QB)]-1(QB)Tg=a0g0T(g0g0T)-1g,因此,使用PCA方法重建的光谱反射率$ {\mathit{\boldsymbol{\hat r}}}$为:

      $ \mathit{\boldsymbol{\hat r}} = \mathit{\boldsymbol{B}}{\mathit{\boldsymbol{a}}_0}{\mathit{\boldsymbol{g}}_0}^{\rm{T}}{\left( {{\mathit{\boldsymbol{g}}_0}{\mathit{\boldsymbol{g}}_0}^{\rm{T}}} \right)^{ - 1}}\mathit{\boldsymbol{g}} $

      (8)
    • 根据R矩阵(matrix R, MR)的理论,矩阵R可以看作是一个正交投影算子,由观察者和特定照明条件共同作用的矩阵A表示[11],即A=hsvh为三刺激值参量,s为照明光源的功率分布,v为观察者匹配函数。定义矩阵R为:

      $ \mathit{\boldsymbol{R}} = \mathit{\boldsymbol{A}}{\left( {{\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{A}}} \right)^{ - 1}}{\mathit{\boldsymbol{A}}^{\rm{T}}} $

      (9)

      R矩阵方法可以由同色异谱b和基本刺激光谱r两部分组成。基本刺激光谱r可由三刺激值t计算得到,令t=ATr,则r=(AT)+t=A(ATA)-1t,其中(AT)+AT的伪逆。基本刺激光谱r和光谱反射率r之差得到同色异谱黑b,即b=rr。使用投影算子R矩阵对光谱反射率r进行分解,得到rR上的投影r[12], 即r=Rr

      b由反射率r直接计算得到,令b=(IR)rI为单位矩阵。使用转化矩阵Q将多光谱相机信号转换为光谱反射率。针对训练样本集(g0, r0),Q可以表示为:

      $ \left\{ \begin{array}{l} {\mathit{\boldsymbol{r}}_0} = \mathit{\boldsymbol{Q}}{\mathit{\boldsymbol{g}}_0}\\ \mathit{\boldsymbol{Q}} = {\mathit{\boldsymbol{r}}_0}{\mathit{\boldsymbol{g}}_0}^ + \end{array} \right. $

      (10)

      式中,g0+g0的逆转换矩阵。对于任意的待测样本信号值g1,可以用(10)式计算相应的光谱反射率$ {{\mathit{\boldsymbol{\hat r}}}_{\rm{1}}}$:

      $ {{\mathit{\boldsymbol{\hat r}}}_1} = \mathit{\boldsymbol{Q}}{\mathit{\boldsymbol{g}}_1} = {\mathit{\boldsymbol{r}}_0}{\mathit{\boldsymbol{g}}_0}^ + $

      (11)

      用(11)式计算测试样本的同色异谱黑b1

      $ {\mathit{\boldsymbol{b}}_1} = \left( {\mathit{\boldsymbol{I}} - \mathit{\boldsymbol{R}}} \right){{\mathit{\boldsymbol{\hat r}}}_1} = \left[ {\mathit{\boldsymbol{I}} - \mathit{\boldsymbol{A}}{{\left( {{\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{A}}} \right)}^{ - 1}}{\mathit{\boldsymbol{A}}^{\rm{T}}}} \right]{{\mathit{\boldsymbol{\hat r}}}_1} $

      (12)

      组合基本刺激r和同色异谱b1两部分结果,得到待重建的光谱反射率${\mathit{\boldsymbol{\hat r}}}$为:

      $ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{\hat r}} = \mathit{\boldsymbol{r'}} + {\mathit{\boldsymbol{b}}_1} = \mathit{\boldsymbol{A}}{{\left( {{\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{A}}} \right)}^{ - 1}}\mathit{\boldsymbol{t}} + }\\ {\left[ {\mathit{\boldsymbol{I}} - \mathit{\boldsymbol{A}}{{\left( {{\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{A}}} \right)}^{ - 1}}{\mathit{\boldsymbol{A}}^{\rm{T}}}} \right]{{\mathit{\boldsymbol{\hat r}}}_1}} \end{array} $

      (13)
    • 在使用R矩阵方法重建光谱反射率的过程中,要获得基本刺激光谱r需要求解AT的伪逆,受特定光照条件的影响,求解伪逆运算的过程是不稳定的,将会得到病态的方程解,会对重建的光谱精度造成影响。为了解决这个问题,需要通过正则化R矩阵法(regularization matrix R,RMR)加入正则化限制,来避免病态问题。

      为了得到r,需要利用最小二乘法[13]求解观测方程t=Ar

      $ \mathit{\boldsymbol{\hat r'}} = \mathit{\boldsymbol{A}}{\left( {{\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{A}}} \right)^{ - 1}}\mathit{\boldsymbol{t}} $

      (14)

      (14) 式本质上是求$\mathit{\boldsymbol{\hat r'}}\mathit{ = }{\rm{argmin}}{\left\| {\mathit{\boldsymbol{Ar' - t}}} \right\|^2} $的解,其中$ \mathit{\boldsymbol{\hat r'}}$是最小二乘解,‖·‖是L2范数。尽管这种求解方法能够保证解的最优性,但是不一定能够保证重建的光谱是原始光谱的唯一解,因此,这是一种病态问题。本文中使用Tikhonov正则化方法[14-15]来限制R矩阵方法中的病态问题,加入Tikhonov限制后的估计准则定义为:

      $ \mathit{\boldsymbol{\hat r'}} = \arg \min {\left\| {\mathit{\boldsymbol{Ar'}} - \mathit{\boldsymbol{t}}} \right\|^2} + {w^2}{\left\| {\mathit{\boldsymbol{Ir'}}} \right\|^2} $

      (15)

      式中,w为正则化参量,$ {\left\| {\mathit{\boldsymbol{Ar' - t}}} \right\|^2}$为残差项,${\left\| {\mathit{\boldsymbol{Ir'}}} \right\|^2} $为正则化项。

      根据Tikhonov正则化估计准则,(14)式的解为:

      $ {{\mathit{\boldsymbol{\hat r'}}}_{\rm{r}}} = \mathit{\boldsymbol{A}}{\left( {{\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{A}} + {w^2}\mathit{\boldsymbol{I}}} \right)^{ - 1}}\mathit{\boldsymbol{t}} $

      (16)

      式中,${{\mathit{\boldsymbol{\hat r}}}_{\rm{r}}}\mathit{'}$为$\mathit{\boldsymbol{\hat r'}} $的正则化形式。根据以上分析,使用Tikhonov正则化来限制(13)式的病态情况,因此,基于Tikhonov正则化的R矩阵方法重建的光谱反射率为:

      $ \begin{array}{*{20}{c}} {{{\mathit{\boldsymbol{\hat r}}}_{\rm{r}}} = {{\mathit{\boldsymbol{r'}}}_{\rm{r}}} + {\mathit{\boldsymbol{b}}_{1,{\rm{r}}}} = \mathit{\boldsymbol{A}}{{\left( {{\mathit{\boldsymbol{A}}^{\rm{T}}} + {w^2}\mathit{\boldsymbol{I}}} \right)}^{ - 1}}\mathit{\boldsymbol{t}} + }\\ {\left[ {\mathit{\boldsymbol{I}} - \mathit{\boldsymbol{A}}{{\left( {{\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{A}} + {w^2}\mathit{\boldsymbol{I}}} \right)}^{ - 1}}{\mathit{\boldsymbol{A}}^{\rm{T}}}} \right]{{\mathit{\boldsymbol{\hat r}}}_1}} \end{array} $

      (17)

      式中,${\mathit{\boldsymbol{\hat r}}_{\rm{r}}},{\mathit{\boldsymbol{r}}_{\rm{r}}}^\prime ,{\mathit{\boldsymbol{b}}_{{\rm{1}},{\rm{r}}}}$分别为, $\mathit{\boldsymbol{\hat r}}, \mathit{\boldsymbol{r'}}, {\mathit{\boldsymbol{b}}_{\rm{1}}} $的正则化形式。

    • 为了验证本文中提出的算法的可行性,采用劳尔色卡中的样本作为训练样本,一幅壁画作为测试样本,使用3种光谱重建算法:PCA, MR和RMR,对其进行光谱重建,在壁画中选取颜色比例较大的6个区域进行实验研究,如图 2a所示;通过在国际标准人工日光D65光源照射下,使用多光谱相机获取壁画在11个窄带干涉滤光片[16]下的多通道图像信号数据,如图 2b所示。

      Figure 2.  a—mural referential patches b—mural's multi-spectra images

      以壁画中6个参考色块为测试样本,对两种光谱重建算法的重建精度进行评价,从表 1中可以看到3种光谱重建算法进行壁画参考色块重建光谱的色差ΔE、均方根误差(root mean square error,RMSE)、适应度系数(goodness of fit coefficient,GFC)和光谱匹配偏指数(index of system spectrum estimation shifting degree,ISSD)。

      Table 1.  ΔE, RMSE, GFC, ISSD of mural referential patches by three reconstruction methodsc

      method target 1 2 3 4 5 6 mean
      RMR ΔE 1.2415 0.9127 2.2456 1.8367 4.7675 1.5689 2.0955
      GFC/% 99.73 99.32 99.25 99.54 99.16 99.85 99.47
      ISSD 0.1168 0.0102 0.1605 0.1387 0.3101 0.1609 0.1492
      RMSE 0.0133 0.0122 0.0327 0.0204 0.0384 0.0127 0.0214
      MR ΔE 1.3045 0.9218 2.3003 1.8836 4.9995 1.6024 2.1687
      GFC/% 99.60 99.28 99.21 99.45 99.01 99.80 99.39
      ISSD 0.1211 0.0154 0.1835 0.2019 0.3301 0.1783 0.1717
      RMSE 0.0147 0.0166 0.0354 0.0245 0.0401 0.0179 0.0249
      PCA ΔE 1.3357 0.9276 2.5976 1.9081 5.0874 1.6701 2.2544
      GFC/% 99.53 99.25 99.17 99.31 98.92 99.75 99.32
      ISSD 0.1234 0.0178 0.2096 0.2297 0.3299 0.1721 0.1754
      RMSE 0.0155 0.0188 0.0357 0.0249 0.0472 0.0187 0.0268

      表 1可知,使用RMR方法的6个色块的光谱重建精度均高于MR和PCA方法。说明使用RMR方法进行光谱重建能够得到较高的光谱和色度精度。

      利用RMR方法对壁画中6个色块的颜色重建后的光谱反射率曲线如图 3所示。图中色块的数字标号分别对应的是图 2a中壁画的数字颜色区域。

      Figure 3.  The reconstructed spectral reflectance of mural referential patches

      为了能够直观地反映RMR, MR和PCA方法的光谱重建色度精度,计算出壁画中6个色块颜色的L*a*b*色度值(L*表示亮度,a*表示从红色至绿色的范围,b*表示从黄色至蓝色的范围),以L*a*b*中的色度分量a*b*分别为坐标轴,结果如图 4所示。从色度值空间分布可知,RMR方法光谱重建的L*a*b*色度值与原始光谱的L*a*b*色度测量值更相近,图中色块都具有很好的重建效果,说明RMR方法比MR和PCA方法具有更好的稳定性。

      Figure 4.  CIE LAB colorimetric spatial distribution of mural referential patches by three reconstruction methods

    • 壁画作为古代文物艺术品的一部分,创造出了丰富的视觉效果,用颜色信息来传递作品信息,充分体现了其艺术表现力。壁画有着上千年的文化历史积淀,但由于长时间的存放,受到光照、湿度、温度以及灰尘等因素的影响,使得壁画表面发生不同程度的褪色或老化现象[17]。因此,壁画的数字化图像展现,成为了一种有效的保护手段,采用现代化科技实现壁画的高保真数字化复原,也成了文物保护工作者的一种途径。使用基于光谱重建的技术来实现壁画的颜色复原,可以从根本上实现壁画的高精度数字化保存,避免同色异谱的情况[18]。使用RMR方法重建壁画光谱反射率后分别在国际标准人工日光D65光源和钨丝灯A光源渲染下的原始图像和复原图像如图 5所示。

      Figure 5.  The original and reproduced mural images rendered by different light sources

      图 5可以看出,在D65光源和A光源场景下的复原均达到了较好的效果。结合图 5a图 5c图 5b图 5d对比也可以看出,不同光源渲染下复原的壁画比原始壁画的纹理更清晰,色彩更鲜艳,如色块2所呈现的蓝色。并且D65光源渲染的壁画更接近原始壁画效果,A光源渲染的壁画整体偏暖色一点,这点也符合D65和A光源的色温特性。

    • 色彩知觉是视觉对象在可见光波长范围内的电磁波在人大脑中枢神经中产生的一种物理心理刺激。一般影响色彩知觉的因素包括观察者、观察环境、观察光源以及观察模式[19-20]

      由于每个观察者的视觉系统特性不同,对色彩的知觉会有差异。当一副壁画中多种颜色放置在同一观察环境下观察时,与单个颜色放置观察得到的色觉感受也不同,因为色彩感觉会偏向相邻对象的补色,会产生色彩对比效果。即使是同一个观察对象,在不同的光照条件下,其光谱分布不同,导致壁画表面对光的分光反射率不同,同样会得到不同的色彩知觉效果。观察颜色时,将一些经验的色彩表现方式作为观察模式,如表面色是指壁画表面观察所得到的知觉色,光源色是指观察光源渲染下壁画所得到的知觉色。考虑到以上条件都会对壁画的质量评价造成影响,为了尽量控制在观察条件均衡的情况下进行质量评价,此次评价实验中,选取了6名文物保护研究人员和14名实验室同学参与测试,性别分布为10男10女,并且所有评测的人员均视力正常,有颜色技术背景的10人,没有颜色技术背景的10人,在WINDOWS系统下,电脑颜色空间设置为sRGB色空间,显示器色温调节至6500K,测试环境为D65标准光源照射,保证测试人员所观察到的壁画源场景与显示器所显示的图像亮度保持一致,然后所有的测评人员对D65光源下复原壁画的效果进行打分评价。同样,将显示器色温调节至2856K,测试环境变为A标准光源照射,重复上述步骤,对A光源下复原壁画的效果进行打分评价,分别得到两个光源下的评价结果,如表 2所示。对表 2中评价得分效果的说明如表 3所示。

      Table 2.  Test results of subjective evaluation

      light source D65 light source A light source
      score 0.8927 0.8702

      Table 3.  Score description of subjective evaluation

      score effect
      0.9001~1.0000 perfect
      0.8001~0.9000 very good
      0.7001~0.8000 good
      0.6001~0.7000 general
      0.5001~0.6000 poor
      0.1001~0.5000 very poor

      表 2表 3可知,在D65光源和A光源场景下的复原都达到了非常好的效果,在D65光源渲染下利用光谱重建算法复原的图像比A光源下利用光谱重建算法复原的图像效果要好,原因是由于测试样本均是用D65光源照射采集的多光谱图像进行的光谱重建导致的。结合原始壁画图 5a图 5b与复原壁画5c和图 5d对比可以看出,不同光源渲染下复原的壁画与原始壁画相比,纹理更清晰,色彩更鲜艳,如色块2所呈现的蓝色,并且D65光源渲染的复原壁画整体偏冷色,A光源渲染的复原壁画整体更偏暖色,这也符合D65光源和A光源的色温特性。

    • 使用多光谱成像技术采集了壁画多个波段下的光谱图像,分别使用RMR, MR和PCA方法对壁画颜色进行了光谱反射率重建,并对3种算法的重建精度做了对比分析。实验结果证明,RMR方法的光谱重建精度满足实验要求,提高了光谱精度。同时结合本文中研究的光谱重建算法实现壁画的颜色复原,并对复原效果进行了质量评价。评价结果显示,基于光谱重建的壁画颜色复原取得了较好的效果,能够满足文物艺术品数字化存档、文物艺术品修复等应用领域的发展要求。

参考文献 (20)

目录

    /

    返回文章
    返回