一种基于光谱可调LED光源和多光谱成像技术的物体表面颜色测量方法

褚金金; 崔桂华; 柳耀武; 徐婷; 阮秀凯; 蔡启博; 谈燕花

doi:doi:10.3788/AOS201838.0833001

光学学报, 2018, 38 (8): 0833001, 网络出版: 2018-09-06

一种基于光谱可调LED光源和多光谱成像技术的物体表面颜色测量方法下载： 1558次

A Method for Measuring Surface Color Based on Spectral Tunable LED Light Source and Multispectral Imaging Technology

论文大纲

褚金金 ^*崔桂华 ^*柳耀武徐婷阮秀凯蔡启博谈燕花

作者单位

温州大学数理与电子信息工程学院, 浙江温州 325035

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对传统多光谱成像颜色测量系统光谱反射率重建算法计算量大、操作繁琐耗时、成本高等缺点,提出一种由LED主动照明光源和黑白高速相机构建的多光谱成像颜色测量系统。采用多个单色LED拟合出相对光谱功率分布与相机光谱灵敏度曲线成倒数关系的照明光源,并利用黑白相机的输出响应直接重建物体的光谱反射率。实验结果表明,与分光光度计测量结果相比,该方法测量Macbeth ColorChecker 24标准色卡的光谱反射率的平均误差在2.3个CIELAB色差左右。该系统具有原理简单可行、不需要滤光片、光谱反射率重建算法简单快速等优点。

Abstract

To overcome the problems of traditional multispectral imaging system, such as sophisticated algorithm and time-consuming for reflectance reconstruction, and high cost etc., we present a multispectral imaging system for measuring colors by using LEDs illumination and monochrome high-speed camera. Multiple monochrome LEDs are used to fit lighting source and to ensure that the spectral power distribution of the source is reciprocal of the spectral sensitivity curve of monochrome high-speed camera, and then the spectral reflectance of the object is reconstructed by using the camera response directly. The experimental results show that compared with a spectrophotometer, the method can achieve an average of 2.3 CIELAB color difference for 24 Macbeth ColorChecker chart. The whole system is simple and feasible, and does not need filters, and the spectral reflectance reconstruction algorithm is simple.

1 引言

近几十年,多光谱成像技术已经成为包括颜色信息科学在内的诸多领域研究的前沿课题之一。作为一种非常实用的技术,多光谱成像技术广泛应用于医学图像、无损探测、遥感测量等领域,尤其是在一些超越视觉极限的领域,可以用来分析物体颜色因不同物质的混合而引起的异常现象,如食品污染、皮肤疾病、资源探测、物证鉴定、印刷防伪、农作物病虫害等^[1-2]。

目前,有许多类型的多光谱成像技术和系统构建方案。按照明光源的不同可以分成2种类型:主动照明型和被动照明型。其中,被动照明型多光谱成像系统是传统的基于各种滤光系统的多光谱成像系统,通常包括照明光源系统、分光系统和成像系统。这类多光谱成像系统多采用标准的连续光源作为照明光源,如模拟日光光源,通过分光系统产生单色光。分光器件有棱镜、衍射光栅、光学滤光片轮、液晶可调谐滤光片(LCTF)、声光可调谐滤光片(AOTF)、线性渐变滤光片(LVF)、滤光片阵列(FA)等。这类多光谱成像系统因其本身结构的原因,或多或少引入了一些缺陷:1)因需多次拍摄而耗时较长;2)更换滤光片需要较长的等待时间;3)不易找到最佳的滤光片;4)精度远低于分光光度计;5)因滤光片的低透过率而需要较长的曝光时间等。主动照明型多光谱成像系统采用单色光源进行主动照明,不需要分光系统。在LED生产工艺和技术飞速发展的前提下,因LED光源具有快速切换、稳健性强和成本低等特性,基于LED的主动照明型多光谱成像系统更受关注。典型的基于LED的多光谱成像系统结构包括多个不同峰值波长的LED,按顺序依次点亮各种波段的LED,再使用黑白相机来捕捉多个波段LED照射下物体的图像,即可获得多波段的多光谱图像。另一类系统采用RGB彩色相机来加速多光谱图像的采集过程,但是在图像处理过程中要进行去马赛克处理,这一过程会引入误差,影响系统的空间分辨率,从而影响多光谱成像的质量。相比于传统的多光谱成像系统,基于LED的多光谱成像系统使用不同波段的LED光源,不需要改变场景和相机之间的光路,不存在图像的配准问题,可以减少图像预处理的计算量,也不需要加入滤光系统,可以显著减少整个系统的复杂程度。此外,通过计算机快速切换光源,省去了机械转动和复杂的光学配置,可进一步提高成像的稳定性。因此,采用主动照明光源构建多光谱成像系统成为目前该领域的研究趋势之一。

2007年,Park等^[3]采用多路复用的LED作为主动照明光源和高速(60 frame·s^-1)彩色CCD相机构建多光谱成像系统,以30 frame·s^-1拍摄多光谱视频。该系统采用两个完全相同的LED照明面板以一定角度照明物体,每个LED面板均由白、红、黄、绿和蓝5种颜色的LED组成,共有144个LED按12行12列顺序排列,全部LED可分成16个重复的3×3单元,每个单元包含9个可单独控制的LED。控制系统可同时控制16个重复单元中相同空间位置的LED亮度,将所有LED分两组,形成两种光源并先后点亮,同时向CCD彩色相机发送同步信号采集视频。通过已知反射率样本优化两种光源的光谱功率分布,选取组合两种光源的LED,在两种光源下得到RGB彩色相机3个通道的响应,再从1257个Munsell色卡反射率中提取8个基函数,加入反射率曲线光滑因子限制,完成光谱反射率的重建。

2010年,日本千叶大学Tominaga团队开展了主动照明光源式多光谱成像系统的研究^[4-6],采用计算机控制高速单色相机(Epix SV643M)和程控光源系统(如美国Optronic Laboratories OL490),产生可控的具有任意光谱功率分布的主动照明光源,构建验证型的多光谱成像系统。该系统原理简单,设计新颖,不需要滤光装置或多通道成像系统,用计算机控制的可调光源系统和一个单色数码相机即可完成多光谱图像的快速采集和光谱反射率的重建。但这种程控光源成本较高,不适用于颜色测量仪器的开发应用。

2012年,高通公司下属的光电科技公司的Parmar等^[7]设计了一套由8种总计216颗(18行12列)LED组成的主动照明系统和由Nikon D2Xs相机构建的多光谱成像系统。在LED灯珠前,安装有一块有机玻璃漫散射板。8种LED中,有5种LED的峰值波长位于可见光谱区(蓝、青、绿、黄、红),一种位于紫外(UV)区(380 nm),余下的两种位于近红外区(700~1100 nm)。

同期,云南师范大学的Li等^[8]尝试采用LED主动照明光源构建可见光谱范围的多光谱成像系统,该系统用红、黄、绿、蓝、白5种LED光源组成一个照明光源面板,外加一个钨灯光源用于补偿LED灯在650~780 nm光强不足的弱点,用彩色数码相机采集多光谱图像,并从采集的多光谱图像中重建物体的光谱反射率,具有简单实用、无需特殊装置等优点。

2013年,挪威维约克大学学院的挪威颜色研究实验室Hardeberg团队利用LED作为主动照明光源,由计算机同时控制LED发光面板和Canon 20D彩色数码相机构建多光谱成像系统^[9-13],其中,LED面板由3组LED组成,并尽可能提供均匀的照明。该系统把可见光谱区的相机光谱灵敏度分成2~3个区域,利用精心选择的3组LED的不同组合分别覆盖以上波段的光谱灵敏度,作为主动照明光源照亮景物,通过2~3次拍照获取多光谱图像。据报道,采用3组9个LED搭建的多光谱成像系统的光谱重建精度可达到2.18 CIELAB色差单位^[11]。

但是,目前大部分基于LED照明光源的多光谱成像系统为了获得一个场景的多光谱图像需要太多不同类型的LED和拍摄大量的照片,对光谱重建的算法要求较高,算法复杂且耗时较长,精度也有限。本文主要研究一种新颖的可见光谱区多光谱成像颜色测量方法,为了加速光谱反射率重建过程,使用有限维线性模型减少光源的数目,仅仅使用16颗不同波段的LED,通过脉宽调制(PWM)来调节LED的亮度,拟合出需要的光源,再根据黑白相机的输出响应重建物体表面的光谱反射率。

2 多光谱重建算法

当物体表面的光谱反射率和相机的光谱灵敏度函数分别为r(λ)和s(λ),相机曝光量调整系数为k_i,物体表面在时间t_i时以相对光谱功率分布为l(λ,t_i)的光源照明,相机在时间t_i时的输出为

\begin{matrix} O (t_{i}) = k_{i} \int l (λ, t_{i}) r (λ) s (λ) dλ 。 (1) \end{matrix}

如果时间t_i时的光源是主波长为λ_i的窄带光源,其相对光谱功率分布为l_λi(λ,t_i),则相机的输出为

\begin{matrix} \begin{matrix} O (t_{i}) = & k_{i} \int l_{λi} (λ, t_{i}) r (λ) s (λ) dλ \approx k_{i} r (λ_{i}) [\int l_{λi} (λ, t_{i}) s (λ) dλ] 。 (2) \end{matrix} \end{matrix}

一般来说,反射率r(λ)和相机的灵敏度函数s(λ)在可见光谱区域内是平滑的曲线,当光源是主波长为λ_i的窄带光源时,反射率r(λ)在波长λ_i附近近似为常数,可提到积分号外面,(2)式中的括号部分只与照明光源和相机灵敏度函数相关,是独立于物体表面光学特性的,用C_i表示,即:

\begin{matrix} C_{i} = \int l_{λi} (λ, t_{i}) s (λ) dλ 。 (3) \end{matrix}

当物体表面在不同时刻由不同主波长的窄带光源照明时,由(2)式和(3)式就可以从相应时刻的相机输出O(t₁),O(t₂),O(t₃),…,O(t_n)中得到对应主波长的物体表面反射率r(λ₁),r(λ₂),r(λ₃),…,r(λ_n),且

\begin{matrix} r (λ_{i}) = O (t_{i} \frac{)}{(} k_{i} C_{i}) 。 (4) \end{matrix}

以上的反射率重建过程是由n个窄带光源照明获得。如果在可见光谱范围(400~700 nm)以10 nm等间隔抽样,就需要31个不同波长的窄带光源。

进一步地,如果每个窄带光源在主波长处的相对光谱功率分布l_λi(λ,t_i)的强度是相机对应波长的灵敏度函数的倒数,即l_λi(λ,t_i)=1/s(λ),则(3)式中的C_i是一个只与光源波带宽相关的常数。当光源发光强度和相机曝光量确定时,则(4)式的分母部分是一个确定的常数,也就是说,当光源的相对光谱功率分布与相机的灵敏度函数成倒数关系时,物体的光谱反射率与相机的响应成一定的线性关系。综上所述,如果能拟合出相对光谱功率分布为相机光谱灵敏度曲线的倒数的照明光源,则只需要得到多光谱成像系统中相机的响应值再加以简单的线性处理就能重建出物体表面的光谱反射率。

为了加速光谱反射率重建过程,可以使用有限维线性模型减少光源的数目。常用的方法是用m个基函数线性组合来表示物体反射率^[14],即:

\begin{matrix} r (λ) = \overset{m}{\sum_{i = 1}} σ_{i} b_{i} (λ), (5) \end{matrix}

式中b_i(λ)是统计决定的物体反射率的正交基函数,σ_i是一组权重因子。已有的研究结果表明,自然界物体和人造物体的反射率可以用5~7个基函数重建^[15-17]。在已知基函数的情况下,对不同的物体表面,只要确定各个基函数的权重因子就可以重建其光谱反射率。

如果将光源的相对光谱功率分布设定为l_i(λ,t)=b_i(λ)/s(λ),由(3)~(5)式及基函数的正交性可知,相应的相机输出响应与基函数的权重因子呈线性关系,且σ_i=O(t_i)/k_i,代入 (5) 式,就可以从一系列相机的输出响应中重建出光谱反射率:

\begin{matrix} \begin{matrix} r (λ) = & \overset{m}{\sum_{i = 1}} O (t_{i}) b_{i} (λ) / k_{i} = \overset{m}{\sum_{i = 1}} K_{i} O (t_{i}) b_{i} (λ), (6) \end{matrix} \end{matrix}

式中K_i=1/k_i为相机曝光量调整参数。只要选择合适的基函数个数以及基函数本身,就可以通过改变光源的相对光谱功率分布,以简单的方法获取物体表面的光谱反射率。基函数本身可能出现负值,是无法从光学上模拟出来的。解决办法是根据色光加法原理及基函数的正交特性,将包含负值的基函数分成正、负两部分,将负值部分取绝对值,即把第i个包含负值的基函数表示为b_i(λ)= $\begin{matrix} b_{i}^{+} \end{matrix}$ (λ)- $\begin{matrix} b_{i}^{-} \end{matrix}$ (λ),其中, $\begin{matrix} b_{i}^{+} \end{matrix}$ (λ)和 $\begin{matrix} b_{i}^{-} \end{matrix}$ (λ)均为正值,不影响计算结果。修正后对应的光源也分成两个,相对光谱功率分布分别为 $\begin{matrix} b_{i}^{+} \end{matrix}$ (λ)/s(λ)和 $\begin{matrix} b_{i}^{-} \end{matrix}$ (λ)/s(λ),对应的相机输出响应为O( $\begin{matrix} t_{i}^{+} \end{matrix}$ )和O( $\begin{matrix} t_{i}^{-} \end{matrix}$ ),则(5)式中反射率可以从σ_i=O( $\begin{matrix} t_{i}^{+} \end{matrix}$ ) $\begin{matrix} K_{i}^{+} \end{matrix}$ -O( $\begin{matrix} t_{i}^{-} \end{matrix}$ ) $\begin{matrix} K_{i}^{-} \end{matrix}$ 中获取。采取这种方法,每个带有负值部分的基函数均需两个光源表示,一定程度上增加了光源的数目。

本文中的光谱反射率基函数从Munsell色卡的1562种颜色的光谱反射率中获得。Munsell色卡的颜色包含了自然界中绝大多数常见颜色,广泛应用于艺术设计、包装产品设计、色彩描述以及质量控制等行业。本文中所用的每种Munsell色卡的光谱反射率由400~700 nm每隔10 nm采样得到,故得到的Munsell色卡的光谱反射率数据为1562×31维的数据矩阵,使用奇异值分解法求得所需要的基函数。本文共提取6个基函数,如图1所示。

图 1. 光谱反射率基函数

Fig. 1. Basis functions for spectral reflectance

下载图片查看所有图片

获得基函数后,还需要已知相机的光谱灵敏度曲线。本文采用两种快速测量方法^[18]:第一种方法需用到单色仪,需要拍摄不同采样波长处标准白板的图像、测量不同采样波长处单色光的光谱功率分布,实验过程较长,但计算量较小,不需要复杂的计算;第二种方法只需拍摄一张自然光照条件下的标准色卡图像,测量一次自然光源的相对光谱功率分布,但需要已知标准色卡中每个色块的光谱反射率,采用优化方法得到相机光谱灵敏度曲线,计算量比第一种方法大。实验验证表明,两种方法都能精确测量出相机的光谱灵敏度曲线。两种方法测量的结果如图2所示。

图 2. 单色仪测量方法和数字图像测量方法得到的相机光谱灵敏度

Fig. 2. Camera spectral sensitivity obtained by monochromator measurement and digital imaging measurement

下载图片查看所有图片

测量出相机的灵敏度曲线s(λ)后,以b_i(λ)/s(λ)计算出所需光源的光谱功率分布,如图3(a)所示。由于b_i(λ)/s(λ)值中存在负值,而现实中是不能实现的,本文采用取绝对值,即 $\begin{matrix} |b_{i} (λ) / s (λ)| \end{matrix}$ 的方式对基函数的负值部分进行处理,取绝对值后的光谱功率分布如图3(b)所示。可以看出,图3(a)中呈负值的光谱功率分布在图3(b)中已变成正值,如此,便可以实现上述光谱功率分布的光源,而重建物体光谱反射率时,只需要在相机的响应数据中进行相应处理便可。

图 3. 基函数除以相机灵敏度得到的光谱功率分布。(a) bi(λ)/s(λ);(b) bi(λ)/s(λ)

Fig. 3. Spectral power distribution constructed by dividing basis function by camera sensitivity function. (a) bi(λ)/s(λ); (b) bi(λ)/s(λ)

下载图片查看所有图片

在本文提取的6个基函数中,除了第一个基函数b₁(λ)仅有负值外,其他的基函数均包含正负部分。根据上述原理,将各b_i(λ)/s(λ)光谱分布中值为正数的部分拟合为一个光源,值为负数的部分拟合为另一个光源。如果使用前4个基函数进行计算,则需要拟合出7个光源;如果使用前5个基函数进行计算,则需要拟合出9个光源;如果使用6个基函数进行计算,则需要拟合出11个光源。以5个基函数为例,若用s_i(λ)代表b_i(λ)/s(λ),则此9个光源可分别用 $\begin{matrix} s_{1}^{-} \end{matrix}$ (λ)、 $\begin{matrix} s_{2}^{+} \end{matrix}$ (λ)、 $\begin{matrix} s_{2}^{-} \end{matrix}$ (λ)、 $\begin{matrix} s_{3}^{+} \end{matrix}$ (λ)、 $\begin{matrix} s_{3}^{-} \end{matrix}$ (λ)、 $\begin{matrix} s_{4}^{+} \end{matrix}$ (λ)、 $\begin{matrix} s_{4}^{-} \end{matrix}$ (λ)、 $\begin{matrix} s_{5}^{+} \end{matrix}$ (λ)、 $\begin{matrix} s_{5}^{-} \end{matrix}$ (λ)表示每个光源光谱功率分布的正数部分和负数部分,由于s₁(λ)只有负数值,所以就只有 $\begin{matrix} s_{1}^{-} \end{matrix}$ (λ)。

3 结果与讨论

3.1 基函数个数对光谱反射率重建精度的影响

通过PC端的软件控制16颗LED的发光强度,这些LED分别位于11个不同波段,拟合出所需光源对应的光谱。图4为所用到的11个不同波段LED的光谱功率分布,其中LED0两颗,LED2三颗,LED4两颗,LED8两颗,其他都是一颗。

图 4. 11颗LED的光谱功率分布

Fig. 4. Spectral power distribution of 11 LEDs

下载图片查看所有图片

利用16颗LED拟合出6个基函数下所需的11个光源,然后分别在4个基函数、5个基函数和6个基函数3种情况下重建光谱反射率,比较它们之间的差别。

拟合出多光谱成像系统所需的11个LED照明光源后,就可以进行多光谱图像的拍摄。本文拍摄所使用的色卡为Macbeth ColorChecker 24色卡,相机为加拿大PixeLINK PL-E95VBMG高速黑白工业相机,图5为所构建的多光谱成像系统。

图 5. 多光谱成像系统

Fig. 5. Multispectral imaging system

下载图片查看所有图片

为避免其他光源对最终数据的影响,整个拍摄过程须在黑暗环境中进行,使物体仅受拟合出的LED光源的光照。拍摄过程分为以下4步:1) 调整好相机的曝光度和焦距,使得拍摄到的标准色卡图像质量清晰,色卡中白色色块不能过曝光,且黑色色块有层次;2) 电脑端控制调节LED,得到所需的照明光源;3) 电脑端的相机控制软件控制相机,拍摄每个光源照明时标准色卡的图像和均匀白板的图像,其中,均匀白板图像用于光源的均匀性校正;4) 保持相机参数不变,换光源,重复步骤2)~3),直至拍摄完所有图像。

在得到所有图像后,需要提取每个色块的相机响应,即灰度值。但是光照的不均匀会影响色块的响应值,因此在光谱反射率重建前需要对图像进行光照均匀性校正。本文选用简单的灰度缩放校正法^[18],即计算出相机对标准均匀白板图像中所有像素点响应的平均值I_mean,以I_mean与均匀白板图像中每个像素点的灰度值的比值作为同一光源下的色卡图像光照均匀性校正的依据,对色卡图像的每个像素灰度值进行修正。

标准色卡图像光照均匀性校正完成之后,提取出标准色卡中每个色块的响应值,用于光谱反射率重建。以5个基函数为例,若用O_j( $\begin{matrix} t_{1}^{-} \end{matrix}$ )、O_j( $\begin{matrix} t_{2}^{+} \end{matrix}$ )、O_j( $\begin{matrix} t_{2}^{-} \end{matrix}$ )、O_j( $\begin{matrix} t_{3}^{+} \end{matrix}$ )、O_j( $\begin{matrix} t_{3}^{-} \end{matrix}$ )、O_j( $\begin{matrix} t_{4}^{+} \end{matrix}$ )、O_j( $\begin{matrix} t_{4}^{-} \end{matrix}$ )、O_j( $\begin{matrix} t_{5}^{+} \end{matrix}$ )、O_j( $\begin{matrix} t_{5}^{-} \end{matrix}$ )分别代表在光源为 $\begin{matrix} s_{1}^{-} \end{matrix}$ (λ)、 $\begin{matrix} s_{2}^{+} \end{matrix}$ (λ)、 $\begin{matrix} s_{2}^{-} \end{matrix}$ (λ)、 $\begin{matrix} s_{3}^{+} \end{matrix}$ (λ)、 $\begin{matrix} s_{3}^{-} \end{matrix}$ (λ)、 $\begin{matrix} s_{4}^{+} \end{matrix}$ (λ)、 $\begin{matrix} s_{4}^{-} \end{matrix}$ (λ)、 $\begin{matrix} s_{5}^{+} \end{matrix}$ (λ)、 $\begin{matrix} s_{5}^{-} \end{matrix}$ (λ)照明时,标准色卡中相机的输出响应,其中j表示24色卡中的第j个色块(0<j≤24),则 $\begin{matrix} σ_{1}^{j} \end{matrix}$ =-K₁O_j(t^-¹), $\begin{matrix} σ_{2}^{j} \end{matrix}$ = $\begin{matrix} K_{2}^{+} \end{matrix}$ O_j( $\begin{matrix} t_{2}^{+} \end{matrix}$ )- $\begin{matrix} K_{2}^{-} \end{matrix}$ O_j( $\begin{matrix} t_{2}^{-} \end{matrix}$ ), $\begin{matrix} σ_{3}^{j} \end{matrix}$ = $\begin{matrix} K_{3}^{+} \end{matrix}$ O_j( $\begin{matrix} t_{3}^{+} \end{matrix}$ )- $\begin{matrix} K_{3}^{-} \end{matrix}$ O_j( $\begin{matrix} t_{3}^{-} \end{matrix}$ ), $\begin{matrix} σ_{4}^{j} \end{matrix}$ = $\begin{matrix} K_{4}^{+} \end{matrix}$ O_j( $\begin{matrix} t_{4}^{+} \end{matrix}$ )- $\begin{matrix} K_{4}^{-} \end{matrix}$ O_j( $\begin{matrix} t_{4}^{-} \end{matrix}$ ), $\begin{matrix} σ_{5}^{j} \end{matrix}$ = $\begin{matrix} K_{5}^{+} \end{matrix}$ O_j( $\begin{matrix} t_{5}^{+} \end{matrix}$ )- $\begin{matrix} K_{5}^{-} \end{matrix}$ O_j( $\begin{matrix} t_{5}^{-} \end{matrix}$ ),那么第j个色块表面的光谱反射率为

\begin{matrix} r_{j} (λ) = \overset{5}{\sum_{i = 1}} σ_{i}^{j} b_{i} (λ), 0 < j \leq 24 。 (7) \end{matrix}

K_i表示相机曝光量调整系数,它与光源的光照强度和相机的灵敏度函数有关。为了获取该系数,在保证拍摄到的标准色卡图像质量清晰、色卡中白色色块不能过曝光、黑色色块有层次且相机参数固定的前提下,由高到低逐步调整光源的光照强度,得到不同光照强度下相机的响应,再采取最小二乘法进行优化,把根据(7)式计算得到的24色卡的前12个色块的光谱反射率和由分光光度计(UltroScan Pro,HunterLab 公司,美国)测量得到的光谱反射率进行比较,使两者的均方根误差和CIELAB色差最小,得到K_i的优化值,然后代入(7)式计算后面12色块的光谱反射率,把计算的结果和直接测量的结果进行比较,验证本文算法的正确性。

表1为在3种数量基函数条件下重建的24色卡光谱反射率的均方根误差(RMSE)和平均CIELAB色差(Δ $\begin{matrix} E_{ab}^{*} \end{matrix}$ )。

表 1. 不同数量基函数时的平均RMSE和ΔEab*

Table 1. Average RMSE and ΔEab* under different numbers of basis functions

Number of b(λ)	RMSE	Δ $\begin{matrix} E_{ab}^{*} \end{matrix}$
4	0.051	4.2
5	0.050	3.7
6	0.049	3.7

查看所有表

由表1可知,使用4个基函数和5个基函数的计算结果有较大差别,而使用6个基函数相对于5个基函数来说改善不大。由于LED的选择不合理,光源拟合误差较大,最后计算结果也不太理想。

3.2 光源拟合精度及光照度对光谱反射率重建精度的影响

为了进一步减小测量误差,重新挑选单色LED,在400~700 nm波长范围内均匀挑选16颗LED,使用5个基函数重建出光谱反射率。图6为重新选择的16颗LED的光谱。

图 6. 16颗LED的光谱功率分布

Fig. 6. Spectral power distribution of 16 LEDs

下载图片查看所有图片

图7为本文所需9个理想光源的光谱(实线)和使用16颗LED拟合出的实际光源的光谱(虚线),图中横坐标为波长,纵坐标为相对光谱功率分布。用新拟合出的9个光源重复上面的实验,并定量测量出光源照度值,结果如表2所示。由表2可知:当9个光源的照度保持一致时,RMSE和Δ $\begin{matrix} E_{ab}^{*} \end{matrix}$ 都较大;当9个光源的照度分别为一个合适的值时,能得到一个较好的结果。

图 7. 9个理想光源(实线)和拟合光源(虚线)比较

Fig. 7. Nine ideal light sources (solid lines) and fitted light sources (broken lines)

下载图片查看所有图片

表 2. 在不同光源照度下的RMSE和ΔEab*

Table 2. RMSE and ΔEab* under different light intensities of illumination

Illuminance /lx	RMSE	Δ $\begin{matrix} E_{ab}^{*} \end{matrix}$
43	0.033	3.1
55	0.037	4.8
132	0.061	9.3
Mixed	0.031	2.3

查看所有表

在9个光源的合适照度下,以Macbeth ColorChecker 24色卡的前12个色块为训练数据优化出K_i的值,得到前12个色块的光谱反射率(图8),并计算其RMSE和Δ $\begin{matrix} E_{ab}^{*} \end{matrix}$ (表3)。利用优化出的K_i值,计算出后12个色块的反射率(图9)进行验证,同时计算得到相应的RMSE和Δ $\begin{matrix} E_{ab}^{*} \end{matrix}$ (表4)。图8和图9的横坐标为波长,纵坐标为光谱反射率,图中m表示分光光度计测量结果,p表示预测结果,数字表示色块序号。

图 8. 重建出的前12个光谱反射率与分光光度计测量的光谱反射率的对比

Fig. 8. Comparison of the first 12 spectral reflectance between reconstructed result and ground truth

下载图片查看所有图片

表 3. 前12个色块的RMSE和ΔEab*

Table 3. RMSE and ΔEab* of the first 12 color patches

No.	Color patch	RMSE	Δ $\begin{matrix} E_{ab}^{*} \end{matrix}$
1	Dark skin	0.022	4.5
2	Light skin	0.030	1.1
3	Blue sky	0.035	2.0
4	Foliage	0.014	2.5
5	Blue flower	0.018	2.9
6	Bluish green	0.038	0.2
7	Orange	0.046	2.6
8	Purplish blue	0.032	0.9
9	Moderate red	0.034	3.2
10	Purple	0.046	4.4
11	Yellow green	0.021	3.6
12	Orange yellow	0.047	2.9
Average		0.032	2.5

查看所有表

表 4. 后12个色块的RMSE和ΔEab*

Table 4. RMSE and ΔEab* of the last 12 color patches

No.	Color patch	RMSE	Δ $\begin{matrix} E_{ab}^{*} \end{matrix}$
13	Blue	0.025	1.7
14	Green	0.022	1.8
15	Red	0.055	4.7
16	Yellow	0.036	2.1
17	Magenta	0.045	1.5
18	Cyan	0.035	1.4
19	White	0.045	2.1
20	Neutral 8	0.024	1.7
21	Neutral 6.5	0.026	1.9
22	Neutral 5	0.033	3.9
23	Neutral 3.5	0.017	2.6
24	Black	0.004	1.8
Average		0.031	2.3

查看所有表

图 9. 重建出的后12个光谱反射率与分光光度计测量的光谱反射率的对比

Fig. 9. Comparison of the last 12 spectral reflectance between reconstructed result and ground truth

下载图片查看所有图片

根据图8~9和表3~4重建得到的24色块的光谱反射率和仪器测量的光谱反射率的比较结果,可以看出,本文的光谱重建算法有一定的精确度,但是个别色块的色差较大(如第1、10、15和22块),可能的原因有以下几点:1)如图7所示,理想光源和拟合出的光源有一定的误差,尤其在550~600 nm和650~700 nm波段,由于该波段缺少相应的LED,导致实际光源和理想光源之间误差较大;2)相机曝光量调整系数K_i是在不同照度时优化得到的结果,不一定是最优解;3)本文构建的多光谱成像系统尚属实验模型,各个模块之间没有固定的机械结构,可能导致实验过程中出现较大的系统误差。因此,系统精度还有较大的提升空间,比如根据理想光源,挑选特定波段的LED更好地拟合出所需的光源,或找到最优相机曝光量调整系数K_i的值,进一步简化光谱反射率的重建过程。

4 结论

提出一种基于光谱可调LED光源和多光谱成像技术的颜色测量方法,利用LED混光技术匹配出所需光源的相对光谱功率分布,使得LED拟合光源的相对光谱功率分布与黑白相机探测器的灵敏度曲线的倒数成线性关系,从而可以简单地利用黑白相机的输出响应和基函数的线性叠加重建出物体表面的光谱反射率,并讨论了不同数量基函数、不同LED的选择和不同的光源照度对结果的影响。整个系统结构简单,光谱反射率重建快速,与传统的多光谱成像系统相比有较大的优势。

参考文献

[1] 罗茂, 步扬, 徐静浩, 等. 基于多光谱技术的光学元件表面疵病检测[J]. 中国激光, 2017, 44(1): 0104001.

罗茂, 步扬, 徐静浩, 等. 基于多光谱技术的光学元件表面疵病检测[J]. 中国激光, 2017, 44(1): 0104001.

Luo M, Bu Y, Xu J H, et al. Optical element surface defect measurement based on multispectral technique[J]. Chinese Journal of Lasers, 2017, 44(1): 0104001.

[2] 王雪培, 赵虹霞, 李青会, 等. 多光谱成像技术分析彩色艺术品的相关基础研究[J]. 光学学报, 2015, 35(10): 1030003.

王雪培, 赵虹霞, 李青会, 等. 多光谱成像技术分析彩色艺术品的相关基础研究[J]. 光学学报, 2015, 35(10): 1030003.

Wang X P, Zhao H X, Li Q H, et al. Relevant fundamental research of colored artworks by multispectral imaging technology[J]. Acta Optica Sinica, 2015, 35(10): 1030003.

[3] ParkJ, LeeM, GrossbergM,et al. Multispectral imaging using multiplexed illumination[C]. IEEE International Conference on Computer Vision, 2007: 1- 8.

ParkJ, LeeM, GrossbergM,et al. Multispectral imaging using multiplexed illumination[C]. IEEE International Conference on Computer Vision, 2007: 1- 8.

[4] HoriuchiT, KakinumaH, TominagaS. Effective illumination control for an active spectral imaging system[C]∥Proceedings of the 12th International Symposium on Multispectral Color Science, 2010: 529- 534.

HoriuchiT, KakinumaH, TominagaS. Effective illumination control for an active spectral imaging system[C]∥Proceedings of the 12th International Symposium on Multispectral Color Science, 2010: 529- 534.

[5] Tominaga S, Horiuchi T, Yoshimura A. Real-time color measurement using active illuminant[J]. Proceedings of SPIE, 2010, 7528: 752809.

Tominaga S, Horiuchi T, Yoshimura A. Real-time color measurement using active illuminant[J]. Proceedings of SPIE, 2010, 7528: 752809.

[6] Tominaga S, Horiuchi T. Spectral imaging by synchronizing capture and illumination[J]. Journal of the Optical Society of America A, 2012, 29(9): 1764-1755.

Tominaga S, Horiuchi T. Spectral imaging by synchronizing capture and illumination[J]. Journal of the Optical Society of America A, 2012, 29(9): 1764-1755.

[7] Parmar M, Lansel S, Farrell J. An LED-based lighting system for acquiring multispectral scenes[J]. Proceedings of SPIE, 2012, 82990: 82990P.

Parmar M, Lansel S, Farrell J. An LED-based lighting system for acquiring multispectral scenes[J]. Proceedings of SPIE, 2012, 82990: 82990P.

[8] LiH, FengJ, YangW, et al. Multi-spectral imaging using LED illuminations[C]∥Proceedings of the 5th International Congress on Image and Signal Processing (CISP), 2012: 538- 542.

LiH, FengJ, YangW, et al. Multi-spectral imaging using LED illuminations[C]∥Proceedings of the 5th International Congress on Image and Signal Processing (CISP), 2012: 538- 542.

[9] ShresthaR, Hardeberg JY, ClotildeB. LED based multispectral film scanner for accurate color imaging[C]∥Proceedings of the 8th International Conference on Signal Image Technology and Internet Based Systems (SITIS), 2012: 811- 817.

ShresthaR, Hardeberg JY, ClotildeB. LED based multispectral film scanner for accurate color imaging[C]∥Proceedings of the 8th International Conference on Signal Image Technology and Internet Based Systems (SITIS), 2012: 811- 817.

[10] ShresthaR, Hardeberg JY. LED matrix design for multispectral imaging[C]∥Proceedings of the 12th Congress of the International Colour Association (AIC), 2013, 4: 1317- 1320.

ShresthaR, Hardeberg JY. LED matrix design for multispectral imaging[C]∥Proceedings of the 12th Congress of the International Colour Association (AIC), 2013, 4: 1317- 1320.

[11] ShresthaR, Hardeberg JY. Multispectral imaging using LED illumination and an RGB camera[C]∥Proceedings of the 21st Color and Imaging Conference (CIC), 2013: 8- 13.

ShresthaR, Hardeberg JY. Multispectral imaging using LED illumination and an RGB camera[C]∥Proceedings of the 21st Color and Imaging Conference (CIC), 2013: 8- 13.

[12] ShresthaR, Hardeberg JY. Evaluation and comparison of multispectral imaging systems[C]∥Proceedings of the 22nd Color and Imaging Conference (CIC), 2014: 107- 112.

ShresthaR, Hardeberg JY. Evaluation and comparison of multispectral imaging systems[C]∥Proceedings of the 22nd Color and Imaging Conference (CIC), 2014: 107- 112.

[13] ShresthaR, Hardeberg JY. How are LED illumination based multispectral imaging systems influenced by different factors?[M] ∥Image and Signal Processing. Cherbourg-Octeville, France: Springer International Publishing, 2014: 61- 71.

ShresthaR, Hardeberg JY. How are LED illumination based multispectral imaging systems influenced by different factors?[M] ∥Image and Signal Processing. Cherbourg-Octeville, France: Springer International Publishing, 2014: 61- 71.

[14] Wandell BA. Foundations of vision[M]. Sunderland: Sinauer Associates Inc., 1995.

Wandell BA. Foundations of vision[M]. Sunderland: Sinauer Associates Inc., 1995.

[15] Maloney L T. Evaluation of linear models of surface spectral reflectance with small numbers of parameters[J]. Journal of the Optical Society of America A, 1986, 3(10): 1673-1683.

Maloney L T. Evaluation of linear models of surface spectral reflectance with small numbers of parameters[J]. Journal of the Optical Society of America A, 1986, 3(10): 1673-1683.

[16] Parkkinen J P S, Hallikainen J, Jaaskelainen T. Characteristic spectra of Munsell colors[J]. Journal of the Optical Society of America A, 1989, 6(2): 318-322.

Parkkinen J P S, Hallikainen J, Jaaskelainen T. Characteristic spectra of Munsell colors[J]. Journal of the Optical Society of America A, 1989, 6(2): 318-322.

[17] Vrhel M J, Gershon R, Iwan L S. Measurement and analysis of object reflectance spectra[J]. Color Research and Application, 1994, 19(1): 4-9.

Vrhel M J, Gershon R, Iwan L S. Measurement and analysis of object reflectance spectra[J]. Color Research and Application, 1994, 19(1): 4-9.

[18] 严旭, 刘小波, 崔桂华, 等. 数字相机传感器光谱灵敏度的测量[J]. 光学技术, 2017, 43(2): 148-157.

严旭, 刘小波, 崔桂华, 等. 数字相机传感器光谱灵敏度的测量[J]. 光学技术, 2017, 43(2): 148-157.

Yan X, Liu X B, Cui G H, et al. Measurement of spectral sensitivity of digital camera sensor[J]. Optical Technique, 2017, 43(2): 148-157.

1 引言

2 多光谱重建算法

3 结果与讨论

3.1 基函数个数对光谱反射率重建精度的影响

3.2 光源拟合精度及光照度对光谱反射率重建精度的影响

4 结论

褚金金, 崔桂华, 柳耀武, 徐婷, 阮秀凯, 蔡启博, 谈燕花. 一种基于光谱可调LED光源和多光谱成像技术的物体表面颜色测量方法[J]. 光学学报, 2018, 38(8): 0833001. Jinjin Chu, Guihua Cui, Yaowu Liu, Ting Xu, Xiukai Ruan, Qibo Cai, Yanhua Tan. A Method for Measuring Surface Color Based on Spectral Tunable LED Light Source and Multispectral Imaging Technology[J]. Acta Optica Sinica, 2018, 38(8): 0833001.

一种基于光谱可调LED光源和多光谱成像技术的物体表面颜色测量方法下载： 1558次

1 引言

2 多光谱重建算法

图 1. 光谱反射率基函数

Fig. 1. Basis functions for spectral reflectance

图 2. 单色仪测量方法和数字图像测量方法得到的相机光谱灵敏度

Fig. 2. Camera spectral sensitivity obtained by monochromator measurement and digital imaging measurement

图 3. 基函数除以相机灵敏度得到的光谱功率分布。(a) bi(λ)/s(λ);(b) bi(λ)/s(λ)

Fig. 3. Spectral power distribution constructed by dividing basis function by camera sensitivity function. (a) bi(λ)/s(λ); (b) bi(λ)/s(λ)

3 结果与讨论

3.1 基函数个数对光谱反射率重建精度的影响

图 4. 11颗LED的光谱功率分布

Fig. 4. Spectral power distribution of 11 LEDs

图 5. 多光谱成像系统

Fig. 5. Multispectral imaging system

表 1. 不同数量基函数时的平均RMSE和ΔEab*

Table 1. Average RMSE and ΔEab* under different numbers of basis functions

3.2 光源拟合精度及光照度对光谱反射率重建精度的影响

图 6. 16颗LED的光谱功率分布

Fig. 6. Spectral power distribution of 16 LEDs

图 7. 9个理想光源(实线)和拟合光源(虚线)比较

Fig. 7. Nine ideal light sources (solid lines) and fitted light sources (broken lines)

表 2. 在不同光源照度下的RMSE和ΔEab*

Table 2. RMSE and ΔEab* under different light intensities of illumination

图 8. 重建出的前12个光谱反射率与分光光度计测量的光谱反射率的对比

Fig. 8. Comparison of the first 12 spectral reflectance between reconstructed result and ground truth

表 3. 前12个色块的RMSE和ΔEab*

Table 3. RMSE and ΔEab* of the first 12 color patches

表 4. 后12个色块的RMSE和ΔEab*

Table 4. RMSE and ΔEab* of the last 12 color patches

图 9. 重建出的后12个光谱反射率与分光光度计测量的光谱反射率的对比

Fig. 9. Comparison of the last 12 spectral reflectance between reconstructed result and ground truth

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

一种基于光谱可调LED光源和多光谱成像技术的物体表面颜色测量方法 下载： 1558次

1 引言

2 多光谱重建算法

图 1. 光谱反射率基函数

Fig. 1. Basis functions for spectral reflectance

图 2. 单色仪测量方法和数字图像测量方法得到的相机光谱灵敏度

Fig. 2. Camera spectral sensitivity obtained by monochromator measurement and digital imaging measurement

图 3. 基函数除以相机灵敏度得到的光谱功率分布。(a) bi(λ)/s(λ);(b) bi(λ)/s(λ)

Fig. 3. Spectral power distribution constructed by dividing basis function by camera sensitivity function. (a) bi(λ)/s(λ); (b) bi(λ)/s(λ)

3 结果与讨论

3.1 基函数个数对光谱反射率重建精度的影响

图 4. 11颗LED的光谱功率分布

Fig. 4. Spectral power distribution of 11 LEDs

图 5. 多光谱成像系统

Fig. 5. Multispectral imaging system

表 1. 不同数量基函数时的平均RMSE和ΔEab*

Table 1. Average RMSE and ΔEab* under different numbers of basis functions

3.2 光源拟合精度及光照度对光谱反射率重建精度的影响

图 6. 16颗LED的光谱功率分布

Fig. 6. Spectral power distribution of 16 LEDs

图 7. 9个理想光源(实线)和拟合光源(虚线)比较

Fig. 7. Nine ideal light sources (solid lines) and fitted light sources (broken lines)

表 2. 在不同光源照度下的RMSE和ΔEab*

Table 2. RMSE and ΔEab* under different light intensities of illumination

图 8. 重建出的前12个光谱反射率与分光光度计测量的光谱反射率的对比

Fig. 8. Comparison of the first 12 spectral reflectance between reconstructed result and ground truth

表 3. 前12个色块的RMSE和ΔEab*

Table 3. RMSE and ΔEab* of the first 12 color patches

表 4. 后12个色块的RMSE和ΔEab*

Table 4. RMSE and ΔEab* of the last 12 color patches

图 9. 重建出的后12个光谱反射率与分光光度计测量的光谱反射率的对比

Fig. 9. Comparison of the last 12 spectral reflectance between reconstructed result and ground truth

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

一种基于光谱可调LED光源和多光谱成像技术的物体表面颜色测量方法下载： 1558次