应用环境光传感器的颜色恒常性算法

现有的颜色恒常性算法在常规场景中通常能获得准确、稳定的光源颜色估计结果，但在内容单一、具有大面积单一颜色表面的低颜色复杂度场景中仍有较大概率出现超容限的估测误差。利用设置于摄影镜头旁的环境光传感器，提出一种应用环境光传感器的颜色恒常性算法。首先建立传感器置信度评估模型，然后针对不同置信度设计基于颜色空间转换与基于传感器辅助中性色像素提取的两种光源颜色估计方法。此外，还建立包含传感器测量结果的数据集。测试结果表明，相比现有具有最高精度的同类算法，所提算法的角度误差均值、中位数、最差25%均值分别下降32%、21%、41%。所提算法应用于常规场景和低颜色复杂度场景时均具有优势。

Abstract

Objective

Color constancy is a fundamental characteristic of human vision that refers to the ability of correcting color deviations caused by a difference in illumination. However, digital cameras cannot automatically remove the color cast of the illumination, and the color bias is adjusted by correcting the image with illuminant estimation, generally executed by color constancy algorithms. As an essential part of image signal processing, color constancy algorithms are critical for improving image quality and accuracy of computer vision tasks. Substantial efforts have been made to develop illuminant estimation methods, resulting in the proliferation of statistical- and learning-based algorithms. The existing color constancy algorithms usually allow one to obtain accurate and stable illuminant estimation on conventional scenes. However, unacceptable errors may often arise on the low color complexity scenes with monotonous content and uniformly colored large surfaces due to the lack of hints about the illuminant color. To address these problems, this study proposes a color constancy algorithm with ambient light sensors (ALS) to improve the accuracy of illuminant estimation in scenes with low color complexity. This approach leverages the fact that most intelligent terminals are equipped with ALS, and can enhance illuminant estimation accuracy by using ALS measurements alongside the image content.

Methods

The color constancy algorithm proposed in this study comprises two steps. The first step involves evaluating the reliability of the ALS measurement using a confidence assessment model, based on which the illuminant estimation is performed using the appropriate method. The reliability of the ALS is affected by the relative position of the ALS and the light source. Therefore, a bagging tree classifier is trained to serve as the confidence assessment model, with the posture of the camera, the color complexity of the image, and Duv (distance from the black body locus) of the estimated illuminant chromaticity as input parameters. Two illuminant estimation methods are designed for different levels of confidence. When the confidence of the ALS measurement is high, the illuminant estimation is performed by color space transformation from the ALS response to camera RGB via a second-order root polynomial model. This model is trained by minimizing the mean angular error of the training samples. Furthermore, if the ALS measurement has low confidence and the base algorithm has high confidence, illuminant estimation is performed by extracting neutral pixels using a mask determined by the ALS measurement and illuminant distribution characteristics based on the results of the existing neutral color extracting methods (Fig. 2). Finally, if both the ALS measurement and base algorithm have low confidence, the illuminant color is obtained by averaging the results of the two methods mentioned above. To evaluate the proposed ALS based color constancy algorithm (ALS-based CC), a dataset was collected using a Nikon D3X camera mounted with TCS3440 ALS. The dataset includes both conventional and low color complexity scenes from indoors and outdoors (Fig. 5), illuminated by light sources with a wide range of chromaticity (Fig. 4). In each image of the dataset, a classic color checker was positioned as a label, which was masked out during the evaluation.

Results and Discussions

The confidence assessment model of the ALS is trained and tested using 50 and 20 samples, respectively, collected using the aforementioned setup. It is demonstrated that the confidence assessment model correctly identifies all of the low confidence testing samples, but misjudges some of the high confidence ones (Table 2). The ALS-based CC, whose parameters were determined based on the performance evaluated by statistics of angular error, is executed with Grey Pixels (GP) as the base algorithm for neutral pixel extraction. The performance of ALS-based CC is compared with statistical-based counterparts using the established dataset. The results show that our proposed algorithm outperforms the counterparts in terms of the mean, tri-mean, and median of angular errors among the testing samples, indicating its overall high accuracy. Moreover, ALS-based CC achieves an angular error of less than 5° on the mean of the worst 25% of angular errors, demonstrating its excellent stability even in challenging scenes (Table 3). In terms of the visualization of typical scenes, ALS-based CC accurately estimates the illuminant most of the time, resulting in processed images that are largely consistent with the ground truth. However, all the counterparts perform poorly on some of the scenes with large pure color surfaces, resulting in quality degradation in their corrected images due to significant color bias (Fig. 6). Furthermore, the operation time of ALS-based CC is reduced to 66% of GP on MATLAB 2021b, suggesting its potential for real-time illuminant estimation applications.

Conclusions

This study proposes a color constancy algorithm that integrates the ALS with the camera to improve illuminant estimation accuracy in scenes with low color complexity. The algorithm consists of a confidence assessment model for the ALS and two illuminant estimation methods based on color space transformation and neutral pixel extraction, designed for different confidence levels. Furthermore, a dataset with ALS measurement was established to evaluate the algorithm, and the results show that mean, median, and mean of worst 25% angular errors of the proposed method decrease by 32%, 21%, and 41%, respectively, compared with the existing most accurate method. The proposed algorithm also has a potential for real-time illuminant estimation in both conventional and low color complexity scenes.

1　引言

颜色恒常性算法是图像增强^［1］、物体识别、目标追踪等计算机视觉任务的基础。已有的颜色恒常性算法大多针对单幅图像，基于假设或基于学习进行光源颜色估计，计算通道增益并利用对角线模型进行白平衡校正。

基于假设的算法根据图像颜色分布规律提出假设，设计光源颜色估计方法。例如，灰度世界算法^［2］、灰色边界算法^［3］和白块算法^［4］分别假设所有像素均值、边缘像素均值和各通道最大响应值反映光源颜色。在此基础上，研究者们不断优化假设，提出了灰色阴影算法^［5］、加权灰色边界算法^［6］、基于主成分分析的算法^［7］、灰色像素算法^［8］、灰色系数算法^［9］和基于置信度的算法^［10］等。这类算法大多计算简单，适用于不同的设备，但在不满足假设要求的图像中精度较低。

基于学习的算法利用数据集训练光源颜色估计模型。近年来，神经网络的应用为算法性能带来了较大提升，例如FC^4［11］、IGTN^［12］、CLCC^［13］、Reweighted-CC^［14］、BoCF^［15］、One-net^［16］、多通道置信度加权网络^［17］、渐进式多尺度特征级联融合网络^［18］等均取得了比传统算法更优的结果，但这类算法对训练集有较强的依赖性，且在颜色、内容单一的低颜色复杂度场景中难以得到准确、稳定的光源颜色估计结果。

随着智能终端摄影系统硬件的优化升级，可用于光源颜色估计的信息逐渐增加。目前大多数智能手机等终端设备都装备有探测光环境的传感器，以实现屏幕自适应于环境光的亮度、色温等调节。为了提升颜色恒常性算法在低颜色复杂度等疑难场景中的表现，本文挖掘环境光传感器在光源颜色估计中的潜力，提出一种应用环境光传感器的颜色恒常性算法，在置信度估计的基础上，设计了光源颜色估计方法，并建立数据库对算法性能进行验证。

2　算法原理

2.1　传感器置信度评估

从物理模型^［19］出发，在不考虑噪声的情况下，传感器某一通道的原始响应值可表示为反映光源颜色的镜面反射分量与反映物体颜色的漫反射分量的加权和，即

\begin{array}{l} f (c) = \iint_{(x, y) \in Ω}^{} \int_{ω} [m_{s} (x, y) I (λ) + \\ m_{b} (x, y) I (λ) S (x, y, λ)] ρ_{c} (λ) d λ d x d y \end{array}

，（1）

式中： $c$ 为通道编号； $(x, y)$ 为传感器视场 $Ω$ 中的某一点； $λ$ 为入射光波长； $ω$ 为可见光波段； $I (λ)$ 为照明光源光谱功率分布； $S (x, y, λ)$ 为被摄场景在 $(x, y)$ 处的光谱反射比； $ρ_{c} (λ)$ 为 $c$ 通道的光谱灵敏度； $m_{s} (x, y)$ 与 $m_{b} (x, y)$ 分别为镜面反射与漫反射分量权重。特别地，由光源发出的光可视为 $m_{s} (x, y) = 1$ 且 $m_{b} (x, y) = 0$ 的情况。在光源颜色估计任务中，将传感器置信度定义为其测量结果与实际光源颜色的一致性，由式（1）可知，该指标主要与入射光成分有关。如果入射光中镜面反射成分占主导地位，则 $m_{s} (x, y) \to 1,$ $m_{b} (x, y) \to 0$ ，传感器测量结果反映光源颜色，置信度高；如果漫反射分量不能忽略，那么传感器测量结果反映光源与物体反射特性的混合特征，且随着漫反射分量的增加，传感器置信度降低。

入射光成分主要取决于光源、被摄场景和环境光传感器的几何关系，本文主要考虑3个方面：1）由于日常生活中大多数场景为沉浸式照明，光源位于场景上方，传感器向上倾斜时，更可能获得高置信度测量结果；2）照明光源多分布在黑体轨迹附近，若测量结果明显偏离黑体轨迹，更可能与实际光源颜色出现较大差异，置信度低；3）纯色场景中，物体反射光的混合结果更易出现色偏，传感器测量结果无法准确反映光源特征，在该类场景中传感器获得低置信度测量结果的可能性更高。

本文选择传感器姿态、色品点到黑体轨迹的偏差距离（Duv）和场景颜色复杂度作为置信度评估模型的输入参数。其中，传感器姿态如图1所示，由设备与垂直面的夹角表示；Duv可基于三刺激值计算得到^［20］；场景颜色复杂度由图像颜色统计结果表征。场景颜色复杂度的计算方式如下：1）将图像下采样到 $H_{i} \times W_{i}$ （ $H_{i}$ 与 $W_{i}$ 分别为图像下采样后的长与宽），并映射到HSV颜色空间；2）将色调分量H划分为 $b$ 个区间，统计区间内像素比例大于计数阈值 $T_{H}$ 的区间数，作为第一个参数；3）计算饱和度分量S的均值，作为第二个参数。

图 1. 相机姿态表征示意图

Fig. 1. Schematic of camera pose representation

下载图片查看所有图片

以光源色品测量值 $({\overset{̑}{u}}^{'}, {\overset{̑}{v}}^{'})$ 与参考值 $(u^{'}, v^{'})$ 在CIE1976UCS色品图上的几何距离作为传感器置信度 $C$ 的评价指标，即

C = \sqrt[]{{({\overset{̑}{u}}^{'} - u^{'})}^{2} + {({\overset{̑}{v}}^{'} - v^{'})}^{2}}

，（2）

并以阈值 $T_{C}$ 将置信度分为两类， $\leq T_{C}$ 归类为置信度高， $> T_{C}$ 归类为置信度低，采用集成学习的装袋树^［21］建立传感器置信度估计模型。

2.2　基于颜色空间转换的光源颜色估计

近年来，应用于智能手机的环境光传感器（ALS）从单通道亮度传感器、三通道颜色传感器到多通道光谱传感器不断更迭，本文采用TCS3440多通道环境光传感器进行实验。该传感器利用余弦透射体将入射光混合均匀，具有8个窄带可见光通道、1个红外通道和1个全通通道^［22］，并内置了2个线性映射模型，可完成三刺激值计算与光源光谱重构等任务。

受图像信号处理（ISP）流程中颜色校正的启发，本文建立颜色空间映射模型，将传感器三刺激值计算结果从XYZ空间映射到相机RGB空间，作为光源颜色估计结果。权衡算法准确性与泛化能力，采用二次根式多项式模型，以训练样本角度误差^［19］均值为损失函数，采用内点法进行优化，即

\{\begin{array}{l} (\begin{matrix} x \\ y \\ z \\ \sqrt[]{x y} \\ \sqrt[]{x z} \\ \sqrt[]{y z} \end{matrix}) M = (\begin{matrix} \hat{r} \\ \hat{g} \\ \hat{b} \end{matrix}) = \hat{e} \\ L = \frac{\sum_{k = 1}^{n} a r c c o s 〈e_{k}, {\hat{e}}_{k}〉}{n} \end{array},

（3）

式中： $(x, y, z)$ 与 $\hat{e} = (\hat{r}, \hat{g}, \hat{b})$ 分别为光源三刺激值与相机RGB估计值； $M$ 为映射矩阵； $L$ 为损失函数； $e_{k}$ 与 ${\hat{e}}_{k}$ 分别为第 $k$ 个样本的相机RGB参考值与估计值； $n$ 为样本总数。

2.3　基于传感器辅助中性色像素提取的光源颜色估计

由于环境光传感器测量结果在一定程度上反映光源特征，故可利用传感器辅助基于单幅图像的颜色恒常性算法进行光源颜色估计，以提高容错率。选择基于中性色像素提取的颜色恒常性算法作为基础算法，基于基础算法中性色像素提取结果，以传感器光源颜色估计结果为参照，对中性色像素进行二次提取。为了便于对中性色区域进行表征，将基础算法初步提取的中性色像素与传感器光源颜色估计结果映射到正交色度平面（ $X Y_{o r t h}$ ）^［23］，映射公式为

(\begin{matrix} X_{o r t h} \\ Y_{o r t h} \end{matrix}) = (\begin{matrix} 1 & σ \\ 0 & 1 \end{matrix}) (\begin{matrix} c o s θ & - s i n θ \\ s i n θ & c o s θ \end{matrix}) (\begin{matrix} l n (\frac{D_{r}}{D_{r}^{C}} \frac{w_{r} D_{r}^{C} + w_{g} D_{g}^{C} + w_{b} D_{b}^{C}}{w_{r} D_{r} + w_{g} D_{g} + w_{b} D_{b}}) \\ l n (\frac{D_{b}}{D_{b}^{C}} \frac{w_{r} D_{r}^{C} + w_{g} D_{g}^{C} + w_{b} D_{b}^{C}}{w_{r} D_{r} + w_{g} D_{g} + w_{b} D_{b}}) \end{matrix}),

（4）

式中： $(D_{r}, D_{g}, D_{b})$ 为原始响应值； $(D_{r}^{C}, D_{g}^{C}, D_{b}^{C})$ 为参考光源响应值； $(w_{r}, w_{g}, w_{b})$ 为各个通道的权重系数； $θ$ 为坐标轴旋转角度； $σ$ 为正交色度平面中对水平轴的修剪系数。在该平面上，黑体轨迹为 $Y_{o r t h} = 0$ 表示的直线，等色温线为垂直于 $X_{o r t h}$ 轴的直线。由于照明光源颜色分布在黑体轨迹附近，中性色像素应分布在 $Y_{o r t h} = 0$ 附近，而由于传感器在一定程度上反映光源特征，中性色像素应接近传感器光源颜色估计结果。因此，将基础算法初步提取结果中位于黑体轨迹附近并包含传感器光源颜色估计结果的矩形区域内的像素作为二次提取结果，如图2所示。其中，矩形边界为

\{\begin{array}{l} Y_{o r t h} \leq T_{Y_{o r t h}} \\ |X_{o r t h} - X_{0}| = T_{X_{o r t h}} \end{array},

（5）

式中： $X_{0}$ 为传感器光源颜色估计结果的 $X_{o r t h}$ 分量； $T_{Y_{o r t h}}$ 和 $T_{X_{o r t h}}$ 分别为中性色区域上下和左右边界。

图 2. 传感器辅助中性色像素提取示意图

Fig. 2. Schematic of gray pixel extraction assisted by ALS

下载图片查看所有图片

2.4　光源颜色估计策略

根据环境光传感器置信度评估结果，针对不同情况设计了光源颜色估计策略，当传感器置信度高时，认为传感器测量结果具有较高的准确性，可将其作为最终的光源颜色估计结果，以减小基于图像内容进行光源颜色估计的不确定性。当传感器置信度低时，根据初步提取的中性色像素评估基础算法置信度，若有初步提取的中性色像素位于预设的中性色区域内，认为基础算法置信度高，否则认为基础算法置信度低。当基础算法置信度高时，采用传感器辅助中性色像素提取的光源颜色估计结果作为最终的光源颜色估计结果；当基础算法置信度低时，参考相关算法组合方式^［24］，将传感器光源估计结果与传感器辅助中性色像素提取的光源估计结果的均值作为最终的光源颜色估计结果。

3　实验与结果分析

3.1　数据集建立

针对传感器置信度评估模型、颜色空间映射模型的训练与测试以及应用环境光传感器的颜色恒常性算法的测试3项任务，在室内、室外多种光源下实际采集数据，并结合模拟数据建立数据集。

对于传感器置信度评估模型，将环境光传感器固定在摄影镜头旁，在室内、室外自然场景下随机拍摄70幅图像，同时记录传感器测量结果与设备姿态，并利用远距光谱辐射计CS-2000测量场景中白平衡卡的三刺激值，构建训练集。另外，分别对颜色恒常性算法测试集中的前20组数据补充采集光源三刺激值，组成测试集。

对于颜色空间映射模型，从开源数据集^［25-26］中获得光源光谱功率分布，计算白平衡卡的相机RGB值与三刺激值，构成包含91组模拟数据的训练集。在标准灯箱、多通道LED、荧光灯、日光等光源下，分别利用Nikon D3X相机与CS-2000光谱辐射计获得白平衡卡的相机RGB值与三刺激值，建立包含27组数据的测试集。训练集和测试集的光源颜色分布如图3所示。

图 3. 颜色空间映射模型数据集的光源颜色分布

Fig. 3. Distribution of the light sources in dataset for color space transformation

下载图片查看所有图片

对于颜色恒常性算法测试，模拟手机等终端设备上环境光传感器与镜头的位置关系，将环境光传感器固定在Nikon D3X摄影镜头旁，拍摄时记录传感器测量结果与设备姿态，由此采集140组室内、室外场景数据，以组成测试图像数据集，光源颜色分布如图4所示。

图 4. 颜色恒常性算法测试集的光源颜色分布

Fig. 4. Distribution of the light sources in dataset for color constancy algorithm testing

下载图片查看所有图片

为了测试所提算法在低颜色复杂度图像中的表现，算法测试数据集包含了100幅有高饱和度、大面积、单一颜色物体的场景，部分典型示例如图5所示。图像中色卡部分仅作为标签，测试时利用黑色蒙板将其遮盖。

图 5. 测试集中典型的低颜色复杂度场景

Fig. 5. Typical scenes with low color complexity in the testing dataset

下载图片查看所有图片

3.2　传感器置信度评估模型评价

根据算法在训练集中的表现，确定置信度评估模型的待定参数，如表1所示。

表 1. 置信度评估模型的待定参数取值

Table 1. Value of parameters in the confidence assessment model

$H_{i}$	$W_{i}$	$b$	$T_{H}$	$T_{C}$
64	64	18	$0.04 \times H_{i} \times W_{i}$	0.01

查看所有表

采用五折验证法，得到的训练与测试结果如表2所示。虽然测试集召回率（recall）较低，但假正率（false-positive rating）为0，精确率（precision，判断为置信度高的样本的正确率）为1，表明传感器置信度评估模型虽然对部分高置信度样本出现误判，但对低置信度样本均判断正确，避免了误将低置信度传感器估计结果作为最终光源颜色估计结果的情况。

表 2. 置信度评估模型的评价结果

Table 2. Evaluation of the confidence assessment model

Condition	Recall	Precision	False positive rating
Training fold	1.00	0.98	0.05
Testing fold	0.82	1.00	0.00

查看所有表

3.3　颜色空间映射模型评价

训练颜色空间映射模型时，利用Y通道对三刺激值进行归一化，并基于G通道对相机RGB值进行归一化。采用角度误差均值、三均值、中位数、最优25%均值、最差25%均值为评价指标，得到的训练集和测试集的表现性能如表3所示。可知，所提模型对训练集和测试集均具有较高的准确度和稳定性，表明所提二次根式多项式模型具有良好的泛化能力。

表 3. 颜色空间映射模型的评价结果（角度误差）

Table 3. Evaluation of the color space transformation model (angular error)

Condition	Mean /（°）	Tri-mean /（°）	Median /（°）	Best 25% /（°）	Worst 25% /（°）
Training fold	0.66	0.55	0.56	0.19	1.33
Testing fold	1.15	1.12	1.18	0.48	1.68

查看所有表

3.4　应用环境光传感器的颜色恒常性算法评价

根据算法在测试集中的表现，确定环境光传感器辅助中性色像素筛选方法中的细节。其中，基础算法选择灰色像素算法^［8］，而相机RGB空间与正交色度平面映射算法中的参数取值如表4所示，中性色像素提取范围的边界 $T_{Y_{o r t h}}$ 取值为0.017， $T_{X_{o r t h}}$ 的取值方式为

T_{X_{o r t h}} = \{\begin{array}{l} 1.1 D, \\ 0.01, \\ 5 D, \end{array} \begin{array}{r} D > 0.05 \\ D \leq 0.0235 \\ 0.0235 < D \leq 0.05 \end{array},

（6）

式中： $D$ 为初步提取的中性色像素与传感器光源颜色估计结果在 $X_{o r t h}$ 方向上的距离最小值。根据常见光源在正交色度平面上的分布，将用于评估基础算法置信度的预设中性色区域定义为 $|Y_{o r t h}| < 0.2$ 。

表 4. 相机RGB空间与正交色度平面转换算法的参数取值

Table 4. Value of parameters in transformation from camera RGB space to $X Y_{o r t h}$ plane

$w_{r}$	$w_{g}$	$w_{b}$	$D_{r}^{C}$	$D_{g}^{C}$	$D_{b}^{C}$	$θ$ /（°）	$σ$
0.2533	0.4935	0.2532	0.4141	1.000	0.7476	40.85	0.0453

查看所有表

所提颜色恒常性算法为基于假设的算法，因此主要与该类算法进行比较，结果如表5所示。对比的同类算法分别为灰度世界（GW）^［2］、一阶灰色边界（GE1）^［3］、二阶灰色边界（GE2）^［3］、灰色阴影（SoG）^［5］、白块（WP）^［4］、加权灰色边界（WGE）^［6］、双对抗模型（DO）^［27］、灰色像素（GP）^［8］和灰色指数（GI）^［9］算法。ALS only为将传感器测量结果作为光源颜色估计结果的情况，ALS grey pixels为传感器辅助中性色像素提取的情况，ALS-based CC为采用2.4节光源颜色估计策略的情况。由于测试集包含一定比例的极端色温光源，颜色空间映射模型的表现出现劣化，ALS only的角度误差均值、中位数、三均值、最优25%均值劣于部分对比算法，但最差25%均值优于所有算法，说明传感器在置信度低的情况下与传统算法相比仍具有一定优势；ALS grey pixels在大多数指标上表现最佳，但最差25%均值劣于ALS only，这是因为灰色像素算法在部分场景中无法正确提取中性色像素；ALS-based CC既保留了传感器估计结果在高置信度场景中的优势，也弥补了ALS grey pixels在难以正确提取中性色像素的极端场景中的劣势，在保证算法准确性的同时，提升了算法的稳定性。

表 5. 颜色恒常性算法在测试集中的表现（角度误差）

Table 5. Performance of color constancy algorithms in the test set (angular error)

Method	Mean /（°）	Tri-mean /（°）	Median /（°）	Best 25% /（°）	Worst 25% /（°）
GW	6.88	7.40	7.10	1.99	11.37
GE1	5.07	3.88	4.39	1.61	10.32
GE2	5.56	5.78	5.49	1.99	9.16
SoG	4.69	3.00	3.67	1.52	10.30
WP	6.57	6.43	5.97	1.07	13.16
WGE	6.52	6.81	6.32	1.66	11.48
DO	5.02	1.97	3.26	0.46	13.55
GP	3.35	1.75	2.28	0.83	8.42
GI	4.07	1.65	2.89	0.41	10.72
ALS only	2.69	2.25	2.33	1.20	4.83
ALS grey pixels	2.14	1.34	1.57	0.37	5.11
ALS-based CC	2.27	1.59	1.81	0.46	4.99

查看所有表

图6所示为部分图像的可视化结果。每列为一组图像，第1行和第2行分别为原始图像和参考图像，第3~12行分别为利用所提算法和对比算法的光源颜色估计结果进行白平衡校正和必要的ISP流程的结果，左上角为对应算法的光源颜色估计角度误差。其中第1~5组为低颜色复杂度场景，由于图像内容比较单一，或有大面积单一颜色物体，难以从中提取出与光源颜色相关的线索，因此部分对比算法的表现较差，而环境光传感器为光源颜色估计提供了有效信息，提升了所提算法在疑难场景中的表现；第6~8组为常规场景，ALS-based CC达到或超过了对比算法的光源颜色估计精度，说明其在常规场景中也具有较高的准确性。

图 6. 典型测试图像的可视化结果

Fig. 6. Visualization of typical test images

下载图片查看所有图片

总体而言，所提算法具有更高的准确性与稳定性，在保证常规场景光源颜色估计精度的基础上，提升了颜色恒常性算法在低颜色复杂度等疑难场景中的表现。在MATLAB平台上，所提算法在测试集中的平均运行时间仅为基础算法GP的0.66，并未明显增加时间成本。

4　结论

利用装备于摄影镜头旁的环境光传感器探测光源信息，提出了一种应用环境光传感器的颜色恒常性算法。通过建立传感器置信度估计模型，设计了基于颜色空间映射与传感器辅助中性色像素提取的光源颜色估计方法，并针对不同置信度采取合理的策略，兼顾了算法在常规场景与疑难场景中的表现，与同类算法相比，所提算法具有更高的准确性与稳定性。未来将基于物理模型建立更为精确的置信度评估模型，优化中性色像素筛选方法，以进一步提升颜色恒常性算法的性能，并探索其在手机等智能终端上的应用。

参考文献

[1] 王晓琦, 赵宣植, 刘增力. 基于颜色恒常性和多尺度小波的水下光学图像增强[J]. 激光与光电子学进展, 2022, 59(16): 1601002.

Wang X Q, Zhao X Z, Liu Z L. Underwater optical image enhancement based on color constancy and multiscale wavelet[J]. Laser & Optoelectronics Progress, 2022, 59(16): 1601002.

[2] Buchsbaum G. A spatial processor model for object colour perception[J]. Journal of the Franklin Institute, 1980, 310(1): 337-350.

[3] GijsenijA, GeversT, van de WeijerJ. Physics-based edge evaluation for improved color constancy[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL, USA. New York: IEEE Press, 2009: 581-588.

[4] Land E H, McCann J J. Lightness and retinex theory[J]. Journal of the Optical Society of America A, 1971, 61(1): 1-11.

[5] FinlaysonG D, TrezziE. Shades of gray and colour constancy[C]//Proceedings of the 12th Color Imaging Conference, November 9-12, 2004, Scottsdale, AZ. Springfield: Society for Imaging Science and Technology, 2004: 37-41.

[6] Gijsenij A, Gevers T, van de Weijer J. Improving color constancy by photometric edge weighting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(5): 918-929.

[7] Cheng D L, Prasad D, Brown M S. Illuminant estimation for color constancy: why spatial-domain methods work and the role of the color distribution[J]. Journal of the Optical Society of America A, 2014, 31(5): 1049-1058.

[8] YangK F, GaoS B, LiY J. Efficient illuminant estimation for color constancy using gray pixels[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE Press, 2015: 2254-2263.

[9] QianY L, KämäräinenJ K, NikkanenJ, et al. On finding gray pixels[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. New York: IEEE Press, 2020: 8054-8062.

[10] LaakomF, RaitoharjuJ, IosifidisA, et al. Probabilistic color constancy[C]//Proceedings of the IEEE International Conference on Image Processing (ICIP), October 25-28, 2020, Abu Dhabi, United Arab Emirates. New York: IEEE Press, 2020: 978-982.

[11] HuY M, WangB Y, LinS. FC4: fully convolutional color constancy with confidence-weighted pooling[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 330-339.

[12] XuB L, LiuJ X, HouX, et al. End-to-end illuminant estimation based on deep metric learning[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 13-19, 2020, Seattle, WA, USA. New York: IEEE Press, 2020: 3613-3622.

[13] LoY C, ChangC C, ChiuH C, et al. CLCC: contrastive learning for color constancy[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 19-25, 2021, virtual. New York: IEEE Press, 2021: 8049-8059.

[14] Qiu J Q, Xu H S, Ye Z N. Color constancy by reweighting image feature maps[J]. IEEE Transactions on Image Processing, 2020, 29: 5711-5721.

[15] Laakom F, Passalis N, Raitoharju J, et al. A bag of color features for color constancy[J]. IEEE Transactions on Image Processing, 2020, 29: 7722-7734.

[16] Domislović I, Vršnak D, Subašić M, et al. One-net: convolutional color constancy simplified[J]. Pattern Recognition Letters, 2022, 159: 31-37.

[17] 杨泽鹏, 解凯, 李桐, 等. 多通道置信度加权颜色恒常性算法[J]. 光学学报, 2021, 41(11): 1133002.

Yang Z P, Xie K, Li T, et al. Color constancy with multi-channel confidence-weighted method[J]. Acta Optica Sinica, 2021, 41(11): 1133002.

[18] 杨泽鹏, 解凯, 李桐. 渐进式多尺度特征级联融合颜色恒常性算法[J]. 光学学报, 2022, 42(5): 0533002.

Yang Z P, Xie K, Li T. Progressive multi-scale feature cascade fusion color constancy algorithm[J]. Acta Optica Sinica, 2022, 42(5): 0533002.

[19] Gijsenij A, Gevers T, van de Weijer J. Computational color constancy: survey and experiments[J]. IEEE Transactions on Image Processing, 2011, 20(9): 2475-2489.

[20] Ohno Y. Practical use and calculation of CCT and Duv[J]. Leukos, 2014, 10(1): 47-55.

[21] Breiman L. Bagging predictors[J]. Machine Learning, 1996, 24(2): 123-140.

[22] Ams. User guide for TCS3440[EB/OL]. [2022-11-09]. https://ams.com/documents/20143/4432507/TCS3440_UG000485_2-00.pdf.

[23] 邱珏沁. 基于原始响应值预测模型的数码相机图像信号处理方法与技术研究[D]. 杭州: 浙江大学, 2020: 88-90.

QiuJ Q. Study on the methodology and technology of digital camera image signal processing based on the raw response prediction model[D]. Hangzhou: Zhejiang University, 2020: 88-90.

[24] Li B, Xiong W H, Hu W M, et al. Evaluating combinational illumination estimation methods for real-world images[J]. IEEE Transactions on Image Processing, 2014, 23(3): 1194-1209.

[25] RobyJ. LSPDD: lamp spectral power distribution database[EB/OL]. [2022-11-09]. https://lspdd.org/app/fr/lamps.

[26] Jussi ParkkinenP S. Measurements in different daylight illuminations[EB/OL]. (1995-07-26)[2000-01-13]. http://cs.uef.fi/pub/color/spectra/daylight/.

[27] Gao S B, Yang K F, Li C Y, et al. Color constancy using double-opponency[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(10): 1973-1985.

2.3　基于传感器辅助中性色像素提取的光源颜色估计

3.4　应用环境光传感器的颜色恒常性算法评价

4　结论

李悦敏, 徐海松, 黄益铭, 杨敏航, 胡兵, 张云涛. 应用环境光传感器的颜色恒常性算法[J]. 光学学报, 2023, 43(14): 1433001. Yuemin Li, Haisong Xu, Yiming Huang, Minhang Yang, Bing Hu, Yuntao Zhang. Color Constancy Algorithm Using Ambient Light Sensor[J]. Acta Optica Sinica, 2023, 43(14): 1433001.