基于颜色空间的彩色图像颜色评价

基于手机成像质量颜色评价的必要性，提出一种融合相机主观场景成像色彩和白平衡的自动评测方法（CIQA），以充分提取彩色图像相关特征并模拟人眼视觉感知特性来评价图像颜色。首先使用尺度不变特征变换（Scale-invariant feature transform，SIFT）与透射变换相结合的方法，标识主观图像中ColorChecker标准二十四色卡对应的位置；而后构建离差率最小二乘法模型，并采用专家赋权法和熵权法计算色彩还原和白平衡指标权重分配比例；最后，通过多指标权重值对TOPSIS（Technique for Order Preference by Similarity to an Ideal Solution）进行改进，确定各方案与典型正负理想方案的接近程度，实现对智能手机成像质量颜色的优劣排序。对真实场景采集的图片进行实验，并与现有的两种决策方法进行对比验证。结果表明，所提方法能提高评价效率、节省人力，并可以获得与人眼主观判断一致性较好的评价结果。

Abstract

In order to fully extract relevant features of color images and evaluate image color by simulating visual perception characteristics of human eye, an automatic evaluation method for camera subjective scene imaging color and white balance (CIQA for short) is proposed. Firstly, the corresponding position of ColorChecker standard twenty-four color cards in subjective image is identified, based on the combination of SIFT (Scale-invariant feature transform) and transmission transform,the corresponding position of ColorChecker standard twenty-four color cards in subjective image is identified. Aimed at constructing the deviation least square method model to calculate the weight distribution proportion of color restoration and white balance indicators,the expert grading method and entropy weight method are applied. The proximity between the schemes and positive and negative ideal schemes is calculated by optimized TOPSIS (Technique for Order Preference by Similarity to an Ideal Solution) method dependent upon multi attribute weights to realize ranking of the smartphones. Experiments are carried out on the pictures collected in real scenes in comparison with the two existing decision-making methods. The results show that the proposed method can improve evaluation efficiency and save manpower, which can obtain evaluation results that are consistent with subjective judgment of human eye.

1 引言

随着手机行业突飞猛进的兴起，其已成为人们生活、工作中很重要的一部分。由于手机的便携性以及相机硬件模组的完备性，越来越多的用户使用手机拍照和记录。孟利等^［1］将手机相机用于公安勘查现场采集照片；夏莎莎等^［2］基于手机相机获取冬小麦拔节期冠层图像进行精准施肥研究，并基于此研究成果进行手机APP开发；管昉立等^［3］基于智能手机与机器视觉技术相结合，探索立木胸径测试方法，其相对误差小于2.50%，精度较高。手机相机拍摄得到的图像效果已成为评价手机质量的一项重要指标，如色彩、曝光、清晰度、噪声等，这些也是用户购买手机的部分参考依据。手机图像的呈现是摄像头软硬件综合调校的结果，用户看到的也是这个最终结果，如何评判画质的优劣成为手机成像的一个重要研究课题。

客观评测和主观评测是目前数字图像领域比较经典的两种评测方法。客观评测主要依赖于拍摄专业图卡并使用专业仪器分析给出的评价，例如DXOMARK、Image Engineering和Imatest公司都有独立的实验系统和评价体系，但其只能模拟少部分真实场景，所以还需要大量实景拍摄的主观评测。主观评测是拍摄用户真实使用场景并借助人眼给出喜好评价，但这个评测不仅花费时间较长，评测者还需要经过专业培训，且人为判断时添加主观色彩因素，会导致评价结果差异性较大。目前，专门针对图像白平衡质量评价的算法相对较少，众多科学研究集中在颜色评价。

文献［4-5］主要从图像的色调、彩度和明度通道出发，构建图像全参考质量评估方法。文献［6-8］从RGB（Red，Green，Blue）3个分量统计分布出发，构建图像质量评价体系。文献［9］等从色调、饱和度、对角、球面角4个维度出发构建自然场景统计模型。Li等^［10］提出基于稀疏表示的彩色图像质量评价方法。文献［11］提出基于全局与局部统计特征的色域映射图像无参考质量评价方法。Jens Preiss等^［12］使用彩色图像差异作为目标函数改善色域映射的算法，解决视觉伪像问题也同步改进了彩色图像差异，提高彩色图像的预测精度。Dogancan Temel等^［13］提出基于多尺度和多通道误差表示的频谱理解的图像质量评价算法，该类方法解决了大多数研究中使用灰度图像而忽略颜色信息的关键信息，使图像预测精度得到有效提高。文献［14］提出基于自然场景统计的色域映射图像无参考质量评价算法。文献［15］重点研究Lab（Luminance，a，b）色彩空间中a通道和b通道的信息熵特征，通过建立支持向量机（Support Vector Machine，SVM）进行回归训练。PerSIM（Perceptual SIMilarity）^［16］和FSIMc（Feature SIMilarity extend to Color）^［17］通过在颜色通道中计算逐像素的保真度用来提升对彩色图像评价的性能。Gupta等^［18］基于YIQ（Luminance，In-phase，Quadrature-phase）色彩空间提出无参考图像质量评价方法。

上述算法对RGB色域空间、Lab色域空间和YIQ色域空间等进行了深入的研究，在图像颜色评价方面取得了一定的进展，但是缺乏对图像白平衡表现的研究，无法很好地模拟人眼视觉感知特性，其评价性能和实用性还需要进一步的提升。自动评测相机图像质量也已经成为众多手机厂商研究的课题，结合专业测试图卡与主观评测对手机拍照图像质量做出评价是研究的大趋势。大量的科研学者提供了研究思路。蔡俊等^［19］采用尺度不变特征变换（SIFT）经典算法并搭配PyQt工具设计出识别率高达95%以上的道路标识牌识别系统。韩彬等^［20］采用改进传统Canny与透射变换相结合，有效解决了印刷品图像中的畸变现象，为自动化提取实景图像中Colorchecker标准二十四色卡的位置提供了有效思路。高佳南等^［21］采用最小二乘法优化组合赋权模型评价矿井环境舒适度，与实际考察结果基本相符。苟廷佳等^［22］将TOPSIS法应用于生态文明建设评价中。受上述算法的启发，本文提出一种相机成像质量色彩和白平衡自动评测方法。

CIQA算法的核心在于基于SIFT与透射变换相结合提取手机相机成像图像中的Colorchecker标准二十四色卡区域，替代手动使用Imatest3.7 Image Sensor专业软件（美国IMATEST LLC）提取二十四色卡区域的步骤，大幅缩短了分析时间。本文从图像白平衡表现和色彩还原表现两方面考虑，结合RGB、Lab和HSV（Hue，Saturation，Value）颜色空间给出8个模拟人眼视觉感知特性的指标用于评价图像，并构建离差率最小二乘法获取各指标分配权重值，最后基于改进主客观赋权的TOPSIS算法对手机相机画质色彩表现效果进行排序。

2 本文方法

2.1　色卡介绍

本文采用X-rite公司ColorChecker标准二十四色卡^［23］作为测试样本，如图1所示。标准色卡是经科学配置的24个自然色，彩色和灰度色块。按照从左到右、从上到下的顺序，分别标记为1~24。这些色块可在各种光源下与其代表的自然物体的色彩相匹配，每个色块的光线反射与其相应的真实物体一样，因此可以用于色彩还原和白平衡测试。

图 1. ColorChecker标准二十四色卡

Fig. 1. ColorChecker standard twenty-four color cards

下载图片查看所有图片

其24个颜色对应的基于sRGB色域的标准RGB值和基于CIE L*a*b*的L*a*b*值见表1。通过建立相机拍摄色卡的色度值与标准色卡的色度值之间的关系，得出现有相机的色彩与白平衡还原效果表现。

表 1. ColorChecker标准二十四色卡的RGB值和Lab*值

Table 1. RGB value and Lab* value of the ColorChecker standard twenty-four color cards

编号/颜色	01/Dark skin	02/Light skin	03/Blue sky	04/Foliage	05/Blue flower	06/Bluish green
R\|L^*	114\|37.54	195\|65.20	93\|50.37	91\|43.13	129\|55.34	97\|71.36
G\|a^*	81\|12.02	148\|14.82	122\|-1.57	108\|-14.63	128\|11.45	191\|-32.72
B\|b^*	68\|13.33	128\|17.55	156\|-21.43	65\|22.12	176\|-25.29	171\|1.64
编号/颜色	07/Orange	08/Purplish blue	09/Moderate red	10/Pruple	11/Yellow green	12/Orange yellow
R\|L^*	221\|61.37	71\|40.71	193\|49.86	92\|30.12	160\|72.44	228\|70.92
G\|a^*	123\|32.88	91\|16.91	82\|45.93	57\|24.91	189\|-27.46	161\|15.58
B\|b^*	48\|55.16	170\|-45.09	97\|13.88	106\|-22.61	62\|58.47	41\|66.54
编号/颜色	13/Blue	14/Green	15/Red	16/Yellow	17/Magenta	18/Cyan
R\|L^*	40\|29.62	71\|55.64	174\|40.55	237\|80.98	188\|51.01	0\|52.12
G\|a^*	63\|21.43	150\|-40.76	51\|49.97	198\|-1.04	84\|49.88	138\|-24.61
B\|b^*	147\|-49.03	73\|33.27	57\|25.46	20\|80.03	151\|-16.93	168\|-26.18
编号/颜色	19/White（.05^*）	20/Neutral 8（.23^*）	21/Neutral 6.5（.44^*）	22/Neutral 5（.70^*）	23/Neutral 6.5（.44^*）	24/Black
R\|L^*	245\|96.54	200\|81.27	161\|66.79	121\|50.87	83\|35.68	49\|20.48
G\|a^*	245\|-0.69	202\|-0.61	163\|-0.65	121\|-0.06	84\|-0.22	49\|0.05
B\|b^*	242\|1.35	202\|-0.24	163\|-0.43	122\|-0.25	86\|-1.21	51\|-0.97

查看所有表

2.2　实景图像色卡提取方法

SIFT即尺度不变特征变换^［24］，计算核心为在尺度空间中寻找众多特征点，广泛应用于图像处理领域，可以在一定程度上有效降低标准色卡因拍摄角度、距离以及光照因素对识别结果的干扰。

关键的特征点群通过构造DoG（Difference of Gaussian）尺度空间获取，采用高斯函数G（x，y，σ）与原图像做卷积运算实现尺度变换；采用FLANN（Fast library for approximate nearest neighbors）计算欧式距离来找寻与实例点的最邻近的特征点；采用RANSAC（Random sample consensus）在多重数据中去除干扰数据，利用置信值高的数据点求取数据模型。

在实际拍摄Colorchecker标准二十四色卡时，往往因为图像分辨率、拍摄距离远近、色卡摆放位置等原因，识别分割后的色卡图像会产生不同程度的形变，此时引入透射变换算法^［25］来精准提取标准二十四色卡中24个色块的位置。

2.3　色彩还原与白平衡指标原理

2.3.1　色彩还原指标

色彩还原指标参考基于CIE L*a*b*色域第1~18个色块色度值计算，主要分为色彩饱和度（Mean_chroma）、a*b*两通道差值（Delta_ab_mean）、L*a*b*三通道差值（Delta_E_mean）和色彩偏向角度（Delta_h）。

Mean_chroma的计算模型^［26］如式（1）所示，该值表示色彩饱和度，其值在一定范围内会有更好的视觉体验：

\begin{matrix} M e a n_c h r o m a = \\ \sum_{i = 1}^{18} (\frac{\sqrt[]{{a_{i_m e a n s}}^{2} + {b_{i_m e a n s}}^{2}}}{\sqrt[]{{a_{i_i d e a l}}^{2} + {b_{i_i d e a l}}^{2}}}) / 18 \times 100 % \end{matrix}

，（1）

其中：a_i_{_means}和b_i_{_means}是相机拍摄色卡被计算色块色彩分量的平均值，a_i_{_ideal}和b_i_{_ideal}是标准色卡被计算色块色彩分量的理论值。

Delta_ab_mean的计算模型^［26］如式（2）所示，该值从色彩分量出发，不考虑亮度分量，值越大，说明色块之间的差异越大，该值在CIE2000中重新定义了色差计算方法，使其在CIE L*a*b*色域中，色差计算值与人眼评估更加接近：

D e l t a_a b_m e a n = \sum_{i = 1}^{18} \sqrt[]{{(\frac{Δ C_{i}}{K_{C} S_{C i}})}^{2} + {(\frac{Δ H_{i}}{K_{H} S_{H i}})}^{2} + R_{T} (\frac{Δ C_{i}}{K_{C} S_{C i}}) (\frac{Δ H_{i}}{K_{H} S_{H i}})} / 18

，（2）

C_{i_m e a n s} = \sqrt[]{((1 + G) a_{i_m e a n s})^{2} + {b_{i_m e a n s}}^{2}}

，（3）

C_{i_i d e a l} = \sqrt[]{((1 + G) a_{i_i d e a l})^{2} + {b_{i_i d e a l}}^{2}}

，（4）

Δ C_{i} = C_{i_m e a n s} - C_{i_i d e a l}

，（5）

h_{i_m e a n s} = t a n^{- 1} (b_{i_m e a n s} / (1 + G) a_{i_m e a n s})

，（6）

h_{i_i d e a l} = t a n^{- 1} (b_{i_i d e a l} / (1 + G) a_{i_i d e a l})

，（7）

\begin{array}{l} Δ H_{i} = 2 \times \sqrt[]{C_{i_m e a n s} C_{i_i d e a l}} \times \\ s i n ((h_{i_m e a n s} - h_{i_i d e a l}) / 2), \end{array}

（8）

其中：S_Ci和S_Hi是彩度和色相差权重参数，R_T是椭圆旋转调整因子，G是动态调整因子，K_C=K_H=1，其他参数意义同式（1）。

Delta_E_mean的计算模型^［26］如式（9）所示，该值可以数字化表示不同颜色之间的差别，值越大，说明颜色之间的差异越大：

\begin{matrix} D e l t a_E_m e a n = \\ \sum_{i = 1}^{18} \sqrt[]{{(\frac{Δ L_{i}}{K_{L} S_{L i}})}^{2} + {(\frac{Δ C_{i}}{K_{C} S_{C i}})}^{2} + {(\frac{Δ H_{i}}{K_{H} S_{H i}})}^{2} +} \\ \sqrt[]{R_{T} (\frac{Δ C_{i}}{K_{C} S_{C i}}) (\frac{Δ H_{i}}{K_{H} S_{H i}})} / 18, \end{matrix}

（9）

Δ L_{i} = L_{i_m e a n s} - L_{i_i d e a l}

，（10）

其中：L_i_{_means}是相机拍摄色卡被计算色块亮度分量的平均值，L_i_{_ideal}是标准色卡被计算色块亮度分量的理论值，S_Li是亮度权重参数，K_L=1，其他参数意义同式（2）。

色彩偏向角度指标参考基于CIE HSV色域中的色相角Hue，第1~18个色块色调计算模型如式（12）所示：

H_{i} = \{\begin{array}{l} (G_{i_m e a n s} - B_{i_m e a n s}) / Δ_{i} \times 60 ° & i f & R = m a x \\ (B_{i_m e a n s} - R_{i_m e a n s}) / Δ_{i} \times 60 ° + 120 ° & i f & G = m a x \\ (R_{i_m e a n s} - G_{i_m e a n s}) / Δ_{i} \times 60 ° + 240 ° & i f & B = m a x \end{array}

，（11）

D e l t a_h = \sum_{i = 1}^{18} |H_{i} - H_{i_d e a l}| / 18

，（12）

其中：R_i_{_means}、G_i_{_means}、B_i_{_means}是相机拍摄色卡被计算色块基于RGB色域的值，H_i_{_deal}是对应标准色卡被计算色块色彩偏向角的理论值。

2.3.2　白平衡指标

白平衡还原指标参考基于CIE HSV色域中的饱和度Saturation。色卡第20~23个色块的饱和度分别记为S₂₀、S₂₁、S₂₂、S₂₃，该值会修正人眼观察图像时光照颜色对物体造成的色差^［27］。

S_i的计算模型^［28］如式（13）~（16）所示：

C_{i_m a x} = M A X (R_{i_m e a n s}, G_{i_m e a n s}, B_{i_m e a n s})

，（13）

C_{i_m i n} = M I N (R_{i_m e a n s}, G_{i_m e a n s}, B_{i_m e a n s})

，（14）

Δ_{i} = C_{i_m a x} - C_{i_m i n}

，（15）

S_{i} = \{\begin{array}{l} 0 & C_{i_m a x} = 0 \\ Δ_{i} / C_{i_m a x} & C_{i_m a x} \neq 0 \end{array}

，（16）

其他参数意义同式（12）。

ColorChecker标准二十四色卡中24个色块的角点坐标D、E、F、G是固定的。将目标色卡的24个色块的4个顶点坐标预先设定好，将基于SIFT分割后的色卡做透视变换成矩形找到24个色块的顶点坐标，再反透射变换到原始拍摄图像，找到实际拍摄色卡的色块顶点坐标，用于计算各指标值。

以本文实验数据绘制流程图如图2所示。其中将相机拍摄带有ColorChecker标准二十四色卡的图像（色卡占整张图像的百分比根据拍摄环境确定）作为实景图像，在正常光照下拍摄ColorChecker标准二十四色卡的图像（色卡占整张图像接近100%）作为目标图像。

图 2. 算法总体结构图

Fig. 2. Overall structure of the algorithm

下载图片查看所有图片

3 构建离差率最小二乘法模型获取主客观融合权重

在图像综合评价中，颜色还原、颜色饱和度和白平衡等值的重要程度不一样。相机领域内的画质专家给予的主观权重分配比例也主要是依靠自身的经验值，不同的画质专家对某些图像问题的描述有可能出现分歧。但专家的决策具有重要的参考价值，所以我们配合测试数据提供客观信息，计算所得出的多指标权重会更加具有客观性和合理性。

3.1　专家评分法

通过与相机领域内资深产品、画质调试和画质测试工程师共同评估Mean_chroma、Delta_ab_ mean、Delta_E_mean、S₂₀、S₂₁、S₂₂、S₂₃、Delta_h 8个指标的相对重要程度给出评分，评价标准采用0~9分制，0分说明该评价指标在画质整体评价中占比最低，9分则说明该评价指标占比最高。随着分数的递增，该指标的重要程度也随之增加，计算每一个指标的平均得分来确定该指标的权重w₁_j，从而获得指标综合值为：

i n d e x_{1 i} = \sum_{j = 1}^{m} w_{1 j} x_{i j}, (i = 1, \dots, n; j = 1, \dots, m),

（17）

其中：m为指标总数，i为测试图像编号，j为测试图像指标编号，x_ij为第i号测试图像第j个指标。

3.2　熵权法

熵权法从数据本身存在的客观性出发，通过指标数据计算得出的信息熵E（j）与该指标的数据集提供的信息量成反比，对评价所起的贡献作用越强，其权重理应也越大。

首先处理指标数据，得到标准矩阵，并计算其信息熵：

\begin{matrix} p_{i j} = (x_{i j} - m i n (x_{i j})) / (m a x (x_{i j}) - m i n (x_{i j})), \\ E (j) = - {(l n m)}^{- 1} \sum_{i = 1}^{n} p_{i j} l n p_{i j} . \end{matrix}

（18）

进而得出第j个指标权重的公式为：

w_{2 j} = (1 - E_{j}) / (m - \sum_{j = 1}^{m} E_{j})

.（19）

当p_ij=0时，规定p_ijlnp_ij=0。综合指标值为：

i n d e x_{2 i} = \sum_{j = 1}^{m} w_{2 j} x_{i j}, (i = 1, \dots, n; j = 1, \dots, m) .

（20）

其余参数意义同式（17）。

3.3　构建离差率最小二乘法

本文在经典最小二乘法的基础上进行改进，多指标组合权重通过搭建离差率最小二乘法模型获得。在推导过程中给出矩阵解可直接对数据进行处理得出有效结果。各指标权重构成权重矢量为W_m₁=（w₁，…，w_m）^T，定义离差率的模型如式（21）：

P_{i} = (\sum_{j = 1}^{m} w_{j} x_{i j} - i n d e x_{1 i}) / i n d e x_{1 i}

.（21）

以上模型在构建时要求index₁_i不为0，经验证本文数据皆不为0，故可以构建。离差率最小二乘法的核心在于合理结合画质专家给出的建议和测试数据提供的数据信息，使最终确定的多指标组合权重值有效结合主客观信息。

按照式（22）构建离差率最小二乘法模型：

\begin{matrix} m i n Q (w) = \sum_{i = 1}^{n} ({(\frac{\sum_{j = 1}^{m} w_{j} x_{i j} - i n d e x_{1 i}}{i n d e x_{1 i}})}^{2} + \\ {(\frac{\sum_{j = 1}^{m} w_{j} x_{i j} - i n d e x_{2 i}}{i n d e x_{2 i}})}^{2}) . \end{matrix}

（22）

其中： $\sum_{j = 1}^{m} w_{j} = 1, w_{j} \geq 0, i n d e x_{1 i} = \sum_{j = 1}^{m} w_{1 j} x_{i j}, i n d e x_{2 i} =$ $\sum_{j = 1}^{m} w_{2 j} x_{i j}$ .

按照式（23）构造Lagrange函数：

Q = \sum_{i = 1}^{n} ({(\frac{\sum_{j = 1}^{m} w_{j} x_{i j} - i n d e x_{1 i}}{i n d e x_{1 i}})}^{2} + {(\frac{\sum_{j = 1}^{m} w_{j} x_{i j} - i n d e x_{2 i}}{i n d e x_{2 i}})}^{2}) + 2 λ (\sum_{j = 1}^{m} w_{j} - 1)

.（23）

按照式（24）分别对m+1个变量进行求解偏导：

\{\begin{matrix} \frac{\partial Q}{\partial w_{j}} = \sum_{i = 1}^{n} \{\begin{matrix} 2 \times \frac{\sum_{k = 1}^{m} w_{k} x_{i k} - i n d e x_{1 i}}{i n d e x_{1 i}} \times \frac{x_{i j}}{i n d e x_{1 i}} + \\ 2 \times \frac{\sum_{k = 1}^{m} w_{k} x_{i k} - i n d e x_{2 i}}{i n d e x_{2 i}} \times \frac{x_{i j}}{i n d e x_{2 i}} \end{matrix}\} + 2 λ = 0 \\ \frac{\partial Q}{\partial λ} = 2 (\sum_{j = 1}^{m} w_{j} - 1) = 0 \end{matrix}

.（24）

求解过程较为繁杂，此处以矩阵的形式表示：

\begin{matrix} P_{m m} = \sum_{k = 1}^{m} x_{k s} x_{k r} (\frac{1}{i n d e {x_{1 i}}^{2}} + \frac{1}{i n d e {x_{2 i}}^{2}}), \\ e_{1 m} = {(1, \dots, 1)}^{T} = {e_{m 1}}^{T}, \\ W_{m 1} = (w_{1}, \dots, w_{m})^{T}, \\ O_{m 1} = (\begin{matrix} \sum_{i = 1}^{n} (\frac{1}{i n d e x_{1 i}} + \frac{1}{i n d e x_{2 i}}) x_{i 1}, \dots, \\ \sum_{i = 1}^{n} (\frac{1}{i n d e x_{1 i}} + \frac{1}{i n d e x_{2 i}}) x_{i m} \end{matrix}) \end{matrix}

.（25）

按照式（26）得出指标分配权重：

W_{m 1} = P_{m m}^{- 1} O_{m 1} - P_{m m}^{- 1} \frac{e_{1 m} P_{m m}^{- 1} O_{m 1} - 1}{e_{1 m} P_{m m}^{- 1} e_{m 1}} e_{m 1}

.（26）

4 构建离差率最小二乘法模型获取主客观融合权重

假设将本文中涉及到的手机型号作为方案表示，选取相机画质色彩效果好的手机型号寻找最优方案解。智能手机成像质量颜色效果综合评价步骤如下：

Step1：不同指标往往具有不同的数量级与量纲，为了消除指标间的差异性，规范化处理测试数据如式（27），

r_{i j} = (r_{i j} - m i n (r_{i j})) / (m a x (r_{i j}) - m i n (r_{i j}))

.（27）

式中：i=1，…，g；j=1，…，h。C₁，C₂，…，C_g对应的是方案；F₁，F₂，…，F_h对应的是指标。

Step2：构建方案-指标集矩阵如下：

T = [\begin{matrix} r_{11} & r_{12} & \dots & r_{1 h} \\ r_{21} & r_{22} & \dots & r_{2 h} \\ ⋮ & ⋮ & \dots & ⋮ \\ r_{g 1} & r_{g 2} & \dots & r_{g h} \end{matrix}]

.（28）

Step3：Huang等人提出TOPSIS法^［29］，通常取矩阵T中每列元素的最大值组成正理想方案解，每列元素的最小值组成负理想方案解。针对本文中的数据分析，指标值越小表示越接近最优解，指标值越大表示越偏离最优解，正负理想方案解针对本文需要重新定义。

\begin{matrix} T^{+} = (m i n (r_{11}, r_{21}, \dots, r_{g 1}), m i n (r_{12}, r_{22}, \dots, r_{g 2}), \dots, m i n (r_{1 h}, r_{2 h}, \dots, r_{g h})) \\ T^{-} = (m a x (r_{11}, r_{21}, \dots, r_{g 1}), m a x (r_{12}, r_{22}, \dots, r_{g 2}), \dots, m a x (r_{1 h}, r_{2 h}, \dots, r_{g h})) \end{matrix}

.（29）

Step4：本文将在计算距离时融入在第4节中计算出的多指标权重分配值W_m₁，既充分考虑画质专家对指标重要程度的评价信息，也补充了不同环境下手机画质色彩的客观信息。

\begin{matrix} D_{i}^{+} = D i s (T_{i}, T^{+}) = \sum_{j = 1}^{g} W_{m 1} l (r_{i j}, T^{+}) \\ D_{i}^{-} = D i s (T_{i}, T^{-}) = \sum_{j = 1}^{g} W_{m 1} l (r_{i j}, T^{-}) \end{matrix}

.（30）

Step5：根据正负理想方案值计算相对指标u_i，该值越大代表方案C_i更具有代表性。

u_{i} = D_{i}^{-} / (D_{i}^{+} + D_{i}^{-})

.（31）

5 应用实例分析

5.1　样本来源

选取10台来自不同手机厂商的手机，分别用C₁，C₂，…，C₁₀表示。真实场景中放置ColorChecker标准二十四色卡，采样过程中测试人员手持手机拍摄，同一场景尽量确保不同相机取景视场角一致，图3和图4为10台手机在同一场景下拍摄的图像。从缩略图可以看出，同一场景下不同手机获取到的图片的白平衡和色彩明显不一致，色卡占整张图像的百分比根据拍摄环境确定。图5为C₃手机在部分场景下采集到的图片，图6为C₁₀手机在部分场景下采集到的图片。

图 3. 同一场景不同手机采集图像1

Fig. 3. Images 1 collected by different mobile phones in the same scene

下载图片查看所有图片

图 4. 同一场景不同手机采集图像2

Fig. 4. Images 2 collected by different mobile phones in the same scene

下载图片查看所有图片

图 5. C₃手机部分场景采集图像

Fig. 5. Images collected by C₃ mobile phone in the different scenes

下载图片查看所有图片

图 6. C₁₀手机部分场景采集图像

Fig. 6. Images collected by C₃ mobile phone in the different scenes

下载图片查看所有图片

此次共拍摄76个场景，合计760组数据。在拍摄过程中，由于人为和环境变化等不可控因素，ColorChecker标准二十四色卡的位置可能存在不同程度的变形。以上图像都作为本次实验的原图像。在室内正常光下，用C₃手机拍摄标准二十四色卡的图像作为目标图像，标准二十四色卡占整张图像接近100%。

5.2　获取原图像色卡位置并计算对应指标值

采用SIFT算法，对原图像与目标图像进行特征检测，获得图像特征点集，去除误差匹配点，获取最佳匹配结果。对原图像中的色卡参照目标图像做透视变换裁切，确定24个色块的位置后反透视变换确定原图像色卡中24个色块的位置。

由于有些照片是在逆光场景、低光场景和对焦模糊的场景下采集，导致特征点寻找不足或者不准确，色卡识别错误或者提取出来的24个色块会超过对应色块的边界。这部分图像采用人工方式逆时针在原图像上点击二十四色卡的4个角点D、E、F、G，继续采用透视变换采集24个色块的坐标，并计算对应的指标值。

参照对应的指标原理，计算实景图像中二十四色卡第1~18个色块的Mean_chroma、Delta_ ab_mean、Delta_E_mean，第20~23个灰阶块的S₂₀、S₂₁、S₂₂、S₂₃，第1~18个色块的Delta_h共8项指标（用F₁，F₂，…，F₈表示）。为了对比说明该算法的可行性和高效性，同时让一位测试人员手动使用Imatest3.7 Image Sensor专业软件分析原图像色卡的指标值，部分指标测试数据如表2所示。

表 2. 本次实验部分指标数据

Table 2. Part of the index data of this experiment

指标序号	F₁		F₂		F₃		F₄
指标序号	CIQA	Imatest3.7	CIQA	Imatest3.7	CIQA	Imatest3.7	CIQA	Imatest3.7
1	119.059 0	119.400 0	10.226 4	10.329 1	11.504 7	11.473 7	0.022 4	0.015 0
2	115.501 2	116.600 0	10.683 5	10.697 8	12.236 6	12.223 9	0.022 5	0.023 0
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$
759	60.049 4	60.900 0	19.861 0	19.906 8	37.421 7	37.484 7	0.015 5	0.014 0
760	56.856 1	57.290 0	20.507 1	20.533 1	40.105 7	40.190 0	0.025 6	0.026 0

查看所有表

在此次实验过程中，统计了通过CIQA自动提取698张、人工提取62张图像色卡获取指标的时间，以及测试人员用Imatest3.7 Image Sensor专业软件分析使用的时间。使用CIQA自动化成功率是91.84%，完成760张照片分析的时间缩短为使用Imatest3.7专业软件的1/4（表3），这两项数据表明自动化明显提高了计算效率并节省了人力。

表 3. CIQA与Imatest3.7对比说明

Table 3. Comparison description of the algorithm and Imatest3. 7

	提取方式		时间/min
	CIQA	Imatest3.7	CIQA	Imatest3.7
自动提取	698张	-	112	-
手动提取	62张	760张	17	437

查看所有表

由于在框选色块的过程中，框的大小和位置对于CIQA与Imatest3.7分析不能保证完全一致，本文使用相关系数指标R说明两者算法计算数值之间的一致性，相关系数皆大于0.9（表4），说明一致性趋势较好。

表 4. 相关系数

Table 4. Correlation coefficient

	F₁	F₂	F₃	F₄	F₅	F₆	F₇	F₈
R	0.98	0.97	0.99	0.97	0.99	0.99	1.00	0.95

查看所有表

5.3　获取多指标权重

随机选择20个场景，共计200组数据用于分析各指标权重，依照画质专家在评测中的先验知识给出指标主观权重分配w₁，通过熵权法分析得出指标客观权重分配w₂，简单加权平均求取w₃=（w₁+w₂）/2，最后建立离差率最小二乘法模型计算8个指标的权重值w₄，计算结果如表5所示。

表 5. 主客观指标权重值

Table 5. Weight value of subjective and objective indicators

	w₁	w₂	w₃	w₄
F₁	0.100 0	0.127 0	0.113 5	0.111 8
F₂	0.250 0	0.122 8	0.186 4	0.184 5
F₃	0.250 0	0.122 3	0.186 2	0.186 2
F₄	0.075 0	0.126 9	0.101 0	0.108 3
F₅	0.075 0	0.126 3	0.101 0	0.092 2
F₆	0.075 0	0.125 7	0.100 4	0.103 7
F₇	0.075 0	0.123 2	0.099 1	0.096 5
F₈	0.100 0	0.124 8	0.112 4	0.116 9

查看所有表

5.4　手机相机画质色彩效果排序

经过与画质专家的商讨，F₂，F₃，…，F₈指标越小表示画质效果越好，F₁指标越接近100%表示画质效果越好，所以F₁指标数据在前期预处理时，采用delta=|F₁-100|表示。对于剩余560组数据，针对不同的机型分别取平均值并归一化处理数据，数据见表6。

表 6. 各指标平均值（量纲不同）

Table 6. Normalized index data（different dimensions）

手机序号	F₁	F₂	F₃	F₄	F₅	F₆	F₇	F₈
C₁	10.066 0	4.697 0	11.428 3	0.076 0	0.089 0	0.106 1	0.140 1	10.188 0
C₂	12.942 1	4.890 2	11.861 9	0.072 9	0.081 1	0.101 8	0.138 0	8.467 9
C₃	9.643 2	5.002 2	11.7008	0.095 6	0.115 3	0.135 5	0.191 2	11.234 0
C₄	11.394 2	4.880 3	11.645 8	0.090 0	0.101 7	0.120 2	0.151 8	12.926 0
C₅	12.559 3	4.946 4	13.045 2	0.091 6	0.108 4	0.128 8	0.174 1	9.676 5
C₆	12.800 0	5.488 7	12.421 7	0.089 7	0.111 6	0.131 0	0.177 2	11.874 0
C₇	11.732 5	4.833 7	11.605 4	0.083 1	0.100 6	0.125 5	0.172 3	9.232 3
C₈	14.389 4	5.235 1	14.009 5	0.093 0	0.105 9	0.127 9	0.168 1	11.606 0
C₉	10.113 5	5.148 5	11.654 4	0.074 0	0.091 0	0.116 4	0.149 7	10.265 0
C₁₀	15.846 6	6.205 0	14.528 3	0.093 5	0.110 9	0.132 1	0.149 7	18.491 0

查看所有表

采用第4节中对应公式计算相应方案解和加权距离值，对手机方案进行排序，结果见表7。由计算结果可知，相机图像画质色彩和白平衡效果由高到低依次是：C₁>C₉>C₂>C₄>C₇>C₅>C₃>C₆>C₈>C₁₀。

表 7. 正、负理想解以及各手机画质效果排序

Table 7. Positive and negative ideal solutions and ranking of image quality effects of mobile phones

指标	C₁	C₂	C₃	C₄	C₅	C₆	C₇	C₈	C₉	C₁₀
正理想解	0.201 1	0.333 5	0.655 2	0.398 9	0.552 1	0.594 1	0.403 5	0.660 6	0.244 6	0.920 2
负理想解	0.884 6	0.892 0	0.677 9	0.739 3	0.596 6	0.508 4	0.728 5	0.427 8	0.793 9	0.249 7
u_i	0.814 8	0.727 9	0.508 5	0.649 5	0.519 4	0.461 1	0.643 6	0.393 0	0.764 5	0.213 4
择优排序	1	3	7	4	6	8	5	9	2	10
对比方案2	C₁	C₂	C₃	C₄	C₅	C₆	C₇	C₈	C₉	C₁₀
u_i	0.819 2	0.894 3	0.483 1	0.589 5	0.465 3	0.405 5	0.662 2	0.366 8	0.788 1	0.213 7
手机排序	2	1	6	5	7	8	4	9	3	10

查看所有表

CIQA中的F₁指标可根据实际需求调整，理论上越接近100%表示画质效果越好。但在手机厂商实际研发过程中，为更符合人眼对场景色彩饱和度高的要求，我们更新目标值为120%，且当F₁≥120时，delta=0，认为效果已满足要求。当F₁<120时，delta=|F₁-120|越小，效果表现越好，其结果见表7中对比方案2。该结果给出的排名为C₂>C₁>C₉，虽然整体排名略有差异，但是对于选择最佳方案具有一致性的参考价值，且与市场上对手机的评价基本保持一致。如图7所示，C₂手机整体色彩饱和度较高，图片中书本颜色与图片拍摄者实地观察到的颜色相一致，C₁₀手机整体颜色较为暗淡，排名处于最后，C₆则处于中间效果。

图 7. 用于实验分析的图像

Fig. 7. Images used for analysis

下载图片查看所有图片

为了进一步证实该方法的可用性，选择目前研究领域中比较经典的2种评价方法。采用由观测人员给出主观评价分数的评价方法^［30］和基于CIE DE2000公式和印刷行业视觉验证标准提出的评价方法^［31］。

基于观测人员给出主观评价分数的评价方法^［30］关键在于：评价图像色彩饱和度、图像单色的色彩还原准确性、肤色的准确性和美观性。采用0~9分评分规则，主要规定得分在7分以上认为是好，6~7分为较好，4~6分为一般，4分以下为差。在测试中，50名女性和50名男性共100名年龄分布在20~40岁的志愿者参与评分，对C₁~C₁₀ 10台手机拍摄的图片给出分数，汇总评价结果，去除2%明显错误的主观评分^［31］。观测条件在具有正常照明条件的实验室环境中进行，分辨率为2 560×1 440的LCD显示器用于显示图像。

基于CIE DE2000公式和印刷行业视觉验证标准提出的评价方法^［32］关键在于：采用NBS单元的思想，将DE2000采用特定公式转换为符合主观感知的客观分数。

上述两种方法给出的排序结果列于表8中，可以看出，虽然3种方法最终得到的排序略有不同，排序前3位是一致的，对于选出最佳的方案并无太大影响。这就意味着本文选取的指标和改进的TOPSIS方法具有优良的评价可靠性，本算法的判决结果与人眼的主观感知高度一致。

表 8. 主客观评测的对比

Table 8. Comparison of subjective and objective evaluation

手机序号	F₁得分	F₂得分	F₃得分	F₄得分	F₅得分	F₆得分	F₇得分	F₈得分	CIQA得分	客观评价等级^［30］	主流算法得分^［31］
C₁	9.318 4	10.000 0	10.000 0	8.663 7	7.677 0	8.730 2	9.621 2	8.283 9	8.148	好	1.391 08
C₂	4.682 0	8.719 0	8.601 3	10.000 0	10.000 0	10.000 0	10.000 0	10.000 0	7.279	好	1.328 68
C₃	10.000 0	7.976 1	9.121 1	0.000 0	0.000 0	0.000 0	0.000 0	7.240 8	5.085	一般	1.256 78
C₄	7.177 4	8.784 6	9.298 6	2.469 8	3.964 6	4.540 5	7.407 0	5.552 3	6.495	较好	1.297 43
C₅	5.299 2	8.345 7	4.784 4	1.750 0	2.025 7	1.984 1	3.220 9	8.794 2	5.194	一般	1.239 76
C₆	4.911 1	4.749 8	6.795 6	2.606 6	1.099 8	1.337 0	2.633 8	6.602 4	4.611	差	1.267 19
C₇	6.632 0	9.093 0	9.428 8	5.486 3	4.294 8	2.989 3	3.553 3	9.237 4	6.436	较好	1.327 70
C₈	2.349 0	6.431 4	1.673 7	1.140 9	2.743 4	2.268 4	4.345 6	6.869 2	3.930	差	1.109 47
C₉	9.241 8	7.005 9	9.270 7	9.514 0	7.097 3	5.686 5	7.807 6	8.206 9	7.645	好	1.351 24
C₁₀	0.000 0	0.000 0	0.000 0	0.930 4	1.287 6	1.019 4	7.805 1	0.000 0	2.134	差	1.008 53

查看所有表

6 结论

本文提出基于SIFT与透射变换相结合提取手机相机成像图像中的色卡区域的方法。相较于使用Imatest3.7专业软件分析替代完全手工分析，自动化率为91.84%，大幅缩短了分析时间。在计算色彩与白平衡还原指标时，构建离差率最小二乘法获取各指标分配权重值，最后基于改进主客观赋权的TOPSIS算法对手机相机画质色彩效果进行排序。经对比，算法有效性得到了验证。

当然文中也存在不足之处。（1）后续应该增加图像采集环境，多涉及如夜景、光照色温混合等场景；（2）在某些恶劣天气、低照明、图像形变严重等复杂场景下的图像识别暂未涉及；（3）相机画质的评价还涉及噪声、细节还原等指标，可从多维度角度对相机画质做出综合评价；（4）采集不同照度下的目标图像，合并最优特征点，提高自动化率等。后续还需要进一步深入学习与研究。

参考文献

[1] 孟利, 刘康康, 许小京. 手机相机在现场照相中的应用研究[J]. 中国人民公安大学学报(自然科学版), 2018(1): 37-42.

MENG L, LIU K K, XU X J. Research on the application of mobile phone camera in field photography[J]. Journal of People's Public Security University of China (Science and Technology), 2018(1): 37-42.

[2] 夏莎莎, 张聪, 李佳珍, 等. 基于手机相机获取冬小麦冠层数字图像的氮素诊断与推荐施肥研究[J]. 中国生态农业学报, 2018, 26(4): 538-546.

XIA S S, ZHANG C, LI J Z, et al. Study on nitrogen nutrition diagnosis and fertilization recommendation of winter wheat using canopy digital images from cellphone camera[J]. Chinese Journal of Eco-Agriculture, 2018, 26(4): 538-546.

[3] 管昉立, 徐爱俊. 基于智能手机与机器视觉技术的立木胸径测量方法[J]. 浙江农林大学学报, 2018, 35(5): 892-899.

GUAN F L, XU A J. Tree DBH measurement method based on smartphone and machine vision technology[J]. Journal of Zhejiang A&F University, 2018, 35(5): 892-899.

[4] LISSNER I, PREISS J, URBAN P, et al. Image-difference prediction: from grayscale to color[J]. IEEE Transactions on Image Processing, 2013, 22(2): 435-446.

[5] LEE D, PLATANIOTIS K N. Towards a full-reference quality assessment for color images using directional statistics[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3950-3965.

[6] 徐琳, 陈强, 汪青. 色彩熵在图像质量评价中的应用[J]. 中国图象图形学报, 2015, 20(12): 1583-1592.

XU L, CHEN Q, WANG Q. Application of color entropy to image quality assessment[J]. Journal of Image and Graphics, 2015, 20(12): 1583-1592.

[7] ZHANG L, ZHANG L, BOVIK A C. A Feature-enriched completely blind image quality evaluator[J]. IEEE Transactions on Image Processing, 2015, 24(8): 2579-2591.

[8] TEMEL D, ALREGIB G. CSV: image quality assessment based on color, structure, and visual system[J]. Signal Processing: Image Communication, 2016, 48: 92-103.

[9] LEE D, PLATANIOTIS K N. Toward a no-reference image quality assessment using statistics of perceptual color descriptors[J]. IEEE Transactions on Image Processing, 2016, 25(8): 3875-3889.

[10] LI L D, XIA W H, FANG Y M, et al. Color image quality assessment based on sparse representation and reconstruction residual[J]. Journal of Visual Communication and Image Representation, 2016, 38: 550-560.

[11] CAI H, LI L D, YI Z L, et al. Blind quality assessment of gamut-mapped images via local and global statistical analysis[J]. Journal of Visual Communication and Image Representation, 2019, 61: 250-259.

[12] PREISS J, FERNANDES F, URBAN P. Color-image quality assessment: from prediction to optimization[J]. IEEE Transactions on Image Processing, 2014, 23(3): 1366-1378.

[13] TEMEL D, ALREGIB G. Perceptual image quality assessment through spectral analysis of error representations[J]. Signal Processing: Image Communication, 2019, 70: 37-46.

[14] 余伟, 徐晶晶, 刘玉英, 等. 基于自然场景统计的色域映射图像无参考质量评价[J]. 激光与光电子学进展, 2020, 57(14): 141006.

YU W, XU J J, LIU Y Y, et al. No-reference quality evaluation for gamut mapping images based on natural scene statistics[J]. Laser & Optoelectronics Progress, 2020, 57(14): 141006.

[15] 余伟, 康凯, 袁连海. 基于颜色与结构失真的色域映射图像无参考质量评价算法[J]. 计算机应用研究, 2021, 38(8): 2549-2555.

YU W, KANG K, YUAN L H. No-reference quality evaluation algorithm for gamut mapping images based on color and structural distortions[J]. Application Research of Computers, 2021, 38(8): 2549-2555.

[16] TEMELD, ALREGIBG. PerSIM: Multi-resolution image quality assessment in the perceptually uniform color domain[C]. 2015 IEEE International Conference on Image Processing. Quebec City: IEEE, 2015: 1682-1686. 10.1109/icip.2015.7351087

[17] ZHANG L, ZHANG L, MOU X Q, et al. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[18] GUPTA S, GORE A, KUMAR S, et al. Objective color image quality assessment based on Sobel magnitude[J]. Signal, Image and Video Processing, 2017, 11(1): 123-128.

[19] 蔡俊, 赵超, 沈晓波, 等. 基于SIFT算法和PyQt的停车位标志识别系统[J]. 湖北大学学报(自然科学版), 2022, 44(1): 1-7.

CAI J, ZHAO C, SHEN X B, et al. Parking space signs recognition system based on SIFT algorithm and PyQt[J]. Journal of Hubei University (Natural Science), 2022, 44(1): 1-7.

[20] 韩彬, 杨大利. 基于透射变换的印刷品图像归一化研究[J]. 计算机工程与应用, 2019, 55(23): 188-193.

HAN B, YANG D L. Normalization of printed images based on transmission transformation[J]. Computer Engineering and Applications, 2019, 55(23): 188-193.

[21] 高佳南, 吴奉亮, 李文福, 等. 基于最小二乘法的优化组合权重模型在矿井环境舒适度评价中的应用[J]. 安全与环境工程, 2020, 27(5): 177-183.

GAO J N, WU F L, LI W F, et al. Application of least square method based optimal combined weight model in comfort evaluation of mine environment[J]. Safety and Environmental Engineering, 2020, 27(5): 177-183.

[22] 苟廷佳, 陆威文. 基于组合赋权TOPSIS模型的生态文明建设评价——以青海省为例[J]. 统计与决策, 2020, 36(24): 57-60.

GOU T J, LU W W. Evaluation of ecological civilization construction based on combination weighted TOPSIS model-taking Qinghai province as an example[J]. Statistics & Decision, 2020, 36(24): 57-60.

[23] 郜锦茹. 智能手机成像模组的质量评价方法[D]. 杭州: 杭州电子科技大学,2018．

GAOJ R. Quality evaluation methods of smart phone imaging module[D]. Hangzhou: Hangzhou Dianzi University, 2018. (in Chinese)

[24] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[25] 安玮, 李宏, 徐晖, 等. 模式识别中的透射变换与仿射变换[J]. 系统工程与电子技术, 1999, 21(1): 55-60.

AN W, LI H, XU H, et al. Projective transformation and affine transformation in pattern recognition[J]. Systems Engineering and Electronics, 1999, 21(1): 55-60.

[26] 张小燕, 程韦. 快速色差评价[J]. 湖南工业大学学报, 2011, 25(2): 77-80.

ZHANG X Y, CHENG W. Fast color difference evaluation[J]. Journal of Hunan University of Technology, 2011, 25(2): 77-80.

[27] 顿雄, 付强, 李浩天, 等. 计算成像前沿进展[J]. 中国图象图形学报, 2022, 27(6): 1840-1876.

DUN X, FU Q, LI H T, et al. Recent progress in computational imaging[J]. Journal of Image and Graphics, 2022, 27(6): 1840-1876.

[28] 赵磊, 张文, 孙振国, 等. 基于色彩分割及信息熵加权特征匹配的刹车片图像分类算法[J]. 清华大学学报(自然科学版), 2018, 58(6): 547-552.

ZHAO L, ZHANG W, SUN Z G, et al. Brake pad image classification algorithm based on color segmentation and information entropy weighted feature matching[J]. Journal of Tsinghua University (Science and Technology), 2018, 58(6): 547-552.

[29] SAATY T L. Modeling unstructured decision problems-the theory of analytical hierarchies[J]. Mathematics and Computers in Simulation, 1978, 20(3): 147-158.

[30] 张俊升, 徐晶晶, 余伟. 面部美化图像质量无参考评价方法[J]. 计算机应用, 2020, 40(4): 1184-1190.

ZHANG J S L, XU J J, YU W. No-reference image quality assessment method for facial beautification image[J]. Journal of Computer Applications, 2020, 40(4): 1184-1190.

[31] PONOMARENKO N, JIN L N, IEREMEIEV O, et al. Image database TID2013: peculiarities, results and perspectives[J]. Signal Processing: Image Communication, 2015, 30: 57-77.

[32] YANG Y, MING J, YU N H. Color image quality assessment based on CIEDE2000[J]. Advances in Multimedia, 2012, 2012: 273723.

3 构建离差率最小二乘法模型获取主客观融合权重

3.1　专家评分法

3.2　熵权法

3.3　构建离差率最小二乘法

4 构建离差率最小二乘法模型获取主客观融合权重

5 应用实例分析

5.1　样本来源

5.2　获取原图像色卡位置并计算对应指标值

5.3　获取多指标权重

5.4　手机相机画质色彩效果排序

6 结论

张欣, 乔继红, 张慧妍, 张雁, 张鑫, 许继平. 基于颜色空间的彩色图像颜色评价[J]. 液晶与显示, 2023, 38(11): 1490. Xin ZHANG, Ji-hong QIAO, Hui-yan ZHANG, Yan ZHANG, Xin ZHANG, Ji-ping XU. Color evaluation of color image based on color space[J]. Chinese Journal of Liquid Crystals and Displays, 2023, 38(11): 1490.