基于支持向量机和关联成像的分类方法研究

针对未知物体的分类问题，提出了一种基于支持向量机和关联成像的分类方法。该方法利用线性判别分析法提取出物体的特征向量，并根据该特征向量设计出应用于关联成像系统的特征散斑，将特征散斑照射物体获得桶探测器值，支持向量机可以依据桶探测器值进行判别从而获得物体的类别。该方法的可行性在MNIST数据集上得到了验证，结果表明，该方法在10个分类任务中均可取得较高的分类准确率，平均分类准确率达90.5%。与其他分类方法的对比结果表明，所提方法在准确率上更具优势。

Abstract

A classification method based on support vector machine and correlation imaging is proposed to address the problem of unknown object recognition. The method utilizes linear discriminant analysis to extract feature vectors from the objects. Based on these feature vectors, the characteristic speckle patterns are designed and applied to a correlation imaging system. By illuminating the objects with the characteristic speckle patterns, the bucket detector values are obtained from the correlation imaging system. The support vector machine is then employed to discriminate and classify the objects based on these bucket detector values. The feasibility of this approach is validated on the MNIST dataset. The results demonstrate that high classification accuracies can be achieved by the proposed method in all ten classification tasks, with an average classification accuracy of 90.5%. The comparison results with other classification methods indicate that the proposed method has more advantages in accuracy.

1　引言

在机器学习中，分类问题是基础，由分类问题可以演变出很多应用，同时许多问题也可以转化为分类问题^［1］。解决分类问题一般通过样本训练一个机器学习模型，训练完毕后，模型可被应用于预测样本的类别。模型的训练和预测过程依赖于物体的图像，对于一些无法直接获取物体图像的情况，分类往往无法进行。为此，人们将关联成像技术^［2-3］引入了机器学习。

关联成像，也称为“鬼”成像，是基于量子纠缠或者经典光场涨落的关联特性，通过参考光场与目标探测光场之间的强度关联非局域地获取目标物体信息的一种新型成像技术。关联成像系统中有两支光路：其中一支光路用一个无空间分辨能力的桶探测器来接收散斑照射物体后的光场信号，这支光路被称为信号光路；另一支光路由具有空间分辨能力的探测器接收散斑传输一段距离后的光场信号，这支光路则被称为参考光路。最后对两支光路探测器的结果进行关联计算就可以在参考光路上得到物体的恢复图像。关联成像近年来发展迅速，计算“鬼”成像^［4］、赝热光“鬼”成像^［5］等新型关联成像相继被提出。随着成像性能的提高，各种基于关联成像的技术被广泛应用于医学、加密等领域^［6-10］。然而，目前为止没有见到关联成像在分类方法中的应用报道。

支持向量机（SVM）是一种按监督学习方式对数据进行二元分类的广义线性分类器，其主要思想是对训练样本求解最大边距超平面^［11-13］。由于SVM能够通过不同的核函数生成非线性决策边界，因此SVM在不同分类问题上具有出色的表现。

本文在SVM方法中引入线性判别分析（LDA）^［14-16］和关联成像，提出了一种未知物体分类方法。该方法利用LDA提取物体的特征向量并以此设计对应的特征散斑，令特征散斑照射物体并利用桶探测器来获取照射后的光场信号；SVM根据获取的光场信号学习决策超平面，完成学习后的SVM可以通过特征散斑照射测试物体生成的桶探测器值来输出物体类别。该方法利用了关联成像的特性，解决了在无法直接获取物体图像情况下的分类问题。

在MNIST手写体数字集上验证了所提方法的可行性。现有的分类方法都是在获取清楚图片的基础上进行的。所提方法充分利用关联成像的“鬼”特性，通过LDA提取手写数字图片的特征向量，并以此设计用于关联成像的特征散斑；当特征散斑照射待测未知的手写体数字图片时，可以获得对应的桶探测器值；通过对桶探测器值进行SVM，输出未知手写数字的类别。该方法可通过极少的特征散斑获得未知手写体数字图片的分类。

2　基于SVM和关联成像的分类方法

基于SVM和关联成像的分类方法的原理图如图1所示。该方法分为三个部分：特征散斑设计、关联成像过程、SVM分类过程。下面将详细介绍各个部分的实现过程。

图 1. 基于SVM和关联成像的分类方法原理图

Fig. 1. Schematic diagram of the classification method based on SVM and correlation imaging

下载图片查看所有图片

2.1　特征散斑设计

特征散斑是利用LDA进行设计的。LDA的目标是找到投影矩阵 $W$ ，使得同类物体在该矩阵下的投影距离尽可能近，不同类物体的投影距离尽可能远，从而获得最好的分类效果。假设数据集 $D = \{(x_{1}, y_{1}), \dots, (x_{i}, y_{i}), \dots, (x_{N}, y_{N})\}$ ，其中， $x_{i}$ 是样本， $y_{i}$ 是样本对应的类别（共有 $k$ 类）， $N$ 是数据集中的样本个数，因此样本的均值为 $μ = \frac{1}{N} \sum_{i = 1}^{N} x_{i}$ 。将样本按类别分开，定义 $N_{j}$ 为第 $j$ 类样本数量， $D_{j}$ 为第 $j$ 类样本的集合， $μ_{j} = 1 / N_{j} x$ 为第 $j$ 类样本的均值，则样本的类间散度矩阵 $S_{b}$ 为

S_{b} = \sum_{j = 1}^{k} N_{j} (μ - μ_{j}) {(μ - μ_{j})}^{T}

，（1）

类内散度矩阵 $S_{w}$ 为

S_{w} = \sum_{j = 1}^{k} \sum_{x \in D_{j}} (x - μ_{j}) {(x - μ_{j})}^{T}

。（2）

LDA的目标函数^［14］表示为

J (W) = \frac{|W^{T} S_{b} W|}{|W^{T} S_{w} W|}

，（3）

式中， $|\cdot|$ 为行列式。优化目标就是求出投影矩阵 $W$ 使得 $J (W)$ 取得最大值。若 $S_{w}$ 可逆，即它的逆矩阵存在，则式（3）可以被求解，具体公式为

S_{w}^{- 1} S_{b} w_{i} = λ_{i} w_{i}

，（4）

式中， $λ_{i}$ 和 $w_{i}$ 为方阵 $S_{w}^{- 1} S_{b}$ 的特征值和对应的特征向量，且 $w_{i}$ 是 $W$ 的列向量。若将样本映射到 $d$ 维空间，则取 $S_{w}^{- 1} S_{b}$ 的前 $d$ 个特征值对应的特征向量组成 $W$ ，表示为

W = [w_{1}, w_{2}, \dots, w_{d}]

，（5）

矩阵 $W$ 即为所求的特征散斑。

2.2　关联成像

在得到特征散斑后，利用特征散斑进行关联成像过程。首先将特征散斑载入数字微反射镜（DMD），使用激光器照射DMD，物体经反射产生特征散斑光场。在成像光路中，令特征散斑光场照射物体 $I (x, y)$ 并通过透镜聚焦，使用桶探测器收集其光场强度 $B$ 。由于散斑是预知的特征散斑，因此可直接用关联成像计算方式。桶探测器值 $B$ 、物体分布函数 $I (x, y)$ 和特征散斑光场分布 $W (x, y)$ 的关系表示为

B = \sum_{i = 1}^{n} \sum_{j = 1}^{n} W (x_{i}, y_{i}) I (x_{i}, y_{i})

。（6）

2.3　SVM分类

SVM需要根据训练集学习决策超平面。训练集 $\{(B_{1}, l_{1}), \dots, (B_{n}, l_{n})\}$ 由式（6）获得的桶探测器值 $B_{i}$ 和对应的类别 $l_{i}$ 组成， $n$ 为样本数量， $l_{i} \in \{1,2, \dots, k\}$ 。SVM是二元分类的线性分类器。对于多分类任务，可以在任意两类样本之间设计一个SVM，分类时得票最多的类别即为样本的类别。因此， $k$ 分类任务需要设计 $k (k - 1) / 2$ 个SVM。

对于第 $i$ 类和第 $j$ 类样本，训练一个二分类SVM即求解以下规划问题：

\{\begin{matrix} \underset{w^{(i j)}, b^{(i j)}, ξ^{(i j)}}{m i n} \frac{1}{2} {[w^{(i j)}]}^{T} w^{(i j)} + C \sum_{t} ξ_{t}^{(i j)} \\ \begin{matrix} s . t . & {[w^{(i j)}]}^{T} ϕ (x_{t}) + b^{(i j)} \geq 1 - ξ_{t}^{(i j)}, & i f & y_{t} = i \end{matrix} \\ \begin{matrix} {[w^{(i j)}]}^{T} ϕ (x_{t}) + b^{(i j)} \leq - 1 + ξ_{t}^{(i j)}, & i f & y_{t} = j \end{matrix} \\ ξ_{t}^{(i j)} \geq 0 \end{matrix}

，（7）

式中，上标表示 $i$ 类和 $j$ 类之间SVM的参数，下标 $t$ 表示 $i$ 类和 $j$ 类的并集中样本的索引， $ϕ (\cdot)$ 表示输入空间到特征空间的非线性映射， $ξ_{i}$ 为对每个样本引入的松弛变量，允许算法在处理嘈杂数据或不完全线性可分问题时获得更好效果， $C$ 为惩罚参数，用于惩罚松弛变量权衡间隔最大化， $w$ 和 $b$ 为寻找超平面的权重向量和偏移项。因此，第 $i$ 类和第 $j$ 类之间SVM的决策函数为

y_{n e w}^{(i j)} = s i g n \{{[w^{(i j)}]}^{T} ϕ (x_{n e w}) + b^{(i j)}\}

。（8）

对于新样本，采用投票策略进行分类。每个SVM根据决策函数对新样本 $x_{n e w}$ 进行预测，若将 $x_{n e w}$ 预测为 $i$ 类，则 $i$ 类票数加1。 $x_{n e w}$ 的最终类别为得票数最多的类别，若出现平票情况，则 $x_{n e w}$ 属于索引值较小的那个类别。

3　仿真与实验结果

在MNIST数据集上对所提方法进行仿真，仿真中样本为数字“0”到数字“9”的手写体数字图像，其中有60000个训练样本和10000个测试样本。各手写体数字图片的像素尺寸为28 pixel×28 pixel。由于需要对未知数字图片进行十分类，因此，设计了9个用于照射未知手写体数字图片的散斑。

为了说明手写体数字识别问题的难度，首先测试了图像为同一个数字时所提方法的分类效果。图2（a）是图像为数字“2”时的分类结果，同时给出了同等条件下使用K-近邻算法（KNN）进行分类的结果的比较。可以发现，在16幅相同数字“2”图像的分类中，所提方法仅出现一次分类错误，而KNN的分类结果出现了三次错误。由此可见，用SVM来实施分类可以获得比KNN分类更好的性能。图2（b）是对不同的手写体数字“2”图像训练时散斑与桶探测器值的变化曲线，可以看出，相同数字、不同手写体图片的桶探测器值在第2散斑、第7散斑处较为接近，而其他散斑对应的桶探测器值并不相同。

图 2. 数字“2”的部分图像及分类结果。（a）相同手写数字的辨别结果；（b）桶探测器值随散斑的变化曲线

Fig. 2. Partial images and classification results of the digit"2". (a) Discrimination of identical handweitten digits; (b) variation curves of bucket detection values against patterns

下载图片查看所有图片

进一步对不同数字进行实验和仿真分类，结果如图3所示。其中，图3（a）是实验装置图，图3（b）是不同数字图像的分类结果。将LDA产生的散斑加载到DMD上用于照射待测手写数字图像，其反射光由无空间分辨率的桶探测器（PMM02-1）进行采集，获得对应各种散斑的桶探测器值，并由NI USB-6341数据采集卡采样，通过SVM分类出不同数字图像。从图3（b）可以看出，所提方法在仿真时没有错误的预测，而实验中出现了三个错误。这是因为实验采用反射型桶探测器，有部分信息被损失掉，分类时精确度有所下降。但是相同数字与不同数字的分类结果表明，所提分类方法是可行的。

图 3. 不同数字的分类结果。（a）实验设置；（b）实验与仿真结果

Fig. 3. Classification results of different digits. (a) Experimental setup; (b) experimental and simulation results

下载图片查看所有图片

为了进一步测试所提方法的性能，逐一对测试集中10类数字进行了预测，测试结果的准确率如图4所示。其中包括测试集仿真结果、每个类别的100张仿真结果、每个类别的100张实验结果。由图4可见：测试集仿真结果中，数字“0”“1”“4”“6”“7”的分类效果较好，其中，数字“0”的分类取得了97%的准确率。而数字“3”“5”“8”“9”的分类准确率偏低，其中，数字“8”的分类表现最差。10类数字的分类平均准确率可达到90.5%。但是，在每个类别的100张仿真结果中，不仅数字“0”“1”“4”“6”“7”的分类效果较好，而且数字“9”的分类效果也较好，甚至超过了测试集仿真结果。这是因为在每个类别的100张仿真结果中所选择的数字图像具有更好的分类效果，其平均分类准确率可达到92.4%。然而，每个类别的100张实验结果中由于实验方法和环境的影响，分类准确率都相对偏低，只有数字“1”和“6”获得了较好的分类结果，其平均分类准确度为69.4%。

图 4. 测试集中各数字的分类准确率

Fig. 4. Classification accuracy of each digit in the test set

下载图片查看所有图片

为了进一步说明所提方法的优势，将所提方法在散斑相同的条件下与随机森林、KNN、逻辑回归、高斯朴素贝叶斯和决策树5个不同的机器学习分类方法进行了对比。图5展示了所提方法与随机森林、KNN、逻辑回归、高斯朴素贝叶斯和决策树等方法在MNIST数据集上的分类准确率。从图5可以看出，所提方法的分类准确率达到了90.5%，明显高于其他机器学习分类方法。当然，这些方向都是针对由LDA获得的散斑，若是用不同的方法训练相应的散斑，也许所提分类方法并不是一种最优的方法。

图 5. 不同分类方法在MNIST数据集上的分类准确率

Fig. 5. Classification accuracy of different classification methods on the MNIST dataset

下载图片查看所有图片

4　结论

本文提出了一种基于SVM和关联成像的未知物体分类方法。与需要已知物体情况才能分类的方法不同，由于包含关联成像过程，所提方法可以对未知物体进行分类。首先通过LDA提取物体的特征向量并以此设计特征散斑，再通过特征散斑照射物体获得桶探测器值；SVM根据桶探测器值和类别学习决策超平面，完成学习后的SVM可以根据新物体的桶探测器值准确预测其类别。所提方法的可行性在MNIST数据集上得到了验证并取得了90.5%的分类准确率，与其他分类方法的仿真结果对比表明了所提方法在分类问题上更具优势。

参考文献

[1] Janiesch C, Zschech P, Heinrich K. Machine learning and deep learning[J]. Electronic Markets, 2021, 31(3): 685-695.

[2] 郑佳慧, 俞晓迪, 赵生妹, 等. 基于均值滤波的关联成像去噪[J]. 光学学报, 2022, 42(22): 2211002.

Zheng J H, Yu X D, Zhao S M, et al. Denoising of correlation imaging based on mean filtering[J]. Acta Optica Sinica, 2022, 42(22): 2211002.

[3] Gatti A, Brambilla E, Bache M, et al. Correlated imaging, quantum and classical[J]. Physical Review A, 2004, 70(1): 013802.

[4] Shapiro J H. Computational ghost imaging[J]. Physical Review A, 2008, 78(6): 061802.

[5] 宗岩峰, 郑淮斌, 吴鑫伟, 等. 基于时序控制的赝热光鬼成像系统[J]. 光学学报, 2023, 43(7): 0711001.

Zong Y F, Zheng H B, Wu X W, et al. Sequence-controlled pseudothermal optical ghost imaging system[J]. Acta Optica Sinica, 2023, 43(7): 0711001.

[6] Liu J F, Wang L, Zhao S M. Orthogonal-triangular decomposition ghost imaging[J]. Chinese Physics B, 2022, 31(8): 084202.

[7] Clemente P, Durán V, Torres-Company V, et al. Optical encryption based on computational ghost imaging[J]. Optics Letters, 2010, 35(14): 2391-2393.

[8] Xu C X, Li D K, Guo K, et al. Computational ghost imaging with key-patterns for image encryption[J]. Optics Communications, 2023, 537: 129190.

[9] Pelliccia D, Rack A, Scheel M, et al. Experimental X-ray ghost imaging[J]. Physical Review Letters, 2016, 117(11): 113902.

[10] 侯明轩, 侯昌伦. 关联成像应用及其最新进展[J]. 激光与光电子学进展, 2023, 60(2): 0200003.

Hou M X, Hou C L. Application of correlation imaging and its latest progress[J]. Laser & Optoelectronics Progress, 2023, 60(2): 0200003.

[11] Hearst M A, Dumais S T, Osuna E, et al. Support vector machines[J]. IEEE Intelligent Systems and Their Applications, 1998, 13(4): 18-28.

[12] 马永杰, 马芸婷, 陈佳辉. 结合卷积神经网络多层特征和支持向量机的车辆识别[J]. 激光与光电子学进展, 2019, 56(14): 141001.

Ma Y J, Ma Y T, Chen J H. Vehicle recognition based on multi-layer features of convolutional neural network and support vector machine[J]. Laser & Optoelectronics Progress, 2019, 56(14): 141001.

[13] Noble W S. What is a support vector machine?[J]. Nature Biotechnology, 2006, 24(12): 1565-1567.

[14] Sharma A, Paliwal K K. Linear discriminant analysis for the small sample size problem: an overview[J]. International Journal of Machine Learning and Cybernetics, 2015, 6(3): 443-454.

[15] Balakrishnama S, Ganapathiraju A. Linear discriminant analysis: a brief tutorial[J]. Institute for Signal and Information Processing, 1998, 18(1998): 1-8.

[16] Zhu F, Gao J B, Yang J, et al. Neighborhood linear discriminant analysis[J]. Pattern Recognition, 2022, 123: 108422.

吴逸华, 何峥, 赵生妹. 基于支持向量机和关联成像的分类方法研究[J]. 激光与光电子学进展, 2024, 61(10): 1011008. Yihua Wu, Zheng He, Shengmei Zhao. Classification Method Based on Support Vector Machine and Correlation Imaging[J]. Laser & Optoelectronics Progress, 2024, 61(10): 1011008.