1 辽宁工程技术大学 软件学院，辽宁 葫芦岛 125105
2 汕头职业技术学院 计算机系，广东 汕头 515071
现有的层级式文本生成图像的方法在初始图像生成阶段仅使用上采样进行特征提取，上采样过程本质是卷积运算，卷积运算的局限性会造成全局信息被忽略并且远程语义无法交互。虽然已经有方法在模型中加入自注意力机制，但依然存在图像细节缺失、图像结构性错误等问题。针对上述存在的问题，提出一种基于自监督注意和图像特征融合的生成对抗网络模型SAF-GAN。将基于ContNet的自监督模块加入到初始特征生成阶段，利用注意机制进行图像特征之间的自主映射学习，通过特征的上下文关系引导动态注意矩阵，实现上下文挖掘和自注意学习的高度结合，提高低分辨率图像特征的生成效果，后续通过不同阶段网络的交替训练实现高分辨率图像的细化生成。同时加入了特征融合增强模块，通过将模型上一阶段的低分辨率特征与当前阶段的特征进行融合，生成网络可以充分利用低层特征的高语义信息和高层特征的高分辨率信息，更加保证了不同分辨率特征图的语义一致性，从而实现高分辨率的逼真的图像生成。实验结果表明，相较于基准模型（AttnGAN），SAF-GAN模型在IS和FID指标上均有改善，在CUB数据集上的IS分数提升了0.31，FID指标降低了3.45；在COCO数据集上的IS分数提升了2.68，FID指标降低了5.18。SAF-GAN模型能够有效生成更加真实的图像，证明了该方法的有效性。
计算机视觉 生成对抗网络 文本生成图像 CotNet 图像特征融合 computer vision generative adversarial networks text-to-image cotnet image feature fusion
1 农业农村部农业遥感机理与定量遥感重点实验室, 北京市农林科学院信息技术研究中心， 北京 100097国家农业信息化工程技术研究中心， 北京 100097辽宁工程技术大学测绘与地理科学学院， 辽宁 阜新 123000
2 农业农村部农业遥感机理与定量遥感重点实验室,北京市农林科学院信息技术研究中心， 北京 100097 南京农业大学国家信息农业工程技术中心， 江苏 南京 210095 国家农业信息化工程技术研究中心， 北京 100097
3 农业农村部农业遥感机理与定量遥感重点实验室江苏 南京 210095 国家农业信息化工程技术研究中心， 北京 100097中国农业大学现代精细农业系统集成研究教育部重点实验室， 北京 100083
4 农业农村部农业遥感机理与定量遥感重点实验室江苏 南京 210095国家农业信息化工程技术研究中心， 北京 100097
5 辽宁工程技术大学测绘与地理科学学院， 辽宁 阜新 123000
植株氮含量(PNC)是评价作物长势和氮营养状况的重要指标， 因此， 准确高效地获取PNC信息， 对动态监测马铃薯长势及精准施控氮肥具有重要意义。 首先于马铃薯现蕾期、 块茎形成期、 块茎增长期、 淀粉积累期和成熟期获取无人机高光谱影像， 并基于预处理的影像提取5个生育期冠层的原始光谱和一阶微分光谱; 其次将提取的冠层光谱与马铃薯PNC进行相关性分析， 筛选出PNC的敏感波长; 然后分别利用灰度共生矩阵和1~3阶颜色矩， 提取冠层原始光谱特征波长处高光谱图像的纹理和颜色2种图像特征， 并将提取的特征与马铃薯PNC进行相关性分析， 筛选出相关性较高的前5个图像特征; 最后分别基于光谱特征、 图像特征和图谱融合特征利用弹性网络回归(ENR)、 贝叶斯线性回归(BLR)和极限学习机(ELM) 3种方法建立马铃薯PNC估算模型。 结果表明: (1)马铃薯5个生育期的冠层光谱特征波长存在差异， 但多数位于可见光区域。 (2)冠层原始光谱特征波长图像的纹理和颜色特征与PNC的相关性较高， 且现蕾期到淀粉积累期的相关性明显高于成熟期。 (3)基于单一光谱特征和单一图像特征构建的马铃薯PNC估算模型在现蕾期到淀粉积累期效果较好， 成熟期效果较差。 (4)现蕾期到淀粉积累期， 基于图谱融合特征的马铃薯PNC估算效果明显优于单一光谱特征和单一图像特征。 (5)马铃薯各生育期， 基于同种变量利用ENR构建的PNC估算模型效果较好， BLR次之， ELM较差。 其中， 以图谱融合特征为模型变量， 利用ENR构建的PNC估算模型精度和稳定性最好， 5个生育期的建模R2分别为0.91、 0.75、 0.82、 0.77和0.69， RMSE分别为0.24%、 0.31%、 0.26%、 0.22%和0.29%， NRMSE分别为6.59%、 9.79%、 9.58%、 7.87%和11.03%。 该研究可为马铃薯的氮营养监测提供一种快捷高效的技术手段。
无人机 马铃薯 高光谱 图像特征 植株氮含量 UAV Potato Hyperspectral Image features Plant nitrogen content 光谱学与光谱分析
2023, 43(5): 1524
华东交通大学智能机电装备创新研究院, 江西 南昌 330013
黄桃含有丰富的营养物质, 深受消费者的喜爱。 但在加工运输的过程中极易受到碰伤, 给果农和销售商带来极大地经济损失。 以往利用高光谱技术检测水果碰伤, 通常是仅仅利用光谱信息或者图像特征建立水果碰伤检测模型, 很少将图谱融合用于水果碰伤的检测。 光谱反射率容易受到外界杂散光的影响, 会丢失一部分真实信息, 图像包含的信息量较少, 仅仅只靠几个特定波段的图像很难精准识别。 因此, 为了实现对黄桃碰伤程度的精准分类, 从而可根据不同碰伤程度的黄桃制定不同的处理方式, 减小经济损伤。 提出一种利用高光谱的光谱信息结合图像特征建立模型来检测不同碰伤程度的黄桃。 以180个黄桃作为实验样品, 首先分别采集轻度、 中度和重度碰伤黄桃的高光谱图像, 在每个黄桃的碰伤位置选取100×100像素的区域作为感兴趣区域, 利用ENVI4.5软件提取碰伤区域的光谱信息。 然后采用主成分分析(PCA)算法对采集的高光谱图像进行降维处理, 在前5个PC图像中最终选择PC1图像作为黄桃碰伤的主成分图像, 根据PC1图像的权重系数曲线挑选出6个特征波长对应的图像作为特征图像, 将平均灰度值作为黄桃碰伤的图像特征。 最后, 分别利用光谱信息、 图像特征、 光谱信息结合图像特征建立黄桃碰伤的PLS-DA模型, 利用分类正确率来评价各个模型的性能。 结果表明, 基于光谱信息结合图像特征建立的PLS-DA模型的判别效果最好, 对轻度碰伤、 中度碰伤和重度碰伤的分类准确率分别为85%, 90%和100%, 总体正确率达到91.7%。 为了能够进一步提高PLS-DA模型的精确度和运行效率, 利用竞争性自适应重加权(CARS)算法对融合数据中的光谱数据进行特征波段的筛选。 利用特征波段结合图像特征建立的模型分类预测效果最好, 对轻度碰伤、 中度碰伤和重度碰伤黄桃的预测正确率分别为95%, 90%和95%, 总体正确率达到了93.3%。 研究表明基于高光谱的光谱数据结合图像特征建立PLS-DA模型检测黄桃碰伤程度是可行的, 为黄桃的采后处理提供了依据。
黄桃 高光谱成像 光谱信息 图像特征 碰伤程度 偏最小二乘判别 Yellow peaches bruise Hyperspectral imaging Spectral information Image features Damage degree Partial least squares linear discriminant
计算机视觉方法越来越多地应用于斑马鱼的群体行为研究；但是，由于斑马鱼游动过程形体变化大，遮挡多，准确与鲁棒地检测出斑马鱼仍然是一件非常具有挑战性的问题。为了解决该问题，提出一种基于斑马鱼图像特征的鱼群检测算法。首先通过分析目标特性，提出使用鱼头和鱼尾替代全鱼的检测方法，解决了传统整鱼检测在鱼群交叉遮挡时失效的难题；然后基于斑马鱼图像特征自动构建训练集，避免了深度学习手动标注的费时费力问题。通过对实际斑马鱼视频进行处理验证，与现有的算法相比，本文提出的方法在标注率、召回率(recall, R)与遮挡检测率(occlusion detection rate, ODR)等性能指标上有更好的实验效果。其中，在标注性能方面，本文提出的自动标注方法在总标注率上达到87.40%；在训练集效果方面，本文自动标注算法结合人工校正在标注时间上相比于人工标注方法减少93.11%，均值平均精度(mean average precision, mAP)达到79.80% ；在目标检测方面，在目标遮挡率为42.72%的情况下，本文检测算法能够获得82.0%的召回率及58.02%的遮挡检测率。
自动标注 YOLOv4检测器 鱼群检测 斑马鱼图像特征 automatic annotation YOLO v4 detector fish stock detection zebrafish image features
重庆理工大学电气与电子工程学院, 重庆 400054
在对卷积神经网络(CNN)的可解释性研究中,针对特征信息的定量分析是研究的重点。提出一种基于信息熵的特征度量方法,用于定量分析CNN的特征提取性能。该方法首先针对不同类别的图像计算特征层的激活直方图,然后统计其归一化熵,将其定义为特征纯度。在CIFAR10和ImageNet数据集上对不同CNN模型及其内部结构的特征纯度进行量化评估;在评估特征纯度的同时,结合类激活图进行可视化解释,以验证特定CNN模型的特征提取能力和特征纯度之间的关系。实验结果表明,特征纯度与模型的特征提取能力、模型的分类性能有统计意义上的显著相关性;同时,特征纯度的计算不依赖于分类标签,也不局限于具体网络结构,具有较强的鲁棒性与实用性。所提出的量化评估方法可以有效地评估CNN的特征提取性能。
成像系统 卷积神经网络 特征度量 图像特征 网络可解释性 信息熵 激光与光电子学进展
2021, 58(22): 2211004
华东交通大学机电与车辆工程学院, 水果智能光电检测技术与装备国家地方联合工程研究中心, 江西 南昌 330013
毛桃从果树上成熟到最后到达消费者手中, 中间需要经过采摘、 包装、 运输等一系列过程, 在每一个过程中都有可能产生碰伤果。 因此查看哪一个过程产生的碰伤果最多, 从而对加工过程进行针对性地改进就显得尤为重要。 纵观国内外高光谱技术在检测水果碰伤方面的应用, 绝大多数都是忽略图像特征而只使用了光谱特征, 基于图像特征结合光谱特征建模的少之又少。 其次在水果碰伤时间定性判别方面, 多以天数为间隔, 时间间隔较大意味着水果碰伤时间越久, 其变化越明显, 检测准确率也就越高, 目前尚缺乏有效方法对于碰伤时间较短的水果进行碰伤时间分类。 以90个模拟表面碰伤的毛桃为实验样本, 分别采集毛桃碰伤12, 24, 36和48 h后的高光谱图像。 毛桃样品的光谱特征提取是采用感兴趣区域的100个像素点的平均光谱以防止单个像素点的光谱信息与整体光谱信息差距较大; 通过主成分分析(PCA)对毛桃图像进行降维后选取最能体现毛桃碰伤的PC1图像, 在 PC1图像的权重系数曲线中波峰波谷处挑选出4个特征波长点(512, 571, 693和853 nm)作为特征图像, 特征图像灰度化操作后计算得到平均灰度值作为毛桃碰伤图像特征。 最后基于最小二乘支持向量机(LS-SVM)算法分别建立毛桃碰伤时间的光谱特征模型、 图像特征模型以及图像特征结合光谱特征模型共三种判别模型, 并且根据其分类准确率来判断模型的性能。 结果表明: 三种毛桃碰伤模型的分类准确率都随碰伤时间的增加而增加; 基于径向基核函数(RBF_kernel)建立的图像特征结合光谱特征的模型预测效果最好, 对碰伤12, 24, 36和48 h的毛桃样品识别正确率分别为83.33%, 96.67%, 100%和100%, 这可能是由于具有非线性特点的径向基核函数所建立的模型更加适合用于毛桃碰伤时间的分类。 图像特征结合光谱特征的模型能够较好地实现对水果碰伤时间的估计, 可为水果外部品质分选提供一定的参考和依据, 并对水果销售和深加工企业具有一定的借鉴意义。
高光谱成像 图像特征 光谱特征 最小二乘支持向量机 毛桃 碰伤时间 Hyperspectral imaging Image features Spectral features Least squares support vector machine Wild peach Bruising time 光谱学与光谱分析
2021, 41(8): 2598
中国科学技术大学 精密机械与精密仪器系，安徽 合肥 230026
为测量光线入射角度，设计了一种基于锥形透镜的新型光线入射角度测量系统。利用光阑、锥形透镜和图像接收装置，获取待测光线通过光阑射入锥形透镜后经过多次的折射和反射，在图像接收装置上得到的复杂光斑图像，通过图像处理得到光斑图像特征信息，进而求解光线入射角度。采用锥形透镜的测量方案，角度测量范围可达80°，精度最高可达 (1×10−4)″。该方案结构简单、体积小且不需要进行繁琐的安装调试。与现有的单光点测量等方法相比，该方案中锥形透镜具有角度放大作用，可大幅度提高测量精度且具有大视场；图像传感器像素分辨率对测量结果影响较小，系统光通量大，容易获得较高的信噪比。
锥形透镜 光线角度 光线追迹 图像特征 conical lens ray angle ray tracing image feature
中国电子科技集团公司第十一研究所，北京 100015
红外焦平面探测器的光谱一致性是评价材料制备水平的重要参数之一。探测器材料因制备工艺的不同而存在差异。由于光谱仪光斑尺寸的限制、探测器杜瓦结构的局限性以及设备采集光谱的巨大数据量，难以对探测器组件的光谱一致性进行测试分析。为此提出了一种新方法，即选取用传统工艺和优化工艺制备的两种探测器样品，并选取成像图中与工艺相关的多个明暗特征区域，再测试这些区域的光谱曲线并对其进行分析汇总，然后通过比较光谱最大差异来评判探测器光谱一致性的优劣。该方法测得两种探测器特征区域的光谱最大差异分别为1.21μm和0.30μm。测试结果表明，优化工艺后的光谱一致性优于传统工艺。
红外探测器 光谱一致性 图像特征区域 infrared detector spectral consistency image feature region
1 武汉学院 信息工程学院, 湖北 武汉 430212
2 中南财经政法大学 工商管理学院, 湖北 武汉 430212
当前较多图像篡改检测算法主要是依靠测量图像间的距离来匹配像素特征, 以此来实现图像的篡改检测, 但其没有考虑图像特征间显著特征的关联性, 导致检测结果存在误检等弊端。为此, 设计了灰度差异耦合显著特征的图像复制-粘贴篡改检测算法。首先, 借助Harris算子, 从待检测图像中提取初始特征, 并利用像素点间的灰度差异信息, 删除伪特征, 以得到准确度较高的图像特征。然后, 将Haar小波作为求取图像特征方向信息的依据, 利用图像锐度信息, 获取特征向量。采用傅里叶变换来计算图像特征的显著信息, 利用其对图像特征实施匹配。最后, 对匹配图像特征进行聚类计算, 以辨别出图像中的篡改内容。实验数据表明, 较当前伪造检测算法而言, 所提算法不仅具有更少的错误检测内容, 而且拥有更强的健壮性, 能抵御多种仿射变换对篡改检测的干扰。
图像篡改检测 Harris算子 图像特征 锐度信息 显著特征 灰度差异信息 image copy-paste tampering detection harris operator image feature sharpness information salient feature gray difference information
