Author Affiliations
Abstract
1 Jiangsu Key Laboratory of Medical Optics, Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences, Suzhou 215163, P. R. China
2 School of Biomedical Engineering (Suzhou), Division of Life Sciences and Medicine, University of Science and Technology of China Hefei 230026, P. R. China
3 Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences, Shanghai 200031, P. R. China
The prediction of fundus fluorescein angiography (FFA) images from fundus structural images is a cutting-edge research topic in ophthalmological image processing. Prediction comprises estimating FFA from fundus camera imaging, single-phase FFA from scanning laser ophthalmoscopy (SLO), and three-phase FFA also from SLO. Although many deep learning models are available, a single model can only perform one or two of these prediction tasks. To accomplish three prediction tasks using a unified method, we propose a unified deep learning model for predicting FFA images from fundus structure images using a supervised generative adversarial network. The three prediction tasks are processed as follows: data preparation, network training under FFA supervision, and FFA image prediction from fundus structure images on a test set. By comparing the FFA images predicted by our model, pix2pix, and CycleGAN, we demonstrate the remarkable progress achieved by our proposal. The high performance of our model is validated in terms of the peak signal-to-noise ratio, structural similarity index, and mean squared error.
Fundus fluorescein angiography image fundus structure image image translation unified deep learning model generative adversarial networks Journal of Innovative Optical Health Sciences
2024, 17(3): 2450003
针对无法实现先验的边缘检测场景,并解决边缘提取效率过低的问题,提出一种更高效的基于傅里叶单像素成像的亚像素级边缘检测方法。该方法结合快速傅里叶单像素成像,减少图像算法的相移步数,在原有四步相移的基础上分别实现了三步相移与两步相移边缘检测。该算法上的改进能够在同等采样数下扩大参与边缘提取的频谱宽度,从而提升边缘提取效率。数值仿真结果表明,与四步相移亚像素级边缘检测相比,无噪声条件下两步相移在 655~13100次左右的采样数区间内峰值信噪比增长幅度高出 2.27dB,噪声条件下低于 0.054噪声浮动比率时两步相移方法可以获得比四步相移更高的边缘提取质量。该方法可以一定程度上提升边缘提取效率,同时促进单像素成像领域与图像处理方向的技术交叉和应用化发展。
单像素成像 边缘检测 傅里叶变换 相移算法 亚像素平 single pixel imaging edge detection Fourier transform phase shift algorithm sub-pixel translation
Author Affiliations
Abstract
1 Fudan University, Academy for Engineering and Technology, Shanghai, P. R. China
2 Tianjin Center for Medical Device Evaluation and Inspection, Tianjin, P. R. China
3 Shanghai University, School of Communication & Information Engineering, Shanghai, P. R. China
4 Fudan University, Center for Biomedical Engineering, Shanghai, P. R. China
5 Fudan University, State Key Laboratory of Medical Neurobiology, Institutes of Brain Science, Shanghai, P. R. China
Automatic cell counting provides an effective tool for medical research and diagnosis. Currently, cell counting can be completed by transmitted-light microscope, however, it requires expert knowledge and the counting accuracy which is unsatisfied for overlapped cells. Further, the image-translation-based detection method has been proposed and the potential has been shown to accomplish cell counting from transmitted-light microscope, automatically and effectively. In this work, a new deep-learning (DL)-based two-stage detection method (cGAN-YOLO) is designed to further enhance the performance of cell counting, which is achieved by combining a DL-based fluorescent image translation model and a DL-based cell detection model. The various results show that cGAN-YOLO can effectively detect and count some different types of cells from the acquired transmitted-light microscope images. Compared with the previously reported YOLO-based one-stage detection method, high recognition accuracy (RA) is achieved by the cGAN-YOLO method, with an improvement of 29.80%. Furthermore, we can also observe that cGAN-YOLO obtains an improvement of 12.11% in RA compared with the previously reported image-translation-based detection method. In a word, cGAN-YOLO makes it possible to implement cell counting directly from the experimental acquired transmitted-light microscopy images with high flexibility and performance, which extends the applicability in clinical research.
Automatic cell counting transmitted-light microscope deep-learning fluorescent image translation Journal of Innovative Optical Health Sciences
2023, 16(5): 2350004
火箭军工程大学 导弹工程学院,陕西 西安 710025
近年来基于视觉的飞行器自主视觉定位技术发展迅速,是飞行器导航制导、态势感知和自主决策的关键技术之一。针对现有跨模态地理定位任务中存在模态差异大、匹配难度大、定位鲁棒性差等问题,提出了一种基于GCI-CycleGAN风格迁移的跨模态地理定位方法,通过将风格迁移算法、特征匹配算法和地理定位方法相结合,实现了飞行器跨模态地理定位。首先,获取无人机航拍的正下视实时红外图像和地理位置信息已知的可见光图像;其次,基于生成对抗网络图像风格转换的思想,设计新的生成对抗损失函数,构建并训练了GCI-CycleGAN模型,将可见光图像转换为红外图像;然后,利用SIFT、SURF、ORB、LoFTR、DFM匹配算法对生成的红外图像与实时红外图像进行匹配;最后,通过透视变换获得实时红外图像中心点在生成图像中的位置,再将该定位点映射到相应的可见光图像上,得到最终的地理定位结果。实验表明,GCI-CycleGAN相比CycleGAN网络可以有效提高图像风格迁移质量,与DFM智能匹配算法结合的匹配成功率最高可达99.48%,比原始跨模态匹配结果提高了4.73%,平均地理定位误差仅为1.37 pixel,取得了更加精确、鲁棒的地理定位结果。
地理定位 风格迁移 智能匹配 跨模态图像 深度学习 geo-localization style translation intelligent matching cross-modal images deep learning 红外与激光工程
2023, 52(7): 20220875
1 南京理工大学 电子工程与光电技术学院,南京 210094
2 上海市计量测试技术研究院,上海 201203
3 中国电子科技集团公司第十三研究所,石家庄 050051
从显微成像测量线宽的理论模型出发,分析了限制测量精度的边缘定位误差因素,基于阶跃边缘衍射光强微分的灵敏探测原理,提出一种平移差分的微结构线宽显微测量方法,即使用压电陶瓷微位移平台微量移动待测微结构沟槽,两步平移并采集三幅对沟槽清晰成像的显微图像,显微图像依次相减得到两幅差分图,将线宽测量转为差分脉冲距离测量,利用差分脉冲在阶跃边缘附近梯度变化灵敏度高的特点,突破衍射极限,提高线宽测量精度;再用纳米精度压电陶瓷位移台标定与显微成像系统有关的倍率测量常数,以压电陶瓷位移台的高精度保证测量结果的准确性。以可溯源计量部门、线宽为30.00 μm的标准沟槽样板作为待测样品,10次测量得到线宽测量平均值30.03 μm,标准差0.005 μm,并对本方法进行了不确定度分析,最终得到合成不确定度为0.37%()。
线宽测量 光学显微 平移差分 测量精度 衍射极限 Linewidth measurement Optical microscopy Translation difference Precision Diffraction limit
1 天津大学 电气自动化与信息工程学院,天津 300072
2 天津津航技术物理研究所,天津 300308
近年来,基于深度学习的目标检测技术在机器人、自动驾驶和交通监控等领域有着广泛的应用。然而,由于训练集和测试集样本分布偏差的原因,将现成的预训练检测器应用到实际开放场景时通常会出现明显性能下降。针对该问题提出了一种频域内的领域自适应方法,利用离散余弦变换的频域能量集中特性,通过在频域内对少数重要频率系数进行处理,实现了面向目标检测的领域自适应,降低了对存储和计算资源的要求并减少了领域差异。该方法可以分为两个阶段:第一阶段使用无监督图像转换方式,将源域已标注的训练数据向目标域作转换;第二阶段采用基于对抗的领域自适应方法训练目标检测模型,对转换后的训练数据与目标域内的数据作特征适配。针对不同天气场景的目标识别实验表明:所提的频域内领域自适应方法在4种领域自适应对比算法中排名第一,与仅用源域数据训练的模型相比,mAP值提升了33.9%。
领域自适应 目标检测 图像转换 频域 domain adaptation object detection image translation frequency domain 红外与激光工程
2022, 51(7): 20210638
上海电机学院机器人与智能技术实验室,上海 201306
针对Intensity ScanContext(ISC)等激光雷达闭环检测算法中描述子易受载体旋转和平移变化干扰、不变性较弱从而导致闭环效果差的问题,提出了一种在城市动态环境下具有旋转和平移不变性的激光雷达点云描述子。首先,在点云处理部分,基于角度图像的地面点分割算法去除点云数据中的地面点,并利用基于弯曲体素聚类的动态目标剔除算法完成点云分割和动态目标的剔除。然后,基于惯性测量元件采集的四元数对点云进行坐标系变换,将所有帧点云统一至同一航向角下,以实现描述子的旋转不变性。接着,通过点云中静态目标与载体运动方向所在法平面的相对位置关系来确定描述子绘制中心,以实现描述子的平移不变性。最后,利用所提描述子进行闭环检测,并结合点云数据的空间结构对闭环检测结果进行一致性验证。在KITTI公开数据集下的实验结果表明,所提方法在城市动态环境下能够更加快速准确地实现闭环检测,相比于ISC算法,所提方法在准确率为100%时召回率提高了8.58个百分点,且平均耗时减少了12.90%。
大气光学 激光雷达 闭环检测 旋转不变性 平移不变性 惯性测量元件 光学学报
2022, 42(24): 2401007
1 西安工业大学光电工程学院陕西省薄膜技术与光学检测重点实验室,陕西 西安 710021
2 中国兵器科学研究院宁波分院,浙江 宁波 310022
本文针对共轭平移差分方法中的关键参数进行研究,提出了一种基于逆向优化策略的平移量最优解确定方法。首先对差分逼近精度及信噪比进行研究,建立噪声条件下的平移量与面形重建误差模型;然后将被测面面形估计值和随机噪声引起的面形偏差作为变量,利用差分Zernike算法求解面形重建容许误差下的最佳平移量区间;最后采用商用干涉仪对标准镜进行不同平移量下的面形绝对检测对比实验。实验结果表明:平移量的取值会直接影响面形测量精度,在最佳平移区间内进行面形绝对检测所得结果与传统三面互检方法所得结果基本吻合,证明了所提方法可以有效提高平面光学元件的面形测量精度。
测量 绝对检测 共轭平移差分 干涉测量 Zernike波面重建 中国激光
2022, 49(18): 1804003
圆形正弦条纹在条纹圆心处具有恒定相位(常编码为零相位),其圆心可以作为相位展开的参考点,据此得到的绝对相位用于计算被测物体的高度信息。由于圆形条纹的载波相位为非线性函数,已有的圆形条纹投影傅里叶变换法需要求解一元二次方程,进行判根操作,再使用拟合来得到对应物面高度信息的像素位移量,鲁棒性差。提出并研究了一种基于傅里叶变换的改进圆形条纹投影轮廓术,该技术通过多投影一帧具有水平移动量的条纹,简化了圆形条纹投影方式的像素位移量的计算,将像素位移量的计算从解一元二次方程降维为解一元一次方程,提高了基于傅里叶变换圆形条纹投影轮廓术的鲁棒性和面形重建精度。计算机仿真和实验验证了所提方法重建物体三维面形的有效性,特别适合全平面离面测量。
测量 三维面形测量 圆形条纹投影 傅里叶变换轮廓术 坐标变换 Gerchberg迭代 光学学报
2022, 42(13): 1312003