利用深度学习扩展双光子成像视场

李迟件; 姚靖; 高玉峰; 赖溥祥; 何悦之; 齐苏敏; 郑炜

doi:doi:10.3788/CJL221433

中国激光, 2023, 50 (9): 0907107, 网络出版: 2023-04-14

利用深度学习扩展双光子成像视场下载： 502次

Extending Field‑of‑View of Two‑Photon Microscopy Using Deep Learning

李迟件 ^1,2姚靖 ^2,3,4高玉峰 ²赖溥祥 ^3,4何悦之 ^2,***齐苏敏 ^1,**郑炜 ^2,*

作者单位

¹ 曲阜师范大学网络空间安全学院，山东济宁 273100

² 中国科学院深圳先进技术研究院生物医学光学与分子影像研究中心，广东深圳 518055

³ 香港理工大学生物医学工程系，香港 999077

⁴ 香港理工大学深圳研究院，广东深圳 518055

图 & 表

图 1. 光学系统及成像原理。（a）深度学习扩展双光子显微镜可用视场的原理图；（b）大视场双光子显微镜系统示意图（HWP：半波片；PBS：偏振分光棱镜；PMT：光电倍增管；RM：反射镜；BE：扩束器；SLM：空间光调制器；OAPM：离轴抛物面反射镜；SM：扫描振镜；SL：扫描透镜；TL：管透镜；DM：二向色镜；OL：物镜；CL：收集透镜）；（c）测量得到的3×3个子区域的波前面

Fig. 1. Optical systems and imaging principle. (a) Principle of extending field-of-view (FOV) of two-photon microscopy (TPM) using deep learning; (b) schematic of TPM system with large FOV (HWP: half wave plate; PBS: polarization splitting prism; PMT: photomultiplier; RM: reflective mirror; BE: beam expander; SLM: spatial light modulator; OAPM: off-axis parabolic mirror; SM: scan mirror; SL: scan lens; TL: tube lens; DM: dichroic mirror; OL: objective lens; CL: collective lens); (c) measured distort wavefronts of 3×3 subregions

下载图片查看原文

图 2. 本文提出的nBRAnet网络结构。（a）改进的3层网络结构；（b）残差结构示意图；（c）上采样结构块；（d）改进的卷积块；

Fig. 2. Proposed nBRAnet network structure. (a) Improved three-layer network structure; (b) schematic of residual structure;

下载图片查看原文

图 3. 直径为1 µm的荧光小球的大视场成像结果。（a）全视场荧光小球图像，视场尺寸为2.45 mm×2.45 mm；（b）~（d）标定区域经自适应光学校正前后的图像以及网络模型学习得到的图像；（e）~（g）扩展区域经自适应光学校正前后的图像以及网络模型学习得到的图像；（h）Ⅰ区域的强度曲线；（i）Ⅱ区域的强度曲线

Fig. 3. Large FOV imaging of fluorescent beads with diameter of 1 µm. (a) Image of fluorescent beads with the FOV of 2.45 mm×2.45 mm; (b)-(d) images with and without adaptive optics (AO) correction as well as obtained by network model learning in nominal FOV; (e)-(g) images with and without AO correction as well as obtained by network model learning in extended FOV; (h) intensity profiles of region Ⅰ; (i) intensity profiles of region Ⅱ

下载图片查看原文

图 4. Thy1-GFP小鼠大脑切片的大视场成像结果。（a）全视场图像，视场尺寸为2.45 mm×2.45 mm；（b）虚线框区域扩展视场在自适应光学校正前的图像；（c）虚线框区域扩展视场在自适应光学校正后的图像；（d）深度学习模型的图像增强结果；（e）（f）划线区域的强度对比

Fig. 4. Large FOV imaging of brain slice of Thy1-GFP mouse. (a) Full FOV image with size of 2.45 mm×2.45 mm; (b) image of extended FOV in dash box before AO correction; (c) image of extended FOV in dash box after AO correction; (d) enhanced image obtained by deep learning model; (e)(f) intensity comparison along solid and dash lines

下载图片查看原文

图 5. CX3CR1-GFP小鼠大脑切片中小胶质细胞的大视场成像。（a）全视场图像，视场尺寸为2.45 mm×2.45 mm；（b）虚线框区域扩展视场在自适应光学校正前的图像；（c）虚线框区域扩展视场在自适应光学校正后的图像；（d）所提深度学习模型的图像增强结果；（e）~（g）灰度值直方图，分别对应（b）~（d）

Fig. 5. Large FOV imaging of microglia in CX3CR1-GFP mouse brain slice. (a) Full FOV image with size of 2.45 mm×2.45 mm; (b) image of extended FOV in dash box before AO correction; (c) image of extended FOV in dash box after AO correction; (d) enhanced image obtained by deep learning model; (e)-(g) histograms of gray values corresponding to Figs.(b)-(d), respectively

下载图片查看原文

图 6. 不同网络模型的输出结果。（a）荧光小球样品扩展视场的ROI区域；（b）Thy1-GFP样品扩展视场的ROI区域；（c）CX3CR1-GFP样品扩展视场的ROI区域

Fig. 6. Output results of different network models. (a) ROI area of extended FOV of fluorescent bead samples; (b) ROI area of extended FOV of Thy1-GFP sample; (c) ROI area of extended FOV of CX3CR1-GFP sample

下载图片查看原文

表 1本文所用各项Zernike多项式

Table1. Applied Zernike polynomials

Index（i）	m	n	Zernike polynomial Z_i	Name
1	2	2	$\sqrt[]{6} r^{2} c o s (2 θ)$	1st，45°，astigmatism
2	2	-2	$\sqrt[]{6} r^{2} s i n (2 θ)$	1st，0°，astigmatism
3	3	3	$2 \sqrt[]{2} r^{3} c o s (3 θ)$	Trefoil
4	3	1	$2 \sqrt[]{2} (3 r^{2} - 2 r) c o s θ$	Coma X
5	3	-1	$2 \sqrt[]{2} (3 r^{2} - 2 r) s i n θ$	Coma Y
6	3	-3	$2 \sqrt[]{2} r^{3} s i n (3 θ)$	Trefoil
7	4	4	$\sqrt[]{10} r^{4} c o s (4 θ)$	Quadrafoil
8	4	2	$\sqrt[]{10} (4 r^{4} - 3 r^{2}) c o s (2 θ)$	2nd，45°，astigmatism
9	4	-2	$\sqrt[]{10} (4 r^{4} - 3 r^{2}) s i n (2 θ)$	2nd，0°，astigmatism
10	4	4	$\sqrt[]{10} r^{4} c o s (4 θ)$	Quadrafoil

查看原文

表 2验证BN结构影响的消融实验的结果

Table2. Results from ablation experiments for verifying BN structure’s effect

Sample	BN or nBN	Epoch	Quantity of training set	PSNR /dB
Fluorescent beads	BN	150	25600	40.22
Fluorescent beads	nBN	150	25600	40.39
Thy1-GFP	BN	200	16000	26.93
Thy1-GFP	nBN	200	16000	27.79
CX3CR1-GFP	BN	200	16000	30.53
CX3CR1-GFP	nBN	200	16000	31.37

查看原文

表 3不同网络模型的实验结果评估

Table3. Experimental results evaluation of different network models

Network	PSNR /dB			Time /s			Model size （parameter quantity）	GFLOPs
Network	Fluorescent beads	Thy1-GFP	CX3CR1-GFP	Fluorescent beads	Thy1-GFP	CX3CR1-GFP	Model size （parameter quantity）	GFLOPs
U-Net	39.26	26.96	30.99	3.10	2.99	2.97	3.453×10⁷	833
VDSR	36.13	25.13	32.02	1.19	1.14	1.18	6.647×10⁵	666
Ours	40.39	27.56	31.37	4.10	4.06	4.33	3.558×10⁷	851

查看原文

李迟件, 姚靖, 高玉峰, 赖溥祥, 何悦之, 齐苏敏, 郑炜. 利用深度学习扩展双光子成像视场[J]. 中国激光, 2023, 50(9): 0907107. Chijian Li, Jing Yao, Yufeng Gao, Puxiang Lai, Yuezhi He, Sumin Qi, Wei Zheng. Extending Field‑of‑View of Two‑Photon Microscopy Using Deep Learning[J]. Chinese Journal of Lasers, 2023, 50(9): 0907107.

利用深度学习扩展双光子成像视场下载： 502次

图 2. 本文提出的nBRAnet网络结构。（a）改进的3层网络结构；（b）残差结构示意图；（c）上采样结构块；（d）改进的卷积块；

Fig. 2. Proposed nBRAnet network structure. (a) Improved three-layer network structure; (b) schematic of residual structure;

图 6. 不同网络模型的输出结果。（a）荧光小球样品扩展视场的ROI区域；（b）Thy1-GFP样品扩展视场的ROI区域；（c）CX3CR1-GFP样品扩展视场的ROI区域

Fig. 6. Output results of different network models. (a) ROI area of extended FOV of fluorescent bead samples; (b) ROI area of extended FOV of Thy1-GFP sample; (c) ROI area of extended FOV of CX3CR1-GFP sample

表 1本文所用各项Zernike多项式

Table1. Applied Zernike polynomials

表 2验证BN结构影响的消融实验的结果

Table2. Results from ablation experiments for verifying BN structure’s effect

表 3不同网络模型的实验结果评估

Table3. Experimental results evaluation of different network models

关于本站 Cookie 的使用提示

全站搜索

利用深度学习扩展双光子成像视场 下载： 502次

图 2. 本文提出的nBRAnet网络结构。（a）改进的3层网络结构；（b）残差结构示意图；（c）上采样结构块；（d）改进的卷积块；

Fig. 2. Proposed nBRAnet network structure. (a) Improved three-layer network structure; (b) schematic of residual structure;

图 6. 不同网络模型的输出结果。（a）荧光小球样品扩展视场的ROI区域；（b）Thy1-GFP样品扩展视场的ROI区域；（c）CX3CR1-GFP样品扩展视场的ROI区域

Fig. 6. Output results of different network models. (a) ROI area of extended FOV of fluorescent bead samples; (b) ROI area of extended FOV of Thy1-GFP sample; (c) ROI area of extended FOV of CX3CR1-GFP sample

表 1本文所用各项Zernike多项式

Table1. Applied Zernike polynomials

表 2验证BN结构影响的消融实验的结果

Table2. Results from ablation experiments for verifying BN structure’s effect

表 3不同网络模型的实验结果评估

Table3. Experimental results evaluation of different network models

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

利用深度学习扩展双光子成像视场下载： 502次