结合场景描述的文本生成图像方法 
下载： 1002次
Text Image Generation Method with Scene Description
江西理工大学信息工程学院, 江西 赣州 341000
图 & 表
图 1. 生成网络模型
Fig. 1. Generation network model
下载图片 查看原文
图 2. 掩模生成网络
Fig. 2. Mask generation network
下载图片 查看原文
图 3. 鉴别网络模型
Fig. 3. Discrimination network model
下载图片 查看原文
图 4. 布局鉴别器
Fig. 4. Layout discriminator
下载图片 查看原文
图 5. 相同描述的结果对比
Fig. 5. Comparison results of same description
下载图片 查看原文
图 6. 增加对象后的结果对比
Fig. 6. Comparison results after adding objects
下载图片 查看原文
图 7. 预测掩模的结果对比
Fig. 7. Comparison results of predicted mask
下载图片 查看原文
表 1不同阈值下的预处理结果
Table1. Preprocessing results under different threshold values
| t | 0.3 | 0.4 | 0.5 | 0.6 | 0.7 |
|---|
| Number of objects | 156 | 151 | 146 | 127 | 103 | | Number of relationship types | 38 | 38 | 37 | 30 | 24 |
|
查看原文
表 2IS和FID指标值的对比结果
Table2. Comparison results of IS and FID values
| Model | IS | FID |
|---|
| Real image(64×64) | 13.90±0.50 | 0 | | Proposed model(no Dlayout) | 6.72±0.24 | 57.48 | | Proposed model(no Gmask) | 6.69±0.14 | 61.34 | | Proposed model(full model) | 7.11±0.14 | 42.20 | | Sg2im[11] | 6.30±0.20 | 73.39 | | StackGAN[8] | 6.35±0.16 | 108.68 | | AttnGAN[10] | 6.38±0.22 | 96.40 |
|
查看原文
表 3图像生成时间的对比结果
Table3. Comparison results of image generation time
| Model | Proposed model(full model) | Sg2im[11] | StackGAN[8] | AttnGAN[10] |
|---|
| Time/s | 0.0278 | 0.0216 | 0.0634 | 0. 0302 |
|
查看原文
黄友文, 周斌, 唐欣. 结合场景描述的文本生成图像方法[J]. 激光与光电子学进展, 2021, 58(4): 0410012. Youwen Huang, Bin Zhou, Xin Tang. Text Image Generation Method with Scene Description[J]. Laser & Optoelectronics Progress, 2021, 58(4): 0410012.
PDF全文
