结合分水岭和回归网络的视频时序动作选举算法 
下载： 1152次
Algorithm for Video Temporal Action Proposal Combining Watershed and Regression Networks
1 东北大学信息科学与工程学院, 辽宁 沈阳 110819
2 东北大学机器人科学与工程学院, 辽宁 沈阳 110169
图 & 表
图 1. 时序检测整体结构图
Fig. 1. Whole architecture of temporal detection algorithm
下载图片 查看原文
图 2. 改进的分水岭选举算法原理图
Fig. 2. Principle of improved watershed proposal algorithm
下载图片 查看原文
图 3. 内部区域及扩展区域的时序金字塔结构化
Fig. 3. Structure of temporal pyramid of internal and extended regions
下载图片 查看原文
图 4. 候选区域在Thumos 14上的表现。(a) AR-AN;(b) Recall-AN-tIoU
Fig. 4. Performances of candidate regions on Thumos 14. (a) AR-AN; (b) Recall-AN-tIoU
下载图片 查看原文
图 5. 两段式区域选举算法在各阶段产生的候选区域示意图
Fig. 5. Schematic of candidate regions generated in each stage of two-stage regional proposal algorithm
下载图片 查看原文
图 6. 时序上下文信息模块、时序金字塔模块、C3D单元级别特征的消融研究
Fig. 6. Ablation study oftemporal context module, temporal pyramid module, and C3D unit-level feature
下载图片 查看原文
表 1不同时序选举方法在Thumos 14数据集上产生的候选区域在后续定位任务中的表现
Table1. Performances of different temporal proposal methods in subsequent localization in candidate regions on Thumos 14 %
| Method | DAPs+SVM | SVM | SCNNlocalizer |
|---|
| DAPs[14] | 13.9 | 9.5 | 16.3 | | Sparse-prop[15] | 7.8 | 8.1 | 15.3 | | SST[16] | | 15.9 | 23.0 | | BSN[17] | | 20.7 | 29.4 | | SCNN-prop[10] | 7.6 | 14.0 | 19.0 | | Watershed | 4.9 | 6.7 | 15.2 | | Reg | 8.4 | 9.9 | 18.6 | | Watershed+Reg | 24.7 | 23.8 | 37.2 |
|
查看原文
表 2ActivityNet v1.3数据集中,各方法时序定位坐标在不同tIoU下的mAP
Table2. mAP of temporal localization coordinate of each method with different tIoU on ActivityNet v1.3 dataset %
| tIoU | 0.5 | 0.75 | 0.95 | Average |
|---|
| Method in Ref. [3] | 42.28 | 3.76 | 0.05 | 14.85 | | BSN[17] | 46.45 | 29.96 | 8.02 | 30.03 | | CDC[18] | 45.30 | 26 | 0.20 | 23.80 | | TCN[19] | | | | 23.58 | | SCC[20] | 40 | 17.90 | 4.70 | 21.70 | | Ours | 48.58 | 31.74 | 8.71 | 31.23 |
|
查看原文
表 3各方法运行速度和召回率在Thumos 14 数据集上的比较
Table3. Comparison of FPS and recall rate of different methods on Thumos 14 dataset
| Method | AR-AN of 1000 | FPS |
|---|
| DAPs[4] | 57.64 | 134.30 | | Sparse-prop[2] | 56.60 | 10.20 | | SST[3] | 60.27 | 308 | | CDC[18] | | 500 | | Proposal-16 | 66.27 | 423.15 | | Proposal-32 | 62.35 | 760.84 | | Proposal-w/o unit | 60.41 | 129.40 |
|
查看原文
黄韵文, 王斐, 李景宏, 王国锐. 结合分水岭和回归网络的视频时序动作选举算法[J]. 中国激光, 2019, 46(11): 1109001. Yunwen Huang, Fei Wang, Jinghong Li, Guorui Wang. Algorithm for Video Temporal Action Proposal Combining Watershed and Regression Networks[J]. Chinese Journal of Lasers, 2019, 46(11): 1109001.
PDF全文
