表2.在NTU-RGB D数据集的消融实验。 我们报告交叉对象和交叉视图数据上的准确性。 其他符号与Tab相同。

首先以STGCN 为基准 探索跨域空间残差层的有效性

与原始结构相比 对于由空间图卷积运算和时间卷积串联组成的每个时空结构 我们向原始网络引入空间残差连接 简称为SRL 并保留其他条件不变

发现与基线方法相比 带有SRL的ST-GCN表现出明显的改进

在Kinetics上 性能提高了2.61

对于NTU-RGB D Cross-Subject和Cross-View的性能分别提高了1.75 和2.76

DCB1基于原始结构 包含10层。为了演示密集连接的作用 设计了DCB2 它包含12层

具有DCB1的ST-GCN的性能提高了1.51 具有DCB2的ST-GCN的性能提高了2.48

显然 密集的连接为我们的网络做出了很大的贡献 但是 随着密集连接的增加 网络参数的数量迅速增加。此外 盲目的累积网络复杂性可能导致某些数据集的模型过度拟合。

为了进行全面的比较 选择将我们的方法与两个重要的基线相比 ST-GCN 和2s-AGCN 。第一个基准是基于骨骼的动作识别方面的开创性工作 而2s-AGCN是最新的最佳方法。将SRL和DCB合并在一起以报告最终结果。最终模型表示为SDGCN。

与基于ST-GCN的方法相比 在Kinetics上的准确性提高到34.06 在Cross-Subject和Cross-View测试中分别提高到84.04 和91.43 。

当2s-AGCN作为基准时 在Kinetics上 所提出的方法达到了37.35 的精度。在NTU-RGB D上 Cross-Subject和Cross-View数据的准确度分别为89.58 和95.74

表3 与目前最先进的方法在Kinetics数据集上的比较

表4.在NTURGB D上与现有方法的比较

​ 提出了一个统一的时空图卷积网络框架 称为SDGCN 以提高基于骨架的动作识别的性能。通过引入跨域空间图残差层和密集连接块 充分利用了时空信息 提高了时空信息处理的效率。可以很容易地将其合并到主流的时空图网络中。