运动扩散自编码器:基于空手道技术实现人体运动属性操控
属性操控致力于改变数据点或时间序列的特定属性,同时保持其他所有特征不变。本研究聚焦于人体运动领域,特别是空手道运动模式。据所知,这是首次成功实现人体运动数据属性操控的研究。
实现人体运动属性操控的关键需求在于合适的姿态表示。为此,设计了一种新颖的基于旋转的连续姿态表示方法,既能实现人体骨架与运动轨迹的解耦,又能准确重建原始解剖结构。
操控方法的核心思想是:使用Transformer编码器发现高层语义特征,并采用扩散概率模型建模剩余随机变化。实验证明,通过Transformer编码器获得的嵌入空间具有语义意义和线性特性。通过在该语义嵌入空间中发现属性变化的线性方向,并沿该方向移动嵌入向量,即可实现高层属性的操控。
所有代码和数据均已公开提供。
技术特性:
- 提出新型连续旋转姿态表示法
- 结合Transformer编码器与扩散概率模型
- 实现语义嵌入空间的线性属性操控
- 在空手道动作数据集上验证有效性
数据统计:论文共9页,含7张示意图,涉及计算机视觉与模式识别(cs.CV)、机器学习(cs.LG)领域,采用ACM I.2.4和I.2.6分类标准。