运动扩散自编码器实现人体动作属性操控

本文提出基于扩散概率模型和Transformer编码器的运动属性操控方法,通过新型连续旋转姿态表示实现人体骨架与运动轨迹的解耦,并在空手道动作数据集上验证了语义嵌入空间的线性可操控性。

运动扩散自编码器:基于空手道技术实现人体运动属性操控

属性操控致力于改变数据点或时间序列的特定属性,同时保持其他所有特征不变。本研究聚焦于人体运动领域,特别是空手道运动模式。据所知,这是首次成功实现人体运动数据属性操控的研究。

实现人体运动属性操控的关键需求在于合适的姿态表示。为此,设计了一种新颖的基于旋转的连续姿态表示方法,既能实现人体骨架与运动轨迹的解耦,又能准确重建原始解剖结构。

操控方法的核心思想是:使用Transformer编码器发现高层语义特征,并采用扩散概率模型建模剩余随机变化。实验证明,通过Transformer编码器获得的嵌入空间具有语义意义和线性特性。通过在该语义嵌入空间中发现属性变化的线性方向,并沿该方向移动嵌入向量,即可实现高层属性的操控。

所有代码和数据均已公开提供。

技术特性

  • 提出新型连续旋转姿态表示法
  • 结合Transformer编码器与扩散概率模型
  • 实现语义嵌入空间的线性属性操控
  • 在空手道动作数据集上验证有效性

数据统计:论文共9页,含7张示意图,涉及计算机视觉与模式识别(cs.CV)、机器学习(cs.LG)领域,采用ACM I.2.4和I.2.6分类标准。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计