SpatialTracker 是 CVPR 2024 年亮点之一的一项研究成果，致力于在 3D 空间中恢复视频中密集的像素运动。该方法通过将 2D 像素提升到 3D 空间，使用三平面表示表示每一帧的 3D 内容，并迭代更新转换器来估计 3D 轨迹。在 3D 中跟踪允许我们利用刚性约束，同时学习一个刚性嵌入，将像素聚集到不同的刚性部分中。与其他追踪方法相比，SpatialTracker 在质量和量度方面都取得了优异的成绩，尤其是在具有出平面旋转的具有挑战性的情况下。
需求人群： "视频处理、计算机视觉研究、动态场景分析等" 使用场景示例： TAPIRCoTracker视频编辑软件 产品特色： 3D 空间中的像素跟踪刚性约束和刚性嵌入三平面表示转换器迭代更新
