注册 | 登录 |
欧宝直播足球直播
地址:陕西省安康市高新技术开发区高新七路2-2
总机:0915-3516161
传真:0915-3516161
邮箱:cyzhkj@126.com
邮编:725000
网址:http://www.harmonaresort.com
新闻中心
您当前的位置:首页 > 新闻中心
欧宝平台登录:CVPR 2022 清华大学提出首个细粒度动作质量评估数据集—FineDiving
更新日期:2022-04-23 19:24:19 来源:欧宝足球直播 作者:欧宝直播足球直播

  原标题:CVPR 2022 清华大学提出首个细粒度动作质量评估数据集—FineDiving

  在这里和大家分享一下我们被录用为 CVPR 2022 Oral 的工作。

  竞技体育视频理解已成为计算机视觉领域的热门研究课题。作为理解体育动作的关键技术之一,动作质量评估(AQA)近年来受到越来越多的关注。在 2020 年东京奥运会的体操比赛项目中,AI 评分系统不仅能对运动员的表现进行打分,以减少在跳水、体操等诸多主观评分项目得分的争议,还能通过反馈动作质量来提高运动员的竞技水平。

  例如,跳水比赛通常都是在水上运动中心拍摄的,并且视频中所有运动员都执行相同的动作程式:起跳、空中动作、入水。这些动作程式的细微差别主要体现在执行空中动作时,运动员翻腾转体的周数、空中姿势以及入水情况(e.g., 水花大小)。

  捕捉这些细微的差异需要 AQA 方法不仅能够解析跳水动作的各个步骤,还要明确量化这些步骤的动作执行质量。如果我们仅通过整个视频的深度特征来回归动作得分,考虑到现有的 AQA 数据集缺少对动作过程的细粒度注释,我们无法分析各个动作步骤的执行情况、解释最终得分,那么这种评估方式是不清晰不透明的。因此,我们构建一个细粒度的竞技体育视频数据集,助力设计一种更可靠、更透明的评分方式,迈向可解释的 AQA。

  我们构建的数据集“FineDiving”(Fine-grained Diving 的缩写)专注于各种跳水赛事,这是第一个用于 AQA 的细粒度视频数据集。FineDiving 包含如下特性:

  2)两层时序结构。每个视频中的动作实例都标注了时间边界,并且根据定义好的字典将其分解为连续的步骤(steps);

  3)来自国际泳联的官方跳水得分(dive score)、裁判分数、难度系数。如图(1)所示。基于 FineDiving,我们进一步提出一种基于过程感知(procedure-aware)的 AQA 方法来评估动作质量。所提出的框架通过构建新的时间分割注意模块(Temporal Segmentation Attention,TSA)学习过程感知嵌入,以实现具有更好可解释性的可靠评分。

  我们收集了奥运会、世界杯、世锦赛以及欧锦赛的跳水项目比赛视频。每个比赛视频都提供了丰富的内容,包括所有运动员的跳水记录、不同视角的慢速回放等。

  我们构建了一个两层语义结构(如图(2)),作为字典来标注动作级标签和步骤级标签。动作级标签(action-level labels)描述了运动员的动作类型(action types),步骤级标签(step-level labels)刻画了动作过程中连续步骤的子动作类型(sub-action types),其中,每个动作过程中的相邻步骤(steps)属于不同的 sub-action types。

  给定一个原始的跳水视频,annotator 利用我们定义好的 lexicon 来标注每个动作实例及其过程。我们完成了从粗粒度到细粒度的两个注释阶段:粗粒度阶段标注每个动作实例的 action type 及其时间边界和得分,细粒度阶段标注动作过程中每个 step 的 sub-action type 以及它的起始帧。

  根据表(5)可知,FineDiving 在注释类型和数据规模上不同于现有的 AQA 数据集:MIT-Dive、UNLV 以及 AQA-7-Dive 数据集仅提供动作分数,MTL-AQA 提供粗粒度注释(即动作类型和时间边界),而 FineDiving 提供了细粒度注释(包括动作类型、子动作类型、粗粒度和细粒度时间边界以及动作分数)。此外,由于缺乏动作得分,其他细粒度的运动数据集不能用于评估动作质量。不难发现,FineDiving 作为第一个用于 AQA 任务的细粒度运动视频数据集,填补了 AQA 中细粒度注释的空白。

  首先,动作过程分割将成对的查询动作实例和参考动作实例解析为语义和时间对齐的连续步骤。其次,过程感知交叉注意通过学习发现成对 query step 和 exemplar step 之间的时空对应关系,并在这两个步骤中生成新特征。成对的步骤相互补充,以引导模型关注 exemplar step 和 query step 中的一致区域,其中,exemplar step 保留了特征图的空间信息。

  最后,细粒度对比回归通过学习成对步骤的相对分数来量化查询动作实例和示例动作实例之间的一些列步骤偏差,以指导模型来评估动作质量。

  关于 TSA 中 exemplar 的选择策略。根据 action type 从训练集中选择 exemplar。在训练阶段,对于每个训练样本(query),从具有相同 action type 的其他训练样本中随机选择一个作为 exemplar。在推理阶段,采用多样本投票策略:从具有相同 action type 的训练样本中随机选择 M 个样本作为 M 个 exemplars。

  我们的方法可以专注于与查询步骤一致的参考区域,这使得逐步骤的动作质量相对差异的量化更加可靠,其中,呈现的成对查询和参考具有相同的 action type 和 sub-action type。

  FineDiving 是第一个用于 AQA 任务的细粒度体育视频数据集。在 FineDiving 基础上,我们通过构建一个新的 TSA 模块提出了一种过程感知动作质量评估方法,该模块在查询和参考的成对步骤中学习语义、时空一致区域,使得动作质量评价得推理过程更具可解释性,并对现有的 AQA 方法实现了实质性改进。

  1、视觉SLAM基础: 疫情在家,想入门SLAM实战,最适合学哪个开源框架 ?

  3、机器人导航运动规划: 机器人核心技术运动规划:让机器人想去哪就去哪!

  6、三维视觉基础 详解视觉深度估计算法(单/双目/RGB-D+特征匹配+极线矫正+代码实战)

  8、图像三维重建课程:视觉几何三维重建教程(第2期):稠密重建,曲面重建,点云融合,纹理贴图

  9、系统全面的相机标定课程:单目/鱼眼/双目/阵列 相机标定:原理与实战

欧宝平台登录  |  欧宝足球直播  |  新闻中心  |  产品中心  |  欧宝直播足球直播  |  网站地图  | 
欧宝平台登录
 
QQ在线咨询
电话咨询热线
0915-3516161