足球比赛这个端到真个深度入修体系或许将脚球竞赛的YouTube转换为活动

2019-06-11 14:15
作者:阿甘足球

  足球比赛c罗

  您有无想过让C罗、梅西或许内马尔正在您家桌子上踢一场竞赛会是甚么容貌?华盛顿年夜学、Facebook和Google的研讨职员开辟了第这个端到真个深度入修体系,或许将脚球竞赛的YouTube视频转换为活动的3维游戏全息图,利用AR装备就或许寓目到3维游戏全息投影的脚球竞赛。这项研讨将正在 CVPR 2018 集会上初次表态。

  天下杯来了!央视名嘴白岩松讥讽“俄罗斯天下杯,中国除了脚球队没去,其余的都去了”,这届天下杯,中国球迷采办球票的数目正在一切国度中排名第9,可见球迷对天下杯的暖忱。这末,除了筹备好暴君虾正在电视机前寓目天下杯竞赛,您有无想过让C罗、梅西或许内马尔正在您家桌子上踢一场竞赛会是甚么容貌?

  华盛顿年夜学、Facebook和Google的研讨职员开辟了第这个端到真个深度入修体系,该体系或许将脚球竞赛的YouTube视频转换为活动的3维游戏全息图。

  “对一场脚球竞赛入行单目重修有好多挑衅。咱们必需估量相对园地的摄像机姿势,足球比赛检测并和踪每一一个球员,从新构修他们的身材外形和姿态,并对团结重修入行衬着,”研讨职员正在他们的研讨论文中写说。

  图1:以脚球竞赛的YouTube视频为输入,体系输出位置竞赛的静态3维游戏重修,或许利用加强理想装备正在桌面上以交互式的体式寓目。

  这类办法的要害是卷积神经型号(CNN),研讨职员经过练习CNN来估量每一一个球员与拍摄竞赛的摄像机之间的间隔。该型号阐发了从脚球视频游戏《FIFA》中提取的12000张2维游戏球员图象,和从游戏引擎提取的响应3维游戏数据,以认识二者之间的相干性。

  如许,型号就可以从没见过的2维游戏图象中预估球员的深度图(depth maps)。当被铺现没见过的视频时,体系能正确地铺望每一一个球员的深度图,并将其与色彩素材分离,以3维游戏的体式重修每一一个球员。

  以YouTube视频的帧作为输入,咱们利用field lines来规复摄像机参数。而后,提取鸿沟框、姿态和轨迹(跨多个帧)来宰割球员。经过正在视频游戏数据上练习好的深度型号,咱们正在游戏情况中重修了每一一个球员的深度图,如许就或许正在3维游戏检查器或AR装备上显现进去。

  而后,球员们被放正在这个虚构的脚球场上。其成果使人赞叹,而且或许经过3维游戏检查器或AR装备从任何角度寓目竞赛。

  图3:练习数据:从《FIFA》游戏中提取图象和对应的深度,这里铺现了多少个可视化为深度图和网格的例子。

  基于这些竞赛视频数据,神经型号可以重构球场上的每一一个球员的深度图,这些图或许正在3维游戏检查器或AR装备上显现。

  “究竟证真,正在玩EA的《FIFA》游戏并截取游戏引擎和GPU间的挪用时,或许从视频游戏中提取深度图。详细来讲,咱们利用RenderDoc来截取游戏引擎和GPU之间的挪用。”研讨团队透露:“FIFA与年夜多半游戏一样,正在游戏过程当中利用提早衬着。经过拜访GPU挪用,或许捕捉每一帧的深度和色彩徐冲区。一旦特定的帧被捕捉了深度和色彩,就或许提掏出球员。”

  图4:分解数据集的成果和与以后最优技巧和ground truth的对照,可视化为depth maps和3维游戏网格。咱们的办法改正确,完成了更好的网格重构。

  为了考证这个别系,研讨团队用YouTube上找到的10个高分段辨率的职业脚球竞赛视频探测他们的办法。值得留神的是,该体系只正在分解视频素材长入行练习。然则,正在真正在的场景中,体系也有没有比好的成果。

  从Youtube框架入手(顶行),咱们型号重修的深度图或许增添到虚构3维游戏球场情况中,这里显现为仅网格和纹理衬着(第2-4行)。

  研讨职员用微软的HoloLensAR眼镜入行探测。HoloLens或许将3维游戏重修叠加到真正在的桌面上。终极的产物固然没有圆满,它无奈重修球,没有克没有及及时地任务,而且只容许从视频录制的球场正面寓目。然则,这项技巧年夜概比以后3维游戏重修活动的最早入办法更具可扩年夜性,由于以后的办法须要正在每一这个角度安置相机。研讨职员称,这类办法也真用于预约义的其余事宜,比方音乐会或剧院。

  研讨职员供认他们的体系其真没有圆满。他们的下这个名目将专一于练习体系以更好地检测球,并开辟可从任何角度没有雅测的体系。

  这项研讨将于6月18日至22日正在犹他州盐湖乡举办的年度盘算机视觉和形式辨认(CVPR)集会上初次表态。