datasheet

QbitAI量子位

文章数:1455 被阅读:16544813

最新精华

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

账号入驻

日常视频一秒变游戏,人物可以随意操控:全靠Facebook的实时算法

2019-04-21
    阅读数:
圆栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI

这是风和日丽的一天,有位黑衣男子照常开始了网球训练。

(请忽略这是卡塔尔公开赛上的费德勒。)

突然之间,球场变成了游戏,他也成了主人公 (如下图) 。

不自由地奔跑,不自主地挥舞球拍,一切听从玩家控制。左下角瞩目

一切发生得太快,男主还没来得及反应,就莫名地开始穿越。出现在了其他的球场,还认识了新队友:

当局者迷,就算手脚不听使唤,也很难想到自己被人“玩”了吧。

玩家是来自Facebook的一小撮研究人员。

他们开发的Vid2Game算法,直接把视频主角,变成可以控制的游戏人物;也能随意变换游戏场景,毫不违和。

另外,这个算法可以实时运行。只要手边有个视频,就能直接控制里面的人类,无需等待:

 实时Demo

今后,你的游戏会变得很热闹吧。如果把自己变成主角,你想要谁来演NPC?

除此之外,鬼畜圈大概也不会毫无波澜 (误) 。

来自B站阿婆:橙某

好的,不要再多想了。书归正传,视频变游戏,到底经历了什么?

合二为一

首先,姿态估计自然是必须的。但在那之后呢……

Facebook团队说,算法包含了两个神经网络。

第一个叫Pose2Pose。它会根据当前的姿势,以及一个 (可能来自手柄的) 控制信号,生成下一帧的姿势。

它的生成器长这样:

当然,生成姿势并不是全部,人类要在各种背景里完美地移动,不要PS痕迹。

所以,还有第二并行的网络叫Pose2Frame

一顿渲染,把移动的人类和背景融为一体,就能输出正式的一帧画面了。

具体来说,要根据Pose2Pose生成的那些姿势,恢复出人类各个角度的完整模样 (下图:右下) 。

然后生成蒙版,就是左下的效果。

有了蒙版,再把人类混合到给定的背景里去,就完成了。

团队测试了一下,Vid2Game的合成效果,比前辈Vid2Vid更优质:

如果你没看出有什么分别:

在前辈生成的画面里,妹子的舞动破坏了背景的安宁,窗户的轮廓变得有些凌乱。而Vid2Game的作品,窗户依然是那个窗户。

如果你觉得,跳舞的妹子并没有打开新世界的大门。那么:

One More Thing

这里有一位优雅的击剑选手,在安静地练习。

对面是白墙的话,多少有些寂寞。

所以,给它一个优秀的游戏对手吧。

有了对手,动作都变快了:

你会不会也想试试屠龙的感觉?

论文传送门:
https://arxiv。org/pdf/1904。08379。pdf

作者系网易新闻·网易号“各有态度”签约作者


活动报名|多模态视频人物识别

加入社群

量子位AI社群开始招募啦,量子位社群分:AI讨论群、AI+行业群、AI技术群;


欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)


量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !


最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关:

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved