箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
如今,能像打游戏一样,控制真人网球运动员的每一个动作,“赢得”比赛:
甚至能一帧帧控制,制作一个0失误的弹球游戏视频:
还可以像夹娃娃机一样,想让视频中的机器人夹爪往哪动,它就往哪动:
制作各种视频,现在就像是打游戏一样简单,效果还非常逼真。
果然,这又是AI的“功劳”。
只需要敲几下键盘,就能控制视频中某个目标的方法,叫做“可玩视频生成器” (playable video generation)。
也就是说,不需要视频剪辑技巧,只需要用几个键来指示动作标签,用户就能像“打游戏”一样,控制目标的每一帧动作,制作出视频来,效果丝滑流畅。
不过,与游戏不同的是,这种方法甚至可以通过AI预测动作,来控制真实视频中的目标。
这是怎么做到的?
作者们利用自监督的方法,让模型学习了大量无标签视频。
也就是说,给出一组无标签视频,让模型学习出一组离散的动作,和一个能通过这些动作、生成视频的模型。
为此,作者设计了一种encoder-decoder结构CADDY,其中预测的动作标签则起到瓶颈层(bottleneck)的作用。
这些可播放视频生成结构,由若干组件组成,其中编码器E,从输入视频序列中,提取帧特征。
而时序模型,则采用递归神经网络R、和用来预测输入动作标签的网络A,用于估计目标连续的动作状态。
最后,用解码器D,来重构输入帧,就能生成可控制的视频模型了。
当然,想要让模型达到开头那样的效果,还需要对应的视频数据集。
作者们用了3个数据集来训练,分别是RoboNet、Atari Breakout和Tennis。
RoboNet数据集,是伯克利人工智能研究所(BAIR)做的一个机械臂数据集,共有1500万个视频帧。
这个数据集,包含各种机器人的摄像记录、机械臂姿势、力传感器读数和夹爪状态。
而Atari Breakout,则是一个弹球游戏,这是一个非常简单的2D像素游戏,玩家通过控制平板左右移动,让弹球准确地弹掉天花板上的砖块,以此得分。
这一游戏,已经专门为AI设立了一个排行榜,目前得分最高的仍然是谷歌DeepMind的MuZero。
而能控制模型一帧帧生成游戏视频的CADDY模型,也是通过这个游戏训练出来的。
也就是说,只要玩得够慢,绝对能“0失误”做出“完美弹球游戏视频”来。(细思极恐)
至于网球数据集,作者们是在油管下载的(还需要安装youtube-dl),通过油管上的网球视频,做出真人可控的录像来。
说不定,将来还能操作自己喜欢的网球巨星,来与好友进行一场世界级的“实战”博弈。
此外,既可以通过项目地址来下载上述的三个模型,也可以自己准备想用的视频数据集(要求MP4格式),来训练出目标可控的视频。
具体到模型运行上,作者们推荐用Linux系统来运行模型,训练的话,最好自带1个或以上兼容CUDA的GPU。
此外,模型提供Conda环境和Dockerfile,用于配置所需要的库。
准备好后,就能进行模型训练和评估了。
目前,这一模型的“弹球游戏”版在线Demo已出,玩家可以通过控制左、右、或保持,这三种动作,来让弹球准确地击打到平板上。
如果你是手残党,用这个demo制作出来的视频,绝对能让你体会到游戏0失误的快乐。
文末附demo链接,赶紧上手试试吧~
这个“可玩视频生成器”的一作Willi Menapace,是来自特伦托大学的博士生,主修深度学习和计算机视觉应用,尤其对图像和视频生成方向的研究特别感兴趣。
二作Stephane Lathuili´ere,是巴黎理工学院的助理教授,主要的研究方向是强化学习、和深度学习中的回归问题,包括图像和视频生成。
共同二作Sergey Tulyakov,来自Snap的首席科学家,主要研究方向包括机器学习中的风格转换、逼真对象操作和动画、视频合成、预测和重新定位等。
Aliaksandr Siarohin和Elisa Ricci,分别是来自特伦托大学的博士生和助理教授,主要研究方向包括计算机视觉、机器人和机器学习等。
项目地址:
https://willi-menapace.github.io/playable-video-generation-website/
在线demo:
https://willi-menapace.github.io/playable-video-generation-website/play.html
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
序超均匀态
超均匀流体
“弹珠”模型
图5:(A)二维底板上,由外力矩驱动下高速旋转的陀螺满足“碰撞激发”的条件。(B)结构因子S(q)显示陀螺集群是一种超均匀流体。(C)陀螺集群的密度涨落的谱函数和简单硬球模型图4B基本相同。
总之,作者通过提出了一个简单的“弹珠”模型研究了超均匀流体的形成机理,发现只要满足相互的“碰撞激发”和“摩擦耗散”这两个条件就可以产生超均匀流体态。为了进一步地证明结论的普适性,作者还展示了如何利用自驱动的“陀螺”集群实现超均匀流体,这对实验具有极强的指导意义。在理论上作者也做出了突出贡献,不仅首次发现了超均匀流体的流体力学方程,还提出了启发性的谐振子模型来帮助理解超均匀流体态。从材料学角度上看,这种超均匀流体有望成为一种具有“自修复”和“自适应”的智能活性流体材料,比如活性“光子液体”。这种流体材料不仅具有像光子晶体一样的光学性质,而且活性“光子液体”即使受到机械损伤,也可以自我修复,同时也可随着外场驱动的变化改变自己的光学性质,是不是很科幻呢?
文章信息
Qun-Li Lei and Ran Ni; Hydrodynamics of random-organizing Hyperuniform Fluids,Proc. Natl Acad. Sci. (USA), (2019), https://www.pnas.org/content/early/2019/10/29/1911596116
倪冉教授课题组网站:
http://www.ntu.edu.sg/home/r.ni
参考文献
[1].A Bird’s-Eye View of Nature’s Hidden Order,Quanta Magazine(July 12, 2016)
[2].从鸟眼看见大自然的隐藏秩序——漫步于秩序与随机之间的超均匀性,《数理人文》杂志2017第12期
[3]. 具有局域巨涨落的超均匀流体 —— 一种新的活性流体态,《知社学术圈》微信公众号
[4].http://www.cs.huji.ac.il/~raananf/projects/kdm/results.html
点击https://www.pnas.org/content/early/2019/10/29/1911596116查看论文
《QQ炫舞》手游由原班端游制作团队历经3年精心打磨,游戏传承了端游原汁原味的音舞体验,并在画面美术以及玩法上做到了全面的提升与突破。《QQ炫舞》手游采用了日系清新唯美的画风,玩法上除了保留端游经典的传统模式之外,还新加入了星动模式、弹珠模式、泡泡模式等适合移动端操作的玩法。无论你是追求浪漫搭配的颜值控,还是寻找音舞操作感的技术党,都可以在《QQ炫舞》手游感受到制作团队的满满诚意。目前《QQ炫舞》手游官网正在开放不删档预约活动,成功报名预约的玩家就可以获得价值999元的预约大礼包!
图1:QQ炫舞手游不删档预约
官方预约地址:http://x5m.qq.com/act/a20170925book/index.html
原班人马打造 传承十年情怀
《QQ炫舞》曾经是一款现象级的音舞网游,原作端游即将伴随玩家走过十个年头,最高260万同时在线、历史累计注册玩家超过3亿,足以说明《QQ炫舞》这款游戏在音舞界的霸主地位。《QQ炫舞》手游完美复刻了原作的经典玩法,玩家可以在休闲模式中体验经典带来的那一份感动,跳跃的音符、熟悉的舞步、加上海量潮流曲库力求让玩家在移动端,也能找回昔日熟悉的炫舞体验。
图2:经典玩法传承十年情怀
指尖谱写乐章 让音符弹起来
“星动模式”是《QQ炫舞》手游一个全新的玩法模式,可以完美适应移动端的操作手法,也是目前游戏的主打模式。游戏中音乐将变成充满节奏感的音符坠落,玩家可以通过敲击、滑动、长按等不同操作来展现自己的技术手法,随着音符的COMBO连击,玩家的角色同时会开始展现自己的舞步。爽快的音符节奏打击感,配合上曼妙迷人的舞姿,全新“星动模式”玩法必将使你沉迷其中。
图3:星动模式让音符动起来
“弹珠模式”模式考验着玩家爱对于音乐节奏的把控能力,这一玩法在移动端将“指尖与音符”的互动操作表现到了极致。全网独创的弹珠模式根据游戏节奏,玩家可以通过敲击与长按承接这些跳跃的音符,可以让节奏音符真切的动起来。除此之外还可以滑动弹开节奏音符,让音符可以与玩家之间进行互动。这个模式极大丰富了《QQ炫舞》手游的玩法,增强了游戏的整体趣味性,对于追寻新鲜感的玩家来说,一定不可以错过。
图4:ALL COMBO专属特效
随机呈现是“泡泡模式”最大的特点,对玩家的微操和手速有着较高要求,你的移动设备的频幕有多大,音符出现的范围面积便有多大。无论在落点的感知、节奏的把握,以及承接音符的手速都有着全面的难度提升。除了加入大量音舞模式外,游戏中的对战玩法也十分丰富多彩,如事务所、休闲局、欢乐局、排位赛、双人排位赛极大丰富了玩家选择的自由度。
图5:多模式对战丰富游戏体验
全球流行音乐 海量正版曲库
《QQ炫舞》手游不仅有最潮最流行的歌曲,也将原作端游中的经典歌曲加入其中,玩家初始可以从事务所的中不同模式的歌曲练习中,逐渐回忆起曾经的那一份感动。随着玩家等级的提升还可以解锁主题专辑,让玩家享受全球流行音乐尽在手中的快感。
图6:主题专辑海量曲库
最精致美颜社 浪漫百变换装
角色外观与服装搭配也是《QQ炫舞》手游一大亮点所在,为满足玩家追求角色差异的需求,《QQ炫舞手游》为此制作了面部自定义设计,在游戏中这个功能被叫做“美颜社”,除了提供预设脸型之外,玩家还可以导入和导出脸型,并且可以自由定制细节,其精细程度在同类音舞游戏中堪称独一份。服饰上玩家通过事务所挑战,以及参与排位赛获得大量服饰,从而满足玩家的日常百变换装搭配,另外游戏中开放了“工坊”功能,提供玩家服饰的打造、合成、进化、染色、分解等一系列玩法。
图7:美颜来袭能告别大众脸
图8:浪漫搭配百变换装
情侣结伴同行 谱写最美故事
《QQ炫舞》一直以来都是一款链接玩家的游戏,在这十年中发生了很多让人感动的故事,《QQ炫舞》手游同样秉承这一理念,游戏设计中包含了房间互动、社区、舞团、姻缘树等、影像长廊等多重玩家间互动社交功能,让每名玩家通过游戏都可以找寻到自己的好友,并书写属于自己的专属浪漫爱情故事。
图9:结伴同行书写专属爱情故事
十年以来《QQ炫舞》带来的快乐和感动已经融入每名玩家的心中,现在《QQ炫舞》手游不删档测试已经开启预约,它将延续这份快乐和感动,并谱写新的故事。三亿指尖的音乐梦想,炫舞将继续守护!
*请认真填写需求信息,我们会在24小时内与您取得联系。