整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:

你在网上看到的0失误游戏视频,用AI也能生成丨Demo在线玩

箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

如今,能像打游戏一样,控制真人网球运动员的每一个动作,“赢得”比赛:

甚至能一帧帧控制,制作一个0失误的弹球游戏视频:

还可以像夹娃娃机一样,想让视频中的机器人夹爪往哪动,它就往哪动:

制作各种视频,现在就像是打游戏一样简单,效果还非常逼真。

果然,这又是AI的“功劳”。

“可玩”视频生成器

只需要敲几下键盘,就能控制视频中某个目标的方法,叫做“可玩视频生成器” (playable video generation)

也就是说,不需要视频剪辑技巧,只需要用几个键来指示动作标签,用户就能像“打游戏”一样,控制目标的每一帧动作,制作出视频来,效果丝滑流畅。

不过,与游戏不同的是,这种方法甚至可以通过AI预测动作,来控制真实视频中的目标。

这是怎么做到的?

作者们利用自监督的方法,让模型学习了大量无标签视频。

也就是说,给出一组无标签视频,让模型学习出一组离散的动作,和一个能通过这些动作、生成视频的模型。

为此,作者设计了一种encoder-decoder结构CADDY,其中预测的动作标签则起到瓶颈层(bottleneck)的作用。

这些可播放视频生成结构,由若干组件组成,其中编码器E,从输入视频序列中,提取帧特征。

而时序模型,则采用递归神经网络R、和用来预测输入动作标签的网络A,用于估计目标连续的动作状态。

最后,用解码器D,来重构输入帧,就能生成可控制的视频模型了。

训练数据集&操作方法

当然,想要让模型达到开头那样的效果,还需要对应的视频数据集。

作者们用了3个数据集来训练,分别是RoboNet、Atari BreakoutTennis

RoboNet数据集,是伯克利人工智能研究所(BAIR)做的一个机械臂数据集,共有1500万个视频帧。

这个数据集,包含各种机器人的摄像记录、机械臂姿势、力传感器读数和夹爪状态。

而Atari Breakout,则是一个弹球游戏,这是一个非常简单的2D像素游戏,玩家通过控制平板左右移动,让弹球准确地弹掉天花板上的砖块,以此得分。

这一游戏,已经专门为AI设立了一个排行榜,目前得分最高的仍然是谷歌DeepMind的MuZero

而能控制模型一帧帧生成游戏视频的CADDY模型,也是通过这个游戏训练出来的。

也就是说,只要玩得够慢,绝对能“0失误”做出“完美弹球游戏视频”来。(细思极恐)

假装是自己玩的

至于网球数据集,作者们是在油管下载的(还需要安装youtube-dl),通过油管上的网球视频,做出真人可控的录像来。

说不定,将来还能操作自己喜欢的网球巨星,来与好友进行一场世界级的“实战”博弈。

此外,既可以通过项目地址来下载上述的三个模型,也可以自己准备想用的视频数据集(要求MP4格式),来训练出目标可控的视频。

具体到模型运行上,作者们推荐用Linux系统来运行模型,训练的话,最好自带1个或以上兼容CUDA的GPU。

此外,模型提供Conda环境和Dockerfile,用于配置所需要的库。

准备好后,就能进行模型训练和评估了。

在线Demo可玩

目前,这一模型的“弹球游戏”版在线Demo已出,玩家可以通过控制左、右、或保持,这三种动作,来让弹球准确地击打到平板上。

如果你是手残党,用这个demo制作出来的视频,绝对能让你体会到游戏0失误的快乐。

文末附demo链接,赶紧上手试试吧~

作者介绍

这个“可玩视频生成器”的一作Willi Menapace,是来自特伦托大学的博士生,主修深度学习和计算机视觉应用,尤其对图像和视频生成方向的研究特别感兴趣。

二作Stephane Lathuili´ere,是巴黎理工学院的助理教授,主要的研究方向是强化学习、和深度学习中的回归问题,包括图像和视频生成。

共同二作Sergey Tulyakov,来自Snap的首席科学家,主要研究方向包括机器学习中的风格转换、逼真对象操作和动画、视频合成、预测和重新定位等。

Aliaksandr Siarohin和Elisa Ricci,分别是来自特伦托大学的博士生和助理教授,主要研究方向包括计算机视觉、机器人和机器学习等。

项目地址:
https://willi-menapace.github.io/playable-video-generation-website/

在线demo:
https://willi-menapace.github.io/playable-video-generation-website/play.html

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

序超均匀态

物质一般可分为有序态和无序态。有序态在空间上分布均匀齐整,比如晶体以及准晶(见图1B)。而在无序态中,粒子的位置有很强的随机性,造成了分布的疏密不均(见图1A)。无序态涵盖了气态、液体、玻璃态等物态。2003年,美国普林斯顿大学化学系S. Torquato教授,提出了介于无序和有序之间的一种新的物态,即无序超均匀态。在小尺度上观察,这种结构显得毫无规律,但在大尺度上却具有晶体相似的均匀性(见图1C)。

在大自然以及数学世界中,科学家都发现了无序超均匀态的踪影,例如鸟类视网膜上的视锥细胞分布、质数的分布、随机矩阵的本征值分部、硬球的密堆积、宇宙大尺度结构等。无序超均匀态也具有很多奇特性质和用途,例如,它能像晶体一样产生光子带隙,并且对某些波长的光是完全通透的(超透明性)。不仅如此,这种分布也在数值抽样和计算机图形学领域运用广泛,比如,具有超均匀分布的伪随机数可以极大加速蒙特卡洛抽样的速度(随机打点法计算π值),同时用超均匀的无序点阵进行抽样绘图不仅可以克服图形失真(“反锯齿”),还可以用最少的像素点画出最佳的图像(见图2)[1,2]。

图1:粒子分部的均匀性可由窗口内粒子数N的涨落(方差)

的标度率

来反映(d为维度)。λ=0意味着体系的粒子数涨落正比于粒子数本身,即泊松过程或随机分布(图A);而 λ=1则意味体系有着晶体般的超均匀性(图B)。0<λ≤1都属于超均匀态。(图片编辑自[1])

超均匀流体

目前无序超均匀态的研究主要集中在无序固体。今年年初,新加坡南洋理工大学的一个理论研究小组首次提出了超均匀流体的概念,并且利用了自驱动胶体体系模拟验证了这种特殊流体的存在(见链接[3])。但是这种特殊流体的形成机制,以及其与平衡态流体的本质区别仍然是一个未解之谜。与此同时,理论上也缺少描述这种奇异流体的流体力学方程。最近该小组的雷群利博士和倪冉教授对这个问题进行了深入的探索,他们通过构建一种简单的“弹珠”模型,巧妙地实现了从简单流体到超均匀流体的平滑过度,不仅如此,他们还发现超均匀流体在理论上具有非常简洁优美的流体力学方程形式。基于这套理论,超均匀流体的形成机制可以用简单的谐振子模型来理解。最后,作者还通过模拟展示了如何利用简单自驱动“陀螺”制造这种超均匀流体。相关工作于近期发表于《美国科学院院刊》上。

图2:超均匀点阵可用于消除图的水状波纹(上)和图形视觉优化(下)右下角是这种点阵的结构因子S(q)(图片来自 [4])

“弹珠”模型


作者研究的是一种非平衡态的硬球体系(图3)。这个模型类似于普通弹珠在有摩擦的平面上运动,即硬球会受到和速度大小成正比的阻尼(摩擦)力,并且两球碰撞满足动量守恒。该体系和弹珠碰撞不同的地方是,在碰撞过程中,会有额外的能量输入给相碰的两个硬球,使两个硬球在碰撞后的总动力增加E,这被称作“激发碰撞”(activecollision)。在这个体系中激发碰撞提供能量输入,阻尼力又把能量耗散掉。这种“驱动-耗散”(drivendissipation)机制是活力物质体系的基本特征。体系的最终运动状态还是取决于两个特征长度。一个是耗散距离

,即在E的激发下,静止硬球可以运动的最远距离。如果我们固定E 不变,那么这个距离完全由摩擦系数决定。所以,

其实反映了硬球在阻尼系统中“惯性”的大小。另一个特征长度是“平均自由程”

(mean free path)即硬球在两次碰撞之间平均的运动距离。这个特征长度反映的是硬球体系疏密程度,越稀的体系,硬球之间越不容易碰撞,平均自由程就越大。

作者分析发现当在初始时刻赋予粒子随机速度后,如果

,体系的碰撞事件数会随着时间指数减小,最终体系陷入所谓的“吸收态”(absorbingstate),即每个硬球的速度衰减为零。相反,如果

,体系的激发碰撞会产生“链式反应”,使体系保持在一种持续碰撞但“温度”恒定的状态,即活力态(active state)。这里的“温度”恒定指的是体系的平均动能不变。作者发现,这种活力态就是一种超均匀态流体,其结构因子满足标度率S(q)~ q2(见图4A)。这里q 代表的是波矢量,S(q)反映的是体系在波长为2π/q 的尺度上密度涨落的大小。有意思的是,随着硬球惯性(

)逐渐变大并趋向无穷(对应无摩擦),体系会升温,并且S(q)在小波矢区域会慢慢抬升(图4A),最后转变为普通平衡态流体的标度率,即S(q)~ q0(const)。硬球的速度分布也从非玻尔兹曼分布,转变为玻尔兹曼分布(图4F)。也就是说,通过调节摩擦力或者E,我们可以使平衡态硬球流体平滑过度到非平衡态超均匀流体。。


图3:(A)研究模型。(B)二维体系的超均匀流体 (不同颜色代表不同速度方向)。


超均匀流体的流体力学方程和流体动力学

为了研究这种奇特流体的流体力学机理,通过分析推导,作者发现了这种超均匀流体满足如下的流体力学方程:

这个流体力学方程的形式非常简洁:其中第一个方程代表粒子数守恒,第二个方程代表动量守恒。由于有阻尼力的存在(绿框),体系动量实际上是不守恒的。激发碰撞反映在红框的噪声项里。这套理论的预测和模拟结果高度吻合(图4的虚线),佐证了这套流体力学的正确性。动力学上,这套理论成功预测了超均匀流体的涨落形式不仅可以是扩散模(diffusive mode)也可以是声学模(acoustic mode)(图4G)。体系的动力学相图在图4E里给出。另外,作者还测量了超均匀流体的密度涨落的“色噪声”,发现色噪声的谱函数在低频满足特殊的f1/2的标度率(图 4B),这个发现有助于在频率空间探测和研究这种超均匀流体。

图4:(A)不同惯性(

)大小的硬球体系的结构因子S(q),其中q 为波矢量,q2代表超均匀标度率;(B)密度涨落的谱函数 f 随频率的变化,其中f -1/2为超均匀标度率。;(C,D)平衡态流体和超均匀流体的谐振子模型。(F)超均匀流体中粒子速度分布随着的

增加慢慢过度到玻尔兹曼分布。(E)体系的动力学相图。(G)动力学结构因子S(ω,q),其中三峰曲线的左右两侧峰是Brillouin峰,代表了声学模,蓝线的单峰代表了扩散模。注:虚线为理论预测。




超均匀流体的机理解释—谐振子模型


我们知道,根据傅里叶分解,任何形状的方程都可以看作为无数不同波长的正弦波的叠加。同样地,密度涨落也可以看成是众多的疏密相间的正弦波涨落(密度模)的叠加,结构因子

或者

就是代表了在波长2π/q的尺度上的正弦波振幅。通过理论推导,作者发现

满足一个非常熟悉的二阶动力学方程:

这个方程与热浴中谐振子的动力学方程完全一样,其中

可以看成谐振子的“位移”q-2可以看成谐振子的“质量”,右边第一项括号里可以看成谐振子的阻尼系数,右边第二项是回复力(正比于位移),最后一项是热浴的噪声。也就是说,流体在某个波矢量q的密度涨落可以看成是一种抽象的谐振子振动(图4C,D)。我们知道,谐振子主要有两种运动模式:一种是在阻尼系数比较小时的“共振态”(图4C),另一种是在阻尼系数比较大时的“过阻尼态”(图4D)。共振态下,流体中疏密相间的密度模会表现出一种“弹性”并来回震荡,形成向前或者向后传播的“声波”;在“过阻尼态”下,密度模失去了弹性,产生之后就原地衰减,像冰淇淋融化一样慢慢铺平,形成一种“扩散波”。对于平衡态流体,在谐振子的阻尼系数(

)和在热浴温度不变的情况下,根据能量均分定理,谐振子的振幅是不变的。也就是说,对于理想平衡态流体,不同波长下的密度涨落幅度是一样的,即S(q)~const. 这和图3A所示的结果完全一致的。然而,对于超均匀流体,我们发现随着波矢q慢慢减小到0,谐振子的阻尼系数会变为无穷大,导致谐振子的振幅为零。也就是说,密度涨落在无限长波长下为零,这正是超均匀态的定义。这个简单而具有启发性的模型同时也可以解释之前所述的超均匀流体的动力学性质。



“陀螺”模型

根据上面的理论分析,作者最后提出了一个实际模型来实现超均匀流体态,即自驱动的“陀螺”(spinner)集群。在外力矩(比如旋转磁场)的驱动下,陀螺会自发高速旋转。当两个陀螺碰撞时,陀螺的旋转动能会转变为平移动能,使两个陀螺相互弹开,从而实现“弹珠”模型中的“激发碰撞”(见图5A)。在有摩擦的条件下,作者发现这种“陀螺”集群会呈现出与之前“弹珠”模型一样的超均匀标度(图5B),并且体系中密度涨落的谱函数的标度率也和“弹珠”模型完全相同。这个实际体系证明了作者理论中所揭示超均匀流体机制的普适性。不仅如此,通过文献调研,作者也在“微型陀螺”的实验体系发现了超均匀流体存在的证据。

图5:(A)二维底板上,由外力矩驱动下高速旋转的陀螺满足“碰撞激发”的条件。(B)结构因子S(q)显示陀螺集群是一种超均匀流体。(C)陀螺集群的密度涨落的谱函数和简单硬球模型图4B基本相同。

结 语

总之,作者通过提出了一个简单的“弹珠”模型研究了超均匀流体的形成机理,发现只要满足相互的“碰撞激发”和“摩擦耗散”这两个条件就可以产生超均匀流体态。为了进一步地证明结论的普适性,作者还展示了如何利用自驱动的“陀螺”集群实现超均匀流体,这对实验具有极强的指导意义。在理论上作者也做出了突出贡献,不仅首次发现了超均匀流体的流体力学方程,还提出了启发性的谐振子模型来帮助理解超均匀流体态。从材料学角度上看,这种超均匀流体有望成为一种具有“自修复”和“自适应”的智能活性流体材料,比如活性“光子液体”。这种流体材料不仅具有像光子晶体一样的光学性质,而且活性“光子液体”即使受到机械损伤,也可以自我修复,同时也可随着外场驱动的变化改变自己的光学性质,是不是很科幻呢?

论文的发表和致谢


该工作于美国东部时间2019年10月30日发表在《美国科学院院刊》[Proceedings of National Academy of Sciences (USA)]上。南洋理工大学雷群利博士为论文第一作者,倪冉教授为文章通讯作者。作者感谢以色列理工学院Dov Levine和安徽大学胡皓教授的有益讨论。该研究得到了新加坡政府教育部、南洋理工大学以及新加坡科技研究局的支持。

文章信息

Qun-Li Lei and Ran Ni; Hydrodynamics of random-organizing Hyperuniform Fluids,Proc. Natl Acad. Sci. (USA), (2019), https://www.pnas.org/content/early/2019/10/29/1911596116

倪冉教授课题组网站:

http://www.ntu.edu.sg/home/r.ni

参考文献

[1].A Bird’s-Eye View of Nature’s Hidden Order,Quanta Magazine(July 12, 2016)

[2].从鸟眼看见大自然的隐藏秩序——漫步于秩序与随机之间的超均匀性,《数理人文》杂志2017第12期

[3]. 具有局域巨涨落的超均匀流体 —— 一种新的活性流体态,《知社学术圈》微信公众号

[4].http://www.cs.huji.ac.il/~raananf/projects/kdm/results.html

点击https://www.pnas.org/content/early/2019/10/29/1911596116查看论文


 《QQ炫舞》手游由原班端游制作团队历经3年精心打磨,游戏传承了端游原汁原味的音舞体验,并在画面美术以及玩法上做到了全面的提升与突破。《QQ炫舞》手游采用了日系清新唯美的画风,玩法上除了保留端游经典的传统模式之外,还新加入了星动模式、弹珠模式、泡泡模式等适合移动端操作的玩法。无论你是追求浪漫搭配的颜值控,还是寻找音舞操作感的技术党,都可以在《QQ炫舞》手游感受到制作团队的满满诚意。目前《QQ炫舞》手游官网正在开放不删档预约活动,成功报名预约的玩家可以获得价值999元的预约大礼包!

图1:QQ炫舞手游不删档预约

官方预约地址:http://x5m.qq.com/act/a20170925book/index.html

原班人马打造 传承十年情怀

  《QQ炫舞》曾经是一款现象级的音舞网游,原作端游即将伴随玩家走过十个年头,最高260万同时在线、历史累计注册玩家超过3亿,足以说明《QQ炫舞》这款游戏音舞界的霸主地位。《QQ炫舞》手游完美复刻了原作的经典玩法,玩家可以在休闲模式中体验经典带来的那一份感动,跳跃的音符、熟悉的舞步、加上海量潮流曲库力求让玩家在移动端,也能找回昔日熟悉的炫舞体验。

2:经典玩法传承十年情怀

指尖谱写乐章 让音符弹起来

  “星动模式”是《QQ炫舞》手游一个全新的玩法模式,可以完美适应移动端的操作手法,也是目前游戏的主打模式。游戏中音乐将变成充满节奏感的音符坠落,玩家可以通过敲击、滑动、长按等不同操作来展现自己的技术手法,随着音符的COMBO连击,玩家的角色同时会开始展现自己的舞步。爽快的音符节奏打击感,配合上曼妙迷人的舞姿,全新“星动模式”玩法必将使你沉迷其中。

3:星动模式让音符动起来

“弹珠模式”模式考验着玩家爱对于音乐节奏的把控能力,这一玩法在移动端将“指尖与音符”的互动操作表现到了极致。全网独创的弹珠模式根据游戏节奏,玩家可以通过敲击与长按承接这些跳跃的音符,可以让节奏音符真切的动起来。除此之外还可以滑动弹开节奏音符,让音符可以与玩家之间进行互动。这个模式极大丰富了《QQ炫舞》手游的玩法,增强了游戏的整体趣味性,对于追寻新鲜感的玩家来说,一定不可以错过。

4:ALL COMBO专属特效

随机呈现是“泡泡模式”最大的特点玩家的微操和手速有着较高要求,你的移动设备的频幕有多大,音符出现的范围面积便有多大无论在落点的感知、节奏的把握,以及承接音符的手速都有着全面的难度提升。除了加入大量音舞模式外,游戏中的对战玩法也十分丰富多彩,如事务所、休闲局、欢乐局、排位赛、双人排位赛极大丰富了玩家选择的自由度。

5:多模式对战丰富游戏体验

全球流行音乐 海量正版曲库

《QQ炫舞》手游不仅有最潮最流行的歌曲,也将原作端游中的经典歌曲加入其中,玩家初始可以从事务所的中不同模式的歌曲练习中,逐渐回忆起曾经的那一份感动。随着玩家等级的提升还可以解锁主题专辑,让玩家享受全球流行音乐尽在手中的快感。

6:主题专辑海量曲库

  最精致美颜社 浪漫百变换装

角色外观与服装搭配也是《QQ炫舞》手游一大亮点所在,为满足玩家追求角色差异的需求,《QQ炫舞手游》为此制作面部自定义设计,在游戏中这个功能被叫做“美颜社”,除了提供预设脸型之外,玩家还可以导入和导出脸型,并且可以自由定制细节,其精细程度在同类音舞游戏中堪称独一份。服饰上玩家通过事务所挑战,以及参与排位赛获得大量服饰,从而满足玩家的日常百变换装搭配,另外游戏中开放了“工坊”功能,提供玩家服饰的打造、合成、进化、染色、分解等一系列玩法。

7:美颜来袭能告别大众脸

8:浪漫搭配百变换装

情侣结伴同行 谱写最美故事

《QQ炫舞》一直以来都是一款链接玩家的游戏,在这十年中发生了很多让人感动的故事,《QQ炫舞》手游同样秉承这一理念,游戏设计中包含了房间互动、社区、舞团、姻缘树等、影像长廊等多重玩家间互动社交功能,让每名玩家通过游戏都可以找寻到自己的好友,并书写属于自己的专属浪漫爱情故事。

9:结伴同行书写专属爱情故事

年以来《QQ炫舞》带来的快乐和感动已经融入每名玩家的心中,现在《QQ炫舞》手游不删档测试已经开启预约,它将延续这份快乐和感动,并谱写新的故事。三亿指尖的音乐梦想,炫舞将继续守护