整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:

Facebook用「SLAM+实时光流」实现AR真实遮挡效果

映维网 2019年11月29日)当前的AR系统仅追踪稀疏的几何特征,不计算所有像素的深度。所以,大多数AR效果都是纯粹的叠加层,无法实现真实的对象遮挡效果。针对这种情况,Facebook提出了一种新颖算法,其可以将稀疏深度实时传播至每个像素。生成的深度图在时间空间方面十分平滑,但在深度边缘显示出明显的不连续性。这使得AR效果可以与真实场景完全交互并被其遮挡。

该研究由Facebook计算机摄影学团队研究科学家约翰内斯·科普夫(Johannes Kopf) 和华盛顿大学亚历山大·霍林斯基(Aleksander Holynski)联合完成,相关论文《Fast Depth Densification for Occlusion-aware Augmented Reality(用于遮挡感知型增强现实的快速深度密化)》已经公开发表。

相关论文:Fast Depth Densification for Occlusion-aware Augmented Reality

Facebook的算法使用视频和稀疏SLAM重建作为输入。首先,它会从光流场的梯度变化估计软深度边缘。由于在遮挡附近的光流不可靠,所以研究人员使用了一种全新的可靠性测量仿佛来计算正向和反向流场,并融合所得到的深度边缘。然后,算法会细化深度边缘,并将其与图像边缘对齐,从而定位深度边缘。最后,他们优化了传播深度,但鼓励在恢复的深度边缘位置出现不连续性。团队提供了一系列的真实示例结果,并演示了几种可识别遮挡的AR视频效果。为了定量评估算法,Facebook表征了使深度图适用于AR应用程序的属性,并提出了新颖的评估指标来说明效果。这家公司指出,与一组竞争性基准算法相比,他们的算法具有优势。

约翰内斯·科普夫(Johannes Kopf)说:“我们用SLAM来非常精确地追踪数个点的深度,但我们同时采用一种实时光流方法来预测余下像素的运动。但由于这是一种实时方法,其质量不足以直接进行深度预测,不过我们可以用它来确定场景中的主要深度边缘位置。然后,我们回到这些非常精确的SLAM点,并将它们的深度传播至所有余下的像素,但在这些恢复的深度边缘位置停止传播。这可以确保所有的对象边缘都非常清晰,这非常快速,并且产生了非常适合AR的深度映射。因为除了这些都超级清晰的不连续处之外,一切都非常平滑。它们非常适合用来将虚拟对象插入至看似确实置身其间的场景,这是因为它们可以位于真实对象的前面或后面。我非常期待看到这项技术,以及其他人正在研发的技术,将如何帮助模糊真实和虚拟的界限,并令AR更为逼真 更加引人入胜。”

原文链接:https://yivian.com/news/69367.html

RCore 是谷歌于去年 2 月份正式推出的 增强现实(AR)软件开发工具包,给开发者提供了一个开发 AR APP 的平台。

不到一个月前,谷歌正式推出 ARCore 1.7 版本,为其添加了前置摄像头 AR 自拍能力以及动画效果支持;而日前,谷歌又为其引入了机器学习技术,使其实时自拍 AR 的逼真效果更进一步,该技术相关的文章发布在谷歌 AI 的官方博客上,雷锋网(公众号:雷锋网)AI 科技评论编译如下:

增强现实(AR)通过将数字内容与信息叠加到物质世界的真实场景中,来让人类实现超越现实的感官体验。例如,谷歌地图的 AR 功能,能够在现实场景中叠加方向信息来为你指路。借助于 Pixel 相机中的 Playground 模式,你可以使用 AR 从不同的视角看世界。并且通过借助于最新发布的「YouTube Stories」以及 ARCore 全新的面部增强(Augmented Faces)API,你可以在自拍上添加动画面具、眼镜、帽子、皮肤等特效。

实现这种 AR 功能的关键挑战之一,就是以合适的方式将虚拟内容锚定到现实世界:这一过程需要一套能够追踪到每一次微笑、皱眉或假笑的高动态表面几何结构的独特的感知技术。

ARCore 的 3D 网格以及它能实现的一些特效

为此,我们引入了机器学习(ML)技术来推断近似的 3D 表面几何结构,并且仅需要用到一个单摄像头输入而无需使用专用的深度传感器。这种方法利用面向移动 CPU 界面推断或其可用的全新移动 GPU 功能的 TensorFlow Lite,实现了逼真的实时 AR 效果。与「 YouTube Stories」 全新的创作者特效所利用的技术一样,这项技术已通过最新的 ARCore SDK 和 ML Kit Face Contour Detection API 向广泛的开发者社区开放。

用于自拍 AR 的机器学习工作流

我们的机器学习工作流由两个协同工作的实时深度神经网络模型组成:一个是探测器,它在整张图像上运行并计算出面部位置;另一个是通用的 3D 网格模型,它在探测器计算出来的面部位置上运行,并通过回归预测近似的表面几何结构。精确地裁剪面部能够极大地减少对一般的数据增强的要求,例如由旋转、平移和比例变换组成的仿射变换(affine transformations)等,同时让网络将大部分性能投入于预测坐标来提高其准确性——这对于锚定合适的虚拟内容至关重要。

裁剪完所关注的位置后,该网格网络一次仅应用于一个单帧,并利用加窗平滑(windowed smoothing)来减少面部处于静态时的噪音,同时避免在大幅移动期间出现的延迟。

活动中的 3D 网格

针对 3D 网格,我们采用了迁移学习,并训练了一个具有多个目标的网络:该网络能够同时地基于合成、渲染的数据预测 3D 网格坐标以及基于类似于 MLKit 所提供的带有注释的、现实世界的数据预测 2D 语义轮廓。最终的网络为我们提供了基于合成数据乃至现实世界数据的合理的 3D 网格预测。所有模型都在源自于地理学多样化的数据集的数据上进行训练,并接着在平衡、多样化的测试集上进行定性和定量性能的测试。

3D 网格网络接收经裁剪的视频帧作为输入。由于它不依赖于额外的深度输入,因而也可以应用于预先录制的视频。该模型不仅输出 3D 点的位置,还输出在输入中存在并合理对齐的面部概率。一种常见的替代方法就是为每个地标预测出 2D 热图,但这种方法并不适用于深度预测,并且对于如此多的数据点来说,使用这种方法耗费的计算成本非常高。

通过迭代自展和精炼预测,我们进一步提高了模型的准确性和鲁棒性,同时也将数据集发展成为愈加具有挑战性的实例,如鬼脸,拍摄角度倾斜以及面部遮挡等。此外,数据集增强技术也扩展了可用的 ground truth 数据,并开发出了对摄像头瑕疵等人工产品问题或极端光照条件具有弹力的模型。

数据集扩展和改善路径

专为硬件定制的界面

我们使用 TensorFlow Lite 进行设备内置的神经网络推理。新推出的 GPU 后端加速能够有效提升性能,并显著降低功耗。此外,我们还设计了具有不同性能和效率特性的一系列模型架构,来覆盖到更加广泛的消费级硬件。较简单网络之间的最重要的区别就在于残差块(Residual Block)设计和可接受的输入分辨率(最简单模型中的输入分辨率为 128×128 像素,而最复杂模型中的输入分辨率为 256×256)。同时,我们还改变了层数以及子采样率(输入分辨率随网络深度的减少而减少的速度)。

每一帧的推断时间: CPU vs. GPU

这一系列的优化的结果就是:使用更简单的模型带来了实质性的加速,同时也将 AR 特效质量的降低幅度最小化。

最复杂模型(左)和最简单模型(右)的比较:在简单模型上,时序一致性以及对嘴唇、眼睛的追踪稍微降低。

这些成果最终则能够通过以下方式,让用户在 YouTube、ARCore 以及其他客户端体验到更加逼真的自拍 AR 效果:

  • 通过环境映射模拟光反射,来实现眼镜的逼真渲染;
  • 通过将虚拟的目标阴影投射到面部网格上,来实现了自然光照效果;
  • 对面部遮挡进行建模,来隐藏面部后面的虚拟目标部分,如下所示的虚拟眼镜案例。

另外,我们还通过以下方式实现了逼真的妆容效果:

  • 对应用到嘴唇上的镜面反射进行建模;
  • 利用亮度感知材料来实现面部着色。

案例对比: 5 个目标在不同光线下的真实化妆效果以及 AR 化妆效果

我们很高兴将这项新技术分享给创作者、用户以及开发者。

感兴趣的读者可以通过下载最新的 ARCore SDK 来将这项技术用起来。

未来,我们还计划将这项技术广泛应用到更多的谷歌产品线中。

via:https://ai.googleblog.com/2019/03/real-time-ar-self-expression-with.html

原文链接:https://www.leiphone.com/news/201903/fDpFYPzc23a3SUs8.html

本文来源于人人都是产品经理合作媒体 @雷锋网,翻译@雷锋网AI 科技评论

题图来自Unsplash,基于CC0协议。

个性化推荐的信息流中,面向新用户时是否需要做一个前置的兴趣内容选择进行引导呢?我们在天天问讨论了这个问题,一起来看看吧~

问题 一

新用户需要选择兴趣分类吗?@问多多

在个性化推荐的信息流中,面向新用户时是否需要做一个前置的兴趣内容选择进行引导呢?

精选回复@鲸鱼我是陈靖宇

还真没见过新用户前置兴趣分类成功的案例。

分类是为了更好的分发,从这个角度来说前置的分类肯定很粗,一旦粗内容命中的受益就不明显,同时还给了用户门槛。不如长期的“阅读训练”来的更准确,但给兴趣点推的还是大内容,算法也帮不到忙。

还有一点,无论我们提供的选择多精准,无论用户选的多认真,用户的实际行为才是最重要的,推荐的好不好,取决于用户对内容的理解能力。

精选回复@蛋松超人

在思考任何问题的解法时,我通常会先思考why,再是how。知道了为什么而做,才可能有实现目标的机会。

如题,题主没能给出具体想实现的原因。那我来做个假设,并且进行推导演绎。

题中可以拆解出关键词:新用户、选择、兴趣分类。

新用户选择兴趣分类是为什么?

为了更精准匹配用户和ta感兴趣的内容

匹配更精准的内容是为了什么?

为了提高新用户的转化/留存

提升新用户转化/留存是为了什么?

为了kpi?为了公司融资?为了xxx(此处不做过多阐述)

明确了目标之后,再回来审视让新用户选择兴趣分类是否能达到这个目的,如果不能,是否有别的替代方案?如果能,它的内在逻辑是什么?

接着往下分析。

从新用户角度思考(使用环境、动机强弱、刺激/触发物):我通过xx渠道,了解到了xxApp,通过应用商店下载,经过若干时间等待,我终于打开了app。

以上简要的概括了一个新用户到进入app的过程行为,这中间的过程,可能是连续的也可能是割裂的,但不变的是需要时间。所以在进入app时增加兴趣分类选择,一定要考虑到你的目标新用户大概会在哪些环境下进入app。这中间产生的时间和操作成本很可能就让用户把你拒绝了(当然这又涉及到动机强弱,不做延展)从这点上考虑、能否达到预期目标。以上是从使用环境考虑的过程。

从平台角度思考(选择的主动和被动、兴趣爱好匹配):作为内容分发平台,必然会有内容,用户的属性标签。题中说到新用户,那么问题可以转化成:当缺少用户属性标签的时候,如何分发内容?

这里提供两个思路:

  1. 通过已有的用户信息进行推荐,比如投放时区分渠道来源,看是否存在可挖掘的用户信息。
  2. 提供一个相对普适的内容推荐页,加上新人福利引导,一般来说能起到比较好的留存效果。保证提供的内容是打中一个点的,且福利是比较有吸引力的,可以有效阻止用户跳出。

最后,我没有需要或者不需要的具体答案,最终还是要结合你的产品、内容、渠道、用户等多个维度进行分析用什么方法来解决你的问题or实现你的目标

精选回复@真像大白

不需要吧,还是要从解决的问题是什么去考虑。

  1. 对于平台来说。我们希望新用户通过选择兴趣点,去形成他的第一页信息流,稳定用户。
  2. 对于新用户来说。可能给我解决的问题就是能根据我所选的爱好给我推我喜欢的东西。

问题:

  1. 用户选择的是否是真实的兴趣点?
  2. 选了兴趣之后于个性化推荐有多少益处?

针对第1个问题。在注册过程中,一系列的授权验证步骤已经相对繁琐了,此时用户只想快点进入到产品内,去看去体验,这个时候还要让我想我要看什么内容,我甚至不知道我选完之后是否还可以更改,就不能麻利一点快点进么,我看起来很闲么?

针对第2个问题。题目中提到个性化推荐,一个良好的信息推荐逻辑一定是各个模块相辅相成的,阅读偏好(点击和阅读)、行为偏好(评论转发收藏)、用户属性(地区登录频次)等等,而选中的兴趣只是临时的、随时会变的甚至是未经思考的,所选的东西在个性化推荐逻辑内,占比极低。所以从长远的推荐来看,也并无用处。

个人认为理想的解决方案:

  1. 在正式进入产品前,尽可能的减少用户的操作。注册时选择兴趣点,于平台来说属于典型的“懒政”;
  2. 新用户进入产品后,将近期热点内容和各个分类的优质内容去形成新用户的初始信息流;
  3. 先用热点内容吸引住用户眼球,再通过用户的后续行为建立起用户的各项标签,才能将推荐做到更好。

精选回复@西湖

做过兴趣分类,我的建议是:不建议做。

在非刚需内容情景下,前置的选项会给用户带来操作成本困扰+担心随便选会不会有什么不好的后果但又真的不想下功夫选,这一步可能拦截50%的用户(来自我的数据),但是不提供前置选项又担心推荐不精准,用户流失率高

所以我的建议:还不如做后置选项。

初始化数据选择热门内容即可,在主feed流插入选项,告诉用户你选择了后可以多推荐这方面内容。

精选回复@就这么一天

要不要选择得看产品本身:

  1. 如果产品内容数量足够多,且每个细分分类都有足够数量的内容,那么可以让用户选择兴趣分类,推送用户感兴趣的分类内容;
  2. 如果产品是启动阶段,内容数量不够,质量也不高,那么建议不要让用户选择兴趣分类。因为内容数量不多,质量也不好,用户选择看到的分类又少有差,那就很难留住用户。

另外,就算是让用户选择了分类,那么给用户推送的内容就限定在这些分类吗?

人的兴趣都有多面性的,用户选择分类不代表 ta真的对这个分类感兴趣,也不代表ta对别的分类就不感情去。用户之所以做这个选择是因为产品“逼”ta做选择。

如果只给用户推送选择的分类内容,那么有可能造成两个问题:

  1. 这些分类不一定有足够数量的质量高的内容,从而导致流失;
  2. 用户永远只能看自己选择的分类内容,造成信息流通不畅,出现信息孤岛。

综上,要不要选择兴趣分类还是要根据产品本身的性质决定。就我个人观点,我不赞成让用户去选,而是根据用户的行为去分析用户喜好也就是用户画像,从而做针对性的推送。

精选回复@sai

很多人并不知道自己的真实兴趣,看到美女,诶呀好漂亮我关注一下,看到美食哎呀真好我先收藏哪天做做,实际只是获取即时快感,这种快感人类在各种事物上都有。

所以我认为非常严肃的产品,类似需要检索的,需要选择分类。

对于一般的产品,先根据热度推送大众主流审美去测试用户,等用户自然选择到足够多的参考,后台标记标签就可以了。

更多精彩回复:https://wen.woshipm.com/question/detail/h0h7ar.html

问题 二

为什么每个小说的APP新用户都要选择性别?@白衣卿相

精选回复@黄大大

对于企业,方便数据的收集和战略调整。性别的区分,可以做到更精细化的运营,通过细化用户画像,让内容匹配适合的用户,增加用户的好感度提高留存率。

比如:一个美妆APP,前期预判设计一般偏女性化。如果资料数据显示男性用户在不断攀升,甚至达到男女比例一比一的状态。是否需要考虑再设计方向上考虑男性需求,比如内容上设置男性护肤专题,视觉设计风格上可以更往中性风走,或者在日常push推送上做到更针对化。

对于用户,智能快速得到用户想要的东西,切实的实现产品的价值。

精选回复@Rex

接触过做小说的朋友。

对于小说男女的口味是天差地别,尤其是网文小说。所以一定要做分流,但是用什么方法是个问题,其中成本最低的就是性别分流了。(至于选tag是最不可取的,时刻记住用户是懒的)

更多精彩回复:https://wen.woshipm.com//question/detail/74rdid.html

你的想法是?欢迎来天天问和小伙伴们继续交流噢~

相关阅读

【天天问每周精选】第92期:作为运营/产品经理,你最讨厌什么样的用户?

【天天问每周精选】第91期:抖音适不适合增加一个弹幕功能?

【天天问每周精选】第90期:微信读书为什么要设计替身书架?

【天天问每周精选】第89期:周杰伦新歌上线,为什么单曲收费,高清MV却免费看?

【天天问每周精选】第88期:点外卖为什么必须要「选择性别」?不敢选性别女……

【天天问每周精选】第87期:功能更新了却没用户用,是不是做得没意义?

精选问题每周有,欢迎食用~配合回复味道更佳(∩_∩)

本栏目由天天问小编 @Tracy 编辑,欢迎大家踊跃提问,一起交流。

题图来自Unsplash,基于CC0协议