整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:

全宇宙最全景深合成攻略

全宇宙最全景深合成攻略

图的这一系列的图片,都来自极影Ax成员—miller姚明来。这种用超广角拍摄的极具冲击力的图片,需要将广角非常贴近前景从而营造出纵深感和夸张的畸变。

这时候就会出现一个问题,即使你将镜头的光圈调到F100000000000,也无法获得前景至远景都非常清晰锐利的图片(如上图)


这时候,必须用到一个技术——景深合成。而下文,就是全宇宙最全的景深合成攻略。

前期拍摄

首先,你需要获得一组焦平面覆盖所要拍摄的画面全景深的n张图片

(一)当你手中的相机是尼康D850这类拥有“焦距变化拍摄”功能的相机,那么,可以利用机身自带的这个功能,轻松的获得一组焦平面从最近到无穷远的图片。

请看下方极影AX成员-周游为大家带来的现场视频演示

高清视频地址:https://v.qq.com/x/page/m0754hdqtdh.html

(二)当你手中的相机不具备这种自动切换焦点包围拍摄的功能时,就需要手动拍摄这一系列图片。

(1)拍摄前的准备:

首先,你要带上一个足够稳固的三脚架,相机一些轻微的晃动都会给你的后期拼合制造麻烦。当然,还需要一根靠谱的快门线,这可以有效避免按动快门时的抖动。(不推荐用延时拍摄的方式代替快门线,在光线瞬息万变的场合,延时的那2秒很可能会让你错过唯一的机会)

(2)拍摄时的设置:


当你确定好构图,在拍摄前的一步就是对相机进行一些设置。

1.将相机设置为光圈优先的拍摄模式。

有人问为什么不用m档拍摄,这意味着曝光量锁定不变,那岂不是在后期拼合时更加容易吗?虽然m档能够让拍摄的一系列素材的曝光完全一致,但光圈优先能够根据环境光立即算出一个合理的曝光参数,在某些风云突变,光线稍纵即逝的场合更需要的是速度。

2.设置照片质量为RAW。以便保留更多的暗部高光细节,让后期有更大空间。

3.将镜头由自动对焦调为手动对焦,就是把镜头从af拨到mf。

4.如果你的广角镜头有防抖,那么务必关闭防抖。

5.设置相机测光模式为全局测光

6.设置光圈

如果拍摄时风很大并且前景的光线很暗,往往使用较大的光圈配合高iso,才能提高快门速度定格住前景。如果现场几乎没有风,前景光线也不错,可以将光圈缩的比较小。光圈越小,景深越深,可以在拍摄时减少张数,提高效率。

(3)拍摄时的操作:

首先,将相机镜头的对焦环拧到最近处。镜身上有个透明的小窗口,这个窗口可以直观的观察镜头焦距的变化

示例的是佳能16-35,对于这枚镜头,就是拧到最近对焦距离处,也就是0.28。

然后按下快门拍摄第一张照片。接着将镜头对焦环往数值较大的方向拧动一点,再按动快门拍第二张。接下来再往数值更大的方向拧动一点,再拍第三张。。。。。。直至镜头拧到无穷远处拍下最后一张。

佳能的广角镜头不要拧到底,如上图那样拧到无穷远处再回来一点,让刻度线刚好在无穷远刻度线前方的L形线条的竖线处即是无穷远。而尼康,索尼的镜头好像直接拧到底就是无穷远。

至于拍摄时拧动的幅度,全凭你自己,如果你第一次尝试这种技术,同时光圈开的比较大,或者是在拍摄一个非常重要的场景,那么可以拧的幅度小一些,多拍几张不同景深的,这样更安全。而如果拍摄时光线充足,光圈缩的比较小,可以拧的幅度大一些。一般来说,拍摄个7.8张也就基本能覆盖从最近一直到最远的全景深了。

Tip:

拍完一组景深后,保险起见,通常会再多做一组景深的拍摄,确保万无一失

手动景深合成的视频,请看下方极影AX成员-姚明来在山区为大家带来的现场示范

高清视频地址:https://v.qq.com/x/page/n072522x6rt.html

(三)当你手中的相机是奥林巴斯EM10等机型时,可以用自带的“focus BKT”(深度合成)的功能拍摄一组全景深的图片,并且直接在机内混合为成图,这样就免去了后期的时间。。。。。。但是!机身自动合成出的图片是jpg格式,我们都知道jpg这种压缩格式的图片后期以后会惨不忍睹,所以,不要去使用这个功能。

后期操作

方法一:photoshop自动合成

1.筛选

首先将景深合成的几组照片导入到lightroom进行筛选,重复比对以及放大细节来确定保留下几组中的一组。那组筛选出的照片就是我们最后要进行景深合成的素材了。

接着放大查看留下的那组照片中的每一张图,比对焦点的位置以及各张照片清晰的区域。因为在转动变焦环拍摄时,由于拧动幅度的大小,总会有一些照片的清晰区域是比较类似和重叠的。这一步就是删去一组照片中焦平面重叠比较多的那几张图,最后只留焦平面基本可以互补的那几张。

这一步不仅可以减少拼合时计算机运行的时间,更重要的意义在与如果拍摄的时候有风,前景的花草一定会有位移,而如果很多张一起放进去拼合,就会干扰计算机拼合时的算法,产生错位和重影。

上图的作者是极影AX成员—史炎冰。拍摄的条件就是如我说的那种大风的天气,风很大,前景花草的位移很厉害。下面截取了他在作品下方的描述,大家可以体会一下拍摄以及合成时的艰难:

2.调整

在lightroom里对照片进行一个基础的调整,为后续在ps中的拼合打好基础。通常矫正一下曝光,对照片做一个基础的调色,降噪锐化等。当做完针对某张照片的调整后,需要将这个效果应用到这一组的所有图片上。

选中所有图片,点击“同步设置”,将所有选项都勾上,然后点击“同步”。那样针对某一张照片的所有调整就被同步复制到了所有图片上,这样呈现出来的效果也是一致的。

Tip:

如果拍摄的时候光线变化很快,可能每张照片的曝光会有一些差别,这就需要在同步设置以后对每张照片进行单独的调整。

3.合成

lr里完成对照片基础调整后,接着把所有图片导入到ps中。

选中所有图片,点击右键,在弹出的窗口中选择“在应用程序中编辑”,然后再点击“在photoshop中作为图层打开”。这样所有的图片就自动载入到ps中了,并且作为图层叠加在同一个画布中。

接着全选图层,点击ps上方工具栏的“编辑-自动对齐图层”,那样,所有图层就被软件自动对齐了

这个对齐的操作是为了克服镜头的呼吸效应.当我们在拧动焦距环时,镜头会移动浮动镜片来对焦,浮动镜片的移动必然带来光学结构的改变,因此焦距就会发生变化。所以虽然机位固定,但是拍摄出的画面一定有轻微的变形跟位移,这时就要依赖ps强大的对齐功能了。

自动对齐以后,画面的周围有白边,这就是程序对图像进行拉伸匹配像素时出现空白的多余像素。

对齐以后,就是要将图片融合在一起,还是全选图层,点击“编辑-自动混合图层”

在跳出的对话框中选择“堆叠图像”,同时勾选“无缝色调和颜色”,再点击确定,软件就开始自动融合。

下图是最后融合完的图像,每个图层的旁边都多了蒙版,这就是软件自动计算生成的。这个功能能够计算抓取出每个图层最清晰的部分然后进行融合。

接着我们将图层合并。如果在拍摄时没用三脚架或者现场有很大的风,就会造成图片中元素的位移和晃动,这时候不能够完全依赖ps软件的自动合成。要在这一步拼合前追加一步,就是手动调整各个图层的蒙版,用笔刷刷取清晰的部分,这个过程比较考验技术以及花费时间。

合并图层后,用裁剪工具裁去画面周围空白以及模糊的部分。所以我们在拍摄时要尽量在构图上留有余地,给后期留下裁剪的空间。

这就是最后裁剪完的照片,我们可以看到画面从最近到最远都是清晰锐利的

方法二:景深合成软件Helicon Focus 6 合成

1、LR对照片进行基础参数调节,并同步批处理后导出TIFF格式

2、将所有景深合成的素材载入到Helicon focus6中



3、渲染方法选择B:景深图 然后点击渲染按钮


一键直接生成景深合成后的图像(右侧,预览图),然后保存成果文件即可。

我们可以放大局部查看一下合成的结果,可以看到花茎的茸毛都锐利清晰,而且地上远处的小花也很锐利。

放大看远处的山峰和近处的花骨朵同样清晰。可见Helicon Focus这个软件暴力景深合成是非常棒的,但是这个软件是收费软件。

方法三:photoshop手动蒙版合成

我们经常会在有风的户外拍摄,这时候,如果拍摄的前景是茎叶细长的花朵,那么花朵必然会摇曳,无论你拍摄的速度多么的快,在一组景深合成的图片里,前景一定会产生位移。而这种位移是电脑的智能算法也无法完美拼合的,这时候就要用手动蒙版的方法对图片进行人工的融合。

这种方法非常耗时和复杂。可以点击下方的阅读原文,系列课的第5课有详细的演示


极影AdventureX

极限挑战

极致影像

极客分享

http://www.theadventurex.com

灵 发自 凹非寺

量子位 出品 | 公众号 QbitAI

一个你边走边拍得到的普通视频,现在也能重建出精准的3D世界了。

这一次,谷歌用深度学习的方法,不仅从视频中重建了移动对象的景深图,而且效果精准惊艳。即使拍摄相机和人物同时在运动,也能很好重建景深图。

输入这样的视频:

就能输出这样的3D景深版:

谷歌在博客中表示,这是世界首个在摄像机和人体同时运动情况下的深度学习景深预测算法,优于制作深度图的最先进工具。

半天时间,推特有近千次的点赞,网友表示:“超级酷”。

研究论文也被CVPR 2019 接收,脱颖而出成为一篇Oral论文。

学习先验

让网友high起来的点在于,传统的创建景深图的方法,需要至少两个视点同时捕捉影像。通过两个不同的视角在同一时间段的变化轨迹,才能拼接重建出3D的影像。

就像下面这样:

而谷歌的这项研究,只需要用一个视点的影像即可预测位置关系进行重建,比传统方法简化了不是一星半点,变成了下面这样:

在论文Learning the Depths of Moving People by Watching Frozen People中,研究人员介绍了具体的设计细节。

和传统方法最大的改进在于,谷歌的新方法可以用深度学习,从数据中学习人体姿态和形状的先验知识,避开了直接的3D三角测量(3D triangulation)。

这个模型应该如何去构建?

如何获取训练数据是摆在前面的第一个问题,在这个数据集中,需要移动的摄像机拍摄的自然场景视频,以及精确的深度图。这样的数据集,似乎在谷歌家族产品中就能找到。

研究人员选取了YouTube上关于#假人挑战#(Mannequin Challenge)话题的数据,在这种类型的视频中,被拍摄者需做出一个定格动作,且要表现与人体模型一样静止不动,并由摄影师透过移动镜头的技巧进行拍摄:

有了这些数据,再利用多视角立体( Multi-View Stereo,MVS)算法,就可以获取到包含其中人物在内整个场景的深度图了。

合成景深图流程

搞定数据集后,第二个问题来了,如何能在人物和摄像机同时移动的情况下构建景深图呢?

此前,谷歌在展示过在Pixel 3手机中,通过单目摄像头确定景深图的研究。但在这个项目中,只有手机镜头在动,被拍摄的人静止。

但这个研究的难度显然升级了。

研究人员针对视频中的单个帧,单独进行深度推断。他们计算了视频中每一帧和其他帧之间的2D光流(2D optical flow),用来表示两帧之间的像素位移。

为了在测试时处理移动的人物,他们采用了人像分割网络( human-segmentation network)来掩盖初始深度图中的人类区域。整个网路的完整输入包括:

  1. RGB图像
  2. 人物mask
  3. 来自视差的mask深度图

此外,通过学习人类姿态和人体形状的先验,研究人员细化了景深图中各种细节。

经过大量训练后,这个模型可以处理任意相机位置和人体运动的自然视频。

研究人员将这个新模型与此前DORN DeMoN等类似算法进行了测评对比,结果如下:

此外,除了合成景深图,这个新模型还能应用到将合成的CG对象插入到视频场景中。

结果显示,即使晃动摄像机改变其位置,也能用视频其他帧的像素填充人物后面的背景区域。

传送门

谷歌官方博客:

https://ai.googleblog.com/2019/05/moving-camera-moving-people-deep.html

论文地址:

https://arxiv.org/abs/1904.11111

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

?'?' ? 追踪AI技术和产品新动态

来对相机的景深预览功能很失望:拍风景的时候光圈比较小,按下景深预览按钮取景器很暗,景深看不大清楚,以为景深按钮用处不大。就在想把这个景深按钮指派给别的功能的时候,读了一篇非常有趣的文章:景深预览按钮的十大妙用(http://www.naturephotographers.net/articles0905/rb0905-1.html)。读了之后深受启发,原来这个按钮还是很有用的。

现把这个按钮的妙用总结如下,详细内容请参见原文:

1. 帮助构图。在原文里边这个列在最后,但似乎是最有用的或最有趣的,所以我放在最前边。不管准备使用多大光圈拍摄,把光圈先打到16或是22。按下景深预览按钮,取景器中光线很暗。场面的细节看不清楚,只剩下场景的明亮和阴影部分的轮廓。细节丰富的三维场景变成了由形式、形状、光和阴影组成的简单抽象的二维图画,抽象出了构图所需的主要元素或骨架,大大方便了构图。原文的作者说这在拍摄主要由光、影、和流水构成的景象的时候最好用。

2. 检查背景中的亮点。背景中的亮点非常分散照片观赏者的注意力,而在最大光圈下这些亮点很不显眼。光圈收缩之后,场景变暗,亮点会更明显。

3. 检查前景中的黑点。前景中的黑点同样可以分散人的注意力。收小光圈的时候,暗的部分变得更暗。在光圈16和22也许很难看清暗部的情况。但是在光圈f8左右,暗的部分在一定程度上还可以观看。可以看一下暗部是否变成死黑使得相机无法记录下细节。

4. 检查不想要的元素。光圈全开的时候,不想要的元素也许在焦外,看不到。档光圈收小,不想要的元素可能变得清晰。发现了不想要的元素,重新构图。

5. 寻找最好的背景。当近摄或者照肖像的时候要背景虚化。按下景深预览按钮,调节光圈大小选择最佳的虚化背景。

6. 调整中灰渐变滤镜。光圈变小,调整中灰渐变滤镜效果更明显一些,方便调到正确位置。(估计调整偏振镜也一样,待验证。)(参见http://www.cambridgeincolour.com/tutorials/graduated-neutral-density-filters.htm)

7. 优化主体聚焦范围。拍摄花朵和动物,用景深预览可以查看是否想清晰聚焦的部分都在聚焦范围内,比如花蕊、花瓣、动物的鼻子、眼睛、耳朵等等。

8. 查看欠曝。有时候需要一点欠曝,这个时候通过景深预览可以查看光圈缩小后欠曝是否合适或严重。

9. 检查镜头的耀斑效果。如果有耀斑,取景器变暗会看得更明显。

10. 检查滤镜和遮光罩可能带来的暗角。光线变暗,如果有暗角会更明显。(这个只有对100%覆盖范围的取景器才有用)

使用景深预览的一个问题是取景器变暗,眼睛看不大清楚。但眼睛有适应黑暗的能力,对着变暗的取景器看几秒钟,就适应了(瞳孔变大)。也可以装个目镜罩(eyecup),或用衣服盖住头和相机,减少进入取景器的杂光,也可以帮助看得清楚。