章相关引用及参考：映维网

本文来自 JOSH GLADSTONE

（映维网 2018年03月27日）VR电影与摄影在2017年迎来了一轮爆发，一系列的专业和消费者360度相机陆续登陆市场。这种新技术为所有人带来了全新的沉浸式图像捕捉。在数年前受到沉浸式剧场的启发，我的朋友和我开始涉足VR影视，制作了一部交互式恐怖影片。当时《The Presence》这个项目是用消费者级别的相机进行拍摄，一种单视场360度视频.

我们的第二个项目是一部交互式MV，可以根据用户视线进行无缝改变。对于《The Cooties-VR》这个项目，我们能够升级到立体360度拍摄，这样观众在佩戴VR头显时就能获取真正的深度感。立体360度图像给我留下了深刻的印象，而我认为这是视频所能做到的努力。近来我一直在尝试使用一种名为6自由度的新兴技术。6自由度能够为VR影像捕捉带来全新的维度。

1. 什么是6自由度

6自由度（DoF）是指在VR中的运动追踪量。诸如三星Gear VR和谷歌Carboard都是3自由度设备，因为它们只能追踪通过X，Y和Z轴的旋转运动。它们无法追踪位置。

环顾四周

360度图片和视频本质上是围绕球体的图像，而在VR中，你则是置身于球体的中间。想象一下，你身处在一个巨大的球形房间里，其中包含着一个照片级真实感的自然场景。当你站在房间中央环顾四周时，这一切看起来将十分具有说服力。但当你开始走近墙壁时，你会发现平坦的球形墙缺乏深度。

在其中移动

即便是在立体360度之中，你仍然无法移动任何的3D形状，只是两幅影像附加在球形之上，每只眼睛看到的视图稍微有点不同。但通过深度图，这一切都将发生改变。

2. 深度图（Depth Maps）

深度图是通过灰度阴影来表示离相机距离的图像。黑色区域代表最远点，白色区域最接近点。

上为颜色图，下为深度图

诸如Google Jump和Nokia Ozo这样的高端VR相机系统已经可以直接导出深度图。我们通过Google Jump拍摄了我们的第二个项目。当我看到它可以导出的深度图时，我便开始对它们的应用感到十分好奇。我非常熟悉Unity游戏引擎，并且将它用于我们以前的两个项目，因此我开始探索在Unity中深度图的可能性。经过大量的实验后，我编写了一个能够替换球体每个顶点的自定义着色器。

这个着色器起了作用。程序能够将视频信息实时转化为一个纹理化的三维网格，你可以自由行走并环顾四周。当然，这并不完美。所有的距离都取决于深度图的精度，而深度图则是通过使用复杂计算机视觉算法来比较所有原始捕获的视频图像所得出。这种算法在反射和重复模式方面存在问题，因此深度并不总是正确。但现在是早期阶段，相信技术会随着时间而改善。

先四周移动，然后通过深度图进行球形位移

一些6自由度技术不需要360度视频/图片捕捉和深度图，它们是通过多台相机对准一个对象来实现6自由度（外向内）。这种方法通过所有的角度来捕捉对象，并利用摄影制图法来将其转化成3D对象。对于该技术，优势是用户可以环绕对象行走，并从所有方向浏览对象。但由于这没有捕捉环境，所以对于复杂或多个对象的场景而言存在问题，并且需要大型设置和大量的处理。

与之对比，深度图6自由度是是从单个点进行捕捉（内向外）。深度图的优势在于，你可以通过单个360度相机设置来捕捉整个空间。但因为是这种设置，你无法捕捉对象“背后”的信息。例如，一辆车从场景中通过，相机将无法捕捉车辆背后的一切。这将在3D网格中导致一些严重的畸变，当你远离原始点时这将变得十分明显。

所以Adobe的Project Sidewinder和Facebook的Surround360 6DoF演示会限制用户移动，因为离开原点越远，图片将变得越扭曲。通过不同的捕获或处理技术，这种畸变可能会在未来得到改善甚至是解决，但现在问题依然存在。

3. 点云城市

点云是指3D空间中的大量点。每个点都有一个位置和一种颜色，处理数十万甚至数百万个点的情况并不少见。

那么我们如何从照片或视频转向点云呢？如果你拍摄了一张分辨率为2880×1440的等矩形360度图片，你拥有的是超过400万个像素或颜色，因为每个像素代表一种颜色（2880×1440=4147200）。 如果你接下来采用相同分辨率的等矩阵360度深度图，则你拥有空间中单个点的400万个距离。稍后进行一定的数学计算，你将获得400万种颜色和400万个对应的空间位置，这对于表现为点云来说非常合适。

点云不存在与顶点位移技术相同的畸变问题，但它是用空白间隙来替换畸变。点云十分有趣，但现在它们并没有提供比顶点位移技术更多的优点。但在未来，点云有可能成为通往更为有趣的6自由度技术的途径。

4. 6自由度的优势

你可能想知道，对于所有这些畸变和空白，为什么说6自由度比3自由度好呢？在3自由度中观看立体360度视频时，你必须保持直立，不能向前倾斜或靠边倾斜。因为如果你这样做，整个虚拟世界将与你一起倾斜，这会导致恶心。即使你只是将头部向一侧倾斜一点点，这也可能会破坏立体效果，并导致你感到眼花缭乱。但在6自由度中，你可以自由倾斜和移动。你可以自然地坐下和移动，并且保持完全沉浸感，同时可以实现最小的畸变（在有限的范围内）。

原文链接：https://yivian.com/news/43216.html

章相关引用及参考：映维网

利用了多视图三维重建来渲染影像。

（映维网 2018年04月10日）谷歌在2015年推出了Jump，简化从拍摄到播放的VR视频制作流程。高质量VR相机能够令拍摄变得更加简单，好消息是映维网了解到Jump Assembler则将令自动拼接变得更快，减低投入的成本。借助成熟的计算视觉算法和谷歌数据中心的计算力量，Jump Assembler可以在沉浸式3D 360度视频中实现清晰逼真的图像拼接结果。

1. 拼接

今天谷歌正式为Jump Assembler带来了了一个新的选项，支持系统采用基于多视图三维重建（multi-view stereo）的全新高质量拼接算法。这种算法能够产生与谷歌标准算法一样的无缝3D全景图，但能够通过复杂的图层和重复的图案来减轻场景中的伪影。它同时能够生成有更清晰对象边界的深度图，而这对VFX非常有用。

下面我们先来看看谷歌标准算法的工作原理。它基于光流概念，亦即将一幅图像中的像素与另一幅图像中的像素进行匹配。在匹配时，你可以知道像素是如何从一幅图像“移动”或“流动”至另一幅图像。在匹配每一个像素后，你就可以通过局部地移动像素来插值中间视图。这意味着你可以在拍摄装置上的相机之间“填补空白”，这样在拼接时就能实现一个无缝，连贯的360度全景图。

左：左侧相机的图像；中：在相机之间插值的图像；右：右侧相机的图像

2. 基于视图插值的光流

谷歌最新的高质量拼接算法利用了多视图三维重建来渲染影像。区别何在？即便拍摄装置上的其他相机也有可能看到相同的对象，但标准光流算法一次仅使用一对图像；而谷歌的新方法可以同时在多幅图像中寻找匹配。

这种全新的多视图三维重建算法计算每一个像素的深度（如像素到对象的距离，一个3D点），而且拍摄装置上任何能看到这个3D点的相机都可以帮助建立深度，令拼接过程变得更加可靠。

左边是标准质量拼接：请留意右边杆棍周围的伪影；右边则是高质量拼接：高质量算法消除了伪影。

左边是标准质量深度图：请注意对象边缘十分模糊；右边则是高质量深度图：边缘有着更多的细节，而且更加锐利。

谷歌的新方法还有助于解决所有拼接算法都在面临的关键挑战：遮挡，亦即处理在一幅图像中可见，但在另一幅图像不可见的对象。多视图三维重建拼接在处理遮挡方面的效果更好，因为如果一个对象隐藏在一幅图像中，这种算法可以利用拍摄装置上的附近任意相机图像来确定该点的正确深度。这有助于减少拼接伪影，并生成具有清晰对象边界的深度图。

如果你是一名VR电影拍摄工作者，并且希望尝试这种全新的算法，只需在 Jump Manager的拼接质量下拉栏中图选择“high quality（高质量）”即可。

原文链接：https://yivian.com/news/43740.html

章相关引用及参考：映维网

完整的端到端解决方案

（映维网 2018年04月13日）在日前举行的NAB大会上，松下旗下的Panasonic System Solutions Company of North America（PSSNA）演示了一种广播级别的360度/VR端到端直播技术，结合了他们的低延迟360度Live Camera，Haivision的KB Max便携式4K解编码器和LiveScale的全景云分发平台。

这种完整的端到端解决方案包含：以4K等量矩形格式捕捉4K视频的松下360度Live Camera（AW-360C10，AW-360B10）；Haivision KB Max互联网媒体编码器；以及LiveScale全景云平台。这种解决方案十分适合现场活动和体育运动，因为广播公司和制作人可以向观众传输可靠的高质量360度体验。

松下解释道：Haivision的KB Max编码器可以为为HEVC/H.265和H.264编码提供硬件和软件加速支持，最高可达4K分辨率。松下的系统则将4台1276万像素的相机片段实时拼接在一起，并将2：1的等量矩形360度片段以4K分辨率输出到KB Max编码器。KB编码器随后将通过HLS，MPEG-DASH或Haivision的开源标准SRT协议来向360度播放器提供压缩视频。LiveScale平台通过SRT接收4K H.264和HEVC视频，并允许内容创作者向任何广播，网络和社交媒体传输优化的视频质量，并以更高的投资回报率实现实时内容分发，覆盖最广泛的受众群体。LiveScale能够支持实时发布的自动化，并使用多云端技术来为用户提供更高的服务质量，可靠性和全球网络覆盖范围的灵活性。

PSSNA的产品经理Delix Alex表示：“对现场直播而言，失败不是一种选择。我们设计的AW-360C10和AW-360B10已经超出了专业现场活动视频制作者的需求，并通过简单易用的广播解决方案提供可靠的实时360度视频。Haivision的KB Max便携式4K编码器和LiveScale的云平台是实时流媒体工作流程的重要组成部分，其具备SRT兼容性，可通过互联网可靠并可扩展地传输360度内容。”

Haivision全球联盟副总监Sylvio Jelovcich说道：“松下360度Live Camera等创新技术继续为观众提供身临其境的观看体验。从传统广播公司到现场活动制作人员，甚至公司广播，与松下的合作可以帮助各类广播公司，为全球各个地方的观众提供丰富可靠的360度体验。”

LiveScale的联合创始人兼执行总监Virgile Ollivier补充说：“我们很高兴能够在NAB上首次展示我们的LiveScale平台，我们将展示LiveScale的全景云分布将如何协同松下的360度相机和Haivision的KB Max编码器来为任何平台的任何观众提供原始的逼真VR体验，包括OTT服务和Facebook，Twitter，Periscope和YouTube等社交媒体。”

松下进一步指出，Haivision的KB系列互联网媒体编码器可以为现场直播活动提供多种选择，为全球互联网用户提供最高品质的现场视频。KB编码器可用作小型便携式设备，或者用于高清或4K流媒体的服务器配置。

对于LiveScale的技术，松下则强调说凭借其独特的云端原生方法，LiveScale可以替代复杂且昂贵的实时流式工作流程（需要为每个内容交付插口提供单独的编码器，并为每个社交媒体平台提供单独的元数据管理工具）。但对于LiveScale，视频只需编码一次，上传到云平台，然后即可自动执行所有处理，调度，发布和流式传输到广播，网络，移动和社交媒体。仅需两分钟，LiveScale用户就可以创建专用的端到端实时视频工作流程，包括实时分析，无需任何专业技术或技能。

原文链接：https://yivian.com/news/43924.html