您的位置:主页 > 新闻资讯 > 科技情报 >

谷歌推出全新高质量拼接算法,可生成更清晰更顺滑的360度视频

发布时间:2018-04-10 15:52   来源: 芬莱科技

导读:借助先进的计算机视觉算法和Google数据中心的计算能力,Jump Assembler可创建清晰、逼真的图像拼接,形成身临其境的360度3D视频。

  谷歌在2015年推出了Jump,以简化从捕捉到回放的VR视频制作。高质量的VR相机能让视频捕捉更容易,而Jump Assembler可以使VR内容制作者更快、更方便和更实惠的实现自动拼接。借助先进的计算机视觉算法和Google数据中心的计算能力,Jump Assembler可创建清晰、逼真的图像拼接,形成身临其境的360度3D视频。

  今天,谷歌在Jump Assembler中引入了一个选项,使用基于多视点立体图的全新高质量拼接算法。这种算法能够产生与谷歌标准算法一样的无缝3D全景图,但是它在具有复杂图层和重复图案的场景中留下的伪影更少。 它还会生成更清晰的物体边界的深度图,这对VFX很有用。

  先来看看谷歌的标准算法是如何工作的。它基于光流的概念,将两幅图像中的像素进行匹配。匹配完成后,您就可以知道像素是如何在两幅图像之间“流动”,进而通过将像素部分移位来插值生成中间视图。这意味着你可以“填补”拍摄平台上相邻摄像头之间的空隙,生成一张无缝、连贯的360度全景图。

谷歌推出全新高质量拼接算法,可生成更清晰更顺滑的360度视频

  从左到右为:左侧相机图像;插值的中间视图;右侧相机图像

  谷歌最新的高质量拼接算法使用多视点立体图来渲染图像,它与标准光流算法的区别在于,标准光流算法一次仅使用一对图像进行像素匹配,而新的算法可以同时匹配多张图像。同时新算法还会计算每个像素的深度(例如该像素处的物体距离),拍摄平台上任何能看到这个位置的相机都可以帮助建立深度信息,令拼接过程变得更加可靠。

谷歌推出全新高质量拼接算法,可生成更清晰更顺滑的360度视频

  左图为标准光流算法,方框中有明显伪影;右图为多视点立体图拼接

谷歌推出全新高质量拼接算法,可生成更清晰更顺滑的360度视频

  左为标准光流算法深度图,物体边缘十分模糊;右为多视点立体图拼接深度图,物体清晰锐利。

  新方法还有助于解决所有拼接算法都在面临的关键挑战:遮挡问题,也就是处理在一幅图像中可见但在另一个图像中不可见的对象。多视点立体拼接在处理遮挡问题方面效果更好,因为如果一个物体隐藏在一个图像中,该算法可以通过拍摄平台上任意其它相机的图像来确定该点的正确深度。这有助于减少拼接伪影,并生成具有清晰物体边界的深度图。

  如果你是一位VR电影制片人,并且想为自己尝试这种新算法,只需在 Jump Manager的拼接质量下拉菜单中选择“高品质”即可。


推荐阅读