《青春有你3》的子弹时间舞台,凝筑了自由视角技术进化史

2021年,内娱选秀综艺的竞争愈发激烈了。
要让追综多年的“秀粉”们有惊艳和惊喜感,光靠练习生们的颜值及业务能力已经不够,为了激起火花,通过刻意剪辑、选手“互相扯头花”等为上热搜而打造噱头的情况也并不少见。
与这些“骚操作”相比,或许流媒体平台们更需要问自己一个问题:在综艺娱乐节目中,观众还有哪些尚未被满足的需求?
以我自己为例,最近就因为《青春有你3》刚刚上线的子弹时间被吸引“入坑”了。
《青春有你3》的子弹时间舞台,凝筑了自由视角技术进化史
文章插图
作为一个老“综艺鹅”,我可以120°视角自主操控观看角度,而不是只能通过节目组设定好的某一个角度来欣赏“时间凝固”效果,自由度更高,能够全方位展示选手的业务能力,让秀粉们解锁专属快乐。
另外,《青春有你3》这次的“子弹时间”对设备的要求也没那么苛刻。我用的是非顶配性能的老款手机,互动体验依然丝滑,高清画面的加载也没有明显延迟。看完之后我想说:内娱还是有点东西的。
黑科技应用频在综艺节目中比重越来越大,会是接下来流媒体平台的“流量密码”吗?
综艺新秀自由视角,是如何一步步进化的?
随着4K及8K分辨率视频的逐渐推广,平面视频体验几乎已经达到了发展的极限。更高自由度、能给用户提供更多信息的互动式流媒体技术自然也就引发了更多关注。
其中应用最早、最为大众熟悉的互动技术之一,就是子弹时间。
子弹时间依托于一种全新的3D视频制作技术——自由视角视频。在《黑客帝国》电影当中,特效团队在摄影棚内圆弧形架设了120台摄像机,每台摄影机间隔1秒依序拍摄,再通过特效后制,就能为观众展现出全方位环绕、时间停滞一般的“上帝视角”。
不过,此前的子弹时间应用只能算是自由视角技术的初级形态,拍摄的是时间静止时的画面,观众能看到什么是由最终剪辑来决定的,依然无法主动获取任意视角下播放画面。
《青春有你3》的子弹时间舞台,凝筑了自由视角技术进化史
文章插图
在此基础上,以6DoF(Six degrees of freedom)为目标,实现全新交互式体验的“自由视角”应用就出现了。
这种新形式可以拍摄进程中任意时间的360度画面。具体方式一般是在体育比赛场馆或综艺录制现场架设高清相机,通过点云重建并在虚拟场景中将各个角度的2D视频拼成全景视频,渲染出360度的视觉效果。用户可以滑动、旋转手机屏幕来自由选择被拍摄对象运动中的任意视角。
不过,由于自由视角的技术条件要求高,需要摄像机阵列以毫秒级同步拍摄选手状态,在硬件部署、视频压缩、渲染等方面都带来了挑战,因此在实际落地中,节目制作方一般需要在操作自由度与画面信息维度之间做出取舍,比如减少摄像机数量、再利用AI插帧的方式来弥补体验不足。
而这次《青春有你3》中上线的“子弹时间”,则是对自由视角落地方案的进一步升级。
爱奇艺技术产品团队运用几十个高分辨率的摄像头从多个角度捕捉被拍摄物体和场景,还原出三维空间中的场景。再借由独有的编解码、播放技术方案,缓解网速导致的超高清视频加载速度过慢这一痛点,既能保证高清画质,并且对终端设备的性能要求大幅下降,让更多人可以低门槛地感受到高自由度观看的魅力。
在技术驱动的时代大幕中,科技手段也成为流媒体产业逃离同质化窠臼的利器。海外有Netflix利用AI算法提升个性化推荐效果的案例,国内则有爱奇艺这样不断探索高自由度交互式体验的典范。这种尝试,也让爱奇艺又一次在娱乐公司中立稳了“技术人设”。
穿透体验困境:爱奇艺的技术“双叉戟”
对于一项新技术来说,所覆盖的观众广度与普及效率显然是首要任务。但长期以来,自由视角技术都存在两个基础难题:
一是视频高分辨率与自由度之间的矛盾。视频分辨率从1080p到4K等不断提升,要实现大角度、高自由度的交互效果,只有性能很高的手机能实现解码支持,流畅地进行播放。
二是网络传输与流畅度之间的矛盾。高清且高自由度的视频整体数据传输量高,对带宽的需求很大,网络环境不够理想的观众,观看高自由度视频的体验会受影响。
那么,平价机型也能玩转的《青春有你3》自由视角,又是怎么实现的呢?
这次,爱奇艺也祭出了流媒体技术和数据加载解决方案的“双叉戟”:
一方面,通过编解码技术,实现了时空双路径编码视频流、多路解码器并行解码。具体来说就是可以按时间、空间两个维度对视频进行解码,时间维度码流可以让用户在切换观看视角时稳定加载,空间维度码流则在静止场中保证稳定精细化的旋转效果。此外,爱奇艺还通过专利技术建构了多路CPU/GPU复合解码器架构,可以自适应多路码流来进行动态解码,随着用户的实时视角旋转来切换解码区域。然后借助超低延迟的渲染互动技术,在用户转动视角时直接“通知”渲染引擎实时更新画面。

推荐阅读