作者| 阿里文娱高级算法专家方如

责编 | 屠敏

头 图 | CSDN 下载自东方 IC

出品 | CSDN（ID：CSDNnews）

各人都看过科幻影戏吧，像《头号玩家》、《美国队长》、《银河保护队》，这些科幻影戏中都呈现过AR/VR的镜头。以《头号玩家》为例，赣州广告，主角来到博物馆，可以或许及时的、多角度地去欣赏资料，这里就用到了volumetric video技能，它是一种VR技能，就是在被摄物周围放一圈摄像头，收罗的视频颠末合成加工就可以无缝地切换寓目了。与影戏中的拍摄绝技差异，跟着5G和AI的加快落地，在视频出产和播放环节，越来越多的融入AR、VR的相关技能。可以说本日的科幻影戏是来日诰日的科学事实。

那么优酷在这一规模是如何实践的呢？且看阿里文娱高级算法专家方如在GMICLive 2020 伶俐文娱技能专场中的分享，主要从四方面展开：

XR与视频的团结计策

什么是XR？XR包罗VR、AR和MR。

VR是Virtual Reality虚拟现实，是计较机模仿出的世界，给人一种陶醉感。AR是Augmented Reality，将虚拟物体放在真实世界中，但与真实情况不能交互。MR是Mixed Reality殽杂现实，将虚拟现实和加强现实举办融合。在MR世界中，真实实体和数据实体是同时存在，可及时交互。

XR系统的焦点要素是世界感知、世界编辑和交互。

1)世界感知是对物理世界的一个逆向工程，将物理世界数字化；

2)世界编辑是一个正向工程，打造虚拟世界。将物理世界和虚拟世界举办融合，就打造出了一个加强世界;

3)交互包罗用户和世界之间，用户和用户之间的交互。可以看出，XR是一个极其复杂的系统。

优酷在不绝摸索，将XR理念和手段与视频团结形成XR-Video技能。它具备以下特点：1）虚拟信息与视频富有创意的植入；1）时空多纬度的合成；3）及时的交互性。

XR-Video技能特点

一是虚拟内容与视频富有创意的植入。

1、植入形式

虚拟内容的植入形式长短常富厚多彩的，我们缔造了高光时刻、悦享时刻、移花接木、无中生有、动态殽杂现实等十几种的酷炫特效。较量典范的移花接木，就是找到物体的平面后替换原平面中的内容；动态殽杂现实，是在视频中植入举动的虚拟内容。

移花接木视频

动态殽杂现实视频

2、植入内容

植入的内容从那边来呢？有两个来历，一是从素材和特效库里提取；二是在原视频上操作AI算法智能的生成特效。

人物复刻视频

高光时刻视频

子弹时间视频

将视频中的人物图像支解出来，举办复刻，生成人物复刻特效，如左侧视频所示。通过人物的检测支解形成表面，粒子绕着表面举办环抱，形成了高光时刻的特效，如右上视频所示。我们与阿里体育相助的子弹时间，通过CV算法智能识别出球员、弹跳高度等等，这些数据活跃形象地在6DoF视频中揭示出来，右下视频所示。

3、内容泛起方法：云端渲染

支撑特效建造的是大千云端渲染引擎，它支持自动化和局限化。以植入告白为例，从创意中心下单，颠末特效引擎建造和投放，实现了近自动化，担保了特效告白上线的实时性。与传统特效建造要领对比，我们有两大优势，一是传统的影视包装技能较量匮乏，难以与CV算法团结举办创新，而我们回收开放式CG方案，将物理计较、粒子系统、光影渲染等CG技能举办插件式设置，机动地与CV算法团结创新;二是传统要领特效建造周期长，人工参与流程多，动态性差，我们回收了及时渲染和双流捕获技能，大大晋升建造效率。

除了自动化和局限化，植入渲染的品质和细节是我们的存眷点。以移花接木植入渲染结果优化演进为例，美学自然的融合，实现特效与原场景的自然的XR植入，是我们追求的方针。视频中的待植入区域凡是是存在举动、形变的。如下视频所示相框区域跟从镜头移动，且因透视原因存在形变。

移动和透视形变视频

若简朴地回收Mesh来复现点位布局信息，在植入时会呈现纹理的闪动和边沿的锯齿，因此我们优化了纹理滑腻和边沿的抗锯齿事情，拉通抗锯齿和浮点插值渲染，使植入劈头达标。在这基本上，下一步事情是把植入位的图像气势气魄迁移到待植入的素材图像，使得植入后的素材区域和原始视频的整体图像气势气魄一致。为此我们引入深度进修要领团结Wavelet Transforms，实现了植入后的素材自然，无违和感。

USDF 处理惩罚前后比拟

上图的差别大概较小，视频放大今后，尤其到大屏播放能看到清晰的毛刺。通过间隔、UV梯度对边沿举办柔化、对纹理信息举办微调，办理毛刺等问题，让整体植入区域更柔和自然。在回收了USDF着色算法，颠末气势气魄迁移处理惩罚后，《长安十二时辰》海报很是自然地融入到视频中，后续举办了多虚拟相机分层，Blend二次处理惩罚，晋升叠加的易用性，获得更佳结果。

移花接木团结气势气魄迁移与USDF处理惩罚的植入视频

二是时空多维度。

“时”是对视频举办解决，详细是通过对物体和场景等的识别，领略视频内容，确定植入时间，今朝已实现帧级别。在“时”的基本上，我们插手了“空”的感知和领略，确定植入的空间位置。以典范的移花接木为例，需要平面检测僻静面追踪本领。

显式平面检测包罗对海报僻静面等检测。回收了两步显式平面检测方法。通过对边沿检测、直线拟合和表面提取等手段出产出劈头的平面数据，帮助人工标注微调。这些数据再通过深度进修举办练习，进一步晋升准召率。

隐式平面检测包罗墙面、桌面、楼面等。通过隐式平面检测，进一步扩大植入场景。回收传统的要领SFM三维重建，从视频序列中计较相机的pose规复稀疏点云，再通过CMVS/PMVS重建浓密三维点云拟合平面。

可是传统要领在视频中有举动物体，当特征点较少时，结果很是欠好。在这种环境下，推出了深度进修方案。利用CNN预计图像深度信息，重建3D坐标。通过图像超像素支解获取cluster处理惩罚，判定共面举办隐式平面（墙面等）检测。

平面追踪算法是移花接木的焦点技能之一，分为三大类：基于区域、KCF、基于特征点。我们回收的是基于特征点的要领，操作深度进修举办特征点和描写子的自适应连系进修。传统特征点有SIFT、SURF、KAZE、AKAZE、BRISK 和ORB等，Learning-based要领，譬喻：D2-Net、R2D2、LF-Net、SuperPoint和UnSuperPoint成长迅速。基于深度进修的特征点提取是此后大趋势，它也是SLAM、image-based localization等应用的基本本领。下图是DOG和UnSuperPoint特征点提取结果比拟。颠末比拟，深度进修方案从reliability 和 repeatability方面优于传统方案。我们回收UnSuperPoint方案举办特征点的提取和描写子的计较。

平面追踪的四个改造偏向有：（1）操作深度进修举办特征点和描写子的自适应连系进修（2）靠得住的特征点提取后，引入图模子和图匹配，（3）团结H矩阵滑腻晋升单应性矩阵的精确性。（4）融合多种网络。回收的二阶段高精度平面追踪，团结attention机制，对人和物体遮挡引入的噪声像素举办屏蔽，实现了在举动且遮挡环境下的不变追踪，且优于AE追踪的功效，参看如下比拟视频。

大千平面追踪与AE的结果比拟视频

曲面追踪可以进一步扩大植入的应用场景。从非凡点计较、特征点匹配和筛选，实现三角面片网格化。在此基本上添加植入元素转换成UV 贴图，然后举办特效渲染。扭曲举动物体外貌的追踪后举办文字、Logo或动画等植入。下面段视频显示了跟踪和植入的结果，植入活跃自然。

《大千植入行云流水》演示视频

三是及时交互。

交互从简朴的人面临屏幕寓目视频成长到将2D/3D信息融合于周围的空间与工具中，不再与视频内容离开，而是和人们的当前视频自然而然地成为一体。交互的行动除了以往的按键可能触屏，可以扩展到头部、眼部、心情、手势和语音等，从位置扩展到原有视频某个空间。分享一下实践的三种交互方法。

“点哪儿活哪儿”

实际上就是一个3D模子交互。譬喻在视频告白中，我们可以在呈现保时捷品牌汽车的点位举办预埋点，通过特效触发呼叫出汽车模子，用户可以与汽车模子举办三维触控互动，模子可动态揭示品牌汽车的各个角度以及开关门、开关灯等各类行车结果，这种3D互动式告白可以大幅加强告白的品牌感知度和承认度。

“转哪儿看哪儿”

动弹手机举办交互。譬喻AR捉猫猫是雷同PokemonGo的游戏，是LBS+AR技能的一种乐成运用。游戏勾当期间总PV十几亿，日均UV 三千多万，支持星巴克、KFC、苏宁易购等60多款品牌猫，是那年最火的双11预热互动勾当。在这个游戏中，主要办理的一个问题是，通过手机的加快度计、陀螺仪，磁力计和GPS信息，及时计较出3D模子在屏幕上的显示位置，给用户一种该3D模子（譬喻星巴克猫）就在其真实世界周围的某个方位上的“错觉”。这个“错觉”的视线偏向凡是暗示为一个旋转矩阵。这种动弹手机的玩法，还可运用到抚玩体育角逐和综艺节目等场景中。

“看哪儿买哪儿”

在VR/AR 中通过空间定位，人置身个中，参加个中的互动，犹如身临其境一般。“看哪儿买哪儿”实际上就是基于视线的交互，它是一种更自然的人机交互方法。视频展示了陶醉式购物全景视频，用VR手机盒子体验的购物应用，带你穿越到世界各地的商场购物，碰着喜欢的商品，用户盯住触发按钮就可下单购置。

智能创意平台及其应用

XR-Video创意平台意在打造出产和消费的生态系统。从获取原质料开始，然后举办各类筛选。原质料包罗有多媒体和3D模子。筛选方法有视频内容、弹幕、字幕和配景音等的领略。通过深度预计、平面检测和追踪、图像和视频支解等要领举办预处理惩罚，然后举办人体、物体和场景的3D重建，以显式和隐式的方法叠加特效，举办时空编辑，最后通过多维渲染、双流编码的要领举办合成并生成一个特效视频。生成的特效视频一条路是返给创意智能处事中心。创意智能处事中心接受与外部应用对接的脚色，通过它处事于告白、自由视点视频、互动剧、APP页互动等应用。另一条路是返回给原质料库，形成闭环实现良性的轮回。

大千XR-Video智能创意平台框图

应用之一：大千植入特效告白

传统内生告白有压屏条和创意中插。压屏条样式机械，俗称“牛皮癣”；创意中插要前期建造，本钱高；所以我们缔造了特效告白形式。曼秀雷敦、良品铺子、OPPO和哈弗等多家告白主上线实验了这种新型的告白形式。

大千创意告白，替代了枯燥的硬浮层告白，缔造出全新的告白观感；是一种不打搅观影的软植入，办理了会员用户和告白客户间的好处抵牾。其涉及的技能点有三维情况感知、HDR光照预计、特效3G渲染引擎，多维度多模态视频解构解决以及严格的帧同步。

严格的帧同步是在担保播放原视频的同时，还要担保动态渲染告白的视觉结果，支持本性化更新。在千元机上实现严格帧同步挑战挺大。帧同步双流渲染技能颠末尾多次迭代，直接叠加带透明通道的视频会存在兼容性问题，因此我们提出了滤色Key方案（机能耗损较大）、WebP渲染方案（内存占用较大），慢慢演变到了双流掩码方案（机能、资源占用环境均较佳），最后通过pts基准合流渲染的要领到达了严格的帧同步，至此特效告白与视频资源到达相识耦+同步的兼顾其美结果。

应用之二：6DoF 视频的大千AR植入

6DoF 视频的大千AR植入的实现方法是在体育场馆里部署一圈摄像头，摄像头收罗RGB和深度图。图中显示了同一时刻在差异角度拍摄的深度图。通过三维感知计较，准及时和及时生成更多虚拟视点的图像及其相机位姿，叠加3D动效，实现数据内容可视化的植入。

在6DoF视频中植入，一个重要成果是热区图。通过三维重建要领举办三维园地标定，操作深度图去篮筐遮挡，团结人体姿态预计与支解去人体遮挡，最后实现了按照虚拟试点相机姿态举办热力求的渲染生成。

铭牌组件植入演示视频

6DoF视频AR植入的另一个成果是铭牌组件。需要办理的问题是有球员识别和跟踪、篮球识别、手和脚识别和定位以及人体的三维建模。通过3D建模去计较高度等等。越来越多智能出产的数据通过这种要领可视化，并且还可以动态地植入告白。

对将来的展望

XR的研发偏向，就是更陶醉、更精确、更有趣的互动式植入。

第一个偏向，基于2D与3D团结的三维感知技能。 详细来讲，操作三维点云语义支解成立人与物、物与物的相对干系；操作人物遮罩与3D景深团结，处理惩罚遮挡问题和场景切换问题；尚有操作空间位置团结手势等识此外举办3D交互。

第二个偏向是光照预计。 左图为原始图，右图为光照预计后的植入结果图。可以看出，光照预计后植入物体的阴影长短常自然的。我们回收基于深度进修“场景光照特征”识别算法，智能感知视频画面中的光源偏向及照度漫衍，担保虚实场景视效的一致性。

我们一直坚信 XR 是改变人机交互的终极形态。但由于硬件成长还存在必然的问题，XR眼镜的续航、重量和结果等需进一步晋升。这段硬件改造的时间，正是积聚AI算法和XR 应用软件技能的机缘。AI是XR应用的基石，通过AI、XR与教诲、培训和游戏等团结在实践中探索，等硬件成熟后定能实现厚积薄发。

三维空间感知和领略是XR技能的焦点之一。传统的SLAM技能关于丈量、几许的要领固然已经较量成熟，但面对着成长的瓶颈。假如要大成长的话，需要团结多传感器和深度进修的要领。深度进修是东西，SLAM是应用的要害技能。除了深度进修外，在SLAM技能中插手模拟人类对情况的感知本领和非凡的先验约束等手段晋升定位的速度和精度。有了精确的空间位置感知，与行动捕获和语音交互等团结，实现自然的人机交互。

AI是人机交互和人物景领略的基本，而5G、边沿计较强有力支撑了XR所需要的大数据传输，他们团结起来催生了XR的成长。相识视频编解码和边沿计较等技能道理，存眷这些技能的成长趋势，对设计和实施XR应用系统会有很大辅佐。

XR-Video还在摸索中，它会继承在创意告白、互动视频和视频建造等规模上施展拳脚。