2016 年可以说是 VR 元年, 从 Facebook 的 Oculus,HTC 的 Vive 到 Sony 的 PS VR, 层出不穷的 VR 设备和 VR 内容让用户逐步开始体验到了虚拟现实的魅力 VR 视频和 VR 直播俨然已经成为了展览会议活动赛事的标配, 甚至向婚庆新闻影视行业延伸那么 VR 直播的实现挑战关键技术解决方案和应用场景都是什么呢? 本文将为大家逐一展开
VR 直播为什么被看好
通常我们看到的活动新闻现场 VR 直播, 最大的特点是全景观感和交互性强 VR 直播采用专业的拍摄设备覆盖用户整个 360 度的视野, 捕捉到的每一帧画面都是一个 360 度的全景, 观众可以选择上下左右任意的角度来观看, 没有限制地观察三维立体空间内的事物, 体验全景带来的逼真和沉浸感
同时, VR 直播具有直播实时性互动性的特点, 结合 VR 的技术手段, 从视觉听觉嗅觉等感官系统出发, 营造一个完整的虚拟环境, 让观众与空间主播甚至其他观众产生互动以上两大特点让 VR 直播在直播模式中脱颖而出, 成为了炙手可热的用来吸引用户的新玩法
预计在未来几年, 随着技术积累和环境逐渐成熟, VR 直播将逐渐迎来爆发它将不仅会在演唱会赛事活动等场景中被越来越大规模地应用, 也会逐渐走进新闻广电游戏教育医疗等领域, 服务于各场景下的沉浸式体验
那么, 如果你拥有适合的内容, 你又该如何开展 VR 直播呢?
VR 直播面临的挑战
任何的直播, 观众都希望是清晰和真实的 VR 直播中因为用户体验到的包裹着用户所有视野的 VR 视频是一个球形的视频, 而实际上在源端转码并且传输到终端设备的是这个球形的二维展开所以即使是 VR 视频都号称特别高的分辨率, 但是用户的体验仍然不理想如果要让用户体验到超 1080p 的虚拟现实体验, 我们需要的 VR 视频源的分辨率就要达到 8K 甚至更高, 因为 2D 的虚拟现实还是离真实的感觉差太远理想情况下, 我们需要 8K/3D 才能使得用户真正的沉浸于虚拟现实之中, 而这就需要 50Mbps-100Mbps 的带宽
VR 球形视频及其 Equirectangular 平面展开
直播通常是在全国甚至全球观众面前播放, 而普通用户家里稳定的下载速度一般只有 10-20 Mbps 左右, 更大的码率就不能保证家庭网络能稳定接收了所以一般的 VR 视频会强行把码率压到 3-10Mbps 左右范围, 牺牲清晰度, 以保证用户稳定接收所以, 带宽问题成为了已经成为了 VR 实际播放效果不好最大的瓶颈
假设这个限制因素得已解决, 相对普通直播, VR 直播也是对 CDN 的节点覆盖度带宽储备稳定性的要求更高的自建 CDN 和小型第三方 CDN 厂商都无法满足高效分发的需求而且, 直播场景下的带宽费用也是相对比较高昂的, 这都是平台方需要考虑的问题
另外, VR 直播也对转码的实时性终端解码性能等有很高的要求鉴于其交互形式复杂, 涉及到专业设备, 还会存在比如市面上主流头显移动设备的适配等问题想要开始直播, 需要投入大量的人力和物力进行研发
面对如此困境, 市面上能够解决带宽对播放效果的限制问题的解决方案提供商寥寥无几为了用技术给用户带来更高价值的体验, 阿里云在近期推出了 VR 视频解决方案, 在保证 360 度 3D 立体 VR 视频的高清晰度的前提下, 基于视角进行流媒体动态切换, 最大化节约传输带宽, 实现低至 3Mbps 的 4K VR 分发, 为用户带来突破性的高价值体验
VR 直播整体流程及关键技术
VR 直播的流程与普通直播相似, 主要包括: 摄像机采集 PC 端视频编解码及处理视频推流云端分发客户端播放等
一摄像机采集画面, 通过 360 度球形摄像机采集现场视频
二前端一体机进行视频处理, 这一步中包括多路视频流的拼接
三对 VR 视频进行编码, 并推流到服务器或 CDN
四高性能云端 CDN 进行视频分发, 传输到离用户最近的节点
五客户端播放, 这是 VR 直播和视频直播最大的不同之处, 需要既支持沉浸式的头显体验, 也提供降级的手持手机 VR 体验, 可以满足用户随时随地轻量级的体验需求
阿里云 VR 解决方案在其中有四个关键技术与能力:
一国标映射技术进行视频加工 有效节省 75% 码率
阿里巴巴 VR 技术团队经过不断探索实践, 提出的映射技术被 VR 国家标准认可在技术实现层, 支持两种映射模型, 对称映射模型可以最大化端到端的 VR 显示兼容性, 非对称映射模型可以最大化关键画面区域的有效像素比和清晰度
同时, 阿里云 VR 视频解决方案基于非对称映射模型和动态流切换技术, 视频流只传输用户观看的内容, 用非常低的码率进行高清的 VR 点播和直播, 最大化节约传输带宽, 比普通的压缩技术可以节约 75% 左右的码率
二高清双目 VR 拍摄方案
解决了码率太大这个痛点, 对于视频采集的清晰度就不再有限制了阿里云 VR 视频解决方案支持高达 20 台摄像机的实时画面采集, 摄像机间时间轴同步, 搭配阿里云云导播台, 可实现现场导播和多机位切换采集完成后, 解决方案支持 360 度 3D 画面实时拼接, 并且具备高达 10gb/s 数据处理能力, 完美储存极大码率 4K 超高清原始介质进入图文包装阶段, 阿里云 VR 解决方案搭建了国内首个 3D VR 实时图文包装系统, 通过计算深度信息, 将记分牌角标等外插内容与全景 3D 画面实时融合, 全方位展示信息, 并且支持导入现场 2D 画面, 使得 VR 直播是普通 2D 直播的加法, 优化用户体验, 这种技术曾应用在阿里云年会之上, 得到了实际场景的验证
三全链路低延时实现
在整个 VR 直播系统的技术实现的方面, 涉及到从采集端到云端再到播放端的技术, 阿里云的 VR 视频解决方案, 在云端上采用基于阿里云 GPU+CPU 技术的异构映射, 处理和转码系统, 在终端上可以实时进行多路视角流切换的播放器, 终端实时切流延迟平均 350ms 左右
四全面保障
依托阿里云 CDN 在全球 1200 + 节点和 OSS 可靠的数据存储, 保障了直播内容的极速分发和媒资的安全稳定同时, 该解决方案支持可视化业务监控, 支持无缝容灾切流机制, 保证运营安全
除此之外, VR 视频解决方案是从采集转码推流分发到播放一站式的解决方案, 采集端可进行快速图文包装, 服务端一键入驻, 全终端集成 SDK, 支持主流头显适配, 并且已经在优酷视频经过 3 亿次播放验证, 稳定可靠, 值得用户信赖
VR 直播的典型适用场景
一 Live 直播
多机位多视角覆盖舞台, 与杜比合作的全景声制作与分发, 可以完美还原演唱会现场氛围, 给粉丝带来身临其境的体验, 图文包装乐曲和演员信息, 画面实时互动更是增加了娱乐性, 让粉丝全面立体多角度地和明星零距离接触
二 外景直播
在大型赛事新闻活动现场, VR 直播可以消除观众与主持人选手的距离感, 突破原有的视角, 高度还原事件现场
三 秀场直播
VR 直播可以给主播全新的表现能力, 仅需升级一款移动 VR 设备进行直播, 就可以达到相比普通直播更具沉浸感的直播效果, 使用户打赏更投入
四 游戏直播
游戏场景之下, 平台可以精心制作内容, 只需要接入 VR 的推流地址, 即可进行直播形式的推流与分发, 给观众更好的观看体验
在未来, 有了技术的加持, VR 可以走进教育医疗购物旅游婚庆等各个领域, 虚拟现实世界一定会带给用户更多惊喜, 我们期待通过技术, 更多人用更低的成本体验到世界的丰富和精彩
对 VR 直播的阐述就到这里, 如果想了解 VR 视频解决方案详情, 可点击:
https://www.aliyun.com/solution/security/vrlive?wh_ttid=pc
来源: https://yq.aliyun.com/articles/531113