为视频短片增加有趣的 3D 对象, 通过 Android Motion Stills 就可以实现近日, Google 宣布对 Motion Stills 增加了 AR 功能本文由 LiveVideoStack 摘译, 点击阅读原文访问原文链接
文 / Jianing Wei 和 Tyler Mullen
译 / 鸿蒙
审校 / Ant
去年夏天, 我们在 Android 平台上推出了 Motion Stills, 它可以在各种 Android 手机上提供出色的视频捕捉和观看体验然后, 我们进一步改进了 Motion Stills 技术, 为 Pixel 2 增加了新的动态照片功能
今天, 我们很高兴地发布 Android Motion Stills 中的增强现实 (AR) 模式在新推出的 AR 模式下, 用户只需触摸取景器即可在静态或移动的水平表面 (例如桌子, 地板或手) 上放置有趣的虚拟 3D 对象, 从而与动态真实世界环境进行无缝交互您还可以将剪辑录制下来并分享为 GIF 图或者视频形式
Motion Stills 的即时运动捕捉
AR 模式由即时运动捕捉 6 自由度跟踪系统来支撑 6 自由度跟踪系统是基于能够驱动 Motion iOS 中的 Motion Text 和 YouTube 上的 Privacy Blur 这两项功能的相关技术的, 这项技术可以精确跟踪静态和移动物体我们对这项技术进行了改进和增强, 以便能够在任何使用陀螺仪的 Android 设备上运行有趣的 AR 应用体验
当您触摸取景器时, Motion Stills AR 会将 3D 虚拟物体粘到该位置, 使其看起来像是真实世界场景的一部分假设跟踪的表面与地平面平行, 并使用设备的加速度计传感器提供手机相对于地平面的初始方向, 我们便可以跟踪摄像机的 6 个自由度 (3 个用于平移, 3 个用于旋转) 这使我们能够准确地变换和渲染场景中的虚拟物体
当手机大致稳定时, 加速计传感器会提供由于地球重力而产生的加速度对于水平面来说, 重力矢量平行于跟踪平面的法线, 并且可以精确地提供手机的初始定向
即时运动捕捉
即时运动捕捉的核心思想是解耦摄像机的平移和旋转估计, 将其视为独立的优化问题首先, 我们只根据相机的视觉信号确定 3D 相机的平移为此, 我们观察目标区域的明显 2D 平移和跨帧的相对缩放比例一个简单的针孔照相机模型将图像平面中的框的平移和缩放与相机的最终 3D 平移相关联
可以使用图像平面中的框的平移和尺寸 (相对缩放比例) 的变化来确定两个相机位置 C1 和 C2 之间的 3D 平移但是, 由于我们的相机模型并不假定相机镜头的焦距, 我们不知道被跟踪平面的真实距离 / 深度
为了解决这个问题, 我们在现有的跟踪器 (Motion Text 中使用的跟踪器) 中添加了缩放比例估计, 并在相机的视场之外追加了区域跟踪当相机靠近被跟踪的表面时, 虚拟内容精确地缩放, 这与真实世界对象的感知一致当您将镜头移出目标区域的视场之外并再返回时, 虚拟物体将重新出现在大致相同的位置
独立的平移 (仅从红色框显示视觉信号) 和旋转捕捉(从陀螺仪; 但未显示)
我们使用手机的内置陀螺仪来获得设备的 3D 旋转 (翻滚, 俯仰和偏摆) 估算的 3D 平移与 3D 旋转相结合, 使我们能够在取景器中正确渲染虚拟内容而且, 由于我们分别处理旋转和平移, 所以我们的即时运动捕捉方法不需要校准, 可以在任何带有陀螺仪的 Android 设备上工作
Motion Still AR 模式下的小鸡家庭
我们很高兴为 Android 的 Motion Stills 增加这种新的模式, 我们也希望您能喜欢它请下载 Motion Stills 的新版本, 并继续在您最喜爱的社交媒体上发送 #motionstills 反馈意见
来源: https://mp.weixin.qq.com/s?__biz=MzU1NTEzOTM5Mw==&mid=2247485168&idx=1&sn=f1c9ca083e3cd756362dac9e760673b9&chksm=fbd9aedeccae27c8e379655a0a288b9783ea07e19f229f4b2bb1bcab9cf14b86327eb73681e5#rd