苹果目前对 AR 投入巨大, CEO 库克也多次表示看好 AR 的发展.
但是苹果的 AR 到底会怎么走? 一个只能识别平面的 ARKit 框架能让开发者开发出受用户欢迎的 app 么
VR 设备苹果还做么
下面我们从收购, 专利等方面谈谈苹果的 AR/VR 之路. 里面带有我的一些不负责任的猜测, 大家轻喷.
一般来说, 苹果收购有以下特点:
公司名称 | 主要技术与产品 | 收购时间 | 整合现状 | 未来动作预计 |
---|---|---|---|---|
Polar Rose | 人脸识别技术 | 2010-9 | 持续整合到普通相机, 人像模式中 | --- |
PrimeSense | 3D 视觉技术, 深度感知, 结构光识别, 动感捕捉摄像头 | 2013-11 | 小型化后, 2017 年用于 iPhoneX 前置摄像头 | --- |
LinX Imaging | 移动设备多摄像头画质增强, 成像拼接, 深度感知 | 2015-4 | 2017 年后置双镜头深度信息 | --- |
Metaio | Metaio Creator: 增强现实创作工具, 计算机视觉的识别和跟踪算法 | 2015-5 | ARKit 的基础, 2017 年发布. 平面识别, 光照估计, 6 自由度 | 2018 年升级 ARKit 更多识别类型 |
Perceptio | 允许手机独立辨认图像,而无需依赖任何外部数据库 | 2015-10 | --- | 2018 年升级 ARKit 更多识别类型 |
Faceshift | 动作捕捉公司,实时抓捕人的面部,然后用动画表现出来, 依赖于 PrimeSense 的识别技术 | 2015-11 | 2017 年用于 iPhoneX 前置摄像头的 Animoji | --- |
Emotient | 表情跟踪识别技术, 分析人类表情与感情 | 2016-1 | 2017 年用于 iPhoneX 前置摄像头 | 2018 年用于 ARKit 升级, 可分析表情与感情 |
Flyby Media | 空间感知平台: 可以将信息绑定在某个地点或者建筑,只有通过扫描同一建筑才能读取这条信息 | 2016-1 | --- | 2018 年用于 ARKit 升级, 升级多人玩法 |
Realface | 生物识别登录系统 | 2017-2 | 2017 年用于 iPhoneX 前置摄像头人脸识别登录 | --- |
Senso Motoric Instruments | 眼球追踪眼镜和系统 | 2017-6 | --- | 2020 年用于 AR 眼镜 |
Vrvana | Totem 头盔:"延伸现实" 设备,AR 和 VR 结合 | 2017-11 | --- | 2020 年用于 AR 眼镜 |
InVisage Technologies | 量子膜: 改善智能手机等受空间限制的设备的成像能力 | 2017-11 | --- | 2020 年改善手机摄像头 |
Shazam | 识别音乐的功能,强大的机器学习视觉系统 | 2017-12 | --- | ARKit 升级 |
此外, 为了在地图领域增强实力,苹果先后收购了多家地图和导航服务公司,其中包括 Coherent、Locationary、Embark、HopStop、WifiSLAM、BroadMap 等.
预计会对以后的 AR + 地图玩法有帮助.
苹果的专利从申请到真正用在产品上, 时间往往更长, 往往需要 4~5 年, 甚至 7 年以上.
时间 | 专利 | 描述 | 整合现状 | 未来动作预计 |
---|---|---|---|---|
2006 | 可以容纳带显示屏的电子设备 | 一款能够放入手机的物理框架,并将手机屏幕放置于用户眼前,其中在用户双眼和手机屏幕之间存在着光学组件,用于接收手机屏的图像。2016 年 3 月申请延续该专利 | --- | 手机 VR |
2011 | 三维物体识别技术 | 通过自动化的生物特征识别系统,通过曲线、点和物体轮廓等识别 3D 对象。这一技术将能精确的识别人脸,而不像某 A 系统那样,分不清真实人脸和照片的区别。 | 2017 年用在 iPhoneX | --- |
2014-12 | 激光束测绘技术 | 借助激光传感器以及激光束来收集特定空间内的测量数据,包括空间的形状、距离、环境对象的属性及体积等信息。 | --- | 2018 年后手机 AR,2020 年后 AR 眼镜 |
2015-1 | 眼部追踪技术 | 解决 "特克斯勒消逝效应"(Troxler Fading Effect) | --- | 2020 年后 AR 眼镜 |
2015-5 | 柔性屏幕专利 | 这是一种在固体发光像素周围设计许多小孔的屏幕,可将屏幕变得又薄又柔软,以帮助 AR 应用。通过像素现实虚拟图像,同时透过小孔查看屏幕另一边的现实图像。 | --- | 2020 年后 AR 眼镜 |
2015-6 | 上半身体感操作 | 允许用户通过摆动上半身作出多种姿势从而控制一个操作界面。 | --- | 2020 年后 AR 眼镜 |
2015-11 | 基于用户目光的显示屏事件延迟 | 苹果提出的系统可以延迟显示屏事件,直到用户的目光看到。减轻了渲染和显示的压力。 | --- | 2020 年后 AR 眼镜 |
2016-7 | AR 显示使用到的类似光波导技术 | 这项技术是让图像从离轴源文件中投射出来,通过透明物质 (护目镜或薄片) 进入视线。 | --- | 2020 年后 AR 眼镜 |
2016-7 | AR 映射系统 | 这套 AR 映射系统能够利用 iPhone 的硬件将增强现实功能叠加到直播视频上。用户通过手机应用可以在一些现实场景中标记数字信息,比如街道名称、兴趣点等等,并用摄像头进行扫描。 | --- | 2018 年后手机 AR 增强, 2020 年后 AR 眼镜 |
2016-7 | 裸眼 3D | 一种像素阵列,内建子像素和透镜结构,后者在多个不同的角度发光。 | --- | Mac 平台 |
2016-10 | 3D 投影手势 | 利用一种抓取的手势,一种推动的手势,一种释放的手势,还有查询,缩放,搜索,执行等,甚至更多的手势来进行人机交互。比如说,我们可以用推动的手势来点击打开一个 App 。 | --- | 2020 年后 AR 眼镜 |
2016-11 | AR 头盔专利 | 这项专利描述的是一种保留移动电子设备屏幕的头盔式显示屏仪器,头盔式屏幕系统以及操作方案可以让用户 "配对" 或 "解除"。 | --- | 2020 年后 AR 眼镜 |
2017-2 | 带有摄像头的可穿戴信息系统 | 这项技术可能会用在一款头戴显示器中,而显示器上搭载的摄像头可以接收与显示器相同视角的信息。该系统可下载有趣的内容,并用 AR 展示出来。 | --- | 2020 年后 AR 眼镜 |
2017-3 | 利用景深加强人脸检测 | 这项专利是通过计算机视觉系统,利用专门的硬件和软件进行人脸识别,尤其是已经保存到数据库中的人脸数据。 | --- | 2018 年后手机 AR 增强 |
2017-6 | 头戴式显示器 | 我们可以将一个可移动的电子设备放置到这个头戴式显示器上,而这个可移动电子设备几乎可以肯定是一台 iPhone 。 | --- | 手机 VR 设备 |
2017-8 | 3D 手势操作 | 为交互式现实增强提供了设备和方法,这其中包括一个二维相机和一个三维相机,相关的深度投影机和内容投影仪,以及一个与三维相机和二维相机相关的处理器。 | --- | --- |
2017-10 | 全虚拟现实(VR)套件相关 | 描述了动态修改图片,实时向用户展示图片和基于文字的相关数据的方法。专利申请描述的方法适用于有限视场和全景的静态、动态图片。 | --- | Mac 平台 |
从目前的收购情况和专利申请情况来看, 苹果当前的主要方向还是 AR, 包括目前运行 iOS 系统的 iPhone/iPad, 和未来运行 rOS(猜测的名字) 的 AR 眼镜.
预计的结果是, 在未来三年, 继续对 iOS 上的 ARKit 框架进行增强. 可改善的方面有:
三年后 AR 眼镜出场, 由 AR 眼镜继续完成 AR 功能.
目前的 VR 也在研究中, 包括内置手机的头戴设备 (类似于 cardboard 盒子), 和需要外部定位的头戴设备 (类似 HTC 的 vive), 但这个似乎并不是重点, 猜测可能是苹果认为这种方式使用体验太麻烦, 限制多.
这种内置 iPhone 的头戴 VR 设备, 可能只是与 Apple TV 配合看电影使用. 虽然技术上已基本完成, 但普通 iPhone 的 LCD 屏刷新率不足, iPhoneX 又太贵而且刷新率目前也不支持 90 帧, 按苹果的风格不太可能会推出.
还有一种可能, 苹果现在打算将 iMac pro 做为 VR 的开发平台, 所以 VR 头显会继续研究下去, 以后可能会推出与 iMac pro 配套的头戴式设备来替换目前使用的 Vive 等产品.
综合判断, 短期内 VR 设备应该是不会推出的, 至少在 AR 眼镜出现前, VR 设备不会出现.
真正火起来, 需要硬件 + 软件 + 爆款内容.
只是吸引了程序员的注意, 小 demo 出了不少但大作几乎没有. 后来的产品发布会,
- WWDC2017
这个 AR 游戏不错, 但在国内迟迟不上架, 就算买了 iPhone8 plus 和 iPhoneX 也没人一起玩啊.
- 战争机器
综合判断, 真正火起来大约是在 2018 年后期,
的时候.
- iPhoneX普及+ARKit更新+AR大作打磨好
iOS 上的 AR 技术参考: WeekWeekUpProject
来源: https://juejin.im/post/5a3147ed51882531e944d01c