头戴显示器骗过了视觉, 手柄却骗不过触觉, 是目前很多 VR 设备的尴尬.
如果你是第一次玩 VR 设备, 戴上头显看到逼真的影像后, 多少会下意识伸手去感受. 手伸出去后, 却发现可以穿过虚拟物体, 视觉和触觉产生了割裂, 沉浸感顿时被打破.
(在 VR 里你总会想摸点啥, 但其实啥也摸不着, GIF 图来自 Giphy)
通常, 拿上带位置追踪功能的手柄后, 你才可以和虚拟物体进行交互. 因为其成熟的技术和性价比, 手柄是 VR 设备现在主流的交互方式. 然而, 手柄并不是最简单, 直觉和自然的 -- 多少次你想伸手去抓一个物体, 却需要大脑把这个动作转码成了 "按下手柄上的一个按键".
(HTC Vive 的手柄)
在一个沉浸的虚拟环境中, 不用经过大脑的动作, 才是最符合自然行为的交互方式.
深圳一家初创企业 Dexta Robotics 正在往这个方向发展. 创立于 2014 年的 Dexta Robotics(岱仕科技), 将机器人技术和动作捕捉技术相结合, 打造了一款便携的, 无线的力反馈手套 Dexmo.
Dexmo 可以做到什么?
2019 年 6 月, 在经过两年多开发者版本的测试, 改进后, 力反馈手套 Dexmo 企业版正式发售.
触觉可以分为动觉和触觉, 前者让人感受到物体的形状, 重量和硬度, 后者让人感受到物体的纹理, 粗糙度和温度. 虽然 Dexmo 的名字是力反馈手套, 但它的触觉反馈版本也可以提供一部分触觉.
从外形上看, Dexmo 像科幻电影里怪兽的爪子. 这些个 "爪子" 其实是机械外骨骼, 承担了收集手指运动数据, 提供力反馈的功能.
机械外骨骼是一种穿在人身上的设备, 可以给予人体额外的动力或能力, 比如让腿残疾的人自己上楼. Dexmo 将机械外骨骼这一概念应用到了力反馈手套上.
整个设备的穿戴很简单, 主体结构 (主控制器) 用一条大绑带固定在掌心上, 手指结构通过魔术贴 (力反馈版本) 或指套 (触觉反馈版本) 附着在对应指尖的上. 指尖运动时, 机械外骨骼会随着一起移动.
比如, 当你佩戴着 Dexmo 时, 伸手去抓一个刚性物体(比如石头), 会感受到机械外骨骼的牵引力, 让手正好停留在虚拟石头的表面, 感受到石头的形状和硬度.
(抓刚性物体)
你用手去握捏一只橡皮鸡, 不仅能摸到它的形状, 还可以感受到捏它后的反弹力.
(捏橡皮鸡)
你把手指放在水龙头下面, 能感受到水滴向下的冲击力.
(感知水滴)
Dexmo 的触觉反馈版本还能模拟一定程度上的触觉, 比如摸玻璃, 木头和砂纸, 能感受到光滑, 粗糙和颗粒三种质地.
Dexmo 是怎么做到的?
要达到以上所述效果, Dexmo 需要首先捕捉到手部运动的数据, 然后根据数据来模拟力的大小和方向, 这两部分分别对应的技术模块是 "手部动作捕捉" 和 "力反馈".
11 个动作捕捉传感器分别集成在 Dexmo 旋转关节和力反馈单元 (每个手指一个) 里. 这意味着, Dexmo 能够捕捉 11 个自由度的动作, 包括大拇指的 3 个自由度 (旋转, 展开和弯曲) 和其余四指各 2 个自由度(展开和弯曲).
(外骨骼的机械设计: 42 手指固定装置, 21 驱动机构, 1 底座, 511 无线通信模块)
用户戴上 Dexmo 手套开始运动后, 传感器会将捕捉到的运动数据传输到上位计算机. 计算机将数据输入给虚拟空间里的 3D 手部模型, 让模型和真实手部保持同步运动.
也就是说, Dexmo 为用户在当下进入的虚拟空间里, 创建了一对虚拟手. 用户在真实世界所做的手部运动, 全部会映射到虚拟手上.
(手部动作捕捉)
一旦虚拟手和虚拟物体发生碰撞, 计算机会算出实际上应该生成的力(包括矢量方向和大小), 然后对力反馈单元下达指令. 这时, 力反馈单元里的电机会计算出力的大小, 然后输出大小可变的力反馈.
(力反馈单元的机械设计: 71 旋转传感器, 211 电机, 52 处理器, 22 连杆)
简言之, 就是外骨骼结构通过施加反向的力, 把手指固定住. 就好像现实世界中, 手指触摸到一个实体, 会固定在其表面.
(力反馈)
值得一提的是, 当用户触摸的时柔性物体, 比如捏橡皮鸡, 力反馈单元刚开始输出的力比较小, 容易挤压. 随着物体变形, 力反馈单元输出的力会变大, 变得难以挤压, 直至在某一个位置停住用户的手.
Dexta Robotics CEO 谷逍驰告诉 PingWest 品玩, 类似的现有产品里, Dexmo 是唯一一个可以做到柔性反馈的.
(柔性力反馈)
除了力反馈, Dexmo 还可以提供一定程度的触觉反馈, 也就是上文所说的, 摸玻璃, 木头和砂纸能感受到光滑, 粗糙和颗粒三种质地. 谷逍驰表示, Dexmo 上的触觉反馈类似 iPhone 上的虚拟按键, 通过线性振动马达输出不同的振动波形来模拟不同表面的触感. 目前 Dexmo 具有五种基本波形, 通过排列组合, 可以获得不同的触感.
(触摸玻璃, 木头, 砂纸)
Dexmo 可以被用在什么地方?
动作捕捉, 力反馈和触觉反馈这些特性, 让 Dexmo 具备了模拟逼真的动觉和触觉的能力, 可以帮助用户完成手柄难以做到的精细动作.
"我们了解到, 现在 B 端一些客户觉得只有手柄的 VR 设备就是玩具, 他们需要能够完成精细动作的交互工具." 谷逍驰告诉 PingWest 品玩.
Dexmo 企业版已经正式开始量产发售, 汽车制造是 Dexmo 应用的一大领域, 奥迪, 福特, 丰田, 本田等车企都是其客户. Dexta Robotics 告诉 PingWest 品玩, 有车企正在使用 Dexmo 培训新入职工学习安装线束, 让工人的动作准确地反映在虚拟训练中, 灵活使用手指学习操作步骤, 并及时得到评估, 确保工人在正式上产线前达到规范要求.
除了工人培训, Dexmo 还能被应用在改进车辆的设计流程. 汽车设计师可以在 VR 里实时触摸到新设计并检测创意, 而不再需要制作昂贵耗时的物理原型.
汽车企业之外, Dexmo 还被航天航空, 大学, 医院等机构采用. 比如, 机舱紧急逃生培训, 可视化操作, 组装机械.
(机舱紧急逃生培训)
(可视化操作)
(用 Dexmo 在虚拟环境力练习组装无人机)
为了方便 B 端客户使用, Dexmo 提供了 SDK(应用程序接口), 支持 Unity 和 UE4 平台, 且具有手部交互物理引擎. 企业和开发人员可以通过交互模块自行构建应用程序.
除了 B 端的客户, PingWest 品玩还独家获知, 三大 VR 头戴设备厂商 (HTC,Oculus,Sony) 其中两家跟 Dexta Robotics 有多次接触, 未来有望看到 Dexmo 被整合进去. 或许过不了多久, Dexmo 不仅可以在 B 端专业操作场景发挥作用, 还会被用于 VR 打麻将这样的消遣游戏中.
来源: http://www.tuicool.com/articles/Iba2Mni