常规目标检测, 已经不能满足移动端了, 谷歌开源的 3D 实时目标检测了解一下?
目标检测是一个得到广泛研究的计算机视觉问题, 但大多数研究侧重于 2D 目标检测. 值的注意的是, 2D 预测仅能提供 2D 边界框. 所以, 如果扩展至 3D 预测, 人们可以捕捉到目标的大小, 位置与方向, 从而在机器人, 无人驾驶, 图像检索和 AR 等领域得到更广泛的应用.
尽管 2D 目标检测已经相当成熟, 并在工业界广泛应用, 但由于数据缺乏以及同类别下目标形状和外观的多样性, 从 2D 转向 3D 目标检测依然会面临较大的挑战.
今日, 谷歌宣布推出 MediaPipe Objectron, 这是一种适用于日常物体的移动端实时 3D 目标检测 pipeline, 它能够检测 2D 图像中的目标, 并通过新创建 3D 数据集上训练的机器学习模型来估计这些目标的姿态和大小.
具体而言, MediaPipe 是一个用于构建 pipeline 进而处理不同模态感知数据的跨平台开源框架, Objectron 则在 MediaPipe 中实现, 其能够在移动设备上实时计算目标的定向 3D 边界框.
从单个图像进行 3D 目标检测. MediaPipe 可以在移动端上实时确认目标对象的位置, 方向以及大小. 整个模型非常精简, 速度也非常快, 研究者将整套方案都开源了出来.
框架地址: https://github.com/google/mediapipe/
项目地址: https://github.com/google/mediapipe/blob/master/mediapipe/docs/objectron_mobile_gpu.md
来源: http://www.tuicool.com/articles/Nj2mIf6