在近期 Google I/O 大会为其 Firebase 开发平台推出了一款新的机器学习 SDK , 名为 "ML Kit" . 与之前的 Core ML 不太相同, 这次的新的 SDK 为一些最常见的计算机视觉用例提供了现成的 API, 实际上这允许了那些即使不是机器学习专家的开发人员, 尤其是安卓和 iOS 端的开发人员, 在自己的应用程序中添加属于自己的机器学习. 此外, 它还支持导入自定义的 TensorFlow Lite 模型.
以下是它的核心功能列表 **(摘自文档)**
为工程应用的常见用例 | ML Kit 附带了一套用于常见移动用例的随时可用的 API:文本识别、人脸识别、地标识别、条形码识别和图像标注等。只需将数据传递给 ML kit 库,它就能够给您提供您想要的信息。 |
---|---|
在手机设备上或者云端运行 | ML kit 所选用的 API 可以在设备上运行或者在云上运行。我们的设备上提供的 API 即使在没有网络连接的情况下也可以快速地处理您的数据。另一方面,我们基于云端的 API 则是利用了 Google Cloud Platform 提供的强大的机器学习功能。可以为您提供更高的准确度。 |
装载自有模型 | 而如果 ML kit 提供的 API 并不符合您的需求,您可以随时使用您的现有 TensorFlow Lite 模型。只需要将您的模型上传到 Firebase 中,我们就会负责托管并将其投放到您的应用当中去。ML kit 在这个过程中充当了您的自定义模型的 API 层,使其更易于运行和使用。 |
通常情况下, 建立一个机器学习环境是一项艰巨的工作. 您必须学习如何使用像 TensorFlow 这样的机器学习库, 还必须获取一大堆数据来训练您的模型. 然后, 您还得输出一个足够轻量的模型 (此处为转换为 TensorFlow Lite , 这个在此次推出的 SDK 中也被完美支持). 而 ML Kit 简化了这一个流程, 您只需要在 Firebase 上调用某些机器学习特性即可.
此外它也推出了 On-device 特性, 就是您可以为您的应用程序就仅仅是设置了单机运行. 以下为支持的列表
特性 | 设备 | 云端 |
---|---|---|
文本识别 | √ | √ |
人脸识别 | √ | × |
条形码识别 | √ | × |
图像标记 | √ | √ |
地标识别 | × | √ |
自定义模型装载 | √ | × |
对于国内的开发者, 这里提供的视觉 API 仅有地标识别不提供 On-device 功能. 其它都是可以在国内的手机上运行. 而如果有需要, Firebase 也提供了相对应的 Cloud API . 仅有条形码扫描和人脸识别功能并不提供云端识别功能. 云端的服务都是前 1000 次使用不会收费.
对于已经对机器学习有了解或者当前 API 并不满足需求的开发者, ML Kit 也提供了自定义模型和自定义 TensorFlow Lite 版本的功能. 只需要跟着文档一步步操作, 就能够实现将 TensorFlow 模型转为 TensorFlow Lite 的需求.
而且, 如果是自定义模型. 您可以为其定义非 Firebase 的托管位置. 意味着您可以在国内的服务器上挂靠您的模型, 并且在您的应用程序中实时下载模型. 不过由于模型的储存并没有进行过多的加密. 因此有一定的不安全性. 但是谷歌认为模型和应用程序是高度集合的. 所以这点并不会影响过多.
总之, 以上是 ML Kit 文档中提及的一小部分内容.
因此在功能以及文档推出后, 我尽快将文档翻译和校对了一遍, 并且上传到了 GitHub . 以后将继续维护. 欢迎大家前去阅览, 提出修改意见. 地址为: ML Kit-CN https://github.com/Quorafind/MLkit-CN .
来源: https://juejin.im/post/5af5237c6fb9a07aab29e62a