看新闻很累? 看技术新闻更累? 试试 下载 InfoQ 手机客户端 https://time.geekbang.org/?utm_source=website&utm_medium=infoq&utm_campaign=news&utm_content=app , 每天上下班路上听新闻, 有趣还有料!
谷歌近日推出了 ML KIT https://developers.googleblog.com/2018/05/introducing-ml-kit.html , 一个与 Firebase https://firebase.google.com/ 移动开发平台完全集成的机器学习模块, 可用于 iOS 和 Android 平台. 通过这个新的 Firebase 模块, 谷歌简化了创建机器学习驱动的移动应用的过程, 并解决了在移动设备上实现计算密集型功能所面临的一些挑战.
ML KIT 允许移动开发者使用 Vision API https://cloud.google.com/vision/ 提供的一些模型 (如图像标记, OCR 和人脸检测) 来创建机器学习功能. ML KIT 可直接在 Firebase 平台中使用, 支持 Android 和 iOS 应用程序, 以及其他基于 Google Cloud 的模块(如身份验证和存储).
ML KIT 旨在解决移动设备特有的几项挑战, 这些挑战是由人工智能计算密集型操作所引发的. 目标是在模型精度和模型大小之间获得令人满意的折中, 同时保持电池寿命, 并在计算资源非常有限的环境中使用本地数据来刷新模型.
优化移动设备的机器学习是一种多层方法. 在硬件层面, Android Neural Net API https://developer.android.com/ndk/guides/neuralnetworks/ 是一种 Android C API, 通过在可用设备处理器上分配计算工作负载来执行计算密集型操作.
在模型层, 通过减少模型复杂性和大小来获得优化. 为此, 谷歌在一年前发布了 Tensorflow Lite, 而苹果此前也推出了 Core ML,Facebook 则推出了 Coffee2Go https://techcrunch.com/2017/04/18/facebook-open-sources-caffe2-its-flexible-deep-learning-framework-of-choice/ . 这些轻量级格式便于在设备上下载预训练的模型, 并对本地数据进行推断. 不过, 移动机器学习工程师 Eric Hsiao 说, 从 Tensorflow 到 Tensorflow Lite 的转换仍然很复杂.
正如谷歌 ML KIT 产品经理 Brahim Elbouchikhi 在谷歌 I/O 2018 ML KIT 演讲中强调的那样, 将移动机器学习带入移动设备, ML KIT 是第三需要用到的层, 它将深度学习直接交给了移动应用开发者, 并且直接在 Firebase 移动应用开发平台上进行.
ML KIT 支持设备和基于云的推断. 设备推断可用于小型的模型, 提供较低的准确性, 不过是免费的. 基于云的推断仅对前 1000 个 API 调用免费, 但会带来更高的准确性. 例如, 设备上的图像标记功能可以访问 400 多个标签, 而基于云的模型可以访问超过 10k 个标签. 然而, 设备推断带来更好的用户体验, 提供实时交互功能并解决隐私问题, 因为用户数据仍保留在手机上.
ML KIT 还允许通过 Firebase Remote Config https://firebase.google.com/docs/remote-config/ 动态下载模型. 模型上传到 Firebase 平台, 并向用户动态提供, 无需将模型捆绑到 Android 开发工具包中. 这种灵活的模型部署能够进行简单的 A/B 测试, 并为细分用户定制模型.
ML KIT 包含了一些预训练的模型, 并可以访问一些 Google Machine Learning API 服务. 它还允许集成在专有数据集上训练的定制模型. 到目前为止, 基础 API 提供的可用功能包括文本识别(OCR), 图像标签, 条形码扫描, 人脸检测和地标识别. 预计脸部轮廓和 智能回复 https://www.theverge.com/2018/1/24/16929038/google-android-messages-smart-replies-allo-sms-ai-assistant-project-fi 将在近期发布. 基于 Learn2Compress https://ai.googleblog.com/2018/05/custom-on-device-ml-models.html 的 Tensorflow 到 Tensorflow Lite 转换服务预计很快会推出. 与此同时, 开发者可以 注册 https://g.co/firebase/signup 转换服务测试版.
请记住, ML KIT 才刚发布几周时间, 开发者在 论坛 https://www.reddit.com/r/androiddev/comments/8jyygw/discussion_about_firebases_ml_kit_accuracy/ 中提出了一些 问题 https://stackoverflow.com/questions/tagged/firebase-mlkit , 这些问题主要与无法扫描条形码和文本识别有关, 但图像分类方面的问题较少.
来源: http://www.tuicool.com/articles/jai2amz