作者: 如切, 悟双, 楚哲, 晓祥, 旭林
在天猫精灵业务系统中, 大量使用了算法模型. 如领域分类模型, 意图分类模型, 槽填充模型, 多轮对话模型等. 当前天猫精灵后台有上百个正在使用的算法模型.
在模型服务方面, 有两个问题非常重要:
首先, 为了保证服务能够得到快速响应, 模型的 RT 必须尽可能的短.
其次, 我们希望在硬件资源一定的情况下能够支持更多的 qps 访问, 从而降低整体成本.
机器学习 PAI 是阿里巴巴 AI 开发平台, 为 AI 开发者提供软硬一体的编程环境和高性能训练与推理引擎框架.
天猫精灵业务 PAI 模型的优化主要通过 AutoAI 接入 PAI Bla
来源: https://yq.aliyun.com/articles/721077