据国外媒体报道, Nvidia 用于开发和运行可理解和响应请求的对话式 AI 的 GPU 强化平台, 已经达成了一些重要的里程碑, 并打破了一些记录.
这对任何基于其技术进行开发的人来说意义重大 -- 当中包括大大小小的公司, 因为英伟达将很多用于实现这些进步的代码开源. 那些代码用 PyTorch 编写, 易于运行.
英伟达今天宣布的最大成果包括: BERT 训练用时打破记录, 进入 1 小时关口. BERT 是世界上最先进的人工智能语言模型之一, 也被广泛认为是自然语言处理 (NLP) 标杆的先进模型. Nvidia 的 AI 平台仅仅需要 53 分钟就能够完成模型训练, 经过训练的模型在短短 2 毫秒多一点的时间里 (10 毫秒在业内被认为是高水平线) 就能够成功地做出推理(即利用通过训练学习到的能力得出结果)-- 又一个记录.
英伟达的这些突破不仅仅是吹嘘的资本 -- 这些进步可为任何使用 NLP 对话式人工智能和 GPU 硬件的人提供切实的好处. Nvidia 在它的其中一个 SuperPOD 系统上打破了训练时间记录, 该 SuperPOD 系统由运行 1472 个 V100 GPU 的 92 个 Nvidia DGX-2H 系统组成; 在运行 Nvidia TensorRT 的 Nvidia T4 GPU 上完成推理过程. Nvidia TensorRT 在性能上超出高度优化的 CPU 许多个量级. 不过, 该公司将公开 BERT 训练代码和经过 TensorRT 优化的 BERT 样本, 让所有人都可以通过 GitHub 利用.
除了这些里程碑以外, 英伟达的研究部门还建立并训练了有史以来最大的一个基于 "Transformer" 的语言模型. 这也是 BERT 的技术基础. 该定制模型包含的参数多达 83 亿个, 规模是当前最大的核心 BERT 模型 BERT-Large 的 24 倍. 英伟达将这个模型命名为 "Megatron", 它也对外提供了用于训练这个模型的 PyTorch 代码, 因而其他人能够自行训练出类似的基于 "Transformer" 的大型语言模型.
本文由用户 五嘎子 自行上传分享, 仅供网友学习交流. 所有权归原作者, 若您的权利被侵害, 请联系管理员.
来源: http://www.open-open.com/news/view/5193609732001038298