项目链接: https://github.com/NVIDIA/TensorRT
本次开源的内容是英伟达 TensorRT 的一部分, 其中包括 TensorRT 的插件与一些解析器 (Caffe 和 ONNX), 以及演示 TensorRT 平台的使用和功能的示例应用程序. 相信未来更多的内容也会持续开源.
TensorRT 是一个高性能 深度学习 推理平台, 能够为在英伟达 GPU 上运行的语音, 视频等 App 提供更低地延迟, 更高的吞吐量. TensorRT 包含输入模型的解析器, 支持全新 ops 的插件以及在利用优化进行推理之前的层.
今日, 英伟达宣布开源 TensorRT 中的解析器和插件部分, 以便于深度学习社区能够做自定义, 扩展组件, 从而更好的利用 TensorRT 进行 App 优化.
TensorRT 的 GitHub 项目目前已经开放了, 其包括贡献指南, 它会告诉我们如何参与这一优秀工具的完善. 英伟达表示他们将在新版本发布时, 合并且发布最新的代码.
例如你可以贡献:
针对 ONNX 格式和 Caffe 扩展解析器, 用全新 ops 把模型输入到 TensorRT
插件程序让你能够在 TensorRT 中运行自定义 ops. 使用开源的插件作为参考, 或者建立全新的插件从而支持新的层 (layers)
示例只是提供了一个起点, 用户也可以贡献全新工作流和管道的示例.
英伟达的目标在于为社区提供更多的特性, 并同时更方便地利于开发者对社区做出贡献. 英伟达开发者博客介绍了如何开始使用 TensorRT, 读者们也能从 TensorRT 的产品页面或这次新构建的 GitHub 项目获取它.
官方教程: 如何使用 TensorRT 加速深度学习推断
地址: https://devblogs.nvidia.com/speed-up-inference-tensorrt/
最后, GitHub 项目中对于如何安装 TensorRT 开源软件及构建环境都有非常详细的描述, 感兴趣的读者快来试试吧.
来源: http://www.tuicool.com/articles/QZ3aQfV