越来越多的用作深度学习应用硬件加速器的图形处理器也正在与Kubernetes集群编排器一起部署，作为加速扩展深度学习模型的训练和推理的另一种方式。
双前端方法包括Nvidia本周向开发者发布的Kubernetes on GPU功能，旨在针对多云GPU集群上的企业培训模型。此前，谷歌在其Kubernetes Engine引擎上推出了测试版GPU，旨在加速机器学习和图像处理工作负载。
Nvidia的Kubernetes计划是该芯片制造商在本周计算机视觉和模式识别会议上宣布的一系列开源和产品发布之一。它还推出了其新版本的TensorRT——推理优化器和运行时引擎；一个名为Apex的开源PyTorch扩展；一个GPU数据增强和图像加载库，这个名为DALI的库旨在优化与深度学习框架相关的数据管道。
据Nvidia加速计算软件和AI产品总监Kari Briski介绍，Nvidia推出集群编排的目的是让Kubernetes成为管理应用程序容器流程的事实标准，更加“GPU感知”。
Briski表示，Nvidia的Kubernetes on GPU针对越来越关注AI应用程序的开发人员。该平台将帮助开发人员和DevOps工程师编排分散在多个云中的GPU集群的资源，同时提高GPU集群利用率。
作为GPU制造商，Nvidia关于Kubernete的发布与谷歌类似——谷歌允许云用户在其Kubernetes Engine上运行GPU。谷歌表示，其测试版云GPU功能可用于创建配备Nvidia Tesla V100、P100和K80处理器的节点池。谷歌表示GPU服务将在特定区域提供。
最新版本的Nvidia TensorRT推理加速器针对部署推理模型的深度学习开发人员。该工具集成在TensorFlow机器学习框架中，旨在通过包含新的层和功能来提高应用推理性能。具体的推理应用包括推荐系统、神经机器翻译、图像分类和语音识别。
Apex可帮助用户在NVIDIA Volta GPU上最大限度地提高深度学习训练的性能。受益于翻译网络、情感分析和图像分类中混合精度训练的最新技术，NVIDIA PyTorch开发人员创建了将这些方法带到各级PyTorch用户的工具。Apex中的混合精度实用程序旨在加快训练速度，同时保持单精度训练的准确性和稳定性。具体而言，Apex提供FP16或FP32操作的自动执行、主参数转换的自动处理以及自动损失调整，所有这些操作都可以只对现有代码进行4行或更少更改实现。
GPU功能也被用于通过DALI加速计算机视觉应用。DALI和用于JPEG编码的GPU加速库一起解决了当前机器视觉深度学习应用中的性能瓶颈问题。该工具专门用于扩展图像分类模型的训练，如PyTorch、ResNet-50和TensorFlow。该服务由AWS P3 8 GPU实例或运行其Volta GPU的Nvidia DGX-1深度学习系统提供。同时，Nvidia表示，本周发布的开源库将卸载GPU的增强步骤。
Briski指出，本周向开源开发人员发布的深度学习工具都是在Nvidia内部使用的。
编 译：信软网
閱讀更多 信軟網 的文章
