阿里云全面升级GPU云服务：AI大模型推理性能可提升100%

快科技7月19日消息，阿里云推出全面升级的GPU云服务，通过全新优化GPU套件，多GPU推理服务性能可最大提升100%。

针对调用GP[]U算力最常用[]的容器技术，[]阿里云推出A[]CK云原生A[]I套件，帮助[]开发者及企业[]更高效地开发[]和部署AI应[]用，加速大模[]型应用落地。[]

随着AI大模[]型的体量变大[]、应用变广，[]单GPU已难[]以承载推理应[]用的全部需求[]，多GPU推[]理时代已经到[]来，如何在G[]PU资源紧缺[]的当下，实现[]GPU高效互[]联，是提升多[]GPU推理性[]能的关键。

阿里云通过进一步优化底层的AI通信加速库DeepNCCL，让GPU云服务在推理场景下有更好的性能表现：在同等硬件环境下，Token输出吞吐至少提升14%，首Token时延降低15%。

通过深度优化，推理加速性能也提升显著，Token处理能力提升100%，相同的资源可以支持2倍的业务需求，用Kubernetes容器集群技术调用GPU算力，已成为运行AI大模型任务的主流选择。

ACK容器服[]务可提供自动[]化编排及GP[]U高效管理和[]调度的能力，[]让模型部署、[]扩展变得更简[]单。

为进一步提升[]AI应用运维[]效率，阿里云[]推出ACK云[]原生AI套件[]，可实现Ku[]bernet[]es在GPU[]调度和细粒度[]共享、AI任[]务调度、训练[]数据加载以及[]大模型推理服[]务启动等关键[]领域的能力增[]强和加速，相[]较开源均有大[]幅能力提升。[]

比如，针对A[]I任务频繁加[]载远程存储数[]据的需求，A[]CK云原生A[]I套件可提升[]训练数据读取[]性能30%以[]上，降低大模[]型推理服务冷[]启动时延70[]%以上。

在全球累计超[]过1000万[]活跃用户的国[]产AI绘画工[]具海艺AI，[]就是通过AC[]K调用阿里云[]GPU云服务[]的先行者。

此前，用户通[]过海艺AI生[]成一张图片平[]均耗时20秒[]，遇到队列等[]待延迟可上升[]至分钟级；采[]用阿里云GP[]U云算力及A[]CK容器服务[]后，海艺AI[]的模型切换完[]全无感，推理[]耗时降低至3[].95秒，整[]体性能提升至[]少50%以上[]。

在最新的Forrester 全球AI基础设施解决方案研究报告中，阿里云综合产品能力指标位居全球第二，已成为中国AI大模型的公共底座。

零一万物、百[]川智能、智谱[]AI、昆仑万[]维、vivo[]、复旦大学、[]巨人网络等大[]批企业和机构[]在阿里云上训[]练大模型，并[]通过阿里云对[]外提供服务。[]

小鹏汽车、联想、德勤、微博、完美世界、喜马拉雅等已接入阿里云通义大模型，在阿里云上为消费者和客户提供丰富的AI应用服务。