人心向背网人心向背网

阿里云第八代企业级实例g8i算力升级 可支持72B大语言模型

科技日报记者 崔爽

1月11日,阿里阿里云宣布第八代企业级通用计算实例ECS g8i算力再升级,云第业级言模整机性能最高提升85%,代企大语AI推理性能最高提升7倍,实例算力升级可支撑72B参数的可支大语言模型,帮助中小规模模型起建成本降低50%。阿里同时新实例还提供了端到端安全防护,云第业级言模为企业构建可信AI应用提供隐私增强算力支撑。代企大语

阿里云弹性计算产品线总经理张献涛表示,实例算力升级这证明以CPU为中心的可支计算体系具备加速AI推理的巨大潜力,公共云不仅可胜任超大规模的阿里AI模型,也为AI应用加速落地开辟了新路径。云第业级言模

英特尔中国数据中心和人工智能集团至强客户解决方案事业部总经理李亚东表示,代企大语第五代英特尔至强可扩展处理器每个内核均内置AI加速功能,实例算力升级与上代相比,可支其AI训练性能提升29%,AI推理能力提升42%,希望以此助力AI技术普惠。

生成式AI掀起的技术革命,正在推动计算范式发生根本性的变化。当前,AI大模型推理在算力上依然面临诸多挑战,例如首包延迟受限于并行处理能力与浮点运算能力,吞吐性能则受限于内存带宽和网络延迟。

对此,阿里云ECS g8i实例进行了多方面优化,可以更迅速地响应中小规模参数模型,运行知识检索、问答系统及摘要生成等AI工作负载时,起建成本大幅下降。

赞(7962)
未经允许不得转载:>人心向背网 » 阿里云第八代企业级实例g8i算力升级 可支持72B大语言模型