应用介绍
“我们全面更新了AI推理的技术架构。从VLLM和SGLang这些基础框架的升级，到提升服务性能、支持更高级的数据类型，再到开发高性能的核心程序，以及实现Flash Attention v3这样的前沿算法。我们让开发过程变得更简单，用类似Python的方式来整合各种核心功能。我们还大幅改进了系统内部的通信方式，这让ROCm 7的推理性能比上一代ROCm 6提升了3.5倍、训练性能提升了3倍。”Vamsi Boppana指出。
“我们全面更新了AI推理的技术架构。从VLLM和SGLang这些基础框架的升级，到提升服务性能、支持更高级的数据类型，再到开发高性能的核心程序，以及实现Flash Attention v3这样的前沿算法。我们让开发过程变得更简单，用类似Python的方式来整合各种核心功能。我们还大幅改进了系统内部的通信方式，这让ROCm 7的推理性能比上一代ROCm 6提升了3.5倍、训练性能提升了3倍。”Vamsi Boppana指出。
