应用介绍
当运行 DeepSeek R1和 Llama 3.1 405B 模型时，在使用 SGLang、vLLM 等流行的开源推理框架时，MI355X的性能比使用专有框架（TensorRT-LLM）的NVIDIA B200 更胜一筹。如下图，MI355 相比 B200 分别在SGLang、vLLM上每秒处理的 token 数量高出1.2倍、1.3 倍，在vLLM上每秒处理的 token 与 NVIDIA GB200持平。
当运行 DeepSeek R1和 Llama 3.1 405B 模型时，在使用 SGLang、vLLM 等流行的开源推理框架时，MI355X的性能比使用专有框架（TensorRT-LLM）的NVIDIA B200 更胜一筹。如下图，MI355 相比 B200 分别在SGLang、vLLM上每秒处理的 token 数量高出1.2倍、1.3 倍，在vLLM上每秒处理的 token 与 NVIDIA GB200持平。
