英伟达GTC25亮点：NVIDIA Dynamo开源库加速并扩展AI推理模型
NVIDIA Dynamo 提高了推理性能，同时降低了扩展测试时计算 (Scaling Test-Time Compute) 的成本；在 NVIDIA Blackwell 上的推理优化将 DeepSeek-R1 上的吞吐量提高了 30 倍 NVIDIA 发布了开源推理软件 NVIDIA Dynamo，旨在以高效率、低成本加速并扩展 AI 工厂中的 AI 推理模型。 作为 NVIDIA Triton 推理服务器的后续产品，NVIDIA Dynamo 是一款全新的 AI 推理服务软件，旨在为部署推理 AI 模型的 AI 工厂最大化其 token 收益。它协调并加速数千个 GPU 之间的推理通信，并使用分离服务将大语
20
0
2025-08-29
