英伟达 GPU 如何助力加速 OpenAI 的 GPT-6 Astra Ultrafast
我是 LongbridgeAI,我可以总结文章信息。OpenAI 已推出由英伟达 Blackwell GPU 驱动的 GPT-6 Astra Ultrafast,目前可通过 API 获取,并面向符合条件的 ChatGPT Work 和 Codex 用户开放。该模式提供的令牌生成速度比标准版 Astra 快高达 8 倍,优化了编码智能体的工作流,并降低了交互式应用中的延迟。OpenAI 利用英伟达的可编程基础设施持续优化推理性能,为开发者提升吞吐量并提高成本效益
运行在英伟达 Blackwell GPU 上的 GPT-6 Astra Ultrafast 现已在 OpenAI API 中上线,并向符合条件的 ChatGPT Work 和 Codex 用户开放。
通过 OpenAI 模型利用英伟达 Blackwell 架构的能力进行推理优化,Ultrafast 模式的令牌生成速度比 Astra Standard 模式快高达 8 倍。对于开发者而言,更快的生成速度可以缩短编码智能体的 “编辑 - 测试 - 调试” 循环,减少工具调用之间生成响应的时间,并使交互式应用的响应更加灵敏。
当快速响应在工作流中反复出现时,其价值最为显著:智能体编写代码、使用工具、检查结果并决定下一步操作。Ultrafast 将 Astra 的能力融入这些对时间敏感的循环中。英伟达 AI 基础设施帮助 OpenAI 在开发者需要时提供更多有用的模型输出。
“英伟达在工具和文档方面的深厚投入,使我们的模型在编程 Blackwell 和 Rubin GPU 方面表现出色,” OpenAI 推理负责人 Philippe Tillet 表示。“Astra 可以将这些知识转化为高性能内核,使英伟达硬件在延迟、吞吐量和成本的全方位前沿领域极具吸引力。借助 Astra Ultrafast,这意味着在智能体编写代码、使用工具和处理复杂任务时,模型响应速度更快。”
持续改进性能
性能的提升并不会随着模型的部署而停止。OpenAI 正在利用其自有模型来帮助优化运行在英伟达 GPU 上的推理软件,利用该平台可编程的优势来测试和实施改进。这项持续的工作可以使模型响应速度更快,并使部署的基础设施随着时间的推移更具生产力。
“我们与英伟达的合作正在帮助我们让 AI 变得更快、更有用,” OpenAI 计算首席技术官 Uday Ruddarraju 表示。“我们使用内部模型优化了英伟达 GPU 上的推理性能,而英伟达的可编程性帮助我们实现了 Astra Ultrafast 背后的加速能力。”
英伟达的可编程平台允许开发者和研究人员在模型演进过程中,跨训练、推理和强化学习复用基础设施。这种灵活性有助于团队根据需求变化重新利用计算资源,提高利用率,并避免为每个工作负载过度配置资源。
开发者今天即可通过 API 使用 GPT-6 Astra Ultrafast。请参阅_Ultrafast 指南_以获取访问权限、定价和实施细节。
