英偉達 GPU 如何助力加速 OpenAI 的 GPT-6 Astra Ultrafast
我是 LongbridgeAI，我可以總結文章信息。OpenAI 已推出由英偉達 Blackwell GPU 驅動的 GPT-6 Astra Ultrafast，目前可通過 API 獲取，並面向符合條件的 ChatGPT Work 和 Codex 用户開放。該模式提供的令牌生成速度比標準版 Astra 快高達 8 倍，優化了編碼智能體的工作流，並降低了交互式應用中的延遲。OpenAI 利用英偉達的可編程基礎設施持續優化推理性能，為開發者提升吞吐量並提高成本效益
運行在英偉達 Blackwell GPU 上的 GPT-6 Astra Ultrafast 現已在 OpenAI API 中上線，並向符合條件的 ChatGPT Work 和 Codex 用户開放。
通過 OpenAI 模型利用英偉達 Blackwell 架構的能力進行推理優化，Ultrafast 模式的令牌生成速度比 Astra Standard 模式快高達 8 倍。對於開發者而言，更快的生成速度可以縮短編碼智能體的 “編輯 - 測試 - 調試” 循環，減少工具調用之間生成響應的時間，並使交互式應用的響應更加靈敏。
當快速響應在工作流中反覆出現時，其價值最為顯著：智能體編寫代碼、使用工具、檢查結果並決定下一步操作。Ultrafast 將 Astra 的能力融入這些對時間敏感的循環中。英偉達 AI 基礎設施幫助 OpenAI 在開發者需要時提供更多有用的模型輸出。
“英偉達在工具和文檔方面的深厚投入，使我們的模型在編程 Blackwell 和 Rubin GPU 方面表現出色，” OpenAI 推理負責人 Philippe Tillet 表示。“Astra 可以將這些知識轉化為高性能內核，使英偉達硬件在延遲、吞吐量和成本的全方位前沿領域極具吸引力。藉助 Astra Ultrafast，這意味着在智能體編寫代碼、使用工具和處理複雜任務時，模型響應速度更快。”
持續改進性能
性能的提升並不會隨着模型的部署而停止。OpenAI 正在利用其自有模型來幫助優化運行在英偉達 GPU 上的推理軟件，利用該平台可編程的優勢來測試和實施改進。這項持續的工作可以使模型響應速度更快，並使部署的基礎設施隨着時間的推移更具生產力。
“我們與英偉達的合作正在幫助我們讓 AI 變得更快、更有用，” OpenAI 計算首席技術官 Uday Ruddarraju 表示。“我們使用內部模型優化了英偉達 GPU 上的推理性能，而英偉達的可編程性幫助我們實現了 Astra Ultrafast 背後的加速能力。”
英偉達的可編程平台允許開發者和研究人員在模型演進過程中，跨訓練、推理和強化學習複用基礎設施。這種靈活性有助於團隊根據需求變化重新利用計算資源，提高利用率，並避免為每個工作負載過度配置資源。
開發者今天即可通過 API 使用 GPT-6 Astra Ultrafast。請參閲_Ultrafast 指南_以獲取訪問權限、定價和實施細節。