英伟达发布消息称，OpenAI的GPT-6 Astra Ultrafast运行在英伟达Blackwell GPU上，目前已通过OpenAI API开放，并面向符合条件的ChatGPT Work和Codex用户提供。该模式借助OpenAI模型中的推理优化，充分利用Blackwell架构能力，令牌生成速度最高可达Astra标准模式的8倍。
对开发者而言，更快的生成速度可以缩短编程智能体的编辑、测试与调试周期，减少工具调用之间生成响应的时间，并使交互式应用的响应更为流畅。英伟达表示，当智能体编写代码、调用工具、检查结果并决定下一步操作时，快速响应在反复执行的工作流中尤为重要，Ultrafast将Astra的能力带入这些对时间敏感的循环。
OpenAI推理负责人Philippe Tillet表示，英伟达在工具和文档方面的深度投入，使OpenAI的模型能够出色地适配Blackwell和Rubin GPU；Astra可将这些知识转化为高性能内核。OpenAI计算首席技术官Uday Ruddarraju表示，OpenAI利用内部模型优化英伟达GPU上的推理，英伟达的可编程性帮助实现了Astra Ultrafast背后的加速。
英伟达指出，性能提升不会在模型部署后停止。OpenAI正利用自身模型改进运行在英伟达GPU上的推理软件，借助平台可编程性测试并实施改进，从而随时间推移让模型响应更快、已部署基础设施更具生产力。可编程平台还允许开发者和研究人员在模型演进过程中复用训练、推理和强化学习的基础设施，按需求变化重新调配计算资源，提高利用率。
https://blogs.nvidia.com/blog/gpus-openai-gpt-6-astra-ultrafast/
来源： 来源：NVIDIA Blog，作者Dion Harris
标签： AI、科技