警報🚨🚨🚨:AMD 的 @AnushElangovan 及其團隊在 Kimi K3 Agentic Inference 上實現了比 B200 高出多達 2 倍的每美元性能!這得益於各種軟件優化工作,包括調整 AITER 內核和 MonoKernel 解碼。
此外,MI355X 每台服務器擁有 2304GB 的 HBM,這使得它能夠避免跨越緩慢的 8x400Gbit/s 服務器間擴展網絡,而 B200 由於 HBM 不足 1.5TB 則需要進行這種跨越。
感謝 Anush、Peng Sun、Ramine、Emad 以及 vLLM 團隊在這項出色工作中的卓越貢獻!




