NVIDIA Blackwell於衡量真實環境運算成本的InferenceMAX測試橫掃千軍 GB200 NVL72可創15倍投資報酬率

由SemiAnalysis推出的全新獨立基準測試InferenceMAX v1是在真實場景衡量總運算的基準測試，是用於評估AI純運算性能以外的新基準；NVIDIA宣布Blackwell在InferenceMAX v1的測試當中呈現壓倒性的投資報酬率領先，其中GB200 NVL72可在投資500萬美金能創造高達7,500萬美金的DSR1詞元收益。

SemiAnalysis InferenceMAX v1為SemiAnalysis於2025年10月6日公布的全新測試基準，不同於先前AI測試聚焦在純效能，InferenceMAX更重視效率與經濟效益，尤其隨著模型自一次回覆變為多步驟推論與工具使用，每次查詢的詞元數大量增加，也提升運算需求。InferenceMAX採用帕雷托前沿(Pareto frontier)展示資料中心輸送量與回應性等因素間的最佳權衡。

NVIDIA在測試結果展露與OpenAI(gpt-oss 120B)、Meta(Llama 3 70B)、DeepSeek AI(DeepSeek R1)於開源領域合作成果，同時攜手FlashInfer、SGLang 和 vLLM 社群的深度合作，使得共同開發的增強核心與運行時，能大規模驅動這些模型，並實現NVIDIA對開放生態系的允諾。

NVIDIA GB200 NVL72是結合NVIDIA Grace Blackwell超級晶片的系統，根據InferenceMAX v1測試，投資500萬美金於該系統可創在7,5000萬美金的詞元收益，高達15倍投資報酬率。

由於NVIDIA與業界深度的合作，gpt-oss-120B在DGX Blackwell B200系統的初始系統就處於領先，但NVIDIA與社群進一步增強軟體最佳化，大幅提升TensorRT LLM性能；TensorRT LLM v1.0是使大型AI模型更快速、更具回應性的關鍵，透過平行化技術，可利用B200系統與NVLink Switch的1,800GB/s雙向頻寬提升gpt-oss-120B的效能。

全新推出的gpt-oss-120b-Eagle3-v2模型導入「 推測式解碼 (speculative decoding) 」機制，能一次預測多個詞元，降低延遲並提升速度，將每使用者輸送量提升3倍，達每用戶每秒100 詞元(TPS / user)，每GPU速度從6,000提升至30,000詞元。同時在龐大參數且在運算需要大量運算資源的Llama 3.3 70B等密集AI模型，Blackwell B200同樣展現出色的測試成果，在美GPU達10,000 TPS、每使用者50 TPS的互動條件，較NVIDIA H200提升4倍的每GPU傳輸量。

回歸現實面，每詞元成本是衡量當前AI模型料綠的關鍵，Blackwell較H200將每百萬詞元成本降低達15倍，顯見新世代架構的加持下，進一步提升投資報酬率。

更多Cool3C文章
日本隨身數位相機在2024迎接7年來首次成長 社群媒體的推波助瀾為關鍵
舊電視、廢電腦螢幕怎麼回收？大尺寸電視清運要付費嗎？廢顯示器免費回收辦法 還有機會換錢