每瓦效能飆10倍、成本降15倍！Blackwell重塑AI推論經濟學

Newtalk新聞 |蘇元和綜合報導

2025年10月11日週六下午12:28

[Newtalk新聞] 隨著人工智慧（AI）從一次性回覆轉變成複雜推理（reasoning），推論（inference）的需求與其背後的經濟效益正急速成長。

全新的獨立 InferenceMAX v1是首個在真實場景中衡量總運算成本的基準測試。結果顯示，NVIDIA Blackwell 平台橫掃全場，為 AI 工廠實現無與倫比的效能與最佳整體效率。

NVIDIA 超大規模與高效能運算副總裁 Ian Buck 表示：「推論是 AI 每天創造價值的關鍵。這些結果證明，NVIDIA 的全端策略提供客戶在大規模部署 AI 時所需的效能與效率。」

以下是NVIDIA發布最新動向：

InferenceMAX v1 登場

InferenceMAX v1 是 SemiAnalysis 於週一發布的全新基準測試，再次突顯了 Blackwell 在推論的領導地位。該基準在主要平台上運行熱門模型，測量多樣化使用情境下的效能，並公開任何人皆可驗證的結果。

為什麼這一類型的基準測試如此重要？

因為現代 AI 不僅關乎速度，更關乎效率與經濟規模。隨著模型從一次回覆轉變為多步驟推理與工具使用，每次查詢生成的詞元數大量增加，顯著推升了運算需求。

NVIDIA 與 OpenAI（gpt-oss 120B）、Meta（Llama 3 70B）及 DeepSeek AI（DeepSeek R1）在開源領域的合作，展示了社群驅動模型如何推進推理與效率的最先進成果。

透過與這些領先模型開發者及開源社群合作，NVIDIA 確保最新模型能針對全球最大規模的 AI 推論基礎設施進行最佳化。這反映 NVIDIA 對開放生態系的承諾，共享創新以為所有人加速進展。

與 FlashInfer、SGLang 和 vLLM 社群的深度合作，使得共同開發的增強核心與運行時，能大規模驅動這些模型。

軟體最佳化持續推升效能

NVIDIA 透過硬體與軟體協同設計來持續提升效能。gpt-oss-120B 在搭載 NVIDIA TensorRT-LLM 函式庫的NVIDIA DGX Blackwell B200 系統上，初始效能即為業界領先，但 NVIDIA 團隊與社群進一步對針對開源大型語言模型，大幅最佳化了 TensorRT LLM 的效能表現。

TensorRT-LLM v1.0 的發布，是推動大型 AI 模型更快速、更具回應性的重大突破。

透過先進的平行化技術，它運用 B200 系統與 NVIDIA NVLink Switch 的 1,800 GB/s 雙向頻寬，大幅提升 gpt-oss-120B 模型的效能。

創新不僅於此。全新發布的 gpt-oss-120b-Eagle3-v2 模型引入「推測式解碼（speculative decoding）」，這個聰明的方法能一次預測多個詞元，降低延遲並提升速度，將每使用者輸送量提升三倍，達每用戶每秒100 詞元（TPS / user），每 GPU 速度從 6,000 提升至 30,000 詞元。

對於 Llama 3.3 70B 等密集 AI 模型，由於其龐大參數需於推論中同時運作而需要大量的運算資源，NVIDIA Blackwell B200 在 InferenceMAX v1 基準測試中創下全新效能標準。

Blackwell 在每 GPU 達10,000 TPS、每使用者50 TPS互動性的條件下，提供較 NVIDIA H200 高 4 倍的每GPU輸送量。

效能效率帶來價值

每瓦輸出詞元量、每百萬詞元成本與每使用者TPS等指標與輸送量同等重要。對功率受限的 AI 工廠而言，Blackwell 每兆瓦輸送量比上一代提升 10 倍，能轉化為更的高詞元收益。

每詞元成本是衡量 AI 模型效率的關鍵，直接影響營運支出。NVIDIA Blackwell 架構將每百萬詞元成本較上一代降低 15 倍，帶來可觀節省並推動更廣泛的AI應用。

多維效能

InferenceMAX 採用帕雷托前沿（Pareto frontier）展示資料中心輸送量與回應性等因素間的最佳權衡，並比較效能。

但這不僅是一張圖表，它展現 NVIDIA Blackwell 如何在成本、能源效率、輸送量與回應性等考量中取得平衡，從而在真實工作負載中實現最高投資報酬率。

只針對單一場景最佳化的系統雖可能在孤立測試中達巔峰，但經濟性無法擴展。Blackwell 的全端設計在實際生產中提供關鍵的效率與價值。

成就關鍵

Blackwell 的領先地位來自極致的硬體與軟體協同設計。這是一套為速度、效率與規模而生的全端架構。

Blackwell 架構特色包括：

NVFP4 低精度格式，在不犧牲準確度的情況下提升效率。

第五代 NVIDIA NVLink，連接 72 個 Blackwell GPU如同一個大型 GPU共同運作。

NVLink Switch 透過先進的張量、專家系統與 data parallel attention演算法支援高度並行。

年度硬體更新節奏與持續軟體最佳化。NVIDIA 自發表以來僅透過軟體便使 Blackwell 效能提升兩倍以上。

NVIDIA TensorRT-LLM、NVIDIA Dynamo、SGLang 與 vLLM 等開源推論框架皆經過最佳化以實現巔峰效能。

龐大生態系：數百萬 GPU 部署、700 萬 CUDA 開發者，並對超過 1,000 個開源專案貢獻。

查看原文

其他人也在看

比黃金還強！全球軍備延續擴張趨勢軍工國防ETF 00965今年大漲6成

[Newtalk新聞] 黃金漲勢煞不住，今年來累計漲幅達 53.9%，外資投行不斷上調目標價。然而，全球軍工股表現更勝一籌，在各國擴張軍備趨勢，以及第四季起進入國防預算審核期潛在利多下，國內唯一國防題材ETF——元大航太科技（00965）股價持續新高，今年以來漲幅逾 58%，超越黃金ETF，為全球主題式ETF中表現最為強勢。法人分析，今年以來地緣政治衝突不斷，各國積極擴充軍備需求，再加上川普將軍備輸出作為關稅談判貿易手段之一，帶動軍工相關概念股表現亮眼；AI 科技部分，其應用需求落地，技術發展持續擴張，搭配到軍備技術更新。00965 受惠第一大持股台積電（2330）、第二大三菱重工、以及第三大的輝達（NVDA）股價大漲，帶動其今年以來績效亮眼。 AI、軍工「雙吃」，00965 今年來表現更勝黃金ETF，其原因來自於軍工產業鏈的訂單都是各國政府，各處衝突與政府國防預算提升，導致軍備需求供不應求，以生產 F—35 戰機的洛克希德馬丁（Lockheed Martin）為例，近期美軍追加 296架戰機，包含英國、德國、日本、韓國訂單，預計在 2035 年前總數會達到 3,100架，需求面強勁

新頭殼・ 1 天前

美降息循環確立三類債券擔任領頭羊

【記者柯安聰台北報導】美國就業市場出現趨緩跡象後，聯準會已在9月宣布降息1碼，9月FOMC會後公布點陣圖顯示2025年底前還有2碼的降息機會。上週美國9月ADP就業報告意外爆冷，市場提高聯準會10月底...

自立晚報・ 1 天前

蘇元和觀點》降息是表演縮表是主戲美國央行在演哪一齣戲？

[Newtalk新聞] 近期，美國聯準會（Fed）、歐洲央行（ECB）與日本央行（BoJ）分別釋出不同程度的貨幣政策訊號，美聯儲開始降息，ECB官員暗示暫無意願調整利率，意旨不傾向降息，而日銀則持續緩步退出寬鬆。然而，若觀察三大央行的資產負債表變化，實際上都呈現縮表（Quantitative Tightening, QT）趨勢（見圖一、二）。這與市場對「流動性鬆動、資金回流」的期待，恐怕出現落差。美國降息的消息一度提振股市與黃金市場，市場對資金寬鬆的預期升溫。然而在另一面，聯準會的縮表操作仍持續進行，逐步抽離金融體系中的流動性。這場「降息」行動表面上安撫市場情緒，實質上卻伴隨著一場看不見的緊縮進程。資產負債縮減降息效果被抑制理論上，降息應有助於刺激信貸與投資，帶動經濟活動。然而，若同時進行縮表操作，回收基礎貨幣，整體市場流動性反而可能下降。根據截至 2025 年的統計數據，美聯儲總資產已縮減至約 6.7 兆美元，明顯低於疫情期間的高峰水準。這意味著「降息」與「縮表」的並行，產生了名義寬鬆、實質緊縮的矛盾效果。銀行體系資金減少、長期利率上升，企業與家庭的融資成本反而未降。這場貨

新頭殼・ 5 小時前

台北也能感受慢生活！台東「慢活創生山海市集」週末圓山花博園區登場

[Newtalk新聞] 2025「慢活創生」台東山海體驗快閃市集10月11日、12日將在台北圓山花博園區MAJI MAJI集食行樂玻璃屋廣場登場！現場不僅有5個「慢慢玩台東」入口，展現台東山和海的多元魅力外，還有「創生小講堂」分享會和6種具有台東特色的體驗工作坊可以參與，邀請所有喜歡「慢生活」的朋友前來體驗。今年「慢活創生」台東山海體驗快閃市集以「Taitung Calling」為主題，帶著多元體驗內容和台東在地魅力，呼喚大家親自走進台東，體會慢生活和創新的結合。國慶連假末兩天，台北圓山花博園區MAJI MAJI集食行樂玻璃屋廣場中午12時到晚間20時將舉辦「慢活創生」台東山海體驗快閃市集。活動內容包括5個慢慢玩台東入口、6種具有台東特色的體驗工作坊和「創深小講堂」跨域分享會，邀請到「少年阿公」方子維和「一樹一山」推動者黃一峯主講，邀請現場的觀眾朋友一起走進市場、走進部落。而現場的6大台東特色體驗工作坊主題則包括琉璃珠飾品、南島支架大洋舟模型DIY、康普茶微醺體驗、頌缽音療、海洋杯墊與森林燭台製作等課程，透過親手實作改受台東創生的魅力。查看原文更多Newtalk新聞報導走進大自然

新頭殼・ 1 天前

讓全球看見台灣女性自信鄭珊汶抱回「世界魅力夫人」亞軍與國服冠軍

[Newtalk新聞] 台灣小姐選美出身的鄭珊汶，9月23日代表台灣參加在印度舉行的Mrs. Glam World(世界魅力夫人)全球總決賽，與來自世界數十國的佳麗同台競艷，最終以穩健卓越的表現榮獲亞軍及象徵文化軟實力的國服冠軍，不僅展現個人風采為國爭光，更讓世界看見台灣女性的智慧與自信。鄭珊汶9月15日從高雄搭機出發，為期一週的賽程中，每天都面臨不同挑戰，主辦單位安排多樣化活動，包括贊助商的拍攝與宣傳，首日登場的「廚藝挑戰」，參賽佳麗必須完成切菜、擺盤與刀工測試，隨後還有才藝比賽與即興機智問答，考驗佳麗們的臨場反應與國際視野。鄭珊汶一路過關斬將，雖然自己對廚藝並不在行，但還是順利發揮個人實力，才藝比賽演唱拿手的英文歌曲，機智問答也獲得評審青睞，成功入圍前6強，站上總決賽舞台，在國服比賽項目，鄭珊汶將青花瓷圖案融入改良式旗袍，搭配台灣藍鵲與梅花組合的頭飾，設計巧思驚艷全場，成功吸引國際評審目光，傳達美學與文化上的創意。總決賽艱鉅的最後一關機智問答，6位佳麗必須在一分鐘內現場以全英文回答，題目是：如果您可以影響全球政策，將如何應對女性爭取對自己身體和生殖權利的控制權？鄭珊汶表示她將

新頭殼・ 1 天前

一粒首登紅毯化身白紗仙女！亮相TTXC 2025高雄電影節

EBC東森新聞・ 5 小時前

AI浪潮與降息預期 5檔ETF佈局關鍵一次看

[Newtalk新聞] AI浪潮驅動全球科技產業升溫，美國聯準會釋出偏鴿訊號，市場對未來降息的預期持續升溫，資金可望重返股債市場。以下是國泰證期整理解析五檔具代表性的ETF產品，協助投資人在變動市場中建構穩健又具成長性的ETF投資組合。 1、國泰台灣領袖50（00922） AI巨頭帶動資料中心與手機需求強勁，台灣電子產業受惠。00922於10／20除息，配息1.25元、年化率10%居冠，成立以來次次填息，除息後報酬表現亮眼。台積電權重逾四成，兼顧類股輪動與現金流，長線潛力穩健。 2、群益ESG投等債20 （00937B）美國政府關門未阻降息預期，FOMC紀錄偏鴿，有利長天期投資等級債。00937B為台灣最大投資級債ETF，主打長天期配置與月配息機制，平均配息率逾6%。在利率高檔回落時，資本利得與息收雙受惠，為穩健領息首選標的。 3、富邦台50（006208）美國政府關門風險有限，歷史顯示美股常逆勢上漲。AI需求強勁帶來結構性成長機會，台積電與半導體鏈續旺。降息推動資金回流股市，台股有望再創高。建議投資人持續配置大型股ETF，掌握穩健成長與資金聚焦紅利。 4、主動中信ARK創新（00

新頭殼・ 5 小時前

大摩：權王股價上看1,506

摩根士丹利（大摩）證券在最新報告中，提出三情境預估台積電營收年增率與股價走勢，最樂觀情境下，看好台積電2025年美元營收...

聯合新聞網・ 22 小時前

中國潛艦被拍到在「這裡」集結外媒：疑似進入高度戰備狀態

[Newtalk新聞] 據外媒近日報導指出，最新衛星影像顯示，中國多艘兩棲登陸艦罕見集結於上海長江口外海，疑似是中國海軍進入「高度戰備狀態」的跡象。而這批艦艇包括可搭載直升機與裝甲車的主力登陸艦，若中國對台動武，這些艦船將成為跨海攻台的核心軍力據《新聞週刊》報導，根據歐洲太空總署（ESA）10月6日拍攝的 Sentinel-2 衛星影像，至少三型中國海軍主力兩棲艦艇出現在上海長江入海口一帶。開源防衛分析師安德森（M.T. Anderson）指出，畫面中可見一艘「玉昭級」（071型）登陸艦，排水量約2萬5千噸，能搭載登陸艇、裝甲車及數百名士兵，屬於解放軍兩棲作戰的中堅戰力。 2 艘大型 075 型兩棲攻擊艦和 1 艘 071 型兩棲登陸艦停靠在上海。圖：翻攝自 X@ MT Anderson 同一地點還停泊著兩艘「玉坤級」（075型）兩棲攻擊艦，這型艦被稱為中國版「小型航母」，可搭載28架直升機、60輛裝甲戰鬥車與約800名海軍陸戰隊員。安德森表示，這些大型艦艇同時現身上海，代表艦隊保持高度運作準備，「這樣的集結規模在和平時期相當罕見」。其中，中國唯一一艘「玉瀾級」（076型）兩棲突

新頭殼・ 1 天前