輝達攜手雲端巨頭！多節點架構效能倍增、成本減半一次看
[Newtalk新聞] 當今最複雜的 AI 模型，像是大規模混合專家（MoE）模型，要達到業界領先的效能，必須將推論任務分散到多台伺服器（節點）上，這樣才能同時服務數百萬使用者，並確保回應速度迅速。
NVIDIA 的 Dynamo 軟體平台將這種強大的多節點處理能力帶入實際生產環境，使企業能夠在現有的雲端基礎設施上，實現基準測試中所顯示的卓越效能和高效運行。
以下是輝達發布最新動向，探討多節點推論如何提升效能，以及各大雲端平台如何實際運用這項技術來達到最佳效果。
善用解構式推論 最佳化效能
對於能完整放在單一 GPU 或單一伺服器上的 AI 模型，開發者通常會在多個節點上平行運行許多相同模型的複本，以提供高輸送量。Signal65 首席分析師 Russ Fellows 在近期一篇技術報告中指出，這種作法搭配 72 顆 NVIDIA Blackwell Ultra GPU，首次創下每秒 110 萬個詞元 (token) 的聚合輸送量紀錄。
而當 AI 模型需要擴充，以即時服務大量同時上線的使用者，或是需要處理輸入序列極長的高負載工作時，採用稱為解構式服務（disaggregated serving）的技術，便能進一步釋放效能並提升效率。
AI 模型在提供服務時，大致可分為兩個階段：處理輸入提示的預填（prefill）階段，以及產生輸出結果的解碼（decode）階段。傳統上，這兩個階段都在同一組 GPU 上執行，容易降低資源使用效率。
解構式服務的做法，是將這些工作智慧地分配到分別最佳化的 GPU 上。如此，每一部分工作都能套用最合適的最佳化技術，極大化整體效能。對於當今大規模的 AI 推理與混合專家模型（如 DeepSeek-R1），解構式服務便是其中的關鍵技術。
NVIDIA Dynamo讓解構式服務等功能，能輕鬆擴展至 GPU 叢集層級，導入實際生產環境。這項能力已經開始創造實際價值。
以 Baseten 為例，該公司透過 NVIDIA Dynamo，將長脈絡程式碼生成的推論服務速度提升 2 倍，輸送量提高至 1.6 倍，且完全不需要額外的硬體成本。這類由軟體驅動的效能提升，讓 AI 服務供應商可以大幅降低生產智慧的成本。
在雲端擴展解構式推論
就像當年協助大規模 AI 訓練一樣，Kubernetes 做為容器化應用管理的業界標準，也同樣非常適合用來將解構式服務擴展到數十、甚至數百個節點，滿足企業級 AI 佈署需求。
隨著 NVIDIA Dynamo 現已整合進所有主要雲端供應商的託管式 Kubernetes 服務中，客戶可以在包括 GB200 與 GB300 NVL72等 NVIDIA Blackwell 系統上擴展多節點推論，同時滿足企業 AI 佈署對效能、彈性與可靠性的嚴格要求。
Amazon Web Services 現正透過 NVIDIA Dynamo，並結合 Amazon EKS，為客戶加速生成式 AI 推論。
Google Cloud 在其 AI Hypercomputer 上提供 Dynamo 配方（recipe），以在企業規模下最佳化大型語言模型（LLM）推論。
Microsoft Azure 透過 Azure Kubernetes Service，搭配 NVIDIA Dynamo 與 ND GB200-v6 GPU，實現多節點大型語言模型推論。
Oracle Cloud Infrastructure（OCI）結合 OCI Superclusters 與 NVIDIA Dynamo，提供多節點大型語言模型推論能力。推動大規模多節點推論的腳步，已不僅止於超大規模雲端服務業者。
例如 Nebius 正在設計其雲端平台，目標是大規模提供推論工作負載服務，並以 NVIDIA 加速運算基礎設施為基礎，以生態系夥伴角色使用NVIDIA Dynamo 協作。
在 Kubernetes 上結合 NVIDIA Grove 與 NVIDIA Dynamo，簡化推論流程。解構式 AI 推論需要協調多個專門元件的運作，包括預填（prefill）、解碼（decode）、路由（routing）等，而且每個元件都有不同需求。Kubernetes 現在面臨的挑戰，不再只是啟動更多平行的模型複本，而是如何巧妙地將這些不同的元件整合成一個運作順暢、效能卓越的系統。
NVIDIA Grove 是一套現已整合進 NVIDIA Dynamo 的應用程式介面，可讓使用者以單一、高層級的規格描述整個推論系統。
例如，在一份規格中，使用者只需要清楚宣告需求：「我需要 3 個用於預填階段的 GPU 節點，以及 6 個用於解碼階段的 GPU 節點，而且同一個模型複本所需的所有節點，都必須部署在同一個高速互連網路上，以獲得最快速的回應。」
在取得這份規格後，Grove 會自動處理所有繁複的協調作業：在維持正確比例與相依性的前提下，擴展相關元件，依正確順序啟動，並在叢集中策略性配置，確保溝通快速且高效。想了解如何開始使用 NVIDIA Grove，可參閱相關技術深度解析。
隨著 AI 推論日益走向分散式架構，Kubernetes 結合 NVIDIA Dynamo 與 NVIDIA Grove，將大幅簡化開發者建置與擴展智慧型應用程式的方式。
更多Newtalk新聞報導
12月降息機率驟降！ 美股道瓊暴跌近800點、台積電ADR下殺近3％
營收破百億、EPS 22.8 元！新代科技搶先布局AI有成
其他人也在看
美語老師定居台灣！嘆「此生最後悔決定」狂列4缺點 眾人驚呆：好中肯
近日有位外國人在論壇上發文抱怨，自己來台灣旅遊後愛上台灣，決定在台灣定居，並在補習班擔任美語老師，然而實際定居後他卻直言「搬來台灣是我人生中最糟的決定」，點出台灣人雖然友善，但都是「有禮貌的疏離」，至於台灣年輕人他則評價「普遍沒什麼幹勁，整天活在網路世界裡」，長文曝光後許多台灣網友直言「滿中肯的」。
三立新聞網 setn.com ・ 14 小時前
又要變天了！下週「這天」暴跌10度 一圖看未來天氣
今（22）日環境仍吹東北風，各地早晚偏涼，不過隨著冷空氣逐漸減弱，白天溫度持續回升。氣象粉專「台灣颱風論壇｜天氣特急」表示，下週二將有新一波東北季風再度南下，氣溫大跌10度左右，北部、宜蘭最低下探16-18度左右，其他地區也會掉回20度。
三立新聞網 setn.com ・ 1 天前
曾經的奪冠功臣 道奇拜了6月TJ手術的昔日終結者菲利浦斯
今年完成世界大賽2連霸的洛杉磯道奇今（22日）再傳出球員異動，由於今天是大聯盟不續約（Non-tender）最後期限，他們確定不與今年6月剛動完TJ手術的前終結者菲利浦斯（Evan Phillips），但棒球事務部總裁Andrew Friedman仍強調，他們有意願再次簽回他。
太報 ・ 1 天前
黃國昌、盧秀燕站搭高鐵「沒搭商務艙」 律師：當民眾是猴子？
即時中心／温芸萱報導社群平台Threads近日瘋傳民眾主席黃國昌與台中市長盧秀燕在高鐵站著滑手機的畫面，引發網友討論。對此，律師林智群今（23）日在臉書痛批，若本業表現不佳，包括推違憲法案、亂刪預算、火力發電堅持不改天然氣、花3.6億元辦購物節、垃圾山問題擺爛、興建巨蛋等，卻省小錢（商務艙的錢）花大錢（亂花預算），還要大家感動，以為民眾是朝三暮四的猴子嗎？
民視 ・ 6 小時前
這波冷空氣來真的！氣象署示警下週三氣溫大跳水 最冷時間曝
[Newtalk新聞] 今(22)日受東北季風影響，北部及東北部有雨，氣象署指出，明(23)日起水氣減少，各地天氣轉乾，氣溫回升。不過好天氣持續不久，下週二(11/25)起另一波東北季風南下，北台灣將再度轉濕冷，週三(11/26)低溫恐下探16度，民眾應留意氣溫劇烈變化。 根據未來降雨趨勢圖顯示，今(22)日東北季風增強，迎風面的北部、東半部地區有局部短暫雨，其中基隆北海岸及宜蘭降雨較明顯，中南部則維持多雲到晴。到了週日(11/23)，環境轉乾，東北季風減弱，全台降雨顯著減少，僅東半部有零星雨勢，是未來一週天氣最穩定的一天。週一(11/24)水氣稍增，東半部降雨機率略微提高，但整體仍屬舒適。 氣象署進一步強調，天氣轉折將出現在下週二(11/25)。屆時另一波東北季風增強，影響時間預計持續至週五(11/28)。這波冷空氣伴隨水氣較多，北部及東半部地區將轉為陰雨天氣，降雨範圍擴大，中南部雲量也會增多。 今(22)日北台灣整天濕涼，氣象署表示，未來一週溫度趨勢低溫約18至20度，高溫僅22度左右；中南部早晚亦涼。隨著週日(11/23)至週一(11/24)東北季風減弱，各地氣溫將明顯回升，北部
新頭殼 ・ 1 天前
做檢驗才驚覺「長期營養不良」！藍心湄早餐改這樣吃，拯救掉髮＋瘦回緊緻好身材！
吃對早餐，不只抗老，還能幫助瘦身。時尚教主藍心湄近期在《女人我最大》中分享，她因為改變飲食習慣，不僅頭髮重新長出來，原本「怎麼都瘦不下來」的臃腫感也明顯改善，整個人煥然一新！ 營養不足，掉髮
女人我最大 ・ 2 天前
將迎斷崖式降溫！低溫探15度 「先濕冷、後乾冷」變天時間曝
今（23）日東北季風減弱，中央氣象署表示，清晨各地早晚仍偏涼，各地低溫約16至20度，局部近山區及空曠地區氣溫會在低一些，白天溫度回升，北部及宜花地區高溫約25到27度，中南部、臺東可來到28到30度；降雨方面，臺灣各地大多及澎湖、金門、馬祖為多雲到晴，僅基隆北海岸、東半部地區、恆春半島及大臺北山區有零星短暫雨。此外，氣象專家就提醒，下週二晚起新一波東北季風開始南下，將迎來斷崖式降溫。
三立新聞網 setn.com ・ 15 小時前
出運了！2026年「5大最旺生肖」出爐 第一名事業、財運穩到爆
隨著時間腳步邁入2026年，即將迎來能量極為強勁的「火馬年」（農曆丙午年）！命理專家小孟老師解析新年度的生肖整體流年運勢，直言馬年整體變動感強烈，運勢如同坐雲霄飛車般大洗牌，有人將打起精神迎戰挑戰，但也有人將迎來貴人相助與重大突破，同時點出財運事業前五名的生肖，在新的一年有望荷包滿滿。
三立新聞網 setn.com ・ 1 天前
下週「斷崖式降溫」低溫探14度！2地區「急凍4天」又濕冷
生活中心／周希雯報導本週末天氣回暖，氣象署指出，今（23日）雖清晨各地早晚仍偏涼，但隨著東北季風減弱，白天溫度回升，北部及宜花高溫可達27度，中南部、台東甚至最高到30度。不過氣象專家林得恩提醒，「斷崖式降溫」即將到來，下週二（25日）起又有新一波東北季風，屆時北部、東北部低溫下探15度，南部也只有20度，需多注意氣溫劇烈變化。
民視 ・ 12 小時前
賴清德讚台灣人有錢有閒！他引韓國瑜金句狠打臉 網全暴動
韓國女團TWICE在高雄舉辦演唱會，總統賴清德21日表示，許多人不僅有錢而且有閒，可以還買演唱會的門票去觀賞，也代表台灣這幾年來的經濟進步，提供本土藝術創作者發揮的空間，引發爭議。有粉專直言比起賴清德，立法院長韓國瑜金句「莫忘世上苦人多」，到現在都還貼近老百姓。此話一出，湧入破千網友的大讚。
中天新聞網 ・ 8 小時前
金馬獎紅毯10美盤點！ 林依晨銀紫色禮服強勢登場 黃珮琪蕾絲內搭秀小心機
第62屆金馬獎頒獎典禮今（22）日晚間於台北流行音樂中心登場，這是屬於電影人的榮耀之夜，眾星盛裝現身紅毯，展現一年來淬鍊的實力與風采；其中擔任主持人的楊千霈、頒獎嘉賓桂綸鎂、入圍最佳女主角的黃珮琪都以一身黑禮服強勢登場，還有誰是紅毯上的絕美之星，以下為您盤點。
Yahoo奇摩娛樂新聞 ・ 1 天前
山本、佐佐木不選洋基是「這原因」！總管凱許曼直言：不是我們給不起錢
體育中心／綜合報導道奇「日籍三本柱」大谷、山本、佐佐木讓大聯盟吹起「日本球員」熱潮，加上今年有多位日本球星都透過入札制度挑戰大聯盟，也讓過去曾積極網羅日籍球員的洋基隊動向受關注，對此球隊總管凱許曼（Brian Cashman）除了表達對今井達也的高度興趣，同時也表示其實並不是不願意砸錢網羅山本由伸和佐佐木朗希，而是因為「跟錢無關」的另外原因。
FTV Sports ・ 7 小時前NBA／再缺席3場就喪失資格！詹皇連21年入選最佳陣容紀錄恐中斷
現年40歲的湖人巨星「詹皇」詹姆斯（LeBron James）在本周終於迎來新賽季首秀，在對陣猶他爵士隊的比賽中他取得11分、12助的「雙十」成績，球隊最終也以140：126擊潰對手。而已經連續...
聯合新聞網（運動） ・ 7 小時前
「一刀未剪」被抓包刪掉賴清德「台灣人有錢有閒」！三立：誤解
韓國女團TWICE今（22日）、明兩天將在高雄舉辦演唱會，出身台南的台籍成員周子瑜，出道多年首度在家鄉舞台表演。對此，總統賴清德昨天脫口說出，「台灣人有錢又有閒，可以買演唱會的門票去觀賞」則引發關注。有網友發現，《三立電視》一段標榜著「一刀未剪」的影片中，把賴清德「台灣人有錢有閒」語句給剪掉，讓網友痛罵三立是「媒」。
中天新聞網 ・ 1 天前
粿粿婚變後「同母異父富二代哥哥」韓秉融金援力挺 怒轟范姜彥豐「吃軟飯的爛人」
粿粿與范姜彥豐婚變鬧得滿城風雨，同母異父的哥哥韓秉融從頭到尾挺妹妹挺得毫不猶豫。據了解，韓秉融的生父家底極厚，前陣子過世後留下龐大基金會由他繼承，粿粿這邊的娘家經濟實力向來就不容小覷，也難怪韓秉融會直接開砲，說范姜這些年就是「吃軟飯」。
鏡報 ・ 1 天前
民進確定派「他」選宜蘭縣長！賴清德大讚：專業、正派、溫暖
即時中心／高睿鴻報導民進先前與公民同行，協助推動「全國大罷免」運動，可惜成效不佳，1席都未能罷掉；為了在下次2026年大選站穩腳跟，最近全皆已積極展開戰略布局。總統賴清德昨（22）天晚上，更在親自參加「新北市宜蘭同鄉會」時，大力為新北市長候選人蘇巧慧、宜蘭縣長候選人林國漳拉抬人氣；而對於當前知名度較低、但卻不缺專業度的林國漳，賴清德更是大篇幅力薦，盼鄉親能踴躍相挺。
民視 ・ 7 小時前
男性結紮後精子去哪了？泌尿醫揭「路被封住」神祕結局
男性結紮（Vasectomy）是公認安全有效的避孕方式，但許多人對於手術後「精子去哪了」這個問題充滿疑惑，甚至擔憂精子會累積在體內造成身體負擔。泌尿科醫師陳忠佐近日透過社群媒體進行科普，強調結紮的原理並非讓睪丸停止生產精子，而是巧妙地阻斷了精子排出的路徑。
三立新聞網 setn.com ・ 3 小時前