GPU 加速器
執行大量矩陣與張量運算,是 AI 訓練與推論的核心加速器;實際效能也受資料供應、記憶體與互連影響。
研究時先問瓶頸在運算,還是 GPU 等不到資料?
看 GB200 托盤裡的 GPU →從 GPU 開始,沿著資料、電力與熱的路徑,看懂 AI 伺服器。先用六個元件建立全貌,再用 GB200 NVL72 機櫃看實際配置,最後把台股公司放回價值鏈上。
執行大量矩陣與張量運算,是 AI 訓練與推論的核心加速器;實際效能也受資料供應、記憶體與互連影響。
研究時先問瓶頸在運算,還是 GPU 等不到資料?
看 GB200 托盤裡的 GPU →HBM 緊靠加速器,提供高頻寬工作空間;系統 DRAM 支援主機程式與資料處理。兩者用途相關,但不是同一個位置的資源。
研究時先問模型與工作資料放得進記憶體嗎?搬運會不會變成瓶頸?
記憶體頁 →負責作業系統、程式流程與部分資料前處理,和加速器協同工作。Agent 工作流裡的工具呼叫、流程控制與隔離沙盒也多在 CPU 上執行,角色變重NVIDIA 2026-03 說法。
研究時先問前處理、工具呼叫這些主機端工作,跟得上加速器嗎?
伺服器 CPU 誰設計、誰製造 →機櫃內的 GPU 互連與跨機櫃網路,負責不同尺度的資料交換;網卡、交換器與線纜共同構成通訊路徑。
研究時先問資料在機櫃內交換,還是要跨機櫃?通訊等待有多大?
看櫃內與跨櫃兩套路 →保存資料集、模型檔案與檢查點,並供應執行時要載入的資料;容量與讀寫速度要配合工作流程。
研究時先問資料載入、檢查點寫入或共享存取,會不會拖慢工作?
NAND 與儲存分層 →電源提供穩定能量,散熱把運算產生的熱帶離晶片。高密度 AI 機櫃已改用液冷,其他元件依世代仍可能風冷。
研究時先問機房撐得住所需電力、散熱方式與維護條件嗎?
看供電與液冷 →Blackwell 是 GPU 架構名稱;GB200 是 Grace CPU 與 Blackwell GPU 的組合;NVL72 才是把 72 顆 GPU 連起來的機櫃級系統。以下用 GB200 NVL72 當教學範例:它是 2024 年首批量產的機櫃世代,2025 年的 GB300 與 2026 下半年出貨的 Vera Rubin NVL72 都沿用同一副骨架(見下方世代對照)。
官方規格:NVIDIA GB200 NVL72 產品頁(GPU/CPU、130 TB/s)、NVIDIA DGX GB 使用手冊 Hardware(托盤、約 120 kW、電源架、50–51 V);核對日 2026-10-08。
兩側藍綠虛線=液冷歧管位置示意,看液冷章節 →
一個 GB200 Superchip=1 顆 Grace CPU+2 顆 Blackwell GPU;每個運算托盤有兩組,所以是 2 CPU+4 GPU,18 個托盤合計 72 GPU、36 CPU。Grace 是 Arm 架構的主機 CPU。
托盤數量與上下分布(上 10、中 9、下 8)依 NVIDIA DGX GB 使用手冊與 Gigabyte GB200 NVL72 規格表繪製;電源架數量、管路位置與晶片外形為簡化;晶片連線只表示協作,不是完整拓撲。
整櫃 NVLink 130 TB/s。交換托盤只負責連通,不執行模型運算;72 顆 GPU 也不會自動變成一顆,模型切分與通訊仍要靠 NCCL 等軟體安排。
機櫃越多,越要看跨櫃通訊等待。距離拉長多改用光模組;交換器端的 CPO 等新做法見光通訊頁。
還有第三套:管理網路。BMC 帶外管理、NVLink 管理各走獨立的低速網路,和模型資料交換分開;NVIDIA 系統文件列出 GB200 機櫃部署共 5 套網路。管理交換器不能當成 NVLink 交換器。
交換器、SerDes 與銅纜/AEC →光模組與 CPO →
← 左右滑動看三代 →
| 項目 | GB200 NVL72 | GB300 NVL72 | Vera Rubin NVL72 |
|---|---|---|---|
| 狀態(NVIDIA 說法) | 2024 年首批出貨 | 2025 年出貨 | 2026-05-31 宣布全面量產,2026 下半年出貨 |
| CPU+GPU | 36 Grace+72 Blackwell | 36 Grace+72 Blackwell Ultra | 36 Vera+72 Rubin |
| 機櫃內 CPU:GPU | 1:2 | 1:2 | 1:2 |
| 托盤 | 18 運算+9 NVLink 交換 | 18+9(DGX GB 使用手冊) | 18+9 |
| 整櫃 NVLink | 130 TB/s | 130 TB/s | 216 TB/s(產品頁)見下方註 |
| 整櫃 GPU 記憶體 | 13.4 TB HBM3E | 20 TB | 20.7 TB HBM4 |
| 每托盤網卡 | 4 × ConnectX-7 400G | 4 × ConnectX-8 800G | ConnectX-9(張數未核) |
| 散熱 | CPU/GPU 冷板,其他元件風冷 | 產品頁稱全液冷機櫃架構 | 運算托盤無風扇、無線纜、無水管;入水溫 45°C |
| 整櫃功耗 | 約 120 kW | 官方頁未列 | 官方頁未列 |
NVIDIA 現役 CPU 已從 Grace 進到 Vera:Vera 採 NVIDIA 自研 Olympus 核心,每顆 88 核(官方整櫃 3,168 核 ÷ 36,本頁計算);誰設計、誰製造見半導體頁的伺服器 CPU 分工表。VR 的 NVLink 官方兩處不一致:產品頁寫 216 TB/s(每 GPU 3 TB/s),2026-03 GTC 技術文章寫 260 TB/s(每 GPU 3.6 TB/s),表內採產品頁。出貨量是券商估計:國泰(2026-09-24 p.4)估 3Q26 Vera Rubin 不到百櫃、4Q26 近 3,000 櫃。來源:NVIDIA GB200/GB300/Vera Rubin NVL72 產品頁、DGX GB 使用手冊、NVIDIA 技術部落格〈Vera Rubin POD〉2026-03-16、NVIDIA 新聞稿 2026-05-31;核對日 2026-10-08。
GPU 的 HBM 放模型運算需要的資料;Grace CPU 有自己的系統記憶體(LPDDR5X),支援主機程式及資料處理;SSD 保存模型、資料與檢查點。高速互連可以加快搬運,仍不能把三者當成完全相同的記憶體。
電源架先轉換電力,配電結構把它送到托盤,板上電路再把電壓降到晶片需要的範圍。兩種架構上下並排,銅框是兩者不同的地方。
電壓出處:GB200 機櫃 50–51V(NVIDIA DGX GB 使用手冊);48V/54V 是不同設計常見的名目電壓。415/480V 三相交流、13.8kV、800V→54V/12V 出自 NVIDIA 2025-05-20 技術文章與 2025-10 OCP 發表。功能路徑示意,非接線圖;省略保護、隔離、UPS 等細節。
現行 GB200/GB300 NVL72 機櫃內是約 50–54V 直流匯流排,沒有採用 800VDC。800VDC 是配電層級,進到機櫃後仍要轉成 54V 或 12V,再由 VRM 降到核心電壓。
同樣直流功率下,P=V × I:電壓提高,所需電流降低。在導體電阻相同的假設下,I²R 損耗也會降低。但高壓需要相應的隔離、保護、連接器與降壓設計,不能把 800V 直接送進 GPU 核心。
PSU 是電源轉換模組;電源架可整合多個模組與管理功能。看轉換效率、容量、功率密度與備援。
把電分配給設備。關注載流、接觸電阻、溫升與可靠度;它們不是負責穩壓的晶片。
靠近負載調節電壓。控制器、功率級、電感與電容協作,多相分擔電流並改善輸出特性。
功率級:切換與控制能量傳遞。電感:儲存磁場能量並協助平滑電流。電容:濾波、降低電壓波動,支援瞬間負載變化。元件必須一起設計,不能單看電容數量或相數就判斷好壞。
固定輸出 100 kW 的單段轉換教學例。拖曳效率,查看輸入電力與損耗;不是任何產品的實測規格。
輸入=輸出÷效率;損耗=輸入-輸出(90% 時損耗是 11.11kW,不是 10kW)。實際效率會隨負載、溫度與電壓改變;多段轉換總效率要相乘,不能相加。
對照:約 120 kW 的 GB200 機櫃,若某一段轉換效率 96%,這一段就損耗約 5 kW本頁計算 120÷0.96−120
N+1:在需求所需的 N 個模組外,多配一個模組作備援。N+N:整整多配一倍,一半模組失效時,剩下的一半仍撐得住全部負載。UPS/電池、電容備援:提供一段時間的能量緩衝,並不等於多放幾顆 PSU。
GB200 實例:8 個電源架 × 每架 6 顆 5.5 kW 氣冷 PSU,採 N+N,整櫃功耗約 120 kW官方規格:DGX GB 使用手冊。安裝容量 8 × 6 × 5.5 = 264 kW,一半是 132 kW,仍高於 120 kW 負載本頁計算。
產品是在機房、機櫃還是板上?負責轉換、配電或儲能?客戶驗證的是哪個電壓與負載條件?性能提升能否在效率、可靠度與成本上同時成立?
電力價值鏈上的台股 →被動元件:電感與電容 →PCB:供電與板材 →
原理來源(核對日 2026-10-08):NVIDIA:800VDC 配電與下游降壓(2025-05-20)NVIDIA:DGX GB 電源架、N+N 與匯流排NVIDIA:Vera Rubin POD 與 Kyber(2026-03-16)SDxCentral:轉述 SemiAnalysis Kyber 延至 2028(2026-07-06)Texas Instruments:多相降壓原理
沿著供液與回液,看懂冷板、歧管、CDU 與機房的分工。下圖採單相冷板式液冷與液對液 CDU(GB200/GB300/Vera Rubin NVL72 都是冷板式),並非所有液冷架構的共同配置。
隔著金屬把熱交給液體:冷卻液流過冷板內部,透過散熱介面帶走 CPU/GPU 的熱,不直接接觸電路板。
看:通道設計、接合與熱阻歧管把供液分到各托盤、再收集回液;快接頭方便插拔維護,要顧密封、壓降與材料相容性。
看:密封、壓降、插拔可靠度、漏液偵測推動二次側冷卻液循環,並透過熱交換器把熱交給機房一次側,兩側液體不混合。
看:熱交換、泵浦備援與控制。例:台達一款液對液 CDU 在 6°C 接近溫差、二次側 1,500 LPM 下標 1,500 kW;4°C、1,524 LPM 時只剩 1,016 kW公司規格——冷卻能力要連條件一起看。機房迴路把熱送往冷卻塔、乾式冷卻器等後端設施。CDU 不會讓熱消失,也不一定本身是冷凍機。
看:機房供水溫度與改造條件路徑、顏色與尺寸為教學示意,省略部分管路、泵浦與感測器。顏色不代表實際溫度;熱交換器兩側液體不直接混合。
| 方式 | 熱先交給誰? | 需要理解的取捨 |
|---|---|---|
| 風冷 | 散熱器與空氣 | 風量、氣流與環境溫度影響散熱;高密度時要處理風阻、噪音與風扇用電。 |
| 冷板式液冷 | 冷板,再到內部冷卻液 | 管路、密封、流量與維護;其他元件仍可能需要風冷,不等於整台浸在液體裡。NVIDIA NVL72 機櫃三代都屬這一類。 |
| 單相浸沒式 | 與設備接觸的介電液體 | 液體不靠沸騰帶熱;需驗證材料相容性、維護方式及設備配置,不能使用普通水替代。 |
| 兩相浸沒式 | 介電液體沸騰、蒸氣再凝結 | 透過相變帶熱,需考慮工質、凝結與密封等條件;與單相系統不同。 |
不一定。液對液(L2L)CDU 把熱交給機房液體迴路;液對氣(L2A)方案則把熱交給空氣,仍需機房空調處理。選擇取決於機房條件、功率密度及改造方式。
增加流量通常也增加壓降與泵浦需求;供液太冷需考慮露點與結露。冷板通道、熱阻、供液溫度、流量及機房條件要一起設計,不能只看單一指標。NVIDIA 反而把 Vera Rubin 的入水溫拉高到 45°C,讓更多機房能用乾式冷卻、少開壓縮機(公司說法)。
原理來源(核對日 2026-10-08):台達:液對液 CDU 規格與一次/二次側隔離台達:液對液、液對氣與浸沒式冷卻Intel:單相浸沒式冷卻驗證(2025-05-13)
硬體提供算力,軟體決定資料怎麼送進去、工作怎麼分配,以及結果怎麼交付。三種工作並排看,每一欄由上而下是流程順序。
| 層級 | 負責什麼 | 需要程度 |
|---|---|---|
| OS、韌體、GPU 驅動 | 讓主機與 GPU 正常運作;GB200 Grace 主機需留意 Arm64 支援。 | 基礎必要,使用供應商驗證的相容組合。 |
| BMC 遠端管理 | 主機板上獨立的管理晶片與韌體:遠端開關機、監控溫度、電壓與風扇、記錄故障、更新韌體;主系統當機時仍可連線。 | 資料中心伺服器標配,由伺服器廠整合;管理端多透過 Redfish 等標準介面操作。 |
| CUDA 與運算函式庫 | 讓框架與引擎呼叫 GPU 運算。 | CUDA 工作負載需要相容執行環境;完整開發 Toolkit 不一定要另外裝在每個主機上。 |
| NVLink 管理/NCCL | 前者管理互連系統;後者供應用交換多 GPU 資料。 | 角色不同;GB200 的 Fabric Manager、NVLink Subnet Manager、NMX 跑在交換托盤上,不是一律裝在 GPU 主機。 |
| 框架/推論引擎 | 例如 PyTorch 或相容的 TensorRT-LLM/vLLM。 | 依模型、工作與版本選用,不必全部安裝。 |
| 容器/排程/監控 | 打包環境、分配資源、觀察健康狀態。 | 依規模選用;Kubernetes 與 Slurm 不是啟動 GPU 的必備前提。 |
BMC(基板管理控制器)像每台伺服器上的遠端管家,有自己的處理器、記憶體與網路埠,和主系統分開運作,所以主機當機時工程師仍能遠端處理。一般以一個伺服器節點配一顆設計,因此 BMC 出貨常被當成伺服器出貨的觀察指標;機櫃級 AI 系統的運算、交換等托盤也有各自的管理需求,實際顆數依設計而定。台股的信驊(5274)是主要 BMC 晶片供應商之一,產品如 AST2600、AST2700。
驅動、CUDA runtime、框架、GPU 架構與 Arm64 套件必須相容;容器不能修復所有主機驅動問題。部署前應核對供應商支援矩陣、映像架構與模型需求,而不是只看 CUDA 版本號。
先看 GPU 是否在等待資料,再看 HBM 容量、跨 GPU 通訊、儲存讀取與 CPU 前處理。推論另外看排隊時間、KV cache、同時請求數與每個請求的回應速度;訓練看每步時間及通訊占比。
官方原理來源(核對日 2026-10-08;實際安裝版本以供應商相容矩陣為準):NVIDIA:DGX GB 硬體、供電與散熱NVIDIA:GB200 系統拓撲與網路分工NVIDIA:GPU Operator 與軟體元件NVIDIA:DGX GB 軟體指南(NVLink 管理元件位置)NVIDIA:框架與容器相容矩陣NVIDIA:TensorRT-LLM 與 Triton 推論服務信驊:AST2700 伺服器管理晶片DMTF:Redfish 遠端管理標準
模型根據資料更新參數。多 GPU 訓練時,除了運算與記憶體容量,也需要協調 GPU 間的資料交換。
模型根據輸入產生結果。關注回應延遲、吞吐量與記憶體使用;長上下文或多使用者同時請求,會改變資源需求。
增加節點時,也需配合網路、儲存、排程、電力與冷卻。GPU 數量增加,並不保證應用效能等比例成長。
代理任務會自己規劃步驟、呼叫工具、開網頁或執行程式,再檢查結果、決定下一步。GPU 仍負責模型推理;流程控制、工具執行與常駐的隔離環境大多落在 CPU,CPU 與系統記憶體的需求因此上升。NVIDIA 也為此推出整櫃最多 256 顆 Vera CPU、專跑 agent 與強化學習沙盒的 CPU 機櫃NVIDIA 2026-03 說法。
產業說法:AMD 執行長蘇姿丰在 2026-05 財報電話會議說,過去 CPU 多半只當 GPU 的主機節點,配比約 1:4 或 1:8,現在「正往 1:1 靠近」;她也設想 agent 數量很多時,CPU 甚至可能多於 GPU。這指的是整體算力部署的配比,不是單一 GPU 機櫃——本頁的 GB200 NVL72 機櫃本身是 36:72=1:2。AMD 賣 CPU,屬利害關係人說法;國泰(2026-09-24 p.4)也預期配比由 1:4 往 1:2 或 1:1 移動,同樣是推估券商估計。目前沒有第三方出貨統計佐證。反面訊號:Amazon 已限制 Meta 的 AI 助理 Muse 進入其購物網站(國泰 p.3);這個說法若要成立,要看 Intel/AMD 伺服器 CPU 季度出貨是否真的跟著放大。逐字引述(247wallst 2026-05-12)↗ AMD 投資人關係:季度財報與電話會議 ↗
把公司放回價值鏈上的位置:每一環先寫「看什麼」,再列研報或公司官網點名過的台股。
名單是券商點名/公司自述,非市占、非推薦,也不是完整名單;每家公司旁標出處與日期。台股代號已對照上市櫃清單。
看:x86 與 Arm 的比重。國泰估 Arm 伺服器 CPU 2028 年市占有機會往 30%(券商估計)。
看:每個節點、托盤配幾顆。
看:櫃內銅纜與跨櫃光連線的分工。
看:每顆 GPU 的 HBM 容量與世代。
看:換代時單價升、毛利率可能降(國泰 p.2、p.4)。
看:微通道設計;垂直供電讓晶片下方也要散熱,帶出雙面水冷。
看:每櫃用量隨世代增加,華南估 GB300 全櫃 360 顆、VR200 約 450 顆(券商估計)。
看:密封、壓降與漏液偵測。
看:熱交換能力(要連溫差條件看)、泵浦備援。
看:供水溫度;入水溫拉高可多用乾式冷卻。
研報出處:國泰期貨投顧〈4Q26 伺服器產業展望〉2026-09-24、〈2H26 電源產業展望〉2026-06-08、〈散熱產業:微通道升級,雙面水冷開啟新架構〉2026-08-12;華南投顧〈散熱產業速報〉2026-07-09。皆為原始 PDF 頁碼,核對日 2026-10-08。
伺服器是運算節點;機櫃承載運算、交換、供電等設備;叢集則將多個節點透過網路與軟體協同運作。機櫃級系統的配置可能跨越多個運算托盤,不能一律當作單台傳統伺服器。