AI基礎設施
AI 基礎設施瓶頸轉向資料傳輸，昂貴 GPU 可能因 I/O 等待閒置
結論先講：企業加碼 GPU 後，下一個瓶頸常出現在儲存、網路與資料治理。資料若不在正確位置或格式不一致，GPU 只能等待。AI 投資回報因此取決於整條資料路徑，而不是單一晶片峰值。
4至5倍
頂尖模型運算需求可能年增幅
TB級
單一 GPU 叢集處理資料量
3層
運算、網路與儲存需協同
[ 3 個快取重點 ]
01
AI 會在處理器、儲存與工作負載間產生大量東西向流量。
02
少數連線延遲或資料不一致，就可能讓其他 GPU 一起等待。
03
仍有不確定：報導引述的需求增幅是趨勢估計，不代表每個企業工作負載都相同。
01為什麼 GPU 會空等
模型訓練需要節點同步；任何一段網路或儲存延遲，都會把最昂貴的運算資源變成等待資源。
01 瓶頸如何形成
建置初期
企業採購 GPU 並完成模型微調
擴大應用
資料位置、格式與治理問題浮現
架構調整
運算與儲存改採可獨立擴充設計
空心＝業界正在推動的架構方向。
02採購指標也要變
除了晶片數量，你還要問 GPU 利用率、資料搬移延遲、失敗重試與跨雲成本。
Bottom line
AI 工廠的產能不是 GPU 規格表，而是最慢那一段資料路徑。
- 原始報導
- 科技新報
- 改寫方式
- 快取新聞不轉載原文。我們讀完原始報導後，用自己的話重寫成結論、三個重點與一張圖。數字均取自上列來源，未經我們獨立查證。
- 單位
- 「pt」為百分點，指兩個百分比的差，不是成長率。標示「預估」或斜線紋樣者為推估值，非已實現數字。
更正紀錄本篇尚無更正。若你發現錯誤，寫信到 corrections@cachenews.tw，我們會在文末公開記錄更正內容與時間。