Ex-NVIDIA Engineer: Why AI Is About to Get 1000x Cheaper

AI 推論需求轉向背景 Agent：低延遲與高吞吐量的架構抉擇

—過去 AI 服務以即時聊天機器人為主，硬體極度追求低延遲與小 Batching；然而隨著 Agent 執行長達數小時或數天的複雜任務，未來 90% 的推論算力將轉向背景非同步運算，重點改為極大化晶片利用率與吞吐量
—NVLink 與張量平行處理（Tensor Parallelism）雖然能顯著降低單次矩陣運算的延遲，但通訊開銷導致硬體擴展效率呈現次線性；若轉向流水線平行或專家平行，雖然延遲增加但整體經濟效益更高

$NVDA ↑看多短期

雖然 NVLink 的互連成本極高且主要服務低延遲推論，但其 NVL72 整合機櫃將整座機架視為單一運算單元，在極致吞吐量與低延遲兩端均保持領先。短線對其市場龍頭地位與產能定價權持看多態度，競爭對手難以在短期內複製其全棧系統生態

AI算力 ↑看多長期

推論算力需求並非投機性支出，而是隨 Agent 背景任務自動化運行而單調遞增。隨著單位 Token 成本下降引發彈性需求暴增，AI 算力消耗將擺脫人類注意力限制並迎來長期的結構性成長

—Cerebras 與 Groq 利用全晶圓級 SRAM 提供高達 21 PB/s 的超高記憶體頻寬，能以極高速度運作模型權重；然而 SRAM 佔用晶粒面積巨大且成本高昂，無法應對隨上下文長度暴增的 KV Cache 需求
—Transformer 架構將計算密集的 MLP 層與記憶體密集的 Attention 層放在一起，未來最理想的部署方式是將兩者拆分：由 SRAM 專用晶片處理 MLP 矩陣運算，由搭配高容量 DRAM/HBM 的 GPU 處理 Attention 與 KV Cache

$MU ↑看多中期

晶片業者為了降低成本嘗試各種替代方案，但高容量 DRAM 與 HBM 仍是長上下文 KV Cache 的唯一解答。記憶體大廠對於週期性擴產保持謹慎，資本支出增幅有限。HBM 與高密度 DRAM 的供需緊繃長期化，記憶體製造商享有強勁的定價權與營利彈性

$AMD 中期

其晶片在單位成本算力（FLOPs per dollar）上具備吸引力，且吸引了 Meta 與 OpenAI 等大客戶採購。然而軟體生態與 Kernel 優化程度仍落後，$NVDA 需要客戶自行投入大量工程資源優化。在軟體與並行調度生態成熟前，對其股價方向保持中性觀察

記憶體 ↑看多中期

隨著模型上下文 window 擴大與 Agent 運作時間拉長，KV Cache 對記憶體容量的需求增速遠超晶片算力。記憶體產能與封裝良率是當前 AI 算力供應鏈中最難被替代的實體瓶頸，產業趨勢持續看好

半導體 ↑看多長期

雖然先進製程每瓦效能提升放緩，但異質整合與專用加速器的興起為晶片設計與封裝開闢了新賽道。市場對半導體板塊的長期需求依然堅挺，硬體創新正從單一晶片轉向系統級整合

—在美國建設 100MW 以上大型資料中心極其困難，但 1MW 級別的微型電力節點相對充足；透過液冷技術可將 1MW 算力濃縮至 8 個標準機櫃，極大化空間與電力利用率
—背景 Agent 任務具備極高容錯彈性，即便資料中心因未配備柴油發電機或備援光纖而出現 95% 甚至 80% 的可用性（Uptime），控制平面仍可無縫將任務轉移至其他節點，從而大幅降低基建固定成本

AI基建 ↑看多長期

未來 AI 基建將走向大型訓練中心與分散式推論微型節點雙軌並行。摒棄傳統電網高備援與備用發電機的高昂代價，改採低成本分散式微型資料中心是解開推論電力瓶頸的關鍵策略