Inside SambaNova's Inference Architecture

SambaNova三層記憶體架構：SRAM/HBM/DRAM的設計邏輯

—AI推論的核心挑戰是在極低延遲下切換大型模型weights。SambaNova透過on-chip SRAM（數百MB/晶片）＋CoWoS HBM（數十GB/晶片）＋板載DRAM（1-2TB/socket）三層架構解決此問題，三層皆可從晶片直接定址。HBM主要用來載入weights至SRAM，推論過程中計算不回寫HBM，因此對HBM頻寬需求遠低於GPU——這也解釋為何SN40L/SN50仍使用HBM2E而非HBM4。同類競品MatX用SRAM+HBM，d-Matrix用SRAM+3D DRAM，各有不同記憶體頻寬取捨。

AI推論硬體的記憶體架構正在分歧：GPU依賴HBM頻寬、Groq以大量SRAM換低延遲、SambaNova以三層記憶體在容量與速度間取得平衡。三層記憶體讓SambaNova可在SRAM不足時從HBM/DRAM平滑補位，是其差異化的核心設計。此架構的性能優勢需在多模型切換場景下才能完全體現，通用推論性能仍需與Hopper/Blackwell實際比較

RDU與GPU的運算模式差異：確定性dataflow vs 核函數迴圈

—GPU推論每步kernel計算後都需將中間結果寫回HBM再讀回，造成大量記憶體存取延遲。SambaNova RDU則由compiler預先決定所有PCU（算術引擎）與PMU（SRAM scratchpad）的連線拓撲，計算中間結果留在晶片上的PMU中不出晶片，HBM僅用於初始weights載入。SN40L有1,040個PCU + 1,040個PMU（共520MiB SRAM），SN50規模約翻倍（2,080 PCU/PMU）。可程式化交換矩陣讓compiler得以任意分配計算與記憶體資源給推論流程的各個步驟。

半導體中期

RDU的確定性dataflow架構（compiler預先分配PCU/PMU資源）是與GPU kernel-based設計的根本差異，等同將原本反覆存取HBM的延遲省掉。這套架構讓HBM頻寬不再是推論的主要瓶頸，但也意味著compiler的quality直接決定硬體效率上限——通用性換來可預測的低延遲

機架規模擴展與推論硬體競品定位

—每台SambaChassis有8顆RDU晶片＋2顆x86 CPU，每機架2台共16顆RDU，整機架可視為單一大型晶片，透過scale-up fabric任意路由datapath。機架合計約7GB SRAM、1TB HBM。相較之下Cerebras WSE每wafer有44GB SRAM，每機架2片共88GB SRAM，SRAM密度大幅領先；Nvidia Rubin NVL144每機架則有20.7TB HBM。SambaNova自評比Groq更靈活（Groq是one-trick pony）、比Cerebras更適合超大型模型（Cerebras在大型模型上有困難）；與Rubin的詳細比較需在paywall後才能看到。