近日中國清華大學發表一套名為 KTransformers 的開源框架 GitHub 專案，達成用一張 24GB 顯示卡取代 40 萬美元等級的 H100 機櫃，執行完整的 DeepSeek-V3 與 R1 這類大型 MoE 模型。KTransformers 在 AI 圈社群引發熱烈討論，讓沒有昂貴硬體的一般人也有機會在本地端運行超大規模的 AI 模型。
核心思路：把 MoE 當作「稀疏模型」來跑
KTransformers 由清華大學 MADSYS 實驗室、Approaching.AI 與 9#AISoft 共同釋出，採 Apache 2.0 授權，並已發表於系統領域頂級會議 SOSP 2025。它的核心想法建立在一個 MoE（Mixture-of-Experts）模型的本質特性上：稀疏。
以 DeepSeek-R1 為例，總參數量 671B，但每個 token 經過路由器時，只會啟動一小撮專家，數百個專家中只有幾個會被觸發。KTransformers 把這個不對稱性利用到極致：把熱路徑元件（DeepSeek 的 MLA 注意力層與 KV cache）保留在 GPU，把佔絕大多數參數、但每個 token 觸發頻率很低的 MoE 專家放到系統記憶體（RAM）裡。
這代表原本被視為「VRAM 是高牆」的推理限制，被重新拆解成一個多層次的記憶體階層問題：GPU VRAM 是快取、系統 RAM 是主層，NVMe 甚至可以再往下延伸。一張 24GB 的 RTX 4090 加上大約 512GB 系統記憶體，就可以容納完整的 671B 模型。
類似的作法在我們之前報導過的另一個開源專案 Colibri 裡也用了類似的作法，但 Colibri 是將沒激活的專家模型放在 SSD 裡，導致速度非常慢（但跑得起來）。
把專家搬到 CPU 的關鍵：極快的 CPU kernel
把專家從 VRAM 搬到 RAM 有一個代價：必須靠 CPU 計算它們。如果 CPU 端的計算太慢，整個優勢就會消失。KTransformers 的技術重心，是寫得非常快的 CPU kernel，針對 INT4 與 INT8 量化版本，調用 Intel AMX 與 AVX-512 指令集。
根據專案基準數據，AMX 版本的 MoE kernel 在 2 顆 32 核心 CPU 的測試中，速度達到 llama.cpp 的約 27.8 倍（llama.cpp 在該測試大約停在 10.31 tokens/s）。圍繞這個核心，KTransformers 還做了幾件事讓整體實用：NUMA 感知記憶體管理，給多插槽 CPU 系統用的；Marlin 量化的 GPU kernel 加上 FP8 權重，讓 24GB VRAM 上能跑到約 139K token 的 context；三層 prefix cache（GPU、CPU、磁碟），跨記憶體階層重用已經做完的計算。
實際效能方面，根據專案文件與社群測試的指示性數字，671B 的 prefill 在最佳化組態下可達約 286 tokens/s；輸出（generation）速度較慢且高度依賴硬體。一個 8 顆 L20 GPU 加上 Xeon 的伺服器組態，專案回報約 227 tokens/s 聚合吞吐量與 87 tokens/s 輸出速度（8 個並行請求）。
不只是 DeepSeek：模型與硬體覆蓋面
從 2026 年 6 月發布的 v0.6.3 版起，KTransformers 對開源 MoE 模型的支援名單讀起來像一份開放權重前沿清單：DeepSeek-V3/R1、Kimi K2 與 K2.5、GLM-5 與 GLM-5.2、Qwen3-MoE、Qwen3-Next、與 MiniMax 系列。對硬體也不再只限於 NVIDIA，已經涵蓋 AMD ROCm、Intel Arc 與華為 Ascend NPU。
推理之外，專案也把微調搬到尋常硬體上。透過與 LLaMA-Factory 整合，一個 DeepSeek-V3 的 SFT 跑在 4 張 RTX 4090、約 80GB 總記憶體上，可以達到大約 3.7 iterations/sec，專案回報這比同類方案快 6 到 12 倍。
KTransformers 專案網址
同類解法比較
KTransformers 並非這類玩法的唯一案例，整個開源社群正圍繞「前沿 MoE 很大但很稀疏」這個特性各自發展不同切入點。llama.cpp 透過 –override-tensor 參數讓使用者選擇把哪些 tensor 留在 CPU、哪些放 GPU，是最早把選擇性卸載主流化的工具；ik_llama.cpp 是 llama.cpp 的分支，專注在量化與 MoE 用的 CPU kernel。PowerInfer 把「熱」與「冷」神經元分開擺在 GPU 與 CPU，Fiddler 則專門最佳化 CPU 上的專家計算路徑。
共同邏輯是同一個：利用稀疏性作為槓桿。有的靠 RAM（KTransformers），有的靠磁碟（colibri 把專家從 NVMe 串流），有的靠熱冷分流（PowerInfer）。實務結果一致：前沿模型從資料中心搬到辦公桌下的伺服器，不再是理論，而是可以做得到的選擇。