現在雖然有很多專為手機設計的 LLM 小模型，但用過的人都知道，由於參數太少，不是很好用，也不聰明，跟很多線上 AI 服務完全沒法比。不過這是因為硬體上的限制，手機的記憶體空間有限，沒辦法裝夠聰明的 AI 模型，像是如果你想在手機上使用 270 億參數（27B 級別）的超強大腦來處理複雜任務，過去唯一的辦法只有連上網路。
而這個情況可能開始改變。國外 AI 新創公司 PrismML 近日推出全新的 Bonsai 27B 模型，成功把原本需要約 54GB 記憶體才能運行的 278 億參數模型，壓縮到只剩 3.9GB。PrismML 宣稱，這是第一款能放進手機記憶體空間的 27B 等級模型，而且已經可以在 iPhone 上直接執行。
PrismML 推出 Bonsai 27B：54GB 模型壓縮至 3.9GB，270 億參數 AI 可在 iPhone 本機運行
Bonsai 27B 是以 Qwen3.6 27B 為基礎打造的多模態模型，可以處理文字、圖片、螢幕截圖與文件，也支援推理、程式碼、工具調用及 AI 代理工作。
這次 PrismML 一共推出兩種版本：主打極限壓縮、為手機準備的 1-bit Bonsai 27B，以及體積稍大、優先保留模型能力的 Ternary Bonsai 27B。本文重點就是前面的 1-bit Bonsai 27B 版本：
Bonsai 27B 原版模型共有 278 億個參數，如果每個權重都使用常見的 FP16 格式儲存，光模型本身就需要約 54GB 記憶體。即使壓成一般的 4-bit 版本，仍然要占用約 18GB，對手機與大多數筆電來說依舊太大。
而 PrismML 的做法，是把模型裡每個權重可以使用的數值大幅簡化。一般模型的權重能記錄許多不同數值，而 1-bit Bonsai 27B 主要只讓權重在 `−1` 與 `＋1` 之間選擇，再搭配 FP16 分組縮放數值，最後做到每個權重約占 1.125 bits。
如果要用比較白話的方式說明，可以把原版模型想成一張高畫質、色彩與明暗層次都非常豐富的 4K 照片，1-bit 壓縮則像把它轉成黑白剪影，雖然大量色彩與細節不見了，但只要重要的輪廓有保留下來，我們還是能認出照片中的人是誰。PrismML 嘗試保留的，就是模型進行數學、邏輯與程式碼推理時最重要的「輪廓」。
最終 1-bit Bonsai 27B 的權重檔約為 3.9GB，跟 54GB 的 FP16 版本相比縮小約 14 倍，體積減少超過 92%。
至於前面提到的 Ternary Bonsai 27B，檔案大小約為 5.9GB，權重可以使用 `−1、0、＋1` 三種數值。它犧牲一點體積，換來更接近原版的品質，比較適合筆電。
PrismML 也公布了涵蓋數學、程式碼、知識、指令遵循、工具調用及視覺處理的 15 項基準測試。從官方整理的分類平均成績來看，1-bit Bonsai 27B 總平均為 76.1 分，原版 Qwen3.6 27B 則是 85.0 分，相當於保留約 90% 的平均表現。
| AI 能力指標 | 原版 Qwen3.6 27B | 1-bit Bonsai 27B | 對一般使用者代表什麼？ |
|---|---|---|---|
| 數學推理 | 95.3 | 91.7 | 幾乎沒變笨。算數與邏輯推理是壓縮後保留最完整的能力之一。 |
| 程式編寫 | 88.7 | 81.9 | 依舊堪用。寫簡單腳本、試算表公式與協助除錯仍有實用性。 |
| 工具調用與代理工作 | 80.0 | 66.0 | 明顯吃力。多步驟操作愈長，過程中出錯的機率可能愈高。 |
| 指令遵循 | 78.4 | 65.8 | 複雜規則容易漏掉。格式或條件很多時，穩定度會受到影響。 |
| 知識與科學 | 83.1 | 73.4 | 一般問答可用。但不能直接當成雲端旗艦模型的替代品。 |
| 視覺處理 | 72.6 | 59.6 | 有點老花眼。看圖、辨識文件及理解畫面的能力打折最多。 |
| 15 項測試總平均 | 85.0 | 76.1 | 保留約 90% 的官方平均表現。以體積縮小超過 92% 來說，交換比例很有吸引力。 |
從以上測試可以看到，如果只拿 1-bit Bonsai 27B 來聊天、整理資料、計算或寫簡單程式，壓縮帶來的影響可能不算太明顯。但如果希望它看影像或調用工具和代理，如自動打開 App、搜尋餐廳、填寫資料再完成預訂，穩定度就跟原版差很大。
速度方面，PrismML 宣稱 1-bit Bonsai 27B 在 iPhone 17 Pro 可以達到每秒約 11 Token。以本機聊天來說，11 Token／秒已經能持續產生內容，不至於每問一題都要等很久。
同一個模型還有在硬體更強的 M5 Max 測試，官方數據最高可達每秒 87 Token；搭配 NVIDIA GeForce RTX 5090 則最高能到每秒 163 Token。
在 M5 Max 上運行：
在 RTX 5090 電腦上運行：
不過，3.9GB 指的是模型權重大小，不是整個模型開始聊天後的完整記憶體需求。PrismML 的 GitHub 說明顯示，MLX 1-bit 版本加上運算元件、KV Cache 與約 4K Token 的上下文後，尖峰記憶體需求約為 5.5GiB。如果把上下文增加到 10K，則會來到約 5.9GiB。
此外，根據外媒報導，Apple 已經開始接觸 PrismML。PrismML 執行長 Babak Hassibi 表示，Apple 與其他公司正在評估他們的模型，測量裝置端的速度、能源效率及實際表現。他將雙方討論形容為「非常早期」，目前還不確定最後會走向哪裡。
Bonsai 27B 已於 2026 年 7 月 14 日釋出，模型權重採 Apache 2.0 授權，可從 Hugging Face 下載。1-bit 與 Ternary 版本可透過 MLX 在 Mac、iPhone及 iPad 上執行，也支援 NVIDIA GPU 的 CUDA，以及 llama.cpp 的 CPU、Metal、Vulkan 等後端。PrismML 目前還提供線上體驗，有興趣的人可以嘗試看看。
