Edge0 於 2026 年 11 月 13 日開源 145B 的 Edge0-145B 與 120B 版本,配合 edge0-infer 推理引擎,可在單張 24GB 顯示卡上執行編程與代理任務。倉庫採 Apache-2.0 授權,以 C++ 撰寫,累積 10,862 顆星標,官方錄得 121.2 tok/s 代理解碼速度。

Edge0 的 GitHub README 開頭畫面,中央為專案名稱 Edge0 與「An open-source streaming MoE inference framework」定位說明,下方標示 Think big. Run here. 與 macOS、iOS、Android、Linux、Windows 五個平台圖示,再往下是 arXiv 論文、GitHub 倉庫、Discord 與 Apache 2.0 授權徽章,以及 145B 與 120B 兩個版本的 Hugging Face 權重連結

Edge0-145B 是什麼?

Edge0-145B 是 1450 億參數的潛在混合專家模型,原生以 4 位元訓練,採 Apache-2.0 授權,定位為本機執行代理工作的開源方案。

模型派生自 Qwen3.8-Flash-Next,架構為 48 層、512 個專家、每次推理啟動 K=10。145B 版本設有 1792 個潛在專家,120B 版本為 1280 個,兩者總參數不同但層數與專家數一致。權重同時上架 Hugging Face 與 ModelScope,技術報告以 The Other Half of the Memory Wall 為題放在 arXiv,處理 35B 混合專家模型從 SSD 供應的問題。

倉庫由 Edge0-AI 維護,內容包含推理引擎、模型文件與桌面應用程式三個部分。11 月 4 日釋出的 edge0-infer 以 GGML 為基礎,把命令列、OpenAI 相容的本機伺服器與聊天範例統一成一套 C++ 介面,取代原本的 Python 框架與逐平台引擎。

145B 模型如何在單張 24GB 顯示卡上運行?

關鍵在三層權重放置與專家共用矩陣。常駐專家留在顯示記憶體,專家庫放系統記憶體,詞彙資料留在 SSD 按需讀取,配合 CPU 與 GPU 分工壓低搬運量。

官方把設計拆成四個層次。架構層讓每組 64 個專家共用兩組大型矩陣,每個專家只保留少量差異參數,因此 145B 的總參數中每次推理約 10B 參與計算。訓練層直接以裝置架構為前提,避免先訓練雲端模型再壓縮的做法。

載入層把顯示記憶體、系統記憶體與 SSD 串成管線。常用專家留在 GPU,約 40GB 的專家庫放在系統記憶體,約 48GB 的詞彙資料留在 SSD 按需讀取。排程層由 GPU 處理已快取的專家、CPU 並行處理其餘工作,並以投機解碼一次驗證多個候選 token,把讀取權重的成本攤到更多輸出上。

權重體積仍是硬指標。Q3_K 版本佔 40.81 GiB,NVFP4 佔 47.79 GiB。在 16 GiB 顯示記憶體加 20 GiB 系統記憶體的測試條件下,同一張 RTX 5090 D 把 Q3_K 拆成 23.14 GiB 顯示記憶體與 31.28 GiB 系統記憶體,兩組專家集合互不重疊。

官方公布的效能數據如何?

RTX 5090 D 配 Q3_K 版錄得代理解碼 121.2 tok/s、16K 前置填充 3554.9 tok/s。RTX 4090 為 91.7,記憶體受限時降至 44.9。

所有吞吐數字以 tok/s 計,官方頭條採用 145B 的 Q3_K 版本。前置填充指處理輸入提示的速度,代理解碼指多回合工具調用時的生成速度,兩者在長流程下的差距會直接影響等待時間。

機器 版本 4K 前置 16K 前置 對話解碼 代理解碼
RTX 5090 D 24GB Q3_K 2169.9 3554.9 99.7 121.2
RTX 5090 D 24GB NVFP4 1839.6 3165.7 79.6 98.3
RTX 4090 24GB Q3_K 2042.0 3179.4 69.9 91.7
RTX Spark N1X 60GiB Q3_K 674.0 770.3 37.7 36.7
16GiB VRAM + 20GiB RAM Q3_K 249 335 36.8 44.9

同一張 5090 D 在 NVFP4 版本反而較慢,官方數據顯示代理解碼由 121.2 降至 98.3。原因在於兩種量化格式的解碼路徑不同,較低的位元寬不等於較快的速度,選版本時要看實際工作負載而非只看壓縮率。

基準測試與雲端模型相差多少?

六項基準平均 72.8 分,高於 Qwen3.8-Flash-Next 的 71.7。DeepSWE 1.1 得 64.6,HLE 僅 35.4,通用推理仍落後於 Claude。

DeepSWE 1.1 得 64.6、Terminal-Bench 2.1 得 86.5,均高於同場雲端模型。GPQA-Diamond 90.4,HLE 僅 35.4 落後。

模型 DeepSWE 1.1 Terminal-Bench 2.1 GPQA-Diamond IFBench HLE
Edge0-145B 64.6 86.5 90.4 80.6 35.4
Edge0-120B 51.3 75.3 87.4 79.3 31.0
Qwen3.8-Flash-Next 58.7 83.3 91.7 81.3 35.9
DeepSeek-V4-Flash-0731 54.4 82.7 90.8 79.2 33.8
Claude-Opus-4.6 (Max) 無公開分數 78.2 91.3 62.5 40.0

值得留意的是分數來源。Edge0、Qwen、DeepSeek 與 Claude 四組數字由 Edge0 自行評測,其中 Claude 沒有公開的 DeepSWE 1.1 成績,因此該列留空而非記零。Flint、Muse Glimmer 與 Gemma 4 的數據分別取自 Recursive Flint 評測與 Artificial Analysis,換算方式並不完全一致。

推論成本要一併看。官方把 145B 的 29GB 實測峰值與 Qwen3.8-Flash-Next 約 70GB 的 4 位元部署估算並列,得出約四成的記憶體佔用。這個比較對本地部署有意義,但估算值尚未實測,官方文件亦以星號標示。

如何在 Linux 或 Windows 上安裝並啟動?

先複製倉庫,再分別建置 edge0-strata 引擎與 edge0-infer。啟動時指向單一模型資料夾,載入後印出本機 8000 埠位址,並提供 OpenAI 相容端點。

建置分成兩步,兩個部分都要編譯。Linux 環境需要 CUDA 13,Windows 支援 x64 與 ARM64。

git clone https://github.com/Edge0-AI/Edge0.git edge0
build/cpu/bin/edge0-infer serve --model /path/to/Edge0-145B-q3k

載入完成後終端會印出 Listening 一行,其中模型名稱顯示為 edge0_145b。既有客戶端只要把 base URL 指向本機 8000 埠並改用該模型名稱,就能沿用原本的 OpenAI 介面。

curl localhost:8000/v1/chat/completions \
  -H 'content-type: application/json' \
  -d '{"model":"edge0_145b","messages":[{"role":"user","content":"hi"}],"max_tokens":64}'

若不想自行編譯,Windows 另有 Edge0 Chat 桌面應用程式,從 Releases 下載後直接選擇模型資料夾即可執行,離線狀態下核心功能仍可用。命令列模式則提供 chat 子命令開啟互動工作階段,適合在終端內連續測試提示詞。

這類本機服務的用法與其他執行期相近。llama.cpp 的伺服器同樣提供相容 OpenAI 的端點,客戶端只需改 base URL 與模型名稱。若要進一步壓縮記憶體佔用,Ollama 在近期版本改以 MLX 處理蘋果平台推理,顯示各執行期都在同一個方向上調整。

記憶體不足時有哪些調整參數?

五個旗標控制容量。vram-reserve-mib 保留顯示記憶體給桌面,expert-cache 決定常駐專家數,mmap-experts 改為全部按需讀取。

這些旗標寫在模型包的 model.json 內,分為 args 與 env 兩組,改一次就套用到每次啟動,不必每次在命令列重複。–vram-reserve-mib 預設 700,用於保留驅動與其他程式所需的顯示記憶體,引擎再從剩餘空間規劃快取。

–expert-cache 設為 auto 時,會依扣除固定開銷後的空閒顯示記憶體推算專家槽位。–kv-resident 控制每層留在顯示記憶體的 KV 單元數,其餘從鎖定的系統記憶體串流,這個設定換取的是專家可用的顯示記憶體。–spec 調整投機解碼的驗證視窗,預設 4,視窗越大需要越大的驗證緩衝區。

系統記憶體吃緊時,–mmap-experts 讓專家直接從包檔讀取,不在記憶體常駐,代價是速度下降。–resident-budget-gib 則限制系統記憶體專家快取的上限,並會依可用記憶體再收窄,使用時必須搭配靜態的專家設定檔。

與 9 月的手機版 Edge0-35B 有什麼差別?

35B 走原生引擎,支援 macOS、iOS 與 Android;145B 與 120B 走 edge0-strata,只支援 Linux 或 Windows 配 NVIDIA 顯示卡。

9 月 8 日首發的 35B 版本在 iPhone 18 Pro Max 上以約 2.5GB 記憶體達到 37 tok/s,把討論從數十億參數推向 350 億級別。11 月 4 日的 edge0-infer 進一步把命令列、本機伺服器與聊天範例收攏到同一套 C++ 介面,取代原本的 Python 框架。

145B 系列沒有跟上這份平台清單。倉庫的平台表把 145B 與 120B 標為 Linux 或 Windows 配 CUDA 13,35B 才涵蓋 macOS 的 Metal 與 CPU、iOS 的 Metal 及 Android 的 CPU。蘋果 M2 Ultra 的 57 tok/s 屬於量測數據,文件明確說明不構成 macOS 發佈承諾。

官方說法與倉庫文件有何不一致?

部落格以筆記本與 29GB 峰值描述,倉庫平台表只列 Linux 或 Windows 配 NVIDIA 顯示卡。採購前應以倉庫文件為準。

這是本地部署最常踩的一環。部落格示範提到 MacBook Pro 與 128K 至 256K 上下文,倉庫的建置說明則要求 CUDA 13 環境。兩種說法並非互相矛盾,而是描述不同層面:前者談模型能力上限,後者談目前的發佈狀態。

29GB 峰值與 40.81 GiB 權重兩個數字並列時亦容易誤讀。前者是特定硬體設定的實測峰值,後者是權重檔案本身的大小,測量對象不同。若團隊以蘋果筆記本為主要設備,現階段可行的組合是 35B 系列,145B 需要另備 NVIDIA 機器。

Edge0 倉庫首頁頂部畫面,顯示專案名稱 Edge0 與一行描述「Device-native foundation models: 145B on a laptop, 35B on a phone」,右側列出約 10.8k 顆星標、1.6k 個分支,上方分頁為 Code、Issues、Pull requests、Actions,右欄顯示 About 區塊與 Apache 2.0 授權標示

哪些團隊適合本地部署?

需要把程式碼與設計檔留在本機、且已有 24GB 顯示卡的團隊最適合。純雲端使用者若沒有資料外流顧慮,改用 API 的維護負擔與總成本通常更低。

本地推理省下的是 token 費用與網路往返,硬體與電力仍要計入。官方示範涵蓋 Blender 場景建構、遊戲關卡設計、無人機控制程式與電路板佈局,共同點是回合數多、需要視覺檢查。這類長流程按次計費時成本容易放大,改在本機執行則只受硬體限制。

反過來說,跨裝置長期記憶與需要即時資訊的查詢仍依賴雲端。官方文件把分工描述成三個階段:雲端優先、日常本機、複雜工作本機,並未主張全面取代。用耳機廠商的混合方案為例,92% 的 AI 用量在本機完成,其餘 8% 才送到雲端。

出處連結有哪些?

權重放在 Hugging Face 的 Edge0 組織,推理框架在 GitHub 的 Edge0-AI/Edge0 倉庫,官方部落格另有完整基準表。

權重分為 Edge0-145B-q3k 與 Edge0-145B-NVFP4 兩個版本,120B 同樣提供兩種量化格式。推理框架與建置說明位於 github.com/Edge0-AI/Edge0,模型細節見倉庫內的 145B 模型頁。

官方部落格文章 Introducing Edge0-145B 提供完整的硬體說明與示範案例。技術報告 The Other Half of the Memory Wall 說明了從 SSD 供應專家權重的路由預測方法。

Edge0 倉庫的統計與發布頁面截圖,顯示版本標籤 v0.2.0 的發佈說明,包含 145B 與 120B 模型的權重連結、edge0-strata 引擎的建置要求,以及 Apache 2.0 授權與貢獻者資訊區塊

總結:Edge0-145B 適合什麼情況?

在單張消費級顯示卡上執行 145B 級代理模型的門檻被拉低,編程與終端任務的分數已接近雲端中階模型。平台限制與自行評測兩點,是現階段評估時的主要變數。

真正的進展在資料搬運的處理方式,而非單純的參數堆疊。把專家拆到顯示記憶體、系統記憶體與 SSD 三層,再以投機解碼攤薄讀取成本,讓 24GB 的消費級顯示卡得以承載 145B 規模的模型,這條路徑對後續的本地部署方案有參考價值。

限制同樣清楚。平台仍鎖在 NVIDIA 與 CUDA 13,蘋果設備只能靠 35B 系列,而六項基準的分數由廠商自行評測。實際採用前值得先用自身工作流程跑一輪,特別是長上下文的代理任務,再判斷省下的費用是否足以抵銷硬體與調校成本。