vLLM 於 2026 年 11 月 16 日發布 0.34.0,這個累積 97,101 顆星標的推理引擎在單一版本內收進 1,061 個提交與 412 位貢獻者,並把可擴展 KV 快取改為預設開啟,MiniMax-M3 在 H200 上的快取容量由 43.3 萬個 token 擴至 67.2 萬個。

這個專案自 2023 年 2 月建立以來,已成為開源推理領域的基礎設施之一,目前支援超過 200 種模型架構。版本節奏維持在約兩周一次,由 11 月 2 日的 0.33 到 11 月 16 日的 0.34,兩個版本相隔十四日。

vLLM 0.34 是什麼?
vLLM 0.34.0 於 2026 年 11 月 16 日發布,是 Apache 2.0 授權的開源推理引擎,本版收進 1,061 個提交,重點在 KV 快取預設擴容與 10 款新模型。
專案最初由加州大學柏克萊分校的 Sky Computing Lab 發起,現由超過 2000 位貢獻者與數十間機構共同維護。核心機制是把注意力鍵值記憶體切成固定大小的區塊管理,令批次內的請求可以非同步加入與結束。
0.34.0 的變更橫跨四個層面。引擎層移除舊版 Model Runner,模型層新增十款架構,硬件層把 AMD 支援收窄至 ROCm 10.0,記憶體層則改寫快取容量的估算方式。這種同時改動多層的節奏,令升級評估無法只看單一功能的效能數字。
vLLM 0.34 的 KV 快取有什麼改變?
可擴展 KV 快取改為預設開啟,容量由暖機後實際剩餘的顯存推算,MiniMax-M3 在 H200 上由 43.3 萬個 token 升至 67.2 萬個。
舊版的容量計算在啟動時按固定比例估算,遇上記憶體碎片或圖捕獲佔用就會偏保守,令可用快取被低估。新做法改在 CUDA 圖捕獲與暖機完成之後,量度真正剩下的顯存再換算成可容納的 token 數,延續 vLLM 0.33 針對解碼吞吐的調整方向。
官方在 MiniMax-M3 上量到快取容量由 43.3 萬個 token 升到 67.2 萬個,高併發場景的首字延遲下降、整體吞吐上升。代價出現在單請求層面,部分模型在 H200 上以併發度 128 運行時,每 token 解碼時間上升 6 至 18 百分比。
為避免預設值反過來造成啟動失敗,本版同時修正了分配器碎片、啟動階段顯存不足與 KV 連接器的多項問題,並在開發者手動設定記憶體佔用比例時輸出啟動警告。
本版新增了哪些模型支援?
本版新增 10 款模型,包括總參數 1 兆、每次啟用 520 億參數的 Mistral Large 4 與 MiniMax-M3.1-Flash。
最受注目的是 Mistral Large 4,這是一款總參數 1 兆、每次推論啟用 520 億參數的混合專家模型,提供 FP8 與 NVFP4 兩種精度,可在 NVIDIA 的 Blackwell、Hopper 與 AMD 的 MI350 上運行。vLLM 為它接入稀疏多頭潛在注意力、跨層 KV 共享與 DSpark 草稿模型。
語音與文件場景同樣有補強。NVIDIA 的 Nemotron-3.5-Transcribe 是 300 億參數、每次啟用 40 億的語音模型,同時支援音訊對話與轉寫端點;Baidu 的 Unlimited-OCR-2 引入稀疏注意力處理長文件;Liquid AI 則一次補入 LFM3 的文字、視覺與音訊三個版本。
其餘新面孔包括 Ricursive Ripple-65B 預覽版、Zyphra ZAYA1 的 80 億與 740 億版本、NVIDIA Canary-1B-v2 與 Ming3-ASR。對中文使用者而言,OCR 與語音轉寫兩個方向的補齊,令本地部署的可用場景明顯擴張。
推測解碼與排程層有什麼效能提升?
推測解碼全面遷移到新版 Model Runner;官方量到 Step5 在四張 GB200 上解碼加速 1.95 倍,GLM-5.3-Flash 輸出吞吐提升 1.6 倍。
推測解碼的運作方式是先由小模型草擬數個候選 token,再交由主模型批次驗證。0.34 把這條路徑整體搬到新版 Model Runner 之上,並補上草稿模型的 CUDA 圖捕獲、自適應驗證與草稿快取精度對齊。
官方公布的加速幅度集中在高階硬件。Step5 的 NVFP4 混合專家模型在四張 GB200 上解碼加速最高 1.95 倍;GLM-5.3-Flash 的 FP8 路徑輸出吞吐對比舊實作提升 1.6 倍;Kimi-K3 在 GB300 上的解碼注意力加速 1.34 至 1.59 倍。
排程層的改動偏向降低主機端開銷。提示 token 改以 32 位元整數緩衝保存,令 12.8 萬 token 長提示的單請求 CPU 佔用下降約 40 倍;KV 區塊分配的 CPU 時間減少 45 至 50 百分比。快取感知的准入排序改為選項,讓調度器按快取命中機會決定接納順序。
推論引擎的競爭同時發生在本地與伺服器兩端。llama.cpp 1.0 把介面凍結、專攻單機效率,而 vLLM 這類專案則以並發吞吐為主要指標,兩者的優化目標並不相同。
升級到 0.34 前要留意哪些破壞性變更?
Model Runner V1 已移除,設定舊環境變數會在啟動時失敗;預設區塊大小改為 64,記憶體佔用比例預設 1.0,ROCm 7.2 映像停發。
最直接的一項是 Model Runner V1 退場,新版成為唯一的 GPU 執行器。仍設定舊環境變數的部署會在建置階段直接報錯,自訂的對數處理器亦要改為註冊到新的模組路徑。
預設值同時有三處變動。區塊大小由 16 改為 64,若要保持舊行為需顯式指定;可擴展 KV 快取預設開啟之後,記憶體佔用比例預設值一併改為 1.0;AMD 平台只保留 ROCm 10.0 的映像與套件,舊標籤不再發布。
依賴層亦有收緊。本版要求 huggingface_hub 2.0.0 以上,並連帶要求較新的 tokenizers 與 timm。量化方面,QuTLASS 的 fp_quant 檢查點不再載入,Marlin 的 W4A8 路徑改由 Humming 量化取代。
硬件與平台支援有什麼調整?
AMD 發行檔收窄至 ROCm 10.0,RDNA3 與 RDNA4 改用 TRITON_ATTN 作預設後端;NVIDIA 側加入檢查點還原與專家重分配。
AMD 方向的變動不只是映像標籤。新版本加入 MoRI 的全對全通訊後端、在 MI355X 上為 Kimi-K3 提供專用解碼路徑,並把 RDNA3 與 RDNA4 的預設注意力後端換成 TRITON_ATTN。以八張 MI355X 運行 Muse Spark Open 時,互動性提升 35 至 57 百分比。
營運層面補上兩項過去需要外部工具的能力。檢查點與還原透過還原點端點實作,結合 CRIU 與 CUDA 檢查點機制,可在不重啟的情況下保存推理狀態;資料平行與專家平行的規模縮減支援容錯,失效的執行序會被移除並重新分配專家。
NUMA 綁定改為預設按盡力原則執行,Rust 前端亦補上無狀態的 Responses API 與單請求多回應支援。對於以容器編排長期運行的團隊,這些改動減少自行撰寫外掛的需要。

出處連結有哪些?
本文資訊整理自 vLLM 官方儲存庫的 README 與 0.34.0 版本說明,原始碼、發行檔與完整變更清單可在其 GitHub 頁面查閱,效能數字均為官方公布的量測結果。
出處為 GitHub 上的 vllm-project/vllm 儲存庫,版本說明同時列出各項效能的量測硬件組合,讀者可依自身配置對照:
- 儲存庫:https://github.com/vllm-project/vllm
- 版本說明:https://github.com/vllm-project/vllm/releases
- 官方文件:https://docs.vllm.ai
總結:vLLM 0.34 適合什麼團隊?
已用 CUDA 13 與 ROCm 10.0 的團隊可直接升級,高併發長上下文受益最明顯;仍依賴 Model Runner V1 或 ROCm 7.2 映像者應先規劃遷移。
0.34.0 的價值集中在記憶體與調度兩層。可擴展快取令同一張卡能容納更長的上下文,排程層的 CPU 開銷下降則令高併發服務的尾延遲更穩定。新增的 OCR 與語音模型,則把本地部署的可用場景由純文字擴展到文件與音訊。
代價是升級路徑再次變窄。Model Runner V1 移除與預設值三處改動同時生效,令沿用舊設定檔的部署無法直接替換映像。對於版本落後超過兩個版本的服務,較穩妥的做法是先升到 0.33 驗證相容性,再跨到 0.34 並逐項核對棄用清單。
專案的迭代速度仍然維持在兩周一次,這種節奏意味著任何一次升級都需要可重複的回滾方案。把版本固定、檢查點還原與自動化基準測試納入流程的團隊,才能真正吸收每次版本帶來的吞吐紅利。