vLLM 開源:9.3 萬星高吞吐 LLM 推理引擎
2026-10-08 技術
vLLM 是 GitHub 上累積 9.3 萬顆星標的開源大型語言模型推理與服務引擎,由 UC Berkeley 於 2023 年發起,以 PagedAttention 與連續批次處理提升吞吐量。本文整理其架構、最新 v0.31.0 版本、硬體與模型支援範圍、安裝方式與授權條件。
閱讀更多以下是帶有「GPU」標籤的全部文章,共 6 篇。
2026-10-08 技術
vLLM 是 GitHub 上累積 9.3 萬顆星標的開源大型語言模型推理與服務引擎,由 UC Berkeley 於 2023 年發起,以 PagedAttention 與連續批次處理提升吞吐量。本文整理其架構、最新 v0.31.0 版本、硬體與模型支援範圍、安裝方式與授權條件。
閱讀更多
2026-08-25 技術
PyTorch 是 Meta 主導開發的開源深度學習框架,GitHub 星標超過 10.2 萬。本文分析其動態計算圖架構、Python 優先設計、GPU 加速技術與生態系統影響,並從星標、fork、版本更新等數據探討 PyTorch 作為 AI 研究主流框架的發展現況與前景。
閱讀更多
2026-08-25 技術
Ghostty 是 Mitchell Hashimoto 創建、以 Zig 語言開發的 GPU 加速終端模擬器,GitHub 獲 60,105 顆星標。文章分析其多執行緒架構、Metal/OpenGL 渲染與 libghostty 嵌入式函式庫,並與 Alacritty、iTerm2 等競品比較性能,探討開源終端生態的未來方向。
閱讀更多
2026-08-19 技術
LocalAI 是以 Go 撰寫、MIT 授權的開源 AI 引擎,可在 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 及純 CPU 硬件上運行 LLM、視覺、語音、影像與視訊等任意模型,無需 GPU 即可本地部署,相容 OpenAI 等 API,GitHub 星標逾 4.8 萬。
閱讀更多
2026-08-19 技術
autoresearch 是 Karpathy 於 2026 年 3 月發布的開源實驗項目,讓 AI Agent 在單張 GPU 上以固定 5 分鐘時間預算反覆修改訓練程式碼、自主迭代模型,GitHub 星標逾 9.4 萬,採 MIT 授權、以 Python 撰寫,為自主 AI 研究展示了具體可行的實驗範本。
閱讀更多
2026-08-16 技術
法國新創 Kog 主張 GPU 不適合代理式 AI 是誤解,透過純軟體優化可在企業現有數據中心 GPU 上實現極快的單請求解碼,目標是 30 倍推理加速。該公司已開源 2B 參數的 Laneformer 模型,並計劃 9 月推出首個 10 倍加速的大型模型,本文整理其技術路線與對開發者生態的影響。
閱讀更多