標籤:GPU

以下是帶有「GPU」標籤的全部文章,共 6 篇。

vLLM 開源:9.3 萬星高吞吐 LLM 推理引擎

vLLM 開源:9.3 萬星高吞吐 LLM 推理引擎

2026-10-08 技術

vLLM 是 GitHub 上累積 9.3 萬顆星標的開源大型語言模型推理與服務引擎,由 UC Berkeley 於 2023 年發起,以 PagedAttention 與連續批次處理提升吞吐量。本文整理其架構、最新 v0.31.0 版本、硬體與模型支援範圍、安裝方式與授權條件。

閱讀更多
94,077 星開源項目:Karpathy 的 autoresearch — 自主研究

94,077 星開源項目:Karpathy 的 autoresearch — 自主研究

2026-08-19 技術

autoresearch 是 Karpathy 於 2026 年 3 月發布的開源實驗項目,讓 AI Agent 在單張 GPU 上以固定 5 分鐘時間預算反覆修改訓練程式碼、自主迭代模型,GitHub 星標逾 9.4 萬,採 MIT 授權、以 Python 撰寫,為自主 AI 研究展示了具體可行的實驗範本。

閱讀更多
Kog 用軟體優化 GPU 推理,目標 30 倍加速

Kog 用軟體優化 GPU 推理,目標 30 倍加速

2026-08-16 技術

法國新創 Kog 主張 GPU 不適合代理式 AI 是誤解,透過純軟體優化可在企業現有數據中心 GPU 上實現極快的單請求解碼,目標是 30 倍推理加速。該公司已開源 2B 參數的 Laneformer 模型,並計劃 9 月推出首個 10 倍加速的大型模型,本文整理其技術路線與對開發者生態的影響。

閱讀更多

← 返回全部標籤

Eric Chan 的頭像
Eric Chan

IT 顧問・實測主義者

IT 行業 18 年。分享親身實測過的 UI、前端、AI 工具與科技心得。實測之後才分享,不靠 Copy-and-Paste。

了解更多
文章分類