標籤：本地推理

DwarfStar 開源：本地跑 DeepSeek V4 的 C 引擎

2026-10-02 技術

DwarfStar（antirez/ds4）是由 Redis 作者 Salvatore Sanfilippo 開發的本地推理引擎，以純 C 撰寫，專為在消費級硬體上運行 DeepSeek V4 Flash 等開源權重模型而設計，GitHub 星標已達 22,842 顆。本文整理其架構取捨、硬體支援、效能數據與安裝流程。

閱讀更多

llama.cpp 開源：127K 星本地 LLM 推理框架解析

2026-09-09 技術

llama.cpp 是 GitHub 上 127K 星的 C/C++ 本地 LLM 推理框架，以極低依賴與跨硬件支援著稱，支援 1.5-bit 至 8-bit 量化、CUDA、Metal、Vulkan 等後端，已成為本地 AI 部署的事實標準之一。本文解析其架構亮點、生態定位與入門方式。

閱讀更多

llama.cpp 開源：126K 星 C++ 本地 LLM 推理引擎

2026-08-29 技術

llama.cpp 是 GitHub 上 126,107 顆星的開源專案，以純 C/C++ 實作本地 LLM 推理，支援從 1.5-bit 到 8-bit 的整數量化與 CPU、GPU、NPU 等多元硬件後端。本文深入分析其核心架構、硬件支援版圖、量化技術原理與生態影響力。

閱讀更多

12.3 萬星開源項目：llama.cpp — 純 C/C++ 本地 LLM 推理引擎

2026-08-06 技術

llama.cpp 是 GitHub 星標逾 12.3 萬的開源 LLM 推理引擎，純 C/C++ 撰寫，可在一般電腦與 Apple Silicon 上本地運行大語言模型，支援多級量化與 CUDA、Metal、Vulkan 後端，MIT 授權，最新版本 b10297 於 2026 年 8 月釋出。

閱讀更多