TextGen 是一套專為本地大型語言模型設計的開源桌面應用，在 GitHub 累積 47,727 顆星標與 5,983 次 fork，以 Python 撰寫、採用 AGPL-3.0 授權。它把文字生成、視覺理解、工具呼叫與網頁搜尋整合進同一個介面，並提供與 OpenAI、Anthropic 相容的 API，全程離線執行且不含遙測，讓使用者能在自己的電腦上完成對話與推論，而不必把資料送往雲端。
TextGen 是 oobabooga 開發的開源桌面應用，用於在本機執行大型語言模型，支援文字、視覺與工具呼叫，並提供 OpenAI 與 Anthropic 相容 API。
TextGen 是什麼？
TextGen 的定位是「本地 LLM 的桌面應用」，由開發者 oobabooga 維護，專案於 2022 年 12 月建立。它與一般桌面客戶端最大的差別，在於模型並非執行於遠端伺服器，而是載入使用者本機的檔案。使用者下載量化後的模型，放進指定資料夾，介面便會自動偵測。
這個設計選擇對應了一類明確的需求。部分使用者因為資料敏感、成本考量或網路限制，無法依賴雲端服務；另一些使用者則希望在同一個環境中自由測試不同模型與參數。TextGen 把這些需求收斂成一個可安裝的應用程式，並維持完全離線與零遙測的承諾。
專案的維護節奏穩定，最新版本為 v4.9，於 2026 年 5 月發布。從版本編號與發布紀錄來看，它已從早期僅供實驗的 Web UI，演進為具備圖形介面與 API 的完整工具。
核心功能涵蓋文字與視覺對話、檔案附件、工具呼叫、多後端切換、LoRA 微調、圖像生成，以及相容 OpenAI 與 Anthropic 的 API 端點。
TextGen 的核心功能有哪些？
在對話與生成方面，TextGen 提供多種模式，包含用於指令跟隨的 instruct 模式，以及用於角色扮演的 chat 與 chat-instruct 模式，提示詞會透過 Jinja2 模板自動格式化。它同時支援多模態輸入，使用者可將圖片附加到訊息中，讓模型進行視覺理解，也能上傳文字檔、PDF 與 docx 文件，直接就文件內容提問。
在後端與 API 方面，TextGen 可切換 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3 與 TensorRT-LLM 等多種推論引擎，且不需重新啟動程式。它對外提供 Chat、Completions 與 Messages 端點，支援工具呼叫，可作為 OpenAI 或 Anthropic API 的本地替代品，讓既有程式碼在改動最少的情況下改用自架模型。
在訓練與圖像生成方面，應用內建 LoRA 微調功能，支援多輪對話與純文字資料集，並可從中斷處續跑。另有一個獨立分頁用於執行 diffusers 系列模型，具備 4 位元與 8 位元量化選項，以及保留影像中介資料的圖庫。隱私與介面方面，它提供深色與淺色主題、程式碼語法高亮與 LaTeX 數學渲染，並可透過擴充套件加入語音合成、語音輸入與翻譯。
TextGen 以 Python 實作圖形介面與 API 層，推論工作交由可替換的後端處理，模型則以 GGUF 或 Transformers 格式存放於使用者資料目錄。
TextGen 的技術架構如何運作？
TextGen 採取分層設計。應用程式本身負責介面、對話狀態與 API 端點，實際的推論運算則委由後端執行。這種切分讓使用者可在不更動介面的前提下，依硬體條件選擇最合適的引擎：追求跨平台相容性時使用 llama.cpp，追求吞吐量時改用 ExLlamaV3 或 TensorRT-LLM，需要完整精度時則回到 Transformers。
模型管理同樣以檔案為中心。使用者從 Hugging Face 下載 GGUF 檔案，放入 user_data/models 資料夾，介面即會自動辨識；若是需要多檔案的 16 位元模型或 EXL3 格式，則放入子資料夾中以維持結構。這種安排讓模型來源與應用程式解耦，使用者能自由替換，也能平行保留多個版本。
部署方式提供兩條路徑。可攜版涵蓋 Linux、Windows 與 macOS，並依硬體提供 CUDA、Vulkan、ROCm 與純 CPU 選項，所有依賴已一併打包，解壓後即可執行；完整安裝則透過腳本或 Conda 建立環境，以取得 ExLlamaV3、訓練與圖像生成等進階能力。這種「先求可用、再求完整」的階梯，降低了初次接觸本地模型的門檻。
使用者可下載對應硬體的可攜版解壓執行，或透過安裝腳本與 Conda 建立完整環境，再將 GGUF 模型放入 user_data/models 資料夾即可開始對話。
如何開始使用 TextGen？
最短路徑是使用可攜版。使用者從發布頁下載對應作業系統與硬體的壓縮檔，解壓後直接啟動，程式會開啟一個視窗，不需額外安裝 Python 或深度學習框架。接著從 Hugging Face 下載 GGUF 模型放入 user_data/models，介面便會自動列出可用的模型。
若需要執行 ExLlamaV3、Transformers 模型，或使用微調、圖像生成與擴充套件，則需改用完整安裝。官方提供一鍵安裝腳本，執行時會詢問顯示卡廠牌並建立 Conda 環境；也可依作業系統與 GPU 類型，手動安裝對應的 PyTorch 版本與需求檔案。起步階段的建議是先以可攜版驗證硬體是否足夠，再決定是否投入完整環境。
操作層面上，常用指令列旗標可直接附加於啟動腳本後方，或寫入 user_data/CMD_FLAGS.txt 以便長期保留。若需對外提供 API，加入 --api 旗標即可；更新時執行對應的更新腳本，若環境損毀則刪除 installer_files 資料夾後重新安裝。
與雲端服務相比，TextGen 強調資料留在本機與零遙測；與其他本地工具相比，它把對話、訓練、圖像生成與相容 API 整合在同一介面。
TextGen 與同類工具有何差異？
本地模型工具大致分成兩類。一類專注於單一環節，例如只負責推論的引擎，或只提供聊天介面的客戶端；另一類則嘗試整合完整流程。TextGen 屬於後者，它把對話、微調、圖像生成與 API 端點收進同一個應用程式，使用者不必在不同工具之間切換，也不需為每項功能各自設定環境。
與雲端服務相比，差異更加直接。資料不會離開本機，因此沒有上傳紀錄、沒有遙測回報，也不受服務條款變動影響；代價是需要自備硬體與模型檔案，且效能取決於本機顯示記憶體。對於處理敏感內容或需要反覆實驗的開發者，這項取捨通常值得。
在相容性方面，TextGen 明確提供 OpenAI 與 Anthropic 格式的端點，這使得既有專案只需調整基礎網址即可切換。這種「本地替代品」的定位，讓它同時服務兩類使用者：想保有隱私的終端使用者，以及需要低成本測試環境的開發團隊。專案的擴充機制也相對開放，社群可透過獨立套件加入語音、翻譯與其他能力。
專案累積 47,727 顆星標、5,983 次 fork 與 358 名關注者，以 Python 撰寫、採 AGPL-3.0 授權，最新版本為 2026 年 5 月發布的 v4.9。
TextGen 的統計數據與授權條件為何？
授權方面，TextGen 採用 AGPL-3.0，屬於具有傳染性的授權條款。使用者可以自由執行、研究與修改，但若將修改後的版本以網路服務形式對外提供，必須依相同條款釋出原始碼。企業若打算把此工具包裝成對外服務，需先確認授權義務；若僅供內部部署與個人使用，則不涉及散布問題。
維護模式以社群協作與核心維護者為主。專案目前有 847 個未結議題，反映使用者基數龐大且需求分散；儲存庫於 2026 年 8 月仍有推送紀錄，顯示專案維持更新。貢獻門檻屬中等，主要工作集中於後端整合、介面調整與文件維護，使用者也可透過擴充套件在不改動主體的情況下補充功能。
本文資訊整理自 oobabooga/textgen 的 GitHub 儲存庫與官方說明文件，涵蓋功能、架構、安裝流程、授權條款與發布紀錄。
出處連結有哪些？
- GitHub 儲存庫：https://github.com/oobabooga/textgen
- 可攜版下載頁：https://github.com/oobabooga/textgen/releases
- 官方說明文件：https://github.com/oobabooga/textgen/wiki
- 擴充套件目錄：https://github.com/oobabooga/textgen-extensions
- AGPL-3.0 授權條款：https://github.com/oobabooga/textgen/blob/main/LICENSE
TextGen 適合重視資料隱私、需要離線執行或想低成本測試多種模型的個人與團隊；若僅需輕量對話且無隱私要求，雲端服務可能更省事。
總結：TextGen 適合什麼使用者？
TextGen 的價值在於把本地模型的使用流程整理成可安裝、可切換、可擴充的完整工具。對需要處理敏感資料、無法依賴雲端服務，或希望反覆比較不同模型與量化設定的使用者而言，它提供了一條依賴少、資料不外流的路徑，並以相容 API 降低既有專案的遷移成本。
不過，這條路徑並非沒有門檻。使用者仍需自備足夠的顯示記憶體，並具備基本的模型檔案管理概念；可攜版雖然簡化了安裝，但進階功能仍需完整環境。在決定導入之前，建議先釐清實際需求是「必須離線」還是「偏好離線」，因為兩者的成本差異相當明顯。
隨著本地推論效率持續提升，這類桌面應用的定位正在改變。它不再只是實驗工具，而開始具備日常使用的條件。TextGen 是否值得長期採用，取決於團隊對資料主權與維運成本之間的權衡。