Firecrawl 於十一月初連續調整搜索產品線，把已棄用的 GitHub 研究索引端點正式下線，並移除搜索分類中的 github 選項，改以開發者索引承接。項目在 GitHub 累積十九萬八千顆星標，此輪改動同時加入技能文件搜索來源，並把 TLS 憑證驗證改為預設開啟。
Firecrawl 在 AI 資料鏈路中扮演什麼角色？
Firecrawl 是開放原始碼的網頁資料 API，把網頁轉為 Markdown 或結構化 JSON 供代理讀取。項目以 TypeScript 撰寫，採 AGPL-3.0 授權。
專案的定位是把網頁整理成模型可直接消化的上下文。官方 README 把自身描述為搜尋、擷取與互動三個層次的介面，並以覆蓋率、延遲與輸出整潔度作為主要賣點。
技術上它處理的是瀏覽器渲染、代理輪替、反爬限制與 JavaScript 執行等琐碎環節。開發者只需送出網址，便取得去除導覽列與廣告的正文，必要時可指定截圖、結構化欄位或頁面操作腳本。
生態層面則是這輪改動的背景。專案提供 MCP 伺服器、命令列工具與多語言 SDK，不少代理框架把它當成預設的網路入口，因此端點一旦變更，影響會沿著整條工具鏈擴散。
GitHub 搜索端點為什麼在十一月下線？
兩條端點於九月三日標記棄用，並公告十一月三日為日落期限。期限過後路徑改回 410 Gone，回應附上替代端點與文件連結，且在認證與計費之前攔截，不產生費用。
官方在合併說明中寫明執行時序。研究索引的 GitHub 搜索於九月三日進入棄用狀態，公告的日落日為十一月三日，程式碼在期限過後才合併，避免提前中斷仍在合約期內的呼叫方。
退場處理得相當完整。GET /v2/search/research/github 與舊版 GET /v2/research/github 兩條路徑同時回傳 410，回應正文帶有固定錯誤碼與替代端點欄位，Deprecation、Sunset 與指向後繼版本的 Link 標頭亦一併保留。
值得留意的是攔截位置。410 在認證、流量限制、額度檢查與計費之前就回傳，因此沒有金鑰、未認證或額度用盡的呼叫方同樣收到指引，而且不會被扣費。每次命中另寫一行日誌，記錄路徑、來源與用戶代理，但不建立請求紀錄。
搜索分類中的 github 選項為何一併移除？
該分類實際只在查詢後加上網域過濾，功能與開發者索引重疊。移除後舊請求收到 400，錯誤訊息直接指名替代分類與端點，亦提示可改用網域包含參數。
/v2/search 的 categories 欄位過去接受 github 值。這個值的作用僅是在查詢後附加 site:github.com 過濾，既不進入專用索引，也不具備段落級結果，官方在文件中早已不再推薦。
移除之後，仍送出該值的請求會收到 400，而非結構描述驗證產生的籠統訊息。錯誤文字會指明分類已移除，並列出兩個替代方案：改用 developer 分類，或直接呼叫開發者索引端點；若只是要取 github.com 的普通網頁結果，可改用 includeDomains 參數。
分類檢查置於結構描述驗證之前，但仍排在認證與額度檢查之後。這個順序意味著請求不會被搜尋，也不會被計費，開發者可在不消耗額度的情況下確認參數是否合規。其餘分類維持原狀，僅在通知文字中刪去 github 一項。
開發者索引與一般網頁搜索有何分別？
開發者索引收錄公開儲存庫的議題、已合併拉取請求與說明文件，結果以命中段落回傳而非摘要。每十筆結果計兩點額度，並可按語言、主題、授權與星標數篩選。
差異首先在資料來源。一般網頁搜索回傳的是頁面層級的摘要與連結，開發者索引回的則是段落層級的命中內容，涵蓋公開儲存庫的議題、已合併的拉取請求、說明文件，以及精選的技術文件站點。
每筆結果帶有穩定識別碼，前綴標明素材類型，分別對應文件、議題、拉取請求與說明文件。回應同時附上網址與命中的 Markdown 段落，表格與程式碼區塊得以保留，這對排查錯誤訊息或追蹤介面契約特別有用。
篩選能力是第二個分別。查詢可指定結果數量、每筆附帶的段落數、素材類型、儲存庫範圍與文件來源，另可按語言、主題、授權、星標區間、是否封存與是否為分支進行過濾。官方提醒，後七項描述的是程式碼儲存庫，若未同時指定文件來源範圍，便不會取得文件結果。
計費方式亦有調整。開發者搜索按每十筆結果計兩點額度，一至十筆為兩點，十一至二十筆為四點，依此類推。
技能文件成為搜索來源後改變了什麼？
POST /v2/search 新增技能來源，與網頁及文件庫並列，回傳技能卡片的識別碼、名稱與描述。該來源免費且不計入額度，但需要金鑰。
技能是近一年代理生態的關鍵詞。它指的是可安裝的行為描述檔，通常包含指令、範例與工具約定，讓代理在特定任務上表現得更穩定。專案把這類檔案納入索引，讓搜索結果可以直接指向可安裝的技能。
實作上，請求在 sources 中帶入技能值時，查詢以三筆為上限送往內部探索服務，回應落在 data.skills 欄位。查找與其他來源並行執行，設有三秒上限；逾時、非 200 回應或格式不符時，該欄位退化為空陣列，不會令整次搜索失敗。
限制值得先看清楚。技能來源與資料庫來源採用相同的存取檢查，需要 API 金鑰，且在零資料保留模式下被拒絕；它本身不計費，也不列入用量統計。完整技能內容須以卡片識別碼另行載入，搜索階段只取得描述層級的資訊。
TLS 憑證驗證改為預設開啟影響哪些部署？
過去 v2 請求在無自訂標頭時預設略過憑證驗證，現已改為預設驗證。無效憑證的站點將回報 SSL 錯誤，需明確帶入略過參數才能擷取，零資料保留模式則強制驗證。
這項改動的影響面比端點退場更廣。舊行為下，第二版擷取介面在請求未帶自訂標頭或操作腳本時會略過憑證驗證，第一版介面亦因共用預設值而同樣略過，與其文件描述的預設值不一致。
調整之後，兩版介面的略過選項一律預設為關閉，憑證由系統驗證。內部站點若使用自簽憑證，擷取將回報憑證錯誤，呼叫方必須明確把略過選項設為開啟才能繼續。驗證設定同時延伸至特定擷取引擎與檔案下載路徑，不再只作用於瀏覽器引擎。
零資料保留模式的行為保持不變，該模式下憑證驗證對所有引擎強制開啟，無法略過。對在內網批次擷取自架服務的團隊而言，這是最需要提前測試的一項，因為錯誤只會在執行期出現。
自行部署與既有整合需要留意什麼？
依賴舊端點的腳本會在升級後中斷，須改呼叫開發者索引並調整計費預期。自簽憑證的內網擷取需加參數，託管與自架版本的行為差異亦宜先在測試環境比對。
第一個風險是硬編碼路徑。任何在程式碼中寫死研究索引 GitHub 路徑的腳本，升級後會直接收到 410，錯誤處理若只判斷成功與失敗，容易誤判為網路問題。建議先把呼叫集中到單一函式，再統一改寫。
第二個風險是額度預期。開發者索引按結果數量計費，與過去以頁為單位的心智模型不同。批次查詢若未收斂結果數量，成本會隨請求量線性上升。
第三個風險是自架與託管的差異。專案以 AGPL-3.0 釋出，自架版本可完全掌控資料流向，但技能來源與部分索引能力依賴官方服務，自架部署未必具備相同覆蓋範圍。遷移前宜先在測試環境比對兩邊的結果數量與欄位結構。
Firecrawl 的專案數據與生態規模如何？
專案現有十九萬八千八百七十八顆星標、一萬零四百八十七個分支，主要語言為 TypeScript，二零二四年四月建立，累積約一百七十八位貢獻者。
星標曲線反映這類基礎設施的擴散速度。專案於二零二四年四月建立，兩年半內累積近二十萬顆星標，分支數超過一萬，代表不少團隊把它納入自有系統而非單純關注。
待處理議題數量偏高，與專案同時維護多語言 SDK、命令列工具與託管服務有關。官方對新貢獻者的議題與拉取請求預設自動關閉，由維護者每日覆核，這個做法在開源專案中並不常見，目的在於控制審核負擔。
版本節奏方面，最近三個正式標籤分別為六月的 2.11.0、五月的 2.10 與四月的 2.9.0，主要功能改動多以提交與文件形式先行發布，標籤更新頻率低於程式碼推送頻率。
出處連結與延伸閱讀有哪些？
原始碼、提交記錄與文件集中在 GitHub 的 firecrawl 組織之下，端點變更另見官方文件的開發者索引與搜尋分類章節。
變更細節可在三筆合併記錄中查閱：研究索引 GitHub 搜索的退場、搜尋分類的移除，以及憑證驗證預設值的調整。三者分別對應不同的呼叫面，遷移時宜逐項確認。
參考來源：https://github.com/firecrawl/firecrawl
總結：哪類團隊最需要調整？
以 GitHub 議題與文件作解答來源的代理團隊受益最大，改接開發者索引可取得段落級內容。僅作一般網頁擷取並依賴自簽憑證的內網流程，則須先處理驗證預設值變更。
這輪改動的主線是把搜索能力从網頁層級推向素材層級。把議題、拉取請求與說明文件獨立成索引，回應的是代理排查技術問題時的真實需求：它需要的不是一段摘要，而是能引用的原文段落。
代價是遷移成本集中在既有整合。端點退場給出的通知期約兩個月，處理方式在同類產品中屬於相對周到的一種，但對於沒有訂閱變更通知的團隊，410 仍會在升級當日才被發現。
對自架使用者而言，最實際的建議是先盤點三件事：程式碼中有無寫死舊路徑、內網站點是否使用自簽憑證、以及批次查詢的結果數量是否已收斂。三項確認之後，升級風險大致可控。
