亞馬遜內部票務系統原本以 Claude Sonnet 4.6 為二十類工單貼標籤,近日改用 Strands Decider 的 E4B 模型。官方公布每百萬張工單成本由約 22,200 美元降至約 500 美元,單次呼叫時間由 4,215 毫秒縮至 897 毫秒,輸出 token 由 170 個減至 1 個,全年可省數百萬美元。

Strands Decider 儲存庫 README 開頭畫面,頂部為 Strands 標誌,下方標題寫著 Strands Decider 與「A small, fast decision model for agentic AI」標語,接著是專案說明段落,指出決策模型與一般語言模型的分別在於只從選項中挑選或按尺度評分,並列出挑選選項、尺度評分與信心分數三項能力

Strands Decider 由 strands-labs 於九月二十九日建立,以 Python 撰寫,Apache-2.0 授權,至十一月十日累積約 946 顆星標與 119 次複製。它不屬於通用語言模型,而是官方所稱的決策模型,也叫系統一模型。這類模型只做兩件事:在一組已知選項中挑一個,或按既定尺度給出分數。

亞馬遜的個案由兩名工程師 Carr 與 Mehul 撰寫,發表在 Strands 官方部落格。他們把一個每天處理大量客戶升級、容量申請、自動告警與安全告警的內部工單系統,從語言模型推理路徑換成一個 2B 參數的決策模型,並公開完整量測數據與切換方法。

Strands Decider 是什麼?

Strands Decider 是開源決策模型,只從已知選項挑選或按尺度評分,回傳各選項機率與信心值,不生成文字。基礎模型為 Qwen3.5 與 Gemma 4。

三種提問形式構成全部介面。選項選擇題把狀態與一組候選標籤送出,模型回傳各標籤的機率;是非題回傳一個貼近一的分數代表傾向成立;尺度評分則在有序等級之間給出落點,例如判斷一段文字的情緒位於平靜、不滿或低落之間。

每個答案都附帶信心值,這是它與傳統分類器最大的差異。官方評估顯示,在未曾見過的短分類任務上,信心值達 0.9 以上的答案約有 95% 正確;低於此門檻時,建議改為人工確認或向使用者追問。前沿語言模型的推理介面並不提供對等的可靠度訊號。

模型權重放在 Hugging Face 的 StrandsAgents 組織,五個 v1 版本同時鏡像到 amazon 組織。尺寸涵蓋 Qwen3.5-2B 與 Gemma 4 的 E2B、E4B、12B、26B-A4B 四級,全部共用同一個指標頭,回答相同的三種題型。

Strands Decider 儲存庫首頁的程式碼檢視,顯示 Code、Issues、Pull requests、Actions 等分頁,主分支為 main,共三十八個分支與三個標籤,檔案樹列出 configs、data、deploy、docs、evaluation、examples、src、tests、training 等目錄,右側 About 欄說明專案定位

為什麼 2B 模型可以取代 Sonnet?

因為工單分類是從二十個已知標籤中單選,屬封閉選項任務。模型只輸出一個選擇,不必產生 JSON 與推理文字,提示詞可壓到四千 token 內。

亞馬遜的票務系統每天把客戶升級、容量請求、自動告警、安全發現等項目歸入二十類標籤之一。原本的做法是每次呼叫都帶一段長系統提示,要求模型產生 JSON 並附上推理過程,再從輸出中解析結果。

改用決策模型後,工程師把二十個標籤各改寫成一至兩句判準,加上一個「無適用」選項,整體包成一道單選題。工單內容作為狀態送出,模型只回傳一個選擇與對應機率。長工單超出四千零九十六 token 視窗時,最舊的留言會被丟棄。

提示詞縮短與輸出長度歸零,是 token 下降的兩個來源。原本每次呼叫平均消耗 6,554 個輸入 token 與 170 個輸出 token,改後為 2,009 個與 1 個。這裡的關鍵在於任務性質:分類不需要解釋,只需要判斷。對照前沿模型近期的定價方向,可參考 Claude Fable 5.2 的每任務成本說法。

三向切換開關如何降低上線風險?

標籤服務每處理一則訊息就讀取一次 AppConfig 的三向設定,可選舊模型、雙跑並比對、或全面改用決策模型。切回舊路徑只是一次設定變更,約四十五秒生效。

三種模式分別命名為 BEDROCK、DUAL 與 DECIDER。BEDROCK 模式下 Sonnet 標記每一張工單,決策模型不被呼叫;DUAL 模式同時呼叫兩者,Sonnet 的結果寫入工單,決策模型的判斷另存供逐筆比對;DECIDER 模式則完全由決策模型接手,不再呼叫 Bedrock。

這個設計把上線決策從事前評測搬到真實流量。工程師在雙跑期間檢視每一處分歧,判斷哪一方正確,再決定是否切換。相較於離線測試集,真實流量的分歧更能暴露邊界情況。

回滾成本同樣被壓到最低。團隊在文章中明言,回到舊路徑是一次四十五秒的設定變更,因此整個實驗沒有單向門的壓力。

成本差距有多大?

每百萬張工單由約 22,200 美元降至約 500 美元,差距約四十四倍。單次呼叫由 4,215 毫秒縮至 897 毫秒,總 token 減少七成。

官方以美東第一區的公開隨需價格計算,Sonnet 4.6 每百萬輸入 token 收 3 美元、每百萬輸出 token 收 15 美元,換算每張工單約 0.0222 美元。決策模型跑在 SageMaker 的 ml.g5.xlarge 執行個體,每小時 1.408 美元。

指標 Claude Sonnet 4.6 Strands Decider E4B 變化
單次呼叫時間 4,215 毫秒 897 毫秒 縮短 78%
每張工單輸入 token 6,554 2,009 —
每張工單輸出 token 170 1 —
每張工單總 token 6,724 2,010 減少 70%
每百萬張工單成本 約 22,200 美元 約 500 美元 降低 98%

單一執行個體配一張 A10G 顯示卡與 24 GB 記憶體,模型佔用約 19 GiB。每次請求約 640 毫秒,換算每小時可處理約 5,600 張工單;理論滿載成本為每百萬張 250 美元,保留尖峰餘裕後實際約 500 美元。

值得注意的是,這個數字不含 Lambda 費用,但 Lambda 的執行時間同步下降 74%,因此整體帳單的減幅只會更大。團隊指出,改用決策模型後一年可節省數百萬美元的 token 支出。

哪些任務不適合用決策模型?

標籤需要附帶解釋文字、目錄每週變動、或有用上下文無法壓進數千 token 的任務都不適合。決策模型只回傳選項與分數,無法說明理由,也無法處理開放式生成。

官方把適用條件寫得很直白:任務必須是從已知目錄中做封閉選擇,呼叫量要夠大,且舊路徑的延遲確實造成困擾。三項之中缺任何一項,節省幅度就會被抵銷。

三種情境被明確列為不適合。第一是標籤本身需要解釋,例如法務或醫療場景要求模型說明歸類依據;第二是目錄頻繁變動,每週新增標籤會讓固定選項的前提失效;第三是判斷所需的上下文超過數千 token,壓縮後會丟失關鍵資訊。

對正在評估同類方案的團隊,這些邊界比節省數字更有參考價值。決策模型並非語言模型的廉價替代品,而是把一類特定任務從生成式推理中切出來處理。站內曾整理 llama.cpp v0.9.0 的量化路線,同樣屬於以較小運算量換取可接受準確度的思路。

自行部署需要注意什麼?

可先以命令列工具在本機提問,再以伺服器模式開出端點供其他服務呼叫。官方提醒 JSON 鍵順序會改變輸出機率,比較前必須固定排序。

命令列工具名為 strands-decider,安裝後可直接對模型提問。裝置參數支援 cuda、mps 與 cpu,蘋果晶片機器可改用 mlx 後端,官方量測比 MPS 快 1.4 至 1.6 倍。伺服器模式則以 /v1/systemone 端點接受狀態與題目組合。

一個容易忽略的細節出現在比對實驗中。相同內容若以不同順序排列 JSON 鍵,輸出機率最多偏移 0.19,足以改變最終標籤。團隊因此改為每次送出前排序鍵值,並建議任何把決策模型放在 API 後面的人都先檢查這一點。

視覺版本需要額外安裝,並要求 transformers 5.18 以上。開啟後請求可附帶 base64 影像,用於判斷表單欄位是否填妥一類的檢查。模型卡顯示,v1 在缺圖情況下的過度自信程度高於 v21,選擇版本時值得留意。

Strands Decider README 中的 Gemma 4 模型比較表,列出 E2B、E4B、12B 與 26B-A4B 四級模型的 JevBench 分數、Brier 分數、留出短任務與程式任務準確率、決策指數、權重所需顯示卡記憶體,以及單張 H100 上的中位延遲

出處連結有哪些?

原始碼位於 strands-labs/strands-decider,權重放在 Hugging Face 的 StrandsAgents 組織,成本數據出自官方部落格。

儲存庫位於 github.com/strands-labs/strands-decider,內含評估結果、推論文件、部署指南與訓練設定。亞馬遜個案的完整量測與切換流程見 Strands 官方部落格。

模型權重可在 Hugging Face 的 StrandsAgents 組織 取得,五個 v1 版本同時鏡像於 amazon 組織。專案官網為 strandsagents.com,代理框架的文件亦在同站。

常見問題有哪些?

本文整理授權條款、硬體需求、與傳統分類器的差別、信心值解讀、視覺支援與企業採用六項疑問,並附上官方公布的適用邊界。

### 授權條款是什麼? 程式碼與模型均為 Apache-2.0,可商用、可修改、可再散布,需保留版權聲明與變更說明。Gemma 4 系列沿用其基礎模型的授權條件。 ### 需要多少硬體? 2B 版本在 CPU 上可執行,僅速度較慢。E4B 於 bf16 精度下權重約需 15 GB 顯示卡記憶體,12B 約 23 GB,26B-A4B 約 51 GB。官方以單張 H100 量測中位延遲,E4B 為 139 毫秒。 ### 與傳統分類器有何差別? 傳統分類器需要標註資料與訓練流程,決策模型可直接以自然語言描述選項與判準,不必重新訓練。代價是推論仍需顯示卡,且對提示措辭比分類器敏感。 ### 信心值應該怎麼用? 官方建議以 0.9 為分界:高於此值直接採用,低於此值改為人工覆核或向使用者追問。這個門檻可依場景調整,調整後需以實際流量重新校準。 ### 可以處理圖片嗎? 可以,需安裝視覺擴充並開啟對應參數。Qwen3.5-2B 本身具備多模態能力,模型卡指出 v1 在影像任務上的準確度與 v21 相當,但缺圖時較為過度自信。 ### 企業採用要注意什麼? 先確認任務屬封閉選項、目錄穩定、呼叫量大。導入時建議照亞馬遜做法以雙跑模式比對,並固定 JSON 鍵順序。回滾機制應在切換前就位。

總結:決策模型適合哪些團隊?

適合已有封閉標籤目錄、呼叫量大且對延遲敏感的團隊。先以雙跑模式比對一週真實流量,確認分歧可控後再切換,是成本最低的導入路徑。生成式任務仍應留在語言模型。

亞馬遜個案的價值不在 98% 這個數字,而在於它把一類任務重新定義。工單分類長期被當成語言模型的工作,實際上只需要在二十個選項中挑一個,並附上一個可信度。把這部分切出來交給 2B 模型,語言模型仍可留在需要解釋與生成的環節。

三向切換開關是整個實驗中最可複製的部分。它讓上線風險從「猜對」變成「比對」,也讓回滾成本低到可以忽略。任何要替換生產環境推理路徑的團隊,都可以照搬這個結構。

邊界條件同樣值得記住。標籤需要解釋、目錄頻繁變動、上下文過長,這三種情境會讓節省幅度消失。評估時應先確認任務落在封閉選項這一側,再談成本。