Google 於二零二六年八月開源的 Android 自動化代理 ARTEMIS,截至十一月一日累積 16,048 顆星標,在 AndroidWorld 基準取得 99% 以上完成率。它以自然語言指令驅動真實手機,並透過原生 MCP 伺服器接入主流編碼助理。

ARTEMIS 的 GitHub README 開頭,顯示專案橫幅、標語「Let AI assistants and test suites use real phones like a human」、Apache 2.0 與 MCP 原生伺服器徽章、示範動畫,以及跨應用自動化與多模態定位等功能重點

ARTEMIS 是什麼?

ARTEMIS 是 Google 開源的 Android 自動化代理,把自然語言指令轉成點擊與輸入,供 AI 編碼助理與測試套件操作真實手機,採 Apache 2.0 授權。

專案定位寫得很直接:讓 AI 助理與測試套件像人一樣使用真實手機。它並非模擬器上的腳本錄製工具,而是由多模態模型即時觀察螢幕、判斷目標元件、再送出操作指令的代理系統。儲存庫在八月十三日建立,至十月初仍有提交,主要語言為 Python,授權為 Apache 2.0。

與一般 UI 自動化框架的差別在輸入端。傳統做法要求開發者先取得資源識別碼或撰寫定位條件,介面一改動就失效。ARTEMIS 接受的是「打開設定,找到電池,告訴我目前電量」這類句子,定位工作交給模型在執行時完成。

它同時提供四種接入方式:命令列、網頁視覺控制台、MCP 伺服器與 Python SDK。這種排列說明目標使用者不只一類,既有想把代理塞進 IDE 的開發者,也有要把手機測試納入 CI 流程的測試團隊。

ARTEMIS 如何把自然語言指令變成手機操作?

系統以觀察與操作迴圈運作,模型讀取畫面結構與截圖後決定單一動作,執行後再觀察結果,歷史紀錄會被壓縮成摘要,避免上下文隨步數膨脹。

核心是反應式迴圈。代理先取得當下畫面,包括無障礙樹與截圖,模型據此判斷下一個動作與座標,送出點擊或輸入,再重新觀察。這個循環每一步都是一次完整的感知與決策,因此不需要預先寫死的流程圖。

定位策略採動態優先、座標退讓。當介面提供元素索引時,代理使用索引;遇到自繪元件、Compose 或 Flutter 介面而沒有可用索引時,退回視覺模型判斷位置。官方文件把這個順序視為規則,而非可選項。

長任務的困難在上下文。系統把舊截圖換成視覺摘要,把已完成的步驟壓縮成可搜尋的歷史區塊,並以步數閾值控制原始紀錄何時被替換。代理必要時可透過歷史搜尋與步驟重播取回細節,這種設計讓快速模式預設不設回合上限。

ARTEMIS 的 GitHub 儲存庫首頁,顯示 repo 名稱 google/artemis、描述文字、Star 數 16k、Fork 數 18k、主要語言 Python,以及 121 次提交紀錄

Flash 與 Pro 兩種執行模式差在哪裡?

Flash 是單模型反應式迴圈,每步約三至五秒,適合例行操作;Pro 是多代理圖,含規劃者、操作者與檢查者,每步十五至四十秒,適合長流程。

快速模式只做一件事:看、想、做。它沒有任務計畫,也沒有事前安全檢查,換來的是速度與較低用量。官方列出的限制很明確,包括沒有檢查點驗證、沒有最終報告、不提供 ADB 命令列能力,適合重複性高且介面穩定的流程。

深度模式則是多代理協作。規劃者維護一份帶里程碑與驗證項的計畫,操作者依計畫執行並持有完整工具,檢查者以唯讀方式核對檢查點,必要時對原始目標做最終審查。每個動作送出前都先經過安全網,以結構優先、像素退讓的方式確認目標。

兩者的差異其實是責任分配。快速模式把錯誤留給使用者發現,深度模式把錯誤留在系統內部處理。選擇哪一種,取決於流程失敗一次的代價,而不是取決於任務聽起來複雜與否。

MCP 整合如何讓 IDE 直接驅動手機?

ARTEMIS 內建原生 MCP 伺服器,安裝後 IDE 可透過工具呼叫派送任務、讀取裝置狀態、取得 Logcat 與截圖,並回放執行軌跡,支援多個主流編碼助理。

整合方式是一條命令。執行安裝指令後,工具會把 MCP 設定與行為規則寫入對應 IDE 的設定檔,支援範圍包含 Antigravity、Cursor、Claude Code、Codex、Windsurf、VS Code 與 OpenClaw 等客戶端。官方建議把行為規則一併掛上,理由是模型若沒有測試工程師的紀律,容易憑空描述介面。

實際用法接近口語下單。使用者可在 IDE 對話中要求建置最新版本、安裝到連接的裝置、開啟登入頁、檢查登入後有無異常彈窗,並回傳最終頁面截圖。代理負責驅動裝置,IDE 負責理解需求與整理結果。

工具介面共有五個主要端點,涵蓋派送任務、管理任務、讀取裝置狀態、檢視執行軌跡與診斷。這種設計把「操作手機」變成一項可組合的能力,而不是另一個獨立應用程式。

AndroidWorld 99% 的成績代表什麼?

AndroidWorld 是 Google Research 的基準,涵蓋二十多個應用與百多項任務;99% 完成率代表標準環境穩定,但不保證自家應用同樣表現。

基準的意義在可比性。AndroidWorld 由 Google Research 維護,任務橫跨二十多個真實應用,包含設定變更、資訊查找與跨應用操作,評估的是代理能否在有限步數內達成目標,而非單一動作是否正確。

這個數字需要放回脈絡閱讀。基準環境的裝置狀態、應用版本與網路條件都是受控的,真實企業流程往往混入登入失效、通知干擾與版本差異。官方在文件中也承認深度模式的每一步都可能遇到介面變化,因此安全網與事件機制才是穩定性的來源。

對評估者而言,合理的期待是把它當成上限參考。若自家流程與基準任務型態接近,成功率的落差通常不大;若涉及支付、權限或跨帳號操作,仍應以深度模式搭配檢查點執行,並保留人工複核。

裝在手機上的輔助服務有什麼隱私考量?

首次執行任務會安裝一個無障礙輔助服務,用於讀取畫面結構,只在裝置本機運作,不會上傳資料,可隨時移除或改用 UIAutomator2 後端。

機制值得說明。代理需要知道畫面上有什麼,但直接佔用系統的 UI 自動化連線會與其他工具衝突,於是專案改為安裝一個精簡的無障礙服務讀取版面。使用者會在通知列看到「測試輔助執行中」,並在設定中見到對應項目。

資料流向是本機。官方明確表示該服務只監聽裝置本身,不會把內容送往其他地方。若使用者不願安裝,可在環境設定中改用 UIAutomator2 後端,或關閉自動安裝。服務若在任務中失效,系統會退回備援方案,並在時間軸與最終報告中標示。

企業導入時仍有治理問題。無障礙權限本身高度敏感,等同允許程式讀取其他應用的介面內容,因此測試機應與生產帳號隔離,並在流程結束後移除輔助服務。

ARTEMIS 專案數據與開發節奏如何?

截至二零二六年十一月一日,儲存庫累積 16,048 顆星標、1,759 次分叉與 200 位訂閱者,建立於八月十三日,主要語言 Python,授權 Apache 2.0。

  • 16,048GitHub 星標
  • 1,759分叉次數
  • 200訂閱者
  • 180待處理議題

成長曲線值得觀察。專案在不到三個月內突破一萬六千星,星標與分叉的比例約為九比一,說明多數關注者只是收藏,真正動手改造的比例較低。待處理議題一百八十項,對一個新專案而言數量偏高,反映社群期待與維護節奏之間的張力。

開發活動集中在少數帳號。貢獻者頁面顯示提交主要來自兩個帳號,並記錄一百二十一次提交。這種集中結構在企業開源專案常見,優點是方向明確,風險是外部貢獻者的進入門檻較高。

授權安排也有細節。主體採 Apache 2.0,第三方目錄中的行動代理元件另附授權與來源標註,商業使用前需要逐一確認。這種分層標註比單一授權檔更清楚,但也要求使用者真的去讀。

ARTEMIS 的貢獻者統計頁,顯示專案提交總量、貢獻者清單與各帳號提交次數分佈

出處連結有哪些?

原始碼、議題追蹤與文件中英文版集中於 Google 的 artemis 儲存庫,快速開始與 MCP 設定步驟見 README 對應章節。

本文數據取自 GitHub 儲存庫的公開統計與 README 內容,功能描述與模式差異對照官方文件。專案另設 Discord 社群討論區,路線圖列出手機以外的擴展方向,包括 Android Studio 整合、iOS 支援與裝置端輕量視覺模型。

出處:https://github.com/google/artemis

常見問題有哪些?

常見疑問集中在硬體需求、模型成本、iOS 支援與商業使用四方面,以下按官方說明整理,實際表現仍受裝置與應用版本影響。

需要什麼設備才能執行?

需要一台開啟 USB 偵錯的 Android 裝置或模擬器,以及可執行 Python 3.12 以上版本的電腦。啟動腳本會自動偵測並安裝 ADB、scrcpy、FFmpeg 與相關相依套件。

一定要用付費模型嗎?

專案支援多模態模型,官方徽章列出 Gemini、Claude、GPT-4o 與 Qwen-VL 等選項。實際費用取決於所選模型與模式,快速模式每步較短,深度模式因動作前檢查而用量較高。

支援 iOS 嗎?

目前不支援。路線圖把 iOS 平台擴展列為待辦項目,現階段只涵蓋 Android 裝置與模擬器。

可以用在商業專案嗎?

主體採 Apache 2.0 授權,允許商業使用與修改。第三方目錄下的元件另有授權與來源標註,需要個別確認。

代理會不會誤觸付款或刪除資料?

深度模式的每個動作送出前都會經過安全網檢查,失敗或受阻的動作會開啟事件交由操作者復原。快速模式沒有這層保護,涉及敏感操作時應改用深度模式並保留人工複核。

總結:ARTEMIS 適合什麼團隊?

適合已有 Android 應用且需要頻繁回歸測試的團隊,或想把裝置操作接進 IDE 的開發者;只做靜態分析或完全不接觸行動端的團隊,導入效益有限。

這個專案補上的是代理能力的最後一哩。模型已能寫程式、讀文件,卻長期無法可靠地操作圖形介面,ARTEMIS 用基準成績證明這條路可行,並把裝置操作包成 MCP 工具,讓既有編碼助理直接呼叫。

落地前提仍然明顯。它依賴無障礙權限、需要真實裝置或模擬器,模型用量與時間成本都高於腳本式測試。導入時務實的做法是先用快速模式跑例行檢查,確認穩定後才把長流程交給深度模式,並以獨立測試機與專用帳號隔離風險。