Google 今日在 GitHub 上開源了一個名為 ARTEMIS 的 AI 驅動 Android 自動化系統，能將日常英文指令直接轉化為可靠的 Android 裝置自動化操作。根據官方公布的 AndroidWorld 基準測試數據，ARTEMIS 在 20 多款真實應用、100 多項複雜多步驟任務中達到了 99% 以上的完成率。
ARTEMIS 是什麼？不只是測試框架
根據 GitHub 上的官方說明，ARTEMIS 是具備自主能力的 AI Agent，定位與傳統測試框架有本質不同。它可以處理複雜的跨應用工作流程，例如「在 Google Maps 設定駕車路線並計算總時長，然後打開 YouTube 播放 Coldplay 歌曲」，這屬於需要跨越不同 App 執行的日常任務。
ARTEMIS 以 Apache-2.0 授權開源，支援 macOS、Linux 與 Windows 平台，需要一台開啟 USB 偵錯的 Android 裝置或模擬器搭配 Python 3.12+ 環境。它同時整合支援多種大型多模態模型，包括 Gemini、Claude、GPT-4o 與 Qwen-VL。
ARTEMIS – GitHub
兩種執行模式：Flash 與 Pro
ARTEMIS 提供兩種截然不同的執行模式，因應不同的自動化需求：
Flash 模式（`–profile flash`）：這是一種快速的反應式循環，每個步驟約需 3–5 秒。模型直接觀察當前的螢幕畫面、思考並行動，沒有額外的圖形編排。適合常規、確定性的 UI 任務，例如設定選項、填寫表單等 25–30 步驟內可完成的應用場景。不支援執行前安全檢查、無檢查點驗證與最終報告，也不支援 ADB shell。
Pro 模式（`–profile pro`）：這是多 Agent 圖形架構，每步驟約 15–40 秒。由 Planner（規劃者）建立動態 Markdown 任務計畫，標記里程碑與驗證檢查點；Operator（執行者）使用完整工具集執行任務。每一步動作都經過執行前 Safety Net 安全網檢查，採用 XML 優先、像素備援的雙重驗證機制。支援 100+ 步驟的長時程工作流程、長時間連續監控以及可選的書面報告。Pro 模式還能處理因 UI 延遲或彈窗導致的執行事故，直接在 Operator 的上下文內恢復，無需額外的修復 Agent。
核心架構：三層漸進定位引擎
ARTEMIS 的核心技術是一套三階段的漸進式定位引擎：
第一層：本地 OCR + 無障礙層級（約 150 毫秒、0 token 消耗），透過無障礙層級索引驅動 85% 以上的標準 UI 操作，不受分辨率漂移或 UI 重設計影響。
第二層：空間視覺模型，當第一層無法定位時，備援到視覺模型處理自訂 Canvas、Compose 或 Flutter 自繪 UI。
第三層：沙盒化 CV 探針，用於細微像素狀態檢測，判斷按鈕啟用狀態、進度條進度等肉眼難以直接判斷的細節。
此外，Pre-Touch Pixel Gate 與 Speculative Chaining 機制能在動作發送前幾毫秒攔截意外彈出的對話視窗，並對短暫存在的 UI 元素（如自動淡出的影片控制條）進行預測性連續點擊，消除推理延遲競態條件導致的靜默誤點。
MCP 協定整合：IDE 內直接操控手機
ARTEMIS 內建原生 MCP（Model Context Protocol）伺服器，讓 AI 編寫助手可以直接驅動真實測試裝置。支援的 IDE 包括 Antigravity、Claude Code、Codex、Cursor、Windsurf、VS Code、Cline 與 OpenClaw。
開發者只需要在 IDE 聊天視窗中輸入自然語言指令，例如：
「將最新的變更建構成 APK，安裝到連接的裝置上，使用測試帳號開啟登入畫面，檢查登入後是否有異常彈窗，並回傳最終頁面的截圖。」
ARTEMIS 就會自動執行這整個流程，過程中自動抓取 Logcat 崩潰堆疊與關鍵幀截圖。實際整合可以一鍵完成：`uv run artemis mcp –install all` 會自動將 MCP 配置與測試心態規則掛載到所有支援的 IDE 中。
自動化測試 vs. 日常助理
ARTEMIS 的定位是雙重的。對測試工程師來說，它是一個零維護的測試自動化引擎：傳統 Appium 或 Espresso 框架依賴脆弱的 XPath/ID 選擇器，一旦 UI 重設計就要修改測試程式；ARTEMIS 的動態優先定位引擎則對 UI 改動、系統更新與分辨率變化保持彈性。
同時它也可以作為日常自主助理使用。官方展示的用途包括：跨 App 的資訊提取與操作、10 小時以上的長時間連續探索測試、以及與 CI/CD 管線整合進行自動回歸測試。Python SDK 提供了標準的 `ArtemisClient` 介面，可嵌入 pytest 測試框架，支援強型別 Pydantic 結構化輸出。
Roadmap：iOS 與 Android Studio 原生插件
根據 GitHub 上的計畫，ARTEMIS 的發展藍圖包括 Android Studio 原生插件整合、iOS 平台擴展、端側輕量 VLM（視覺語言模型）以及語音雙向互動。這意味著 Google 正在將這項技術定位為跨平台的通用行動 AI 自動化基礎設施。
結語
ARTEMIS 的開源，等於是把原本只有大型測試團隊能負擔的 AI 驅動行動自動化能力，下放到任何開發者手中。99%+ 基準完成率與 MCP 協定整合兩個特色結合在一起，讓「用自然語言寫測試」從概念變成可以直接運用的工具。而對於終端使用者來說，這也預示著 Android 裝置的 AI 代理能力即將進入一個新的階段：不再只是被動回答問題，而是主動為你操作手機。
