讓 AI 直接幫人們操作手機解決日常問題，一直都是相關產業應用的聖杯，有早期大膽嘗試結果慘被全中國網路巨頭封殺的「豆包手機」，還有之前剛發表的「StepX Neo」。前兩天有人使用 Codex 達成控制 iPhone 操控 App的功能，現在 Claude Code 也有開發者在 GitHub 上公開了一個叫 phone-harness 的開源專案，主打「用一片很薄的、可改寫的 harness，把大型語言模型直接接到真的 iPhone 上」。最關鍵的是，它不用越獄、不用 Xcode、也不用 WebDriverAgent，靠的竟是 Mac 上既有的 iPhone 鏡像功能。
Claude Code can use your iPhone! 📲
Introducing: phone-harness
> Automate any iOS app like a human
> native iPhone control → no API, no jailbreak
> Connect once, control anytimeSetup in one prompt.
Try it now! ↓ pic.twitter.com/vMeB0AudUo— shawn (@shawn_pana) August 8, 2026
phone-harness 原理：iPhone 鏡像截圖加 OCR 當眼睛、CGEvent 當手
phone-harness 的工程邏輯很直白，「把 iPhone 鏡像視窗當成整條傳輸通道」：眼睛用截圖加 Vision framework 的 OCR，手則是用系統層級的 CGEvent 去模擬真實觸控，中間沒有任何東西擋在 AI Agent 跟手機之間。macOS 的 iPhone 鏡像（iPhone Mirroring）會把 iPhone 畫面渲染成 Mac 上的視窗，同時把 Mac 的滑鼠與鍵盤輸入轉成觸控，也就是把這個視窗當成代理的眼睛和手。
「看」這部分，先用 screencapture 抓下鏡像視窗，再用蘋果的 Vision framework 做文字辨識，把畫面上每個看得見的字串通通變成帶座標的內容，作者戲稱這是「窮人的 DOM」。所以代理能在螢幕上認出「天氣」這個字，還知道它在哪個座標。
「動手」這部分，靠的是 CGEvent 在 HID 層級送出事件，能做的動作包含點擊、長按、拖曳、滑動、捲動手勢、輸入文字，還有 App 自己的快速鍵（像是 Cmd+1 回主畫面、Cmd+2 開啟 App 切換器、Cmd+3 開啟 Spotlight）。做完之後再截一次圖確認結果，因為沒有 DOM，截圖就是最真實的答案。
整個鏡像傳輸是無狀態的，每次呼叫都會重新查詢視窗位置跟畫面，所以完全不需要常駐的 daemon，每一次執行都是獨立完整的。核心程式碼大概 500 行，分成 mirror（視窗與輸入）、ocr（文字辨識）、helpers（預先載入的基礎函式）、admin（doctor 健康檢查）、run（CLI）這幾個模組。
安裝的門檻不高而且支援 Claude Code 與 Codex，前提是 macOS Sequoia 以上、Python 3.12 以上，並把 iPhone 鏡像跟手機配對一次。系統權限要給終端機兩樣東西：輔助使用（Accessibility，負責點擊跟按鍵）和螢幕錄製（Screen Recording，負責看手機畫面）。前者立即生效，後者要重開終端機才吃得到。裝完用 phone-harness --doctor 檢查整條鏈路，全過就代表從截圖到點擊都通了。
會先問再做、不碰敏感內容
既然是操作真的手機，作者在 SKILL 裡把界線寫得很清楚。任何對外或難以挽回的動作，像是送出訊息、發文、購買、刪除、改設定，都要先停下來問使用者。導覽跟閱讀使用者自己的任務內容沒問題，但不會在「訊息、照片、郵件」這些個人內容裡逗留超過任務所需。
技術上也承認有極限。一次只能一台手機、一個 session，解鎖實體手機會暫停鏡像；沒有多點觸控（不能捏合）、不能跑相機或 Face ID 流程，DRM 影片會整個黑掉；OCR 只認文字，不認語義，所以沒有標籤的圖示還需要截圖加一個能看圖的模型才認得出來。
phone-harness – GitHub
跟昨天那套 codex-ios-assistant 比，路線完全不一樣
講到「讓 AI 代理操作 iPhone」，這陣子其實已經有另一套開源方案，就是之前介紹過的 codex-ios-assistant。兩者目標一樣，但技術路線差很多。
覺得 Siri 太智障？開發者用 Codex 將 iPhone 變成 AI 語音助理，可操作App工作，完全開源免越獄（Codex iOS Assistant）
codex-ios-assistant 走的是「軟體橋」路線，用 iMessage 加捷徑（Shortcuts）當命令通道：Mac 上的 Codex 把指令打包成一行文字，透過 iMessage 送到 iPhone，iPhone 靠一支 95 步驟的捷徑執行開 App、截圖、讀剪貼簿這些事，結果再用 Cloudflare Tunnel 回傳。它主要是靠 deep link 去開 App，能做的是捷徑支援的動作。
phone-harness 則把 iPhone 鏡像視窗當成終端機螢幕，代理直接「看畫面、真的按下去」，沒有捷徑那層限制，能做更接近真人操作的手勢，像是拖曳、捲動、打字。設定上，它不用在 iPhone 上建什麼捷徑，只需要鏡像配對一次、給終端機權限就好，比建 95 步捷徑簡單很多。
兩者各有優缺。codex-ios-assistant 的好處是可以透過雲端隧道遠端遙控，不用人在電腦旁邊，而且捷徑是公開 API、支援度較穩；缺點是動作範圍被捷徑綁住。phone-harness 的好處是操作更像真人、設定簡單、無狀態無 daemon，但缺點是要靠 iPhone 鏡像，Mac 得是 Sequoia 以上、鏡像視窗要一直駐留，而且一定要人在 Mac 附近才能連線。
有趣的是，市場上其實已經有像 mirroir-mcp 這類同樣靠 iPhone 鏡像加 OCR 讓 AI 操控手機的 MCP 伺服器，甚至有人用 Claude 的 Computer Use 加上 iPhone 鏡像做到定時自動化。這塊「讓 AI 代理動手操作手機」的戰區，路線已經愈來愈多元。
結語
phone-harness 的價值在於證明了另一條路：不用越獄、不碰 Apple 封閉介面，光靠 iPhone 鏡像這個原生功能，加上截圖、OCR、CGEvent，就能搭出一條讓 AI 代理「像真人一樣」操作手機的通道。它把設定門檻壓到最低，又清楚畫出倫理與技術界線。對想讓 AI 代理真正幫你操作手機的人來說，這套剛釋出、還在快速成長的開源專案，可以花時間研究看看。