想用AI操作手機幫你執行日常工作嗎？開源專案 esp32-iphone-agent 用一片 ESP32-S3 小板插進 iPhone 的充電孔，AI 就能直接「開」一台真 iPhone：看螢幕、點按鈕、打字、滑動，全程不用越獄、不用 Xcode、不用 Apple 開發者帳號，手機上甚至連任何 App 都不用裝。
esp32-iphone-agent 架構其實意外的簡單：眼睛走 AirPlay：iPhone 把螢幕鏡像到電腦上的 UxPlay，一條 GStreamer 管線把串流切成 JPEG 畫面餵給模型。手走 USB HID：ESP32-S3 插上手機後，iOS 把它認成標準 USB 滑鼠加鍵盤，打開 AssistiveTouch 之後螢幕上會出現一顆游標，滑鼠移動就是手指移動，點一下就是 tap，拖過去就是 swipe。腦的部分最開放：planner 模型看著目標與當前畫面寫計畫，actor 模型逐張截圖決定下一步，點、滑、畫路徑、打字、按鍵、回主畫面或收工，兩個角色可以共用同一個模型，任何吃得下圖片的 OpenAI 相容 API 都能上場，雲端或自己架的都行。README 還貼心附了一段「給 AI 的安裝指令」，把文字貼給 Claude Code 或 Codex 這類程式助理，它就會自己把整套環境架起來，用 AI 幫你裝 AI。
这个项目牛啊。 一个 7 美元的 ESP32 让 AI 代理控制一台普通的 iPhone。 无需 Mac，无需越狱，无需开发者模式。只需一台 Linux 机器。 关键他是一个开源项目。 有动手能力的可以去看看👇 https://t.co/v4rsx8q780
— loveabit (@justloveabit) October 12, 2026
esp32-iphone-agent 技術含金量最高的是操控那段，iOS 的畫面點擊走相對座標，電腦端根本不知道指到哪去了；作者的解法很土法煉鋼但有效，每次點擊前先晃一下游標，在鏡像畫面裡把它找出來、算出偏差、動態校正，越點越準。每次動作之後，系統會比對畫面有沒有真的變化，沒點到就重試，不會把失敗當成功繼續疊下去；連續沒反應就重新規劃，斷線、模型回壞答案也都有恢復路徑。作者自己架的地端配置是兩台 NVIDIA DGX Sparks 跑 Qwen3.8-Flash（張量平行），關掉思考模式後每個動作約 1.3 秒、每個計畫約 2 秒，順到可以當日常工具用。換算下來一分鐘約四十幾個動作，比手動快上一截、又比機器人腳本慢半拍，剛好卡在「像人」的節奏上；網站監控介面也是現成的，開個瀏覽器就能盯著它按圖施工。
過去要讓 AI 操作 iPhone，主流做法是 XCTest／WebDriverAgent：得有 Mac、得有 Xcode、得簽測試 App，免費帳號的簽名還每 7 天過期；esp32-iphone-agent 這些全部不用，電腦端 Mac 或 Linux 都行，手機端零安裝，而且它只看像素不吃無障礙樹，連遊戲都能操作。硬體需求清也超簡單：一片 Seeed Studio XIAO ESP32S3，約 7 美元（折合新台幣 230 元上下），USB-C 機型直插就通電，Lightning 機型要多一個轉接頭，電全部由手機供給，板子自帶 Wi-Fi 跟電腦通訊，走的是幾條簡單的文字指令，move 移動、click 點擊、type 打字，運算邏輯全部留在電腦端。
安全性部分，iOS 的系統設計讓 AI 鏡像看不到密碼輸入畫面與 Apple Pay，這條紅線碰不到；但紅線之外什麼都看得見，你的銀行 App、訊息、信件，連跳出來的通知橫幅，在 agent 眼中全是像素。精度方面，晃游標校正補的是先天缺陷，實測體驗仍然稱不上絲滑；AssistiveTouch 必須常開，游標會一直在螢幕上陪跑。
不過現在已知的安全問題是 prompt injection（提示詞注入），agent 看螢幕，就等於看得到攻擊者寫在螢幕上的任何東西，一張惡意海報、一封釣魚信、一段網頁文字，都可能把它騙去按不該按的鈕；這題目前沒有解，動作驗證靠「回讀螢幕」在載入畫面說謊時也會失靈。往灰色地帶想，會動的真機 AI 意味著搶票、刷單、帳號農場的手工活可以全自動化；嚴格說它走的是無障礙功能的正當通道、不碰系統完整性。
GitHub – esp32-iphone-agent
這條「硬體外掛讓 AI 開真機」的路線，最近正冒出一堆同類。手機端方案 phone-agent 走 ESP32 藍牙 HID，代價是要裝一顆 App；Devpost 黑客松作品 Pilot 把 ESP32 塞進 3D 列印保護殼，配上 ReplayKit 錄屏與 Gemini 語音下指令；Aiden 更硬派，HDMI 轉 CSI 擷取畫面、運算全部留在板上。
對一般玩家，實用建議三條：一，想玩拿備用機，iPhone 直接供電給板子，邊充邊玩壞了不心疼。二，主力機別上，銀行與支付類 App 在鏡像裡沒有隱私可言。三，模型能本地端就本地端，螢幕畫面出門前想想你要餵給誰。
7 美元、一塊開發板、一個 API key，AI 代駕 iPhone 的門檻從「開發者特權」掉到「零用錢等級」；接下來的劇本很好猜，工具會更準、案例會更多，這股風潮的底層動力不難懂：視覺模型的價格跌到可以逐張看圖不眨眼，ESP32-S3 這種自帶原生 USB 的晶片又便宜到隨便買，以後這類可以操控手機的小玩具可能會越來越多，說不定過一陣子就會有外接式的手機全自動AI代理出現也說不定。
