iPhone 的使用者目前最大的感想之一可能是「Siri 很爛」,目前的 Siri 在新版的 Apple Intelligence 推出之前真的沒什麼 AI 能力,開發者 Sharif Shameem 在 X(推特)上推出一套給 iPhone 用的開源 AI 方案:Codex iOS Assistant,讓 OpenAI 的 Codex 變身為 iPhone 的超級語音助理。影片中 Codex 能讀畫面、控制 App、替使用者執行指令,而且全都跑在 vanilla iOS 27 上,不需要越獄。
開發者用 Codex 將 iPhone 變成 AI 語音助理,可操作App工作
Codex iOS Assistant 原理:用 iMessage 當命令通道,用 Cloudflare Tunnel 把資料傳回來
這套系統的巧思在於,它沒動到任何 Apple 的封閉介面,全部用的是 iOS 原生就有的功能。命令這一側走 iMessage:Mac 上的 Codex 呼叫一支 iphone 指令列工具,把指令打包成像是 hola openurl、hola screentext、hola screenshot 這樣的一行文字,透過 iMessage 送到 iPhone 上。
iPhone 這一側,靠的是「捷徑」(Shortcuts)的自動化功能。使用者要在捷徑 App 裡手動建立一個自動化流程:收到特定寄件人、內容含有「hola」的訊息時,就跑一支 95 步驟的捷徑。這支捷徑會呼叫對應的原生 iOS 動作,完成開 App、截圖、讀剪貼簿、列鬧鐘這些事。
資料回傳走另一條路。捷徑 App 內建完整的 HTTP client,可以把螢幕文字、截圖、剪貼簿內容、鬧鐘清單這些結果,POST 到指定的 HTTPS 位址。這些位址透過 Cloudflare Tunnel 導向 Mac 上綁定 127.0.0.1 的接收端,Codex 再輪詢本地接收端拿到結果。一來一回,就完成了「問 iPhone 拿資料」的整個循環。
能做什麼:讀螢幕、管理鬧鐘、開 App,通通可以
根據專案說明,這套方案能做的事情不少。它可以讀取 iPhone 螢幕上可見的文字,也可以存一張螢幕截圖;可以讀取、也可以取代剪貼簿內容;可以列出、建立、關閉鬧鐘;可以開啟相機、天氣、行事曆、訊息、尋找我的、Spotify、照片、錢包、備忘錄、Uber、DoorDash 這些 App;還能控制主畫面、控制中心、計時器、手電筒、低耗電模式,甚至撥打語音電話,幾乎就像中國之前那個豆包手機一樣幾乎全能。
Siri sucks. So I made a way for Codex to act as my iPhone’s voice assistant.
Now Codex can read my screen, control apps, and take actions on my behalf – all in vanilla iOS 27. pic.twitter.com/pjS7934rar
— Sharif Shameem (@sharifshameem) August 7, 2026
Shameem 在推文裡特別提到一個他覺得很實用的模式:讓 Codex 在 Mac 上 grep 搜尋 iMessage 內容,找到之後,再用 deep link 在 iPhone 上開啟那則特定訊息。等於是把「讀訊息」和「開訊息」這兩件事,用一支代理串起來。
最重要的是,這套方案刻意做了邊界。訊息撰寫只會開出草稿讓使用者先確認,不會直接送出;購物、訂餐、叫車這些動作同樣被封住,開電商或叫車的連結,也只會打開頁面,不會真的下單或叫車。
需求與安裝:要一台 Mac、一支支援的 iPhone、一個 Cloudflare 網域
要跑起來得先備齊幾樣東西。官方需求列的是:一台 macOS 14 以上、Python 3.11 以上、裝有訊息與 Xcode Command Line Tools 的 Mac;一支能收到設定 iMessage 位址訊息的 iPhone;還有一個在 Cloudflare 管理的網域。iCloud 的捷徑同步也要開,捷徑才能從 Mac 同步到 iPhone。
安裝過程多半靠 Codex 自己完成。專案建議把一段描述貼進 Mac 上的 Codex 對話,讓它自己把 codex-ios-assistant 設定好。設定檔會放在 ~/.config/codex-ios-assistant/,不會寫進 repo。唯一需要親手做的一步,是在 iPhone 的捷徑 App 裡建立那個自動化流程,讓收到含「hola」的訊息時執行那支 95 步驟的捷徑。
Shameem 已經把整套程式碼公開在 GitHub,專案叫 codex-ios-assistant,敘述就直接寫「透過 iMessage 和捷徑,從 Codex 控制並檢視 iPhone」。對他來說,這一步的意義是把 iPhone 的操控權交給一個能理解意圖、能自己動手做完事的 AI 代理,而不只是一個會回話的語音介面。
Codex iOS Assistant 專案
安全設計有用心,但作者自己也坦承有弱點
把 iPhone 的操控權交給 AI 代理,最讓人擔心的就是安全與隱私。這方面作者在 security.md 裡寫得很坦白。敏感檔案權限鎖得很死,設定檔跟截圖用 0600、資料夾用 0700;接收端只綁本機,靠 Cloudflare Tunnel 對外;資料回傳要求至少 32 字元、精確比對的 X-Auth token;日誌不會記錄螢幕文字、剪貼簿值或鬧鐘細節。iMessage 發送端則透過權限鎖死的 Unix socket,檢查使用者 UID,而且只能執行固定的 AppleScript,使用者無法塞入任意程式。
但作者也承認,目前的協定沒有請求簽名、沒有過期時間、沒有重放防護。任何拿到 token 和 hostname 的人,都可以提交假的回應,或在猜到 request ID 之後讀取某筆回應。換句話說,這套方案把「iPhone 能被遙控」的能力做出來了,但安全邊界還不算完整,自己架來用的話,token 跟 Cloudflare 帳號的保管會是關鍵。
結語:把 iPhone 變成全能 AI 助理的可行方向
這套方案未必會成為主流,但它的意義在於證明了一件事:不用越獄、不動 Apple 封閉介面,光靠 iMessage 自動化和捷徑這兩個原生功能,就能搭出一條讓 AI 代理「動手操作手機」的管道。對那些覺得 Siri 太笨、又想要一個能真正把事情做完的語音助理的人來說,可以嘗試看看,但要安全部分要自己注意好,我是希望蘋果官方或 OpenAI 可以作出更安全又好用的類似方案。
