等了許久,Gemini 終於也正式支援操控電腦了!最近 Google 在 AI 這塊可說加速追趕,繼昨天推出 Gemini 4 Neon 後,稍早正式宣布 Mac 版也支援操控電腦了,而且是在背景執行,過程中不會干擾你的畫面。比較可惜的是,首波只有開放美國地區的英文用戶,台灣和中文用戶還需要等等,但我猜應該不會等太久(畢竟這部份 Gemini 已經慢太多了)。
Gemini 能直接操作你的 Mac 了!Computer Use 功能登場,在背景視窗點選單、填表單不搶滑鼠
Google 透過官方部落格宣布,替 Mac 版 Gemini App 加入 Computer Use 功能。這項功能能跨越本機檔案、桌面應用程式和網站,幫用戶自動化那些重複又需要好幾個步驟的工作。使用方法就跟其他 AI 代理差不多,只要描述想完成的流程,滑鼠點擊、文字輸入、選單選擇、表單填寫這些動作都交給 Gemini 處理。
實際要叫出這個功能,首先必須切換到「任務」,接著在提示詞裡加上「@Computer use」,Gemini 就會知道這次要動手操作電腦,而不只是回答問題。
另外 9to5Google 也發現,Gemini 的「自訂 > 連接器」選單裡新增了「桌面」類的 App 整合,第一批包含 3D 建模軟體 Blender 和 Autodesk Fusion,加入原本就有的 Git 與 Obsidian 整合。
這次 Google 在部落格中特別強調 Gemini 執行任務的方式,它不會搶走你螢幕的控制權,而是在一個隔離的獨立背景視窗裡工作,所以你的主畫面和滑鼠鼠標都不會被佔用,可以照常做事、回信、寫文件、看影片。
當然,Gemini 每做一個步驟,都會顯示在對話視窗裡,你可以看到它現在點到哪個選單、填到哪一欄。如果發現方向不對,隨時可以按下暫停。
Google 也示範 4 種使用情境,涵蓋創作、文書和電商。
首先是「自動編輯照片及處理 3D 工作」Gemini 可以在設計軟體裡批次替照片調色,或是幫你完成複雜的 3D 場景設定。以批次調色來說,如果你手上有一百張活動照片要調整色調,除了使用軟體內建的批次編輯功能,現在也能直接用自然語言向 Gemini 下指令,讓 AI 自動操作設計軟體,在背景完成指定流程。官方示範影片更進一步,讓 Gemini 把小朋友畫的蝴蝶草圖,在 Blender 裡建出 3D 模型並綁定骨架 :
第二個是「讀取 PDF,自動填寫表單」,Gemini 能從本機的 PDF 抓出重量、尺寸、地址等資料,再填進需要輸入很多欄位的物流報價表單。第三個情境是「做簡報」,Gemini 可以到不同地區的即時數據儀表板上擷取統計數字和截圖,再整理成一份 Google Slides 簡報。
最後是二手拍賣,Gemini 能分析你放在本機資料夾裡的衣服照片、上網查參考售價、記錄每件商品的資訊,最後在二手交易平台上把刊登內容準備好。
9to5Google 的報導也補充遇到需要登入或付款的步驟,Gemini 會自動暫停,敏感操作也一定要經過你確認才會執行。也就是說,它不會自己幫你輸入密碼或刷卡結帳。
這次推出的 Computer Use 功能有額外的訂閱、地區和裝置限制:
| 項目 | 使用條件 |
|---|---|
| 推出地區 | 美國,逐步推出中 |
| 支援語言 | 英文 |
| 作業系統 | macOS Sequoia 15.0 以上 |
| 處理器 | Apple Silicon(M 系列晶片),不支援 Intel Mac |
| 年齡限制 | 18 歲以上 |
| Google 帳號 | 個人 Google 帳號 |
| 訂閱方案 | Google AI Plus、Pro、Ultra |
| 台灣 | 目前尚未宣布開放 |
Google 目前沒有說明什麼時候會擴大到其他市場或平台,台灣暫時還體驗不到。










