轉(zhuǎn)自 機(jī)器之心

編輯：杜偉、Panda

• 感知：計算機(jī)的屏幕截圖被添加到模型的上下文中，提供計算機(jī)當(dāng)前狀態(tài)的視覺快照；
• 推理：使用思路鏈推理后續(xù)步驟，同時考慮當(dāng)前和過去的屏幕截圖和操作。這種「內(nèi)心獨白」通過使模型評估其觀察結(jié)果、跟蹤中間步驟并動態(tài)調(diào)整來提高任務(wù)性能；
• 行動：執(zhí)行操作（單擊、滾動或鍵入），直到它決定任務(wù)已完成或需要用戶輸入。雖然它會自動處理大多數(shù)步驟，但 CUA 會尋求用戶確認(rèn)敏感操作，例如輸入登錄詳細(xì)信息或響應(yīng) CAPTCHA 表單。

• 接管模式：在向瀏覽器輸入敏感信息時，Operator 會請求用戶接管。在接管模式下，Operator 不會收集或截取用戶輸入的信息。
• 用戶確認(rèn)：在完成任何重要操作（例如提交訂單或發(fā)送電子郵件）之前，Operator 會征求批準(zhǔn)。
• 任務(wù)限制：Operator 會拒絕某些敏感任務(wù)，例如銀行交易或需要高風(fēng)險決策的任務(wù)，例如決定一份工作申請。
• 監(jiān)視模式：在特別敏感的網(wǎng)站上，例如電子郵件或金融服務(wù)，Operator 會要求密切監(jiān)督其行為，從而可讓用戶直接發(fā)現(xiàn)任何潛在的錯誤。

• 退出訓(xùn)練：用戶可在 ChatGPT 設(shè)置中關(guān)閉「為所有人改進(jìn)模型」，這樣其 Operator 中的數(shù)據(jù)就不會用于訓(xùn)練模型。
• 透明的數(shù)據(jù)管理：用戶可以在 Operator 設(shè)置的「隱私」部分下一鍵刪除所有瀏覽數(shù)據(jù)并退出所有網(wǎng)站。Operator 中的過去對話也可以一鍵刪除。

• 謹(jǐn)慎導(dǎo)航：Operator 在設(shè)計時就考慮了檢測和忽視提示詞注入攻擊。
• 監(jiān)控：有一個專門的「監(jiān)控模型」來監(jiān)視可疑行為，如果出現(xiàn)異常，可以暫停任務(wù)。
• 檢測管道：OpenAI 部署了一個持續(xù)識別新威脅并快速更新保障措施的自動和人工審核流程。

• 通過 API 使用 CUA：OpenAI 表示很快就會通過 API 揭示驅(qū)動 Operator 的模型，以便開發(fā)者可以使用它來構(gòu)建自己的 computer use 智能體。
• 增強(qiáng)功能：還將繼續(xù)提高 Operator 處理更長、更復(fù)雜工作流程的能力。
• 讓更多人可用：OpenAI 還計劃將 Operator 擴(kuò)展到 Plus、Team 和 Enterprise 用戶。并且該公司還表示，一旦在安全性與大規(guī)模可用性方面建立信心后，就會將該功能直接集成到 ChatGPT 中，從而實現(xiàn)無縫的實時和異步任務(wù)執(zhí)行。

參考鏈接：

https:///index/introducing-operator/

https:///index/computer-using-agent/

【免責(zé)聲明】轉(zhuǎn)載出于非商業(yè)性的教育和科研目的，只為學(xué)術(shù)新聞信息的傳播，版權(quán)歸原作者所有，如有侵權(quán)請立即與我們聯(lián)系，我們將及時刪除。