Google 發表了最新一代模型 Gemini 2.0,宣布走入 AI 代理人時代!並更新了三項 AI 助理原型(prototype):Project Mariner、Project Astra、Jules。執行長 Sundar Pichai 表示「如果 Gemini 1.0 是關於組織和理解資訊,那 Gemini 2.0 就是讓資訊變得更有用。」
AI 自動瀏覽網站的 Project Mariner
Project Mariner 可理解和推理用戶瀏覽器螢幕中顯示的資訊,包括像素、文字、程式碼、圖像和表格等內容,再透過 Chrome 擴充功能代替使用者完成任務。
Google 展示的一項使用情境是「搜尋公司聯絡電子郵件地址」,AI 擴充程式會先從 Google 試算表中提取並記住公司名稱列表,接著自動搜尋這些公司的官網、瀏覽網站、尋找聯絡資訊的區塊、提取出電子郵件地址,最終將結果整理成列表返回給使用者。
其特色在於能自動完成多個步驟,免去使用者手動操作重複性動作,且全程都會展示推理和瀏覽網頁的過程,確保高透明度。
Mariner 還可以在電商網站 Etsy 搜尋框中輸入「色彩鮮豔的顏料」後,查看搜尋結果,再根據使用者的需求,如價格、外觀等,篩選出符合條件的顏料商品,自動將商品加入購物車,最終詢問使用者是否確認購買。
為了保障安全性,Project Mariner 只能在瀏覽器活躍的標籤中輸入、滾動頁面或點擊,且會要求用戶在某些敏感動作(例如購物)之前進行最後確認。目前此功能提供給測試人員。
日常生活的 AI 助理 Project Astra
在今年稍早的 I/O 大會上 Google 已公開了 AI 助理計畫「Project Astra」,能在日常生活中處理多模態資訊、理解使用者的背景,並在對話中自然地做出回應。
Google 當時展示 AI 透過畫面就能回憶起並找到曾經看到過的眼鏡、理解程式碼、為畫面下註解等,標榜以更自動化且自然的方式和使用者互動。現在有 Gemini 2.0 的支援後,Astra 有了近一步的更新:
Google 展示了幾位測試者使用 Astra 的心得影片,可看到 Astra 的使用情境橫跨協助使用者制定馬拉松訓練計畫、翻譯外語、解釋不熟悉的概念等。
開發者的 AI 助理:Jules
Jules 是專為開發人員提供協助的 AI 助理,可直接整合到 GitHub 工作流程中,在開發人員的指導和監督下,解決問題、制定計劃並執行,這是 Google 為所有領域打造 AI 代理人的一環。
遊戲 AI 助理
Google 於上周發表了世界模型 Genie 2,可透過單一圖像創建無數種可玩的 3D 場景,現在 Google 藉 Gemini 2.0 打造了代理人,可以幫助使用者探索遊戲的虛擬世界,只須根據螢幕上的動作即可推理遊戲,並在即時對話中提供下一步動作的建議。
Google 目前已和 Supercell 等遊戲開發商合作,並在《部落衝突》、《卡通農場》等遊戲試驗 AI 代理人的能力,且能加以利用 Google 搜尋為使用者提額外的遊戲知識。
:Jocelyn
:Chris
本文初稿為 INSIDE 使用 AI 編撰;快加入 INSIDE Google News 按下追蹤,給你最新、最 IN 的科技新聞!