Multimodal Function Calling with Gemini 3 and Interactions API

摘要

介紹如何使用 Gemini 3 與 Interactions API 實現多模態函式呼叫，讓 AI 能直接處理工具傳回的圖片而非文字描述。讀者可學習如何建立能讀取檔案、擷取截圖或分析圖表的 AI 代理，並掌握互動流程的四個步驟。

This guide demonstrates how to enable Gemini 3 to natively process images returned by tools using the Interactions API.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• Gemini 3 可原生處理工具傳回的實際影像資料。
• Interactions API 簡化多輪代理工作流的狀態管理。
• 適用於需要視覺輸入的 AI 代理開發者。

提到的工具與公司

• Google GenAI SDK
• Gemini 3

適合誰看

正在開發需要視覺感知能力的 AI 代理或自動化工具的程式人員。

摘要依據

講者

Philipp Schmid

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.40

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Getting started with the Gemini Interactions API文章 ・ Philipp Schmid
• Gemini Interactions API Quick Start文章 ・ Philipp Schmid
• What's new in the Gemini Live API影片 ・ Google for Developers ・ 7 分鐘
• Why AI Agents Should Have Their Own Sandbox — Philipp Schmid, Google DeepMind影片 ・ AI Engineer
• Gemini Live Avatars影片 ・ Sam Witteveen ・ 10 分鐘
• Build agents with Gemini API (I/O Connect ‘26)影片 ・ Google for Developers ・ 37 分鐘