運用 Gemini API 探索視覺功能

Gemini API 可處理圖片和影片，讓開發人員有更多精彩的用途。Gemini 的視覺功能包括：

  • 為圖片加上說明文字，並回答圖片相關問題
  • 轉錄和分析 PDF，包括長文件 (脈絡窗口最多可達 200 萬個符號)
  • 描述、區隔及擷取影片資訊，包括影像影格和音訊，長度最長 90 分鐘
  • 偵測圖片中的物件，並傳回物件的定界框座標

本教學課程將示範幾種可能的方式，透過圖片和影片輸入內容提示 Gemini API，並提供程式碼範例，以及使用多模態視覺功能提示最佳做法的概略說明。所有輸出內容皆為文字。

後續步驟

本指南說明如何使用 File API 上傳圖片和影片檔案，然後根據圖片和影片輸入內容產生文字輸出內容。如要進一步瞭解相關內容，請參閱下列資源：

  • 檔案提示策略：Gemini API 支援使用文字、圖片、音訊和影片資料提示，這也稱為多模態提示。
  • 系統指示：系統指示可讓您根據特定需求和用途，引導模型的行為。
  • 安全指南：生成式 AI 模型有時會產生非預期的輸出內容，例如不準確、偏頗或令人反感的輸出內容。後續處理和人工評估是限制這類輸出內容造成危害風險的必要措施。