許多 Gemini 模型都具備大型脈絡窗口，可容納 100 萬個以上的詞元。過去，大型語言模型 (LLM) 的限制在於一次能傳送給模型的文字 (或詞元) 數量。Gemini 的長脈絡窗口可實現許多新用途和開發人員範式。
您目前用於文字生成或多模態輸入等用途的程式碼，不需任何變更，即可搭配長脈絡使用。
本文概略說明如何使用脈絡窗口達 100 萬個以上詞元的模型。本頁面簡要介紹脈絡窗口，並探討開發人員應如何看待長脈絡、長脈絡的各種實際用途，以及如何最佳化長脈絡的使用方式。
如要瞭解特定模型的脈絡窗口大小，請參閱「模型」頁面。
什麼是脈絡窗口？
使用 Gemini 模型的基本方式是將資訊 (情境) 傳遞給模型，模型隨後會生成回覆。脈絡視窗類似於短期記憶。人類的短期記憶能儲存的資訊量有限，生成式模型也是如此。
在 Gemini 4 (gemini-4-argon) 中，100 萬個詞元的脈絡窗口會由輸入、思考和輸出詞元共用，且模型可使用長解碼生成最多 100 萬個輸出詞元。如果輸入詞元加上 max_output_tokens 超過 1,048,576 個詞元，API 會自動將輸出限制設為脈絡窗口中的剩餘空間 (1,048,576 減去輸入詞元)。早期的 Gemini 3 和 2.5 模型則分別使用 100 萬個輸入詞元和 6.4 萬個輸出詞元的預算。
如要進一步瞭解模型的運作方式，請參閱生成模型指南。
開始使用長內容
早期版本的生成模型一次只能處理 8,000 個詞元。較新的模型更進一步，可接受 32,000 個甚至 128,000 個權杖。Gemini 是第一個能接受 100 萬個詞元的模型。
100 萬個詞元實際相當於：
- 50,000 行程式碼 (每行標準 80 個字元)
- 過去 5 年內傳送的所有簡訊
- 8 本平均長度的英文小說
- 超過 200 集平均長度的 Podcast 轉錄稿
許多其他模型常見的脈絡窗口較有限，通常需要採取一些策略，例如任意捨棄舊訊息、摘要內容、使用 RAG 搭配向量資料庫，或篩選提示詞來節省詞元。
雖然這些技術在特定情境中仍有價值，但 Gemini 的脈絡窗口範圍廣泛，因此建議採用更直接的方法：預先提供所有相關資訊。Gemini 模型專為龐大脈絡功能而打造，因此展現了強大的脈絡內學習能力。舉例來說，Gemini 僅使用情境教學教材 (500 頁的參考文法、字典和約 400 個平行語句)，就學會將英文翻譯成 Kalamang (一種巴布亞語言，使用者不到 200 人)，翻譯品質與使用相同教材的人類學習者相當。這說明 Gemini 的長脈絡功能如何促成典範轉移，透過強大的脈絡內學習能力，開創全新可能性。
長脈絡用途
雖然大多數生成式模型的標準用途仍是文字輸入，但 Gemini 模型系列可實現多模態用途的新模式。這些模型可原生理解文字、影片、音訊和圖片。並搭配 Gemini API，可接收多模態檔案類型，方便使用。
長篇文字
事實證明，文字是智慧層，可做為 LLM 發展動能的基礎。如前所述，LLM 的實際限制大多是因為沒有足夠大的脈絡窗口，無法執行特定工作。這促使檢索增強生成 (RAG) 和其他技術迅速普及，動態提供模型相關情境資訊。現在，隨著脈絡窗口越來越大，我們可以使用新技術，發掘新的應用情境。
文字型長脈絡的新興和標準用途包括：
- 為大量文字產生摘要
- 先前使用較小脈絡模型的摘要選項，需要滑動視窗或其他技術，才能在新的權杖傳遞至模型時，保留先前章節的狀態
- 常見問答
- 過去，由於脈絡有限且模型的事實回憶率較低，因此只能透過 RAG 實現
- Agentic Workflows
- 文字是代理記錄已完成和待辦事項的基礎。如果代理對世界和目標的資訊不足，可靠性就會受限
大量樣本情境學習是長脈絡模型最獨特的功能之一。研究顯示，如果採用常見的「單樣本」或「多樣本」範例模式，也就是向模型提供一或多個工作範例，並將範例數量擴充至數百、數千甚至數十萬個，就能產生新的模型功能。研究也顯示，這種多樣本方法的效果，與針對特定任務微調的模型不相上下。如果 Gemini 模型的效能尚不足以用於正式環境，可以嘗試多樣本方法。稍後在長脈絡最佳化一節中，您會發現脈絡快取功能可大幅降低這類高輸入詞元工作負載的成本，甚至在某些情況下還能縮短延遲時間。
長篇影片
影片內容的實用性長期以來一直受限於媒體本身缺乏無障礙功能。內容難以快速瀏覽、轉錄稿往往無法捕捉影片的細微之處，而且大多數工具無法同時處理圖片、文字和音訊。Gemini 的長脈絡文字功能，可解讀多模態輸入內容並回答相關問題，且效能穩定。
影片長內容脈絡的新興和標準用途包括：
- 影片問答
- 影片記憶，如 Google 的 Project Astra 所示
- 影片字幕
- 影片推薦系統：運用新的多模態理解技術，豐富現有中繼資料
- 影片自訂：查看資料和相關影片中繼資料的語料庫，然後移除與觀眾無關的影片部分
- 影片內容審核
- 即時影片處理
處理影片時，請務必考量影片如何處理成權杖，這會影響計費和用量限制。如要進一步瞭解如何使用影片檔案提示，請參閱提示指南。
長篇音訊
Gemini 模型是首款原生多模態大型語言模型，可理解音訊。過去，開發人員的典型工作流程會涉及將多個特定領域模型串連在一起，例如語音轉文字模型和文字轉文字模型，以便處理音訊。這導致執行多個來回要求時需要額外延遲，且通常會因多個模型設定的架構中斷連線而降低效能。
音訊情境的新興和標準用途包括：
- 即時語音轉錄及翻譯
- Podcast / 影片常見問答
- 會議語音轉錄和摘要
- 語音助理
如要進一步瞭解如何使用音訊檔案提示，請參閱提示指南。
長脈絡最佳化
使用長脈絡和 Gemini 模型時，主要最佳化方式是使用脈絡快取。除了先前無法在單一要求中處理大量權杖外，另一個主要限制是成本。假設您有一個「與資料對話」應用程式，使用者上傳了 10 份 PDF、一部影片和一些工作文件。過去，您必須使用更複雜的檢索增強生成 (RAG) 工具/架構來處理這些要求，並為移至內容視窗的權杖支付大量費用。現在，您可以快取使用者上傳的檔案，並按小時付費儲存。舉例來說，Gemini Flash 的每次要求輸入 / 輸出成本，比標準輸入 / 輸出成本低約 4 倍，因此如果使用者與資料的對話次數夠多，開發人員就能省下大筆費用。
長脈絡限制
本指南多個章節都提到，Gemini 模型在各種大海撈針檢索評估中，都能展現優異效能。這些測試會考量最基本的設定，也就是您要尋找單一針。如果您有多個「針」或特定資訊要尋找，模型的準確度會降低。成效可能會因情境而有很大差異。這點很重要，因為在擷取正確資訊和成本之間，必須有所取捨。單一查詢的準確率可達 99%，但每次傳送查詢時，您都必須支付輸入權杖費用。因此，如果要擷取 100 筆資訊，且需要 99% 的效能，您可能需要傳送 100 個要求。這個例子充分說明，脈絡快取能大幅降低使用 Gemini 模型的成本，同時維持高效能。
常見問題
在脈絡窗口中，查詢應放在哪裡？
在大多數情況下，尤其是總脈絡很長時，如果將查詢 / 問題放在提示結尾 (所有其他脈絡之後)，模型的效能會更好。
在查詢中加入更多詞元，會降低模型成效嗎？
一般來說，如果不需要將權杖傳遞至模型，最好避免傳遞。不過，如果您有大量包含某些資訊的權杖，並想詢問有關這些資訊的問題，模型非常擅長擷取這類資訊 (在許多情況下，準確率高達 99%)。
如何降低長脈絡查詢的成本？
如果有一組類似的詞元 / 脈絡需要重複使用多次，脈絡快取可降低詢問相關資訊的成本。
脈絡長度會影響模型延遲時間嗎？
無論要求大小為何，任何要求都有固定的延遲時間，但一般來說，查詢越長，延遲時間 (第一個詞元出現前的時間) 就越長。