PaliGemma 2 模型資訊卡

模型頁面： PaliGemma

資源和技術文件：

• Kaggle 上的 PaliGemma 2
• 負責任的生成式 AI 技術工具包

使用條款： 條款

作者：Google

款式資訊

模型摘要

PaliGemma 2 是 PaliGemma 視覺語言模型 (VLM) 的更新版本，整合了 Gemma 2 模型的功能。PaliGemma 系列模型的靈感來自 PaLI-3，並以 SigLIP 視覺模型和 Gemma 2 語言模型等開放元件為基礎。這項服務會同時將圖片和文字做為輸入內容，並生成文字做為輸出內容，支援多種語言。這項服務可在多種視覺語言任務中提供一流的精細調整效能，例如圖像和短片字幕、圖像問題回答、文字閱讀、物件偵測和物件分割。

模型架構

PaliGemma 2 由 Transformer 解碼器和 Vision Transformer 圖像編碼器組成。文字解碼器會從 Gemma 2 的 2B、9B 和 27B 參數大小進行初始化。圖片編碼器會從 SigLIP-So400m/14 進行初始化。與原始 PaliGemma 模型類似，PaliGemma 2 也是按照 PaLI-3 配方進行訓練。

輸入和輸出

• 輸入內容：圖片和文字字串，例如圖片說明提示或問題。
• 輸出：根據輸入內容產生的文字，例如圖片的標題、問題的答案、物件邊界框座標清單或區隔代碼字詞。

引用內容

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

模型資料

預先訓練資料集

PaliGemma 2 是使用下列資料集的混合版本進行預先訓練：

• WebLI： WebLI (Web Language Image) 是從公開網站建立的網站規模多語言圖像文字資料集。我們使用各種 WebLI 分割方式，取得多元模型功能，例如視覺語意理解、物件定位、視覺情境文字理解和多語言功能。
• CC3M-35L：從網頁中挑選的英文圖片-替代文字組合 (Sharma 等人，2018 年)。我們使用 Google Cloud Translation API 將內容翻譯成其他 34 種語言。
• VQ²A-CC3M-35L/VQG-CC3M-35L:VQ2A-CC3M 的子集 (Changpinyo 等人，2022a)，並使用 Google Cloud Translation API 將其翻譯成 CC3M-35L 的其他 34 種語言。
• OpenImages：使用 OpenImages 資料集手動建立規則，產生偵測和物件感知問題與答案 (Piergiovanni 等人，2022)。
• WIT：從 Wikipedia 收集的圖片和文字 (Srinivasan 等人，2021 年)。

PaliGemma 2 是以 Gemma 2 為基礎，您可以在 Gemma 2 模型資訊卡中，查看 Gemma 2 預先訓練資料集的相關資訊。

資料責任篩選

下列篩選器會套用至 WebLI，目的是讓 PaliGemma 2 訓練安全且負責任的資料：

• 色情圖片篩選：這項篩選條件會移除系統判定為色情圖片的圖片。
• 文字安全篩選：我們會找出與不安全文字搭配的圖片，並加以篩除。不安全文字是指任何文字，如果 Google 判定其含有或涉及兒童性虐待圖像 (CSAI)、色情內容、粗俗字眼，或其他令人反感的內容，就屬於不安全文字。
• 文字惡意指數篩選：我們進一步使用 Perspective API 來識別並篩除與文字搭配的圖片，如果文字含有侮辱、猥褻、仇恨或其他惡意內容，就會篩除。
• 文字個人資訊篩選：我們使用 Cloud Data Loss Prevention (DLP) API 篩選特定個人資訊和其他私密資料，以保護個人隱私。我們已移除身分證字號和其他機密資訊類型等識別資訊。
• 其他方法：根據政策和做法，依內容品質和安全性進行篩選。

實作資訊

硬體

PaliGemma 2 是使用最新一代 Tensor Processing Unit (TPU) 硬體 (TPUv5e) 訓練而成。

軟體

訓練作業是使用 JAX、Flax、TFDS 和 big_vision 完成。

JAX 可讓研究人員充分利用新一代硬體 (包括 TPU)，以更快速、更有效率的方式訓練大型模型。

TFDS 用於存取資料集，Flax 則用於模型架構。PaliGemma 2 精修程式碼和推論程式碼已發布至 big_vision GitHub 存放區。

評估作業資訊

基準測試結果

為了驗證 PaliGemma 2 可否轉移至各種學術工作，我們針對每項工作微調預先訓練的模型。我們會針對不同解析度回報結果，讓您瞭解哪些工作可從提高解析度中受益。重要的是，這些任務或資料集都不是預先訓練資料組合的一部分，且系統會明確從網頁規模的預先訓練資料中移除這些圖片。

依模型解析度和大小比較 PaliGemma 2 的結果

其他基準

ICDAR 2015 Incidental

Total-Text

FinTabNet

PubTabNet

GrandStaff

PubChem

• PaliGemma 2 3B，完全相符：94.8

DOCCI

• avg#char：平均字元數
• avg#sent：平均句子數
• NES：非推論句

MIMIC-CXR

視覺空間推理能力

道德與安全

評估方法

我們的評估方法包括在相關內容政策中進行結構化倫理和安全性評估，包括：

• 針對兒童安全、內容安全性和表徵性傷害等提示進行人為評估。如要進一步瞭解評估方法，請參閱 Gemma 模型資訊卡，但請注意，這裡的設定是針對圖像說明和視覺問答。
• 圖像轉文字基準評估：以相關學術資料集為基準，例如 FairFace 資料集 (Karkkainen 等人，2021 年)。

評估結果

• 倫理和安全性評估的人工評估結果符合兒童安全、內容安全和表徵性傷害等類別的內部政策，且符合可接受的門檻。
• 除了嚴謹的內部評估之外，我們也使用 Perspective API (門檻為 0.8)，評估從 FairFace 資料集產生的圖片字幕是否含有惡意、粗俗字眼和其他潛在問題。我們會針對每個所感知的性別、種族和年齡屬性，針對各個子群組回報觀察到的最大值和中位數。

使用方式和限制

預定用途

Open Vision 語言模型 (VLM) 的應用範圍廣泛，涵蓋各個產業和領域。以下列出可能的用途，但不包含所有用途。這份清單的目的，是提供關於可能用途的背景資訊，這些用途是模型建立者在訓練及開發模型時考量的。Gemma 使用限制政策列出 Gemma 模型的禁止用途。

針對特定視覺語言任務進行微調：

• 預先訓練的模型可針對多種視覺語言任務進行微調，例如圖像說明、短片字幕、視覺問題回答、文字閱讀、物件偵測和物件分割。
• 預先訓練的模型可針對特定領域進行微調，例如遠端感測問題解答、視障人士的視覺問題、科學問題解答、說明 UI 元素功能。
• 預先訓練的模型可針對非文字輸出內容 (例如邊界框或分割遮罩) 的任務進行微調。

視覺語言研究：

• 預先訓練的模型和精修模型可做為研究人員實驗 VLM 技術、開發演算法，並為該領域的進步做出貢獻的基礎。

倫理考量和風險

開發視覺語言模型 (VLM) 時，會引發幾項道德問題。在建立開放式模式時，我們已仔細考量以下事項：

• 偏誤和公平性
  • 以大量現實圖像文字資料訓練的 VLM 可能會反映訓練素材中內建的社會文化偏見。這些模型經過仔細審查，並在這個資訊卡中說明輸入資料的預先處理方式，以及後續評估結果。
• 不實資訊和濫用行為
  • 使用者可能會濫用 VLM 產生虛假、誤導或有害的內容。
  • 我們提供相關指南，說明如何負責任地使用模型，請參閱負責任的生成式 AI 技術工具包。
• 資訊公開及當責
  • 這個模型資訊卡會概略說明模型的架構、功能、限制和評估程序。
  • 我們以負責任的方式開發開放式模型，讓 AI 生態系統中的開發人員和研究人員都能使用 VLM 技術，進而分享創新成果。

已識別的風險和緩解措施：

• 偏見持續存在：建議您在模型訓練、微調和其他用途期間，持續監控 (使用評估指標、人為審查) 並探索去偏技術。
• 產生有害內容：內容安全機制和指南至關重要。我們建議開發人員謹慎行事，並根據特定產品政策和應用程式用途，導入適當的內容安全防護措施。
• 用於惡意目的：技術限制和開發人員與使用者教育訓練，有助於減少 LLM 遭到惡意應用的情況。我們提供教育資源和回報機制，方便使用者檢舉濫用行為：請參閱負責任的生成式 AI 工具包。Gemma 使用限制政策列出 Gemma 模型的禁止用途。
• 違反隱私權：模型是使用經過篩選的資料訓練，以移除特定個人資訊和機密資料。我們鼓勵開發人員透過隱私權保護技術遵守隱私權法規。

限制

• 從底層 Gemma 2 模型繼承的大部分限制仍適用：
  • 只要能以明確的提示和指示說明任務，VLM 處理起來就會更得心應手。開放式或高度複雜的工作可能會比較困難。
  • 自然語言本身就很複雜，語音轉錄機可能難以掌握細微的語氣、嘲諷或比喻語言。
  • VLM 會根據從訓練資料集中學到的資訊產生回覆，但它們並非知識庫。可能會產生錯誤或過時的事實陳述。
  • VLM 仰賴語言和圖片中的統計模式。在某些情況下，他們可能無法運用常識推理。
• PaliGemma 2 的設計目的，首先是做為一般預先訓練模型，用於微調專門的任務。因此，其「即時」或「零樣本」的效能可能不如專為通用用途設計的模型。
• PaliGemma 2 不是多輪對話式聊天機器人。這項功能設計用於單輪圖片和文字輸入。