Karta modelu PaliGemma 2

Strona modelu: PaliGemma

Materiały i dokumentacja techniczna:

• PaliGemma 2 na Kaggle
• Zbiór narzędzi do odpowiedzialnej generatywnej AI

Warunki korzystania z usługi: Warunki

Autorzy: Google

Informacje o modelu

Podsumowanie modelu

PaliGemma 2 to zaktualizowana wersja modelu językowo-wizualnego (VLM) PaliGemma, który wykorzystuje możliwości modeli Gemma 2. Rodzina modeli PaliGemma jest inspirowana modelem PaLI-3 i oparta na otwartych komponentach, takich jak model widzenia SigLIP i model językowy Gemma 2. Jako dane wejściowe przyjmuje obraz i tekst, a jako dane wyjściowe generuje tekst. Obsługuje wiele języków. Model ten został zaprojektowany tak, aby zapewniać najlepszą w swoim rodzaju wydajność w szerokim zakresie zadań związanych z językiem i wizualizacją, takich jak dodawanie napisów do obrazów i krótkich filmów, odpowiadanie na wizualne pytania, czytanie tekstu, wykrywanie obiektów i ich segmentacja.

Architektura modelu

PaliGemma 2 to kompozycja dekodera transformera i enkodera obrazu Vision Transformer. Dekoder tekstu jest inicjowany z Gemma 2 w rozmiarach parametrów 2B, 9B i 27B. Koder obrazu jest inicjowany z SigLIP-So400m/14. Podobnie jak oryginalny model PaliGemma, PaliGemma 2 jest trenowany zgodnie z przepisami PaLI-3.

Wejścia i wyjścia

• Wejście: obraz i ciąg tekstowy, np. prompt do dodania podpisu do obrazu lub pytanie.
• Wyjście: wygenerowany tekst w odpowiedzi na dane wejściowe, np. podpis pod obrazem, odpowiedź na pytanie, lista współrzędnych prostokąta ograniczającego obiekt lub słowa kodowe służące do podziału na segmenty.

Cytowanie

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

Dane modelu

Zbiory danych do wstępnego trenowania

PaliGemma 2 jest wytrenowana wstępnie na podstawie następujących zbiorów danych:

• WebLI: WebLI (Web Language Image) to wielojęzyczny zbiór danych obrazów z tekstem, który został utworzony na podstawie publicznych stron internetowych. Dostępne są różne wersje WebLI, które umożliwiają korzystanie z różnorodnych możliwości modelu, takich jak semantyczna analiza wizualna, lokalizacja obiektów, zrozumienie tekstu w kontekście wizualnym i wielojęzyczność.
• CC3M-35L: wyselekcjonowane pary obraz–tekst alternatywny w języku angielskim z internetu (Sharma i in., 2018). Użyliśmy interfejsu Google Cloud Translation API, aby przetłumaczyć na 34 dodatkowe języki.
• VQ²A-CC3M-35L/VQG-CC3M-35L: podzbiór danych VQ2A-CC3M (Changpinyo i in., 2022a), przetłumaczone na te same dodatkowe 34 języki co CC3M-35L za pomocą interfejsu Google Cloud Translation API.
• OpenImages: pytania i odpowiedzi dotyczące wykrywania i rozpoznawania obiektów (Piergiovanni i in., 2022) wygenerowane na podstawie reguł stworzonych ręcznie na podstawie zbioru danych OpenImages.
• WIT: obrazy i teksty zebrane z Wikipedii (Srinivasan i in., 2021).

PaliGemma 2 opiera się na modelu Gemma 2. Informacje o danych do wstępnego trenowania dla modelu Gemma 2 znajdziesz na karcie modelu Gemma 2.

Filtrowanie danych zgodnie z zasadami odpowiedzialności

W celu trenowania modelu PaliGemma2 na podstawie bezpiecznych i odpowiedzialnych danych do WebLI zastosowano te filtry:

• Filtrowanie obrazów o charakterze pornograficznym: ten filtr usuwa obrazy uznane za o charakterze pornograficznym.
• Filtrowanie tekstu pod kątem bezpieczeństwa: identyfikujemy i odfiltrowujemy obrazy, które są połączone z niebezpiecznym tekstem. Niebezpieczny tekst to tekst, który zawiera lub dotyczy obrazów związanych z wykorzystywaniem seksualnym dzieci (CSAI), pornografii, wulgaryzmów lub jest w inny sposób obraźliwy.
• Filtrowanie toksycznych treści: korzystamy z interfejsu API Perspective, aby identyfikować i odfiltrowywać obrazy, które są połączone z tekstem uznanym za obraźliwy, obsceniczny, nienawistny lub w inny sposób toksyczny.
• Filtrowanie danych osobowych w tekście: w celu ochrony prywatności osób użyliśmy interfejsu Cloud Data Loss Prevention (DLP) API do odfiltrowania pewnych danych osobowych i innych danych wrażliwych. Identyfikatory takie jak numery ubezpieczenia społecznego i inne rodzaje informacji poufnych zostały usunięte.
• Dodatkowe metody: filtrowanie według jakości i bezpieczeństwa treści zgodnie z naszymi zasadami i praktykami.

Informacje o wdrożeniu

Sprzęt

PaliGemma 2 została wyszkolona przy użyciu sprzętu Tensor Processing Unit (TPU) najnowszej generacji (TPUv5e).

Oprogramowanie

Szkolenie zostało ukończone za pomocą JAX, Flax, TFDS i big_vision.

JAX pozwala badaczom korzystać ze sprzętu najnowszej generacji, w tym TPU, aby szybciej i skuteczniej trenować duże modele.

TFDS służy do uzyskiwania dostępu do zbiorów danych, a Flax – do tworzenia architektury modelu. Kod do dostosowania do potrzeb konkretnego przypadku użycia i kod do wnioskowania w ramach PaliGemma 2 są dostępne w repozytorium GitHub big_vision.

Informacje o ocenie

Wyniki testu porównawczego

Aby sprawdzić, czy model PaliGemma 2 można stosować do różnych zadań akademickich, dopracowujemy wstępnie wytrenowane modele pod kątem każdego zadania. Raportujemy wyniki dla różnych rozdzielczości, aby pokazać, które zadania korzystają z większej rozdzielczości. Co ważne, żadne z tych zadań ani zbiorów danych nie są częścią mieszaniny danych do wstępnego trenowania, a ich obrazy są wyraźnie usuwane ze zbiorów danych do wstępnego trenowania na potrzeby skali internetowej.

Wyniki PaliGemma 2 według rozdzielczości i rozmiaru modelu

Dodatkowe testy porównawcze

ICDAR 2015 Incidental

Total-Text

FinTabNet

PubTabNet

GrandStaff

PubChem

• PaliGemma 2 3B, dopasowanie pełne: 94,8

DOCCI

• śr#znaków: średnia liczba znaków
• śr#wysł: średnia liczba zdań
• NES zdania bez implikacji

MIMIC-CXR

Przestrzeń wizualna

Etyka i bezpieczeństwo

Metoda oceny

Nasze metody oceny obejmują ustrukturyzowane oceny pod kątem etyki i bezpieczeństwa w ramach odpowiednich zasad dotyczących treści, w tym:

• Ocena przez człowieka promptów dotyczących bezpieczeństwa dzieci, bezpieczeństwa treści i szkód związanych z ich przedstawieniem. Więcej informacji o podejmowaniu decyzji o ocenie znajdziesz na karcie modelu Gemma, która zawiera też informacje o dodawaniu podpisów do obrazów i o konfiguracjach odpowiadania na pytania dotyczące obrazów.
• Ocena porównawcza w przypadku konwersji obrazu na tekst: porównywanie z odpowiednimi zbiorami danych naukowych, takimi jak FairFace Dataset (Karkkainen i in., 2021).

Wyniki oceny

• Wyniki weryfikacji etycznej i weryfikacji bezpieczeństwa przez człowieka mieszczą się w akceptowalnych progach zgodności z zasadami wewnętrznymi w kategoriach takich jak bezpieczeństwo dzieci, bezpieczeństwo treści i szkody wynikające z reprezentowania.
• Oprócz rzetelnych wewnętrznych ocen używamy też interfejsu Perspective API (progresja 0, 8), aby mierzyć toksyczność, wulgaryzmy i inne potencjalne problemy w generowanych opisach obrazów pochodzących z danych FairFace. W przypadku każdego z atrybutów płci, pochodzenia etnicznego i wieku podajemy maksymalne i średnie wartości obserwowane w podgrupach.

Korzystanie i ograniczenia

Przeznaczenie

Otwarte modele językowe (VLM) mają szerokie zastosowanie w różnych branżach i branżach. Poniższa lista potencjalnych zastosowań nie jest wyczerpująca. Lista ma na celu dostarczenie informacji kontekstowych na temat możliwych zastosowań, które twórcy modelu wzięli pod uwagę w ramach jego trenowania i rozwijania. Zabronione zastosowania modeli Gemma są opisane w zasadach dotyczących niedozwolonych zastosowań Gemma.

Dostosowanie do konkretnego zadania dotyczącego przetwarzania języka:

• Wytrenowane wstępnie modele można dostroić do szerokiego zakresu zadań związanych z wizualizacją i językiem, takich jak opisywanie obrazów, tworzenie krótkich podpisów do filmów, odpowiadanie na wizualne pytania, czytanie tekstu, wykrywanie obiektów i ich segmentacja.
• Wstępnie przetrenowane modele można dostosować do konkretnych dziedzin, takich jak zdalne wykrywanie odpowiedzi na pytania, pytania wizualne od osób niewidomych, odpowiedzi na pytania z zakresu nauk ścisłych czy opisywanie funkcji elementów interfejsu użytkownika.
• Wytrenowane modele można dostroić do zadań z wynikami nietekstowymi, takimi jak ramki ograniczające czy maski segmentacji.

Badania dotyczące widzenia i języka:

• Wytrenowane i dostrajone modele mogą służyć jako podstawa do eksperymentowania z technikami VLM, tworzenia algorytmów i współtworzenia postępów w tej dziedzinie.

Uwagi i zagrożenia etyczne

Rozwój modeli językowych opartych na widzeniu komputerowym (VLM) budzi pewne wątpliwości natury etycznej. Podczas tworzenia otwartego modelu wzięliśmy pod uwagę te kwestie:

• Uprzedzenia i obiektywność
  • VLM trenowane na dużych zbiorach danych z obrazami i tekstem pochodzących z rzeczywistego świata mogą odzwierciedlać uprzedzenia kulturowe i społeczne zawarte w materiałach szkoleniowych. Te modele zostały poddane dokładnej analizie, a ich dane wejściowe zostały poddane wstępnemu przetwarzaniu, jak opisano na tej karcie.
• Nieprawdziwe informacje i nieprawidłowe użycie
  • Modele językowe mogą być niewłaściwie wykorzystywane do generowania tekstu, który jest fałszywy, wprowadzający w błąd lub szkodliwy.
  • Dostępne są wytyczne dotyczące odpowiedzialnego korzystania z modela. Zapoznaj się z narzędziami do odpowiedzialnego tworzenia generatywnej AI.
• Przejrzystość i odpowiedzialność
  • Ta karta modelu zawiera podsumowanie informacji o jego architekturze, możliwościach, ograniczeniach i procesach oceny.
  • Odpowiedzialnie opracowany otwarty model daje możliwość dzielenia się innowacjami, ponieważ udostępnia technologię VLM deweloperom i badaczom w całym ekosystemie AI.

Zidentyfikowane zagrożenia i sposoby ich ograniczania:

• Przekazywanie uprzedzeń: zalecamy prowadzenie ciągłego monitorowania (za pomocą wskaźników oceny i sprawdzeń przez człowieka) oraz stosowanie technik eliminowania uprzedzeń podczas trenowania modelu, dostosowywania i w innych przypadkach użycia.
• Generowanie szkodliwych treści: mechanizmy i wytyczne dotyczące bezpieczeństwa treści są niezbędne. Zachęcamy deweloperów do zachowania ostrożności i wdrażania odpowiednich zabezpieczeń treści na podstawie konkretnych zasad dotyczących produktów i przypadków użycia aplikacji.
• Złe użycie do celów złośliwych: ograniczenia techniczne oraz edukacja deweloperów i użytkowników mogą pomóc w zwalczaniu złośliwego użycia modeli językowych. Udostępniamy materiały edukacyjne i mechanizmy zgłaszania, które pomagają użytkownikom zgłaszać niewłaściwe wykorzystanie. Zapoznaj się z narzędziami do odpowiedzialnego korzystania z generatywnej AI. Zabronione zastosowania modeli Gemma są opisane w zasadach dotyczących niedozwolonych zastosowań Gemma.
• Naruszenie prywatności: modele zostały wytrenowane na danych odfiltrowanych w celu usunięcia pewnych informacji osobowych i danych wrażliwych. Zachęcamy deweloperów do przestrzegania przepisów dotyczących prywatności przy użyciu technik chroniących prywatność.

Ograniczenia

• Wciąż obowiązują większość ograniczeń dziedziczonych z podstawowych modeli Gemma 2:
  • VLM sprawdzają się lepiej w przypadku zadań, które można sformułować za pomocą jasnych promptów i instrukcji. Zadania otwarte lub bardzo złożone mogą być trudne do wykonania.
  • Język naturalny jest z natury złożony. Systemy VLM mogą mieć problemy z uchwyceniem subtelnych niuansów, sarkazmu lub języka obrazowego.
  • VLM generują odpowiedzi na podstawie informacji z danych treningowych, ale nie są bazami wiedzy. Mogą generować nieprawidłowe lub nieaktualne stwierdzenia.
  • Modele VLM korzystają z wzorów statystycznych w języku i obrazach. W niektórych sytuacjach może brakować im zdrowego rozsądku.
• PaliGemma 2 została zaprojektowana przede wszystkim jako ogólny wstępnie wytrenowany model do dostosowania do specjalistycznych zadań. Dlatego jego wydajność „z wykonywania” lub „bez próby” może być gorsza niż w przypadku modeli zaprojektowanych specjalnie do ogólnego użytku.
• PaliGemma 2 nie jest chatbotem wieloetapowym. Jest on przeznaczony do jednorazowego wprowadzenia obrazu i tekstu.