Zadbaj o dobrą organizację dzięki kolekcji
Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.
AI Edge Torch Generative
Interfejs API
to biblioteka zoptymalizowana pod kątem urządzeń mobilnych do konwertowania opartych na transformerze modeli PyTorch
w formacie LiteRT, co umożliwia konwertowanie dużych modeli językowych (LLM)
generowanie obrazów i tekstu na urządzeniu za pomocą LiteRT i MediaPipe. Generatywny interfejs AI Edge Torch Generative API działa obecnie tylko w przypadku procesora, a zaplanowana obsługa GPU i NPU.
Deweloperzy aplikacji mobilnych mogą używać interfejsu Edge Generative API do integracji modeli LLM PyTorch
korzystając z wnioskowania MediaPipe LLM Inference
API do tworzenia aplikacji,
uruchamiać te przekonwertowane modele PyTorch całkowicie na urządzeniu.
Więcej informacji znajdziesz na stronie o interfejsie Generative Torch API na GitHub
.
