AI Edge Torch Generative Interfejs API to biblioteka zoptymalizowana pod kątem urządzeń mobilnych do konwertowania opartych na transformerze modeli PyTorch w formacie LiteRT, co umożliwia konwertowanie dużych modeli językowych (LLM) generowanie obrazów i tekstu na urządzeniu za pomocą LiteRT i MediaPipe. Generatywny interfejs AI Edge Torch Generative API działa obecnie tylko w przypadku procesora, a zaplanowana obsługa GPU i NPU.
Deweloperzy aplikacji mobilnych mogą używać interfejsu Edge Generative API do integracji modeli LLM PyTorch korzystając z wnioskowania MediaPipe LLM Inference API do tworzenia aplikacji, uruchamiać te przekonwertowane modele PyTorch całkowicie na urządzeniu.
Więcej informacji znajdziesz na stronie o interfejsie Generative Torch API na GitHub .