Konwertowanie generatywnych modeli PyTorch

AI Edge Torch Generative API to biblioteka do konwertowania modeli PyTorch opartych na architekturze Transformer na format LiteRT. Umożliwia ona konwertowanie dużych modeli językowych (LLM) na potrzeby generowania obrazów i tekstu na urządzeniu za pomocą LiteRT-LM. Interfejs AI Edge Torch Generative API obsługuje obecnie procesory CPU i GPU, a w przyszłości będzie obsługiwać też procesory NPU.

Deweloperzy mogą używać interfejsu Generative API do integrowania dużych modeli językowych PyTorch z LiteRT-LM, aby tworzyć aplikacje, które uruchamiają przekonwertowane modele PyTorch w całości na urządzeniu.

Więcej informacji znajdziesz w repozytorium GitHub interfejsu Generative Torch API.