AI Edge Torch Generative API adalah library yang dioptimalkan untuk seluler guna mengonversi model PyTorch berbasis transformator menjadi format TF Lite, yang memungkinkan Anda mengonversi Model Bahasa Besar (LLM) untuk pembuatan gambar dan teks di perangkat dengan TF Lite dan MediaPipe. AI Edge Torch Generative API saat ini hanya untuk CPU, dengan dukungan GPU dan NPU yang direncanakan.
Developer aplikasi seluler dapat menggunakan Edge Generative API untuk mengintegrasikan LLM PyTorch dengan MediaPipe LLM Inference API untuk membuat aplikasi yang menjalankan model PyTorch yang dikonversi tersebut sepenuhnya di perangkat.
Untuk mengetahui informasi selengkapnya, lihat repo GitHub Generative Torch API.