AI Edge Torch Generative API adalah library yang dioptimalkan untuk seluler guna mengonversi model PyTorch berbasis transformator format LiteRT, yang memungkinkan Anda mengonversi Model Bahasa Besar (LLM) untuk pembuatan gambar dan teks di perangkat dengan LiteRT dan MediaPipe. AI Edge Torch Generative API saat ini khusus untuk CPU, dengan dukungan GPU dan NPU terencana.
Developer aplikasi seluler dapat menggunakan Edge Generative API untuk mengintegrasikan LLM PyTorch dengan teknik Inferensi LLM MediaPipe API untuk membuat aplikasi yang menjalankan model PyTorch yang dikonversi tersebut sepenuhnya di perangkat.
Untuk mengetahui informasi selengkapnya, lihat Generative Torch API GitHub repo Anda.