Mengonversi model PyTorch generatif

AI Edge Torch Generative API adalah library untuk mengonversi model PyTorch berbasis transformer ke format LiteRT, sehingga Anda dapat mengonversi Model Bahasa Besar (LLM) untuk pembuatan gambar dan teks di perangkat dengan LiteRT-LM. AI Edge Torch Generative API saat ini mendukung CPU dan GPU, dengan dukungan NPU yang direncanakan.

Developer dapat menggunakan Generative API untuk mengintegrasikan LLM PyTorch dengan LiteRT-LM guna membuat aplikasi yang menjalankan model PyTorch yang dikonversi tersebut sepenuhnya di perangkat.

Untuk mengetahui informasi selengkapnya, lihat repo GitHub Generative Torch API.