AI Edge Torch Generative API, dönüştürücü tabanlı PyTorch modellerini TF Lite biçimine dönüştürmeye yönelik mobil cihazlar için optimize edilmiş bir kitaplıktır. Bu kitaplık sayesinde, TF Lite ve MediaPipe ile cihaz üzerinde görüntü oluşturmak ve metin oluşturmak için Büyük Dil Modellerini (LLM) dönüştürebilirsiniz. AI Edge Torch Generative API, şu anda yalnızca CPU ile kullanılabilir ve planlı GPU ve NPU desteğine sahiptir.
Mobil uygulama geliştiricileri, dönüştürülen PyTorch modellerini tamamen cihazda çalıştıran uygulamalar oluşturmak amacıyla, PyTorch LLM'leri MediaPipe LLM Inference API ile entegre etmek için Edge Generative API'yi kullanabilir.
Daha fazla bilgi için Generative Torch API GitHub deposuna bakın.