Üretken Yapay Zeka Uç Feneri API dönüştürücü tabanlı PyTorch modellerini LiteRT biçimi sayesinde büyük dil modellerini (LLM) cihaz üzerinde resim ve metin oluşturma olanağı sunar. AI Edge Torch Generative API şu anda yalnızca CPU olarak kullanılabilmekte olup planlı GPU ve NPU desteği sunulmaktadır.
Mobil uygulama geliştiricileri, PyTorch LLM'lerini entegre etmek için Edge Generative API'yi kullanabilir MediaPipe LLM Çıkarımı API'yı kullanarak dönüştürülmüş PyTorch modellerinin tamamını cihaz üzerinde çalıştırabilirsiniz.
Daha fazla bilgi için Generative Torch API GitHub'a bakın. depo.