Üretken PyTorch modellerini dönüştürme

AI Edge Torch Generative API, dönüştürücü tabanlı PyTorch modellerini LiteRT biçimine dönüştürmek için kullanılan bir kitaplıktır. Bu kitaplık, LiteRT-LM ile cihaz üzerinde görüntü ve metin oluşturma için büyük dil modellerini (LLM'ler) dönüştürmenizi sağlar. AI Edge Torch Generative API şu anda CPU ve GPU'yu desteklemektedir. NPU desteği planlanmaktadır.

Geliştiriciler, dönüştürülmüş PyTorch modellerini tamamen cihaz üzerinde çalıştıran uygulamalar oluşturmak için Generative API'yi kullanarak PyTorch LLM'leri LiteRT-LM ile entegre edebilir.

Daha fazla bilgi için Generative Torch API GitHub repo'ya bakın.