LiteRT JAX Desteğine Genel Bakış

LiteRT, TensorFlow ekosisteminden yararlanarak JAX modellerini cihaz üzerinde çıkarım için dönüştürme yolu sağlar. Bu süreçte iki adımlı bir dönüştürme işlemi yapılır: önce JAX'ten TensorFlow SavedModel'e, ardından SavedModel'den .tflite biçimine dönüştürme.

Dönüşüm Süreci

1. jax2tf kullanarak JAX'ten TensorFlow SavedModel'e dönüştürme: İlk adım, JAX modelinizi TensorFlow SavedModel biçimine dönüştürmektir. Bu işlem, deneysel bir JAX özelliği olan jax2tf aracı kullanılarak yapılır. jax2tf, JAX işlevlerini TensorFlow grafiklerine dönüştürmenize olanak tanır.

   jax2tf kullanmayla ilgili ayrıntılı talimatlar ve örnekler için lütfen resmi jax2tf belgelerine bakın: https://github.com/jax-ml/jax/blob/main/jax/experimental/jax2tf/README.md

   Bu işlem genellikle JAX modelinizin tahmin işlevini jax2tf.convert ile sarmalamayı ve ardından TensorFlow'un tf.saved_model.save ile kaydetmeyi içerir.

2. TensorFlow SavedModel'den TFLite'a: Modeliniz TensorFlow SavedModel biçimindeyken standart TensorFlow Lite dönüştürücüsünü kullanarak modeli TFLite biçimine dönüştürebilirsiniz. Bu süreç, modeli cihaz üzerinde yürütme için optimize ederek boyutunu küçültür ve performansı artırır.

   TensorFlow SavedModel'i TFLite'a dönüştürmeyle ilgili ayrıntılı talimatları TensorFlow Model Dönüştürme Rehberi'nde bulabilirsiniz.

   Bu kılavuzda, nicelleştirme ve diğer optimizasyonlar da dahil olmak üzere dönüştürme süreciyle ilgili çeşitli seçenekler ve en iyi uygulamalar ele alınmaktadır.

Bu iki adımı uygulayarak JAX'te geliştirilen modellerinizi LiteRT çalışma zamanını kullanarak uç cihazlara verimli bir şekilde dağıtabilirsiniz.