Përmbledhje e Mbështetjes LiteRT JAX

LiteRT ofron një rrugë për të konvertuar modelet JAX për inferencë në pajisje duke shfrytëzuar ekosistemin TensorFlow. Procesi përfshin një konvertim me dy hapa: së pari nga JAX në TensorFlow SavedModel, dhe pastaj nga SavedModel në formatin .tflite.

Procesi i konvertimit

1. JAX në TensorFlow SavedModel duke përdorur jax2tf : Hapi i parë është të konvertoni modelin tuaj JAX në formatin TensorFlow SavedModel. Kjo bëhet duke përdorur mjetin jax2tf , i cili është një veçori eksperimentale eksperimentale e JAX. jax2tf ju lejon të konvertoni funksionet JAX në grafikë TensorFlow.

   Për udhëzime të hollësishme dhe shembuj se si të përdorni jax2tf , ju lutemi referojuni dokumentacionit zyrtar jax2tf : https://github.com/jax-ml/jax/blob/main/jax/experimental/jax2tf/README.md

   Ky proces zakonisht përfshin mbështjelljen e funksionit të parashikimit të modelit tuaj JAX me jax2tf.convert dhe më pas ruajtjen e tij duke përdorur tf.saved_model.save të TensorFlow.

2. TensorFlow SavedModel në TFLite: Pasi ta keni modelin tuaj në formatin TensorFlow SavedModel, mund ta konvertoni atë në formatin TFLite duke përdorur konvertuesin standard TensorFlow Lite. Ky proces optimizon modelin për ekzekutimin në pajisje, duke zvogëluar madhësinë e tij dhe duke përmirësuar performancën.

   Udhëzimet e hollësishme për konvertimin e një TensorFlow SavedModel në TFLite mund të gjenden në udhëzuesin e konvertimit të modelit TensorFlow .

   Ky udhëzues mbulon opsione të ndryshme dhe praktikat më të mira për procesin e konvertimit, duke përfshirë kuantizimin dhe optimizime të tjera.

Duke ndjekur këto dy hapa, ju mund të merrni modelet tuaja të zhvilluara në JAX dhe t'i vendosni ato në mënyrë efikase në pajisjet e skajit duke përdorur kohën e ekzekutimit LiteRT.