Önceden TensorFlow Lite olarak bilinen LiteRT, Google'ın yüksek performanslı çalışma zamanıdır yapay zeka için de geçerlidir. Geniş bir yelpazede, çalıştırılmaya hazır LiteRT modellerini bulabilirsiniz. yapmak veya TensorFlow, PyTorch ve JAX modellerini dönüştürmek ve çalıştırmak için .
Temel özellikler
Cihaz üzerinde makine öğrenimi için optimize edilmiştir: Beş LiteRT adresi önemli ODML kısıtlamaları: gecikme (sunucuya gidiş dönüş yoktur), gizlilik (cihazdan hiçbir kişisel veri dışarı çıkmaz), bağlantı (internet bağlantısı gerekli değil), boyut (küçültülmüş model ve ikili program boyutu) ve güç tüketimi (verimli çıkarım ve ağ bağlantılarının olmaması).
Çoklu platform desteği: Android ve iOS cihazlar, yerleştirilmiş Linux ve mikrodenetleyiciler.
Çok çerçeveli model seçenekleri: AI Edge, modelleri dönüştürmek için araçlar sunar TensorFlow, PyTorch ve JAX modellerinden FlatBuffers biçimine (
.tflite) gibi geniş bir yelpazede son teknoloji modelleri kullanarak LiteRT. Ayrıca, Google Analytics 4'te daha hızlı ve kolay bir şekilde meta verilerdir.Çeşitli dil desteği: Java/Kotlin, Swift, Objective-C, C++ ve Python.
Yüksek performans: Donanım hızlandırma özel delege edebildi (ör. GPU ve iOS Core ML gibi).
Geliştirme iş akışı
LiteRT geliştirme iş akışı bir makine öğrenimi/yapay zeka sorununun tanımlanmasını, problemi çözecek bir model seçmek ve modeli cihaza uygulamaktır. Aşağıdaki adımlar iş akışında size yol gösterir ve bakın.
1. Makine öğrenimi problemine en uygun çözümü belirleme
LiteRT, kullanıcılara yüksek düzeyde esneklik ve özelleştirilebilirlik sunar. Ancak bu, makine öğrenimi problemlerinin çözümüne yönelik belirli bir modele veya özel bir uygulamaya ihtiyaç duyan kullanıcılar için Kullanıcı Sayısı tak-çalıştır çözümler arayanlar MediaPipe'i Görevler gibi yaygın makine öğrenimi görevleri için hazır çözümler sunar. metin sınıflandırma ve LLM çıkarımı.
Aşağıdaki AI Edge çerçevelerinden birini seçin:
- LiteRT: Geniş bir ölçekte çalışabilen esnek ve özelleştirilebilir çalışma zamanı sahip olacaksınız. Kullanım alanınız için bir model seçin ve onu LiteRT biçiminde açın (gerekirse) ve cihazda çalıştırın. Hedefiniz hakkında daha fazla bilgi için okumaya devam edin.
- MediaPipe Tasks: İzin verilen varsayılan modellere sahip tak-çalıştır çözümler birini tıklayın. Yapay zeka/makine öğrenimi sorununuzu çözecek görevi seçin ve bunu birden fazla platformda uygulayabilirsiniz. MediaPipe Görevleri'ni kullanmayı planlıyorsanız Daha fazla bilgi için MediaPipe Görevler dokümanları.
2. Model seçin
LiteRT modeli, verimli bir taşınabilir biçimde temsil edilir.
FlatBuffers, her bir örnek için .tflite
dosya uzantısıyla kaydedin.
LiteRT modelini aşağıdaki şekillerde kullanabilirsiniz:
Mevcut bir LiteRT modelini kullanın: En basit yaklaşım, LiteRT modeli zaten
.tflitebiçiminde. Bu modellerde ek dönüşüm adımları gerektirir. LiteRT modellerini şurada bulabilirsiniz: Kaggle Modelleri.Bir modeli LiteRT modeline dönüştürme: Bir modeli LiteRT modeline dönüştürme TensorFlow Converter, PyToch Dönüştürücü veya JAX dönüştürücü ile modelleri FlatBuffers biçimine (
.tflite) adlı dosyayı LiteRT'te çalıştırabilirsiniz. Başlamak için modellerine göz atın:- Kaggle'da TensorFlow modelleri Modeller ve Sarılan Yüz
- Hugging'de PyTorch modelleri
Yüz ve
torchvision - Hugging Face'de JAX modelleri
LiteRT modeli, isteğe bağlı olarak aşağıdakileri içeren meta veriler içerebilir: otomatik kullanım için insan tarafından okunabilir model açıklamaları ve makine tarafından okunabilir veriler üretiyoruz. Daha fazla ayrıntı için Meta veri ekleme konusuna bakın.
3. Modeli uygulamanıza entegre edin
Çıkarımları tamamen çalıştırmak için LiteRT modellerinizi uygulayabilirsiniz cihaz üzerinde web, yerleşik ve mobil cihazlarda kullanılabilir. LiteRT, API'ler içerir Python, Java ve Kotlin Android için, Swift ise iOS ve mikro cihazlar için C++.
Tercih ettiğiniz modele bir LiteRT modeli uygulamak için aşağıdaki kılavuzları kullanın platform:
- Android'de çalıştır: Modelleri Android cihazlarda Java/Kotlin API'leri.
- iOS'te çalıştırma: Modelleri Swift kullanarak iOS cihazlarda çalıştırma API'ler.
- Mikroda çalıştır: Modelleri yerleşik cihazlarda çalıştırma daha fazla bilgi edindiniz.
Android ve iOS cihazlarda donanım kullanarak performansı artırabilirsiniz ivme artışı. Her iki platformda da GPU kullanabilirsiniz. Yetkilendir'i seçin ve iOS'te Core ML'yi kullanabilirsiniz. Yetki ver. Yeni donanım hızlandırıcılar için destek eklemek üzere Kendi temsilcinizi tanımlayın.
Çıkarım, model türüne bağlı olarak aşağıdaki şekillerde yapılabilir:
Meta veri içermeyen modeller: LiteRT'yi kullanın Çevirmen API'si. Birden çok platform ve dilde desteklenir Python gibi programlama dillerini içerir.
Meta veri içeren modeller: LiteRT Destek Kitaplığı.
LiteRT'ten taşıma
LiteRT kitaplıklarını kullanan uygulamalar çalışmaya devam edecek ancak Tüm yeni etkin geliştirmeler ve güncellemeler yalnızca LiteRT paketlerine dahil edilecektir. LiteRT API'leri, TF Lite API'leriyle aynı yöntem adlarını içerir. Bu nedenle, özelliğini kullanmak, ayrıntılı kod değişiklikleri gerektirmez.
Daha fazla bilgi edinmek için taşıma rehberine göz atın.
Sonraki adımlar
Yeni kullanıcılar LiteRT hızlı başlangıç kılavuzuyla başlamalıdır. Ayrıntılı bilgiler için aşağıdaki bölümlere bakın:
Model dönüşüm
- TensorFlow modellerini dönüştürme
- PyTorch modellerini dönüştürme
- PyTorch üretken yapay zeka modellerini dönüştürme
- JAX modellerini dönüştürme
Platform rehberleri