TensorFlow Lite-Inferenz mit Metadaten

Das Ableiten von Modellen mit Metadaten kann mit nur wenigen Codezeilen erfolgen. Die TensorFlow Lite-Metadaten enthalten eine umfassende Beschreibung dessen, was das Modell tut und wie es verwendet wird. Codegeneratoren können den Inferenzcode automatisch für Sie generieren, z. B. mit der Android Studio ML-Bindungsfunktion oder dem Android-Codegenerator TensorFlow Lite. Außerdem können Sie damit Ihre benutzerdefinierte Inferenzpipeline konfigurieren.

Tools und Bibliotheken

TensorFlow Lite bietet verschiedene Tools und Bibliotheken für unterschiedliche Deployment-Anforderungen:

Modellschnittstelle mit Android-Codegeneratoren generieren

Es gibt zwei Möglichkeiten, den erforderlichen Android-Wrapper-Code für das TensorFlow Lite-Modell mit Metadaten automatisch zu generieren:

  1. Android Studio ML Model Binding ist ein Tool in Android Studio, mit dem Sie das TensorFlow Lite-Modell über eine grafische Oberfläche importieren können. Android Studio konfiguriert automatisch Einstellungen für das Projekt und generiert Wrapper-Klassen basierend auf den Modellmetadaten.

  2. Der TensorFlow Lite Code Generator ist eine ausführbare Datei, die die Modellschnittstelle automatisch anhand der Metadaten generiert. Aktuell wird Android mit Java unterstützt. Durch den Wrapper-Code ist keine direkte Interaktion mit ByteBuffer erforderlich. Stattdessen können Entwickler mit dem TensorFlow Lite-Modell über typisierte Objekte wie Bitmap und Rect interagieren. Android Studio-Nutzer können auch über Android Studio ML Binding auf die Codegen-Funktion zugreifen.

Benutzerdefinierte Inferenzpipelines mit der TensorFlow Lite-Supportbibliothek erstellen

Die TensorFlow Lite-Supportbibliothek ist eine plattformübergreifende Bibliothek, mit der Sie die Modellschnittstelle anpassen und Inferenzpipelines erstellen können. Es enthält verschiedene Hilfsmethoden und Datenstrukturen zur Vor-/Nachverarbeitung und Datenkonvertierung. Er ist außerdem so konzipiert, dass er dem Verhalten von TensorFlow-Modulen wie TF.Image und TF.Text entspricht und so für Konsistenz vom Training bis zur Ableitung sorgt.

Vortrainierte Modelle mit Metadaten untersuchen

Durchsuchen Sie Kaggle-Modelle, um vortrainierte Modelle mit Metadaten für Vision- und Textaufgaben herunterzuladen. Verschiedene Optionen zur Visualisierung der Metadaten ansehen

GitHub-Repository für TensorFlow Lite-Support

Weitere Beispiele und Quellcode finden Sie im GitHub-Repository für die TensorFlow Lite-Unterstützung.