LiteRT-Modelle erstellen

Auf dieser Seite finden Sie eine Anleitung zum Erstellen Ihrer TensorFlow-Modelle mit der in das LiteRT-Modellformat konvertieren. Die Maschine Lernmodelle (ML), die Sie mit LiteRT verwenden, wurden ursprünglich die mit TensorFlow-Kernbibliotheken und -Tools trainiert wurden. Sobald Sie ein Modell erstellt haben, mit TensorFlow Core in ein kleineres, effizienteres ML-Modell umwandeln. ein sogenanntes LiteRT-Modell.

Wenn Sie bereits ein Modell haben, das konvertiert werden soll, lesen Sie den Abschnitt Modelle konvertieren finden Sie Hinweise zum Umwandeln Ihres Modells.

Modell erstellen

Wenn Sie ein benutzerdefiniertes Modell für Ihren spezifischen Anwendungsfall erstellen, sollten Sie ein TensorFlow-Modell zu entwickeln und zu trainieren oder ein vorhandenes Modell zu erweitern.

Einschränkungen beim Modelldesign

Bevor Sie mit der Modellentwicklung beginnen, sollten Sie sich mit den Einschränkungen für LiteRT-Modelle an und erstellen Sie Ihr Modell mit diesen Einschränkungen beachten:

  • Eingeschränkte Rechenkapazitäten: Im Vergleich zu voll ausgestatteten Servern mit mehrere CPUs, eine hohe Arbeitsspeicherkapazität und spezialisierte Prozessoren wie GPUs und TPUs, mobile und Edge-Geräte. Während sie mit zunehmender Rechenleistung und spezialisierter Hardwarekompatibilität, und Daten, die Sie effektiv damit verarbeiten können, sind immer noch vergleichsweise begrenzt.
  • Größe der Modelle – Die Gesamtkomplexität eines Modells, einschließlich der Daten. der Vorverarbeitungslogik und der Anzahl der Schichten im Modell In-Memory-Größe eines Modells. Ein großes Modell läuft möglicherweise inakzeptabel langsam oder einfach passen möglicherweise nicht in den verfügbaren Speicher eines mobilen oder Edge-Geräts.
  • Datengröße: Die Größe der Eingabedaten, die effektiv verarbeitet werden können. mit einem ML-Modell ist auf Mobilgeräten oder Edge-Geräten eingeschränkt. Modelle die große Datenbibliotheken wie Sprach- und Bildbibliotheken verwenden, oder Videoclip-Bibliotheken passen möglicherweise nicht auf diese Geräte und erfordern Lösungen für den externen Speicher und Zugriff zu finden.
  • Unterstützte TensorFlow-Vorgänge – LiteRT-Laufzeitumgebungen unterstützen nur einen Teil der ML-Modellvorgänge TensorFlow-Modellen. Wenn Sie ein Modell für LiteRT entwickeln, sollte die Kompatibilität Ihres Modells mit den Funktionen LiteRT-Laufzeitumgebungen

Weitere Informationen zum Erstellen effektiver, kompatibler Hochleistungsmodelle LiteRT finden Sie unter Best Practices für die Leistung.

Modellentwicklung

Um ein LiteRT-Modell zu erstellen, müssen Sie zunächst ein Modell mithilfe der TensorFlow-Kernbibliotheken. TensorFlow-Kernbibliotheken sind die untergeordneten Bibliotheken, die APIs zum Erstellen, Trainieren und Bereitstellen von ML-Modellen bereitstellen.

TFLite-Build-Workflow

TensorFlow bietet hierfür zwei Pfade. Sie können Ihre eigenen benutzerdefinierten oder Sie beginnen mit einer Modellimplementierung, die in der TensorFlow Model Garden.

Model Garden

Der TensorFlow Model Garden bietet Implementierungen vieler hochmoderner Modelle für maschinelles Lernen (ML) für Vision und Natural Language Processing (NLP) Außerdem gibt es Workflow-Tools, mit denen Sie diese schnell konfigurieren und ausführen können. Modellen für Standard-Datasets. ML-Modelle in Model Garden Sie müssen vollständigen Code enthalten, damit Sie sie mit Ihrem eigenen Code testen, trainieren oder neu trainieren können. Datasets.

Egal, ob Sie die Leistung eines bekannten Modells vergleichen möchten, Forschungsergebnisse kürzlich veröffentlicht oder vorhandene Modelle erweitert, Garden kann Ihnen helfen, Ihre ML-Ziele zu erreichen.

Benutzerdefinierte Modelle

Wenn Ihr Anwendungsfall von jenen abweicht, die von den Modellen in Model Garden unterstützt werden, können Sie eine übergeordnete Bibliothek wie Keras verwenden, Ihren benutzerdefinierten Trainingscode. Die Grundlagen von TensorFlow finden Sie in der TensorFlow-Anleitung Um zu beginnen, Weitere Informationen finden Sie in den TensorFlow-Anleitungen Übersicht enthalten, die Verweise auf auf Expertenniveau an.

Modellbewertung

Sobald Sie Ihr Modell entwickelt haben, sollten Sie seine Leistung bewerten und auf den Geräten der Endnutzer. TensorFlow bietet hierfür mehrere Möglichkeiten.

  • TensorBoard ist ein Tool, mit dem Sie die Messungen und Visualisierungen bereitstellen können, die während des für maschinelles Lernen. Sie können damit Messwerte von Tests wie Verluste und Genauigkeit, Visualisierung des Modelldiagramms, Projizieren von Einbettungen auf eine niedrigere Raum und vieles mehr.
  • Benchmarking-Tools stehen für alle unterstützten wie die Android- und die iOS-Benchmark-App. Verwenden Sie diese Tools zum Messen und Berechnen von Statistiken für wichtige Leistungen Messwerte.

Modelloptimierung

Mit den Einschränkungen für TensorFlow-spezifische Ressourcen Lite-Modelle können Sie mithilfe der Modelloptimierung eine gute Modellleistung sicherstellen. und benötigt weniger Rechenressourcen. Die Leistung des ML-Modells ein Gleichgewicht zwischen Größe und Geschwindigkeit der Inferenz vs. Genauigkeit zu finden. LiteRT unterstützt derzeit die Optimierung durch Quantisierung, Bereinigung und Clustering. Weitere Informationen finden Sie unter finden Sie unter Modelloptimierung. zu entwickeln. TensorFlow bietet außerdem eine Modelloptimierung Toolkit, das eine API zur Implementierung dieser zu entwickeln.

Nächste Schritte