Die Leistung von ML-Modellen auf verschiedenen Mobilgeräten zu optimieren, kann eine Herausforderung sein.
Manuelle Tests sind langsam, teuer und für die meisten Entwickler oft nicht zugänglich. Das führt zu Unsicherheiten bei der tatsächlichen Modellleistung. Das Google AI Edge Portal löst dieses Problem, indem es den Benchmarking von LiteRT-Modellen auf einer Vielzahl von Mobilgeräten ermöglicht. So können Entwickler die besten Konfigurationen für die Bereitstellung von ML-Modellen im großen Maßstab finden.
Bereitstellung von ML auf Mobilgeräten optimieren
Testzyklen in der vielfältigen Hardwarelandschaft vereinfachen und beschleunigen: Die Modellleistung lässt sich in wenigen Minuten auf Hunderten von repräsentativen Mobilgeräten mühelos bewerten.
Proaktiv die Modellqualität sicherstellen und Probleme frühzeitig erkennen: Hardwarespezifische Leistungsschwankungen oder -rückgänge (z. B. auf bestimmten Chipsätzen oder Geräten mit begrenztem Arbeitsspeicher) vor der Bereitstellung ermitteln.
Niedrigere Kosten für Gerätetests und Zugriff auf die neueste Hardware: Sie können auf einer vielfältigen und ständig wachsenden Flotte physischer Geräte (derzeit über 100 Gerätemodelle verschiedener Android-OEMs) testen, ohne die Kosten und Komplexität eines eigenen Labors tragen zu müssen.
Leistungsstarke, datengestützte Entscheidungen und Business Intelligence nutzen: Das Google AI Edge Portal bietet umfangreiche Leistungsdaten und Vergleiche. So erhalten Sie die wichtige Business Intelligence, die Sie für eine fundierte Modelloptimierung und die Validierung der Bereitstellungsbereitschaft benötigen.
Beispiel für einen Benchmark:
So können Sie mit dem Google AI Edge Portal Ihre LiteRT-Modelle benchmarken
Hochladen und konfigurieren: Laden Sie Ihre Modelldatei über die Benutzeroberfläche hoch oder verweisen Sie in Ihrem Google Cloud Storage-Bucket darauf.
Beschleuniger auswählen: Legen Sie fest, ob die Tests auf der CPU oder der GPU ausgeführt werden sollen (mit automatischem CPU-Fallback). Die Unterstützung von NPUs ist für zukünftige Releases geplant.
Geräte auswählen: Mithilfe von Filtern (Gerätestufe, Marke, Chipsatz, RAM) können Sie Zielgeräte aus unserem vielfältigen Pool auswählen oder kuratierte Listen mit praktischen Tastenkürzeln verwenden.
Neuen Benchmark-Job auf über 100 Geräten erstellen. Hinweis: Das GIF ist beschleunigt und wurde aus Gründen der Übersichtlichkeit bearbeitet.
Reichen Sie den Job dort ein und warten Sie auf den Abschluss. Wenn Sie bereit sind, können Sie die Ergebnisse im interaktiven Dashboard ansehen:
Konfigurationen vergleichen: Sie können sich schnell ansehen, wie sich Leistungsmesswerte (z.B. durchschnittliche Latenz, Spitzenspeicher) unterscheiden, wenn Sie verschiedene Beschleuniger auf allen getesteten Geräten verwenden.
Geräteeffekte analysieren: Sie können sich ansehen, wie sich eine bestimmte Modellkonfiguration auf die Leistung auf den ausgewählten Geräten auswirkt. Mithilfe von Histogrammen und Streudiagrammen können Sie Leistungsschwankungen, die mit Gerätemerkmalen zusammenhängen, schnell erkennen.
Detaillierte Messwerte: Hier finden Sie eine detaillierte, sortierbare Tabelle mit bestimmten Messwerten (Initialisierungszeit, Inferenzlatenz, Speichernutzung) für jedes einzelne Gerät sowie die Hardwarespezifikationen.
Benchmark-Ergebnisse im interaktiven Dashboard ansehen. Hinweis: Das GIF ist beschleunigt und wurde aus Gründen der Übersichtlichkeit bearbeitet.
Private Vorschau des Google AI Edge Portals
Das Google AI Edge Portal ist in der privaten Vorabversion für Google Cloud-Kunden auf der Zulassungsliste verfügbar. Während dieser privaten Vorschauphase ist der Zugriff kostenlos, vorbehaltlich der Vorschaubedingungen.
Diese Vorabversion eignet sich ideal für Entwickler und Teams, die mobile ML-Anwendungen mit LiteRT erstellen und zuverlässige Benchmarking-Daten für verschiedene Android-Hardware benötigen. Außerdem sind sie bereit, Feedback zu geben, um die Zukunft des Produkts mitzugestalten. Wenn Sie Zugriff anfordern möchten, füllen Sie bitte dieses Formular aus. Der Zugriff wird über eine Zulassungsliste gewährt.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Benötigte Informationen nicht gefunden","missingTheInformationINeed","thumb-down"],["Zu umständlich/zu viele Schritte","tooComplicatedTooManySteps","thumb-down"],["Nicht mehr aktuell","outOfDate","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Problem mit Beispielen/Code","samplesCodeIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-06-17 (UTC)."],[],[],null,["# Google AI Edge Portal\n\n| **Note:** Google AI Edge Portal is in Private Preview and supports .litert models on GPU \\& CPU at this time. Complete our [sign-up form](https://docs.google.com/forms/d/e/1FAIpQLSfTcGPycQve8TLAsfH46pBlXBZe9FrgJAClwbF7DeL1LgVn4Q/viewform?usp=header) to request access.\n\n**AI Edge's Google Cloud solution for testing and benchmarking on-device machine learning (ML) at scale.**\n\n[Sign Up](https://docs.google.com/forms/d/e/1FAIpQLSfTcGPycQve8TLAsfH46pBlXBZe9FrgJAClwbF7DeL1LgVn4Q/viewform?usp=header)\n\nOptimizing ML model performance across diverse mobile devices can be challenging.\nManual testing is slow, costly, and often inaccessible to most developers,\nleading to uncertainties in real-world model performance. Google AI Edge\nPortal solves this by **enabling LiteRT model benchmarking across a wide-range\nof mobile devices**, helping developers find the best configurations for\nlarge-scale ML model deployment.\n\nOptimizing mobile ML deployment\n-------------------------------\n\n- **Simplify \\& accelerate testing cycles across the diverse hardware landscape**:\n Effortlessly assess model performance across hundreds of\n representative mobile devices in minutes.\n\n- **Proactively assure model quality \\& identify issues early**: Pinpoint\n hardware-specific performance variations or regressions (like on particular\n chipsets or memory-constrained devices) before deployment.\n\n- **Lower device testing cost \\& access latest hardware**: Test on diverse and\n continually growing fleet of physical devices (currently 100+ device models\n from various Android OEMs) without the expense and complexity of maintaining\n your own lab.\n\n- **Unlock powerful, data-driven decisions \\& business intelligence**: Google AI\n Edge Portal delivers rich performance data and comparisons, providing the\n crucial business intelligence needed to confidently guide model optimization\n and validate deployment readiness.\n\nExample benchmark:\n\n\u003cbr /\u003e\n\nHow Google AI Edge Portal helps you benchmark your LiteRT models\n----------------------------------------------------------------\n\n1. **Upload \\& configure**: Upload your model file via the UI or point to it in your\n Google Cloud Storage bucket.\n\n2. **Select accelerators**: Specify testing against CPU or GPU (with automatic CPU\n fallback). NPU support is planned for future releases.\n\n3. **Select devices**: Choose target devices from our diverse pool using filters\n (device tier, brand, chipset, RAM) or select curated lists with convenient\n shortcuts.\n\n\u003cbr /\u003e\n\n\n*Create a New Benchmark Job on 100+ Devices. (Note: GIF is accelerated and edited for brevity)*\n\nFrom there, submit your job and await completion. Once ready, explore the\nresults in the Interactive Dashboard:\n\n- **Compare configurations**: Quickly visualize how performance metrics (e.g.,\n average latency, peak memory) differ when using different accelerators across\n all tested devices.\n\n- **Analyze device impact**: See how a specific model configuration performs across\n the range of selected devices. Use histograms and scatter plots to quickly\n identify performance variations tied to device characteristics.\n\n- **Detailed metrics**: Access a detailed, sortable table showing specific metrics\n (initialization time, inference latency, memory usage) for each individual\n device, alongside its hardware specifications.\n\n\u003cbr /\u003e\n\n\n*View Benchmark Results on the interactive Dashboard. (Note: GIF is accelerated and edited for brevity)*\n\nJoin the Google AI Edge Portal private preview\n----------------------------------------------\n\nGoogle AI Edge Portal is available in private preview for allowlisted Google\nCloud customers. During this private preview period, access is provided at no\ncharge, subject to the preview terms.\n\nThis preview is ideal for developers and teams building mobile ML applications\nwith LiteRT who need reliable benchmarking data across diverse Android hardware\nand are willing to provide feedback to help shape the product's future. To\nrequest access, complete our [sign-up form here](https://docs.google.com/forms/d/e/1FAIpQLSfTcGPycQve8TLAsfH46pBlXBZe9FrgJAClwbF7DeL1LgVn4Q/viewform?usp=header)\nto express interest. Access is granted via allowlisting."]]
