Solución de Google Cloud de AI Edge para realizar pruebas comparativas y de rendimiento del aprendizaje automático (AA) en el dispositivo a gran escala.
Optimizar el rendimiento de los modelos de AA en diversos dispositivos móviles puede ser un desafío. Las pruebas manuales son lentas, costosas y, a menudo, inaccesibles para la mayoría de los desarrolladores, lo que genera incertidumbres en el rendimiento del modelo en el mundo real. El portal de Google AI Edge resuelve este problema permitiendo la comparativa del modelo de LiteRT en una amplia variedad de dispositivos móviles, lo que ayuda a los desarrolladores a encontrar las mejores configuraciones para la implementación de modelos de AA a gran escala.
Optimización de la implementación del AA para dispositivos móviles
Simplifica y acelera los ciclos de pruebas en el diverso panorama de hardware: Evalúa sin esfuerzo el rendimiento del modelo en cientos de dispositivos móviles representativos en cuestión de minutos.
Garantiza de forma proactiva la calidad del modelo y detecta problemas con anticipación: Identifica las variaciones o regresiones de rendimiento específicas del hardware (por ejemplo, en determinados chipsets o dispositivos con limitaciones de memoria) antes de la implementación.
Menor costo de prueba en dispositivos y acceso al hardware más reciente: Realiza pruebas en una flota diversa y en constante crecimiento de dispositivos físicos (actualmente, más de 100 modelos de dispositivos de varios OEM de Android) sin el costo ni la complejidad de mantener tu propio lab.
Toma decisiones basadas en datos y obtén inteligencia empresarial: El portal de Google AI Edge ofrece datos y comparaciones de rendimiento enriquecidos, lo que proporciona la inteligencia empresarial crucial necesaria para guiar con confianza la optimización del modelo y validar la preparación para la implementación.
Ejemplo de comparativa:
Cómo Google AI Edge Portal te ayuda a comparar tus modelos de LiteRT
Selecciona dispositivos: Selecciona tus dispositivos objetivo de nuestro amplio grupo con filtros de hardware específicos, como compatibilidad con NPU, nivel del dispositivo, marca, chipset y RAM. También puedes usar nuestros accesos directos seleccionados para acceder de inmediato a listas de dispositivos populares.
Create Configurations: Elige entre aceleradores de CPU, GPU o NPU para tus tareas de comparativas.
Personalización avanzada: Ajusta la configuración específica del hardware para el acelerador seleccionado o continúa con los valores predeterminados.
Compatibilidad con NPU: Las capacidades de aceleración de hardware ahora incluyen NPU, con una flota de más de 30 dispositivos Qualcomm.
- Compilación Ahead-Of-Time (AOT): Se recomienda para el rendimiento a nivel de producción, ya que proporciona una inicialización significativamente más rápida y un menor uso de memoria. Este modo requiere que proporciones modelos compilados para cada SoC único en la selección de dispositivos.
- Compilación Just-In-Time (JIT): Admite un solo modelo para la compilación en los dispositivos seleccionados.
Subir modelos: Sube tu archivo de modelo con la IU o indícalo en tu bucket de Google Cloud Storage.
Crea un nuevo trabajo de comparativa en más de 100 dispositivos. (Nota: El GIF está acelerado y editado para mayor brevedad).
Desde allí, envía tu trabajo y espera a que se complete. Cuando esté todo listo, explora los resultados en el panel interactivo:
Compara configuraciones: Visualiza rápidamente cómo difieren las métricas de rendimiento (p.ej., latencia promedio, memoria máxima) cuando se usan diferentes aceleradores en todos los dispositivos probados.
Analiza el impacto en los dispositivos: Observa el rendimiento de una configuración de modelo específica en el rango de dispositivos seleccionados. Usa histogramas y diagramas de dispersión para identificar rápidamente las variaciones en el rendimiento asociadas a las características del dispositivo.
Métricas detalladas: Accede a una tabla detallada y ordenable que muestra métricas específicas (tiempo de inicialización, latencia de inferencia, uso de memoria) para cada dispositivo individual, junto con sus especificaciones de hardware. Verifica la utilización del hardware con la tabla de asignación de aceleradores, que muestra cómo se distribuyen las operaciones del modelo en los kernels (disponible para CPU y GPU, con compatibilidad con NPU próximamente).
Consulta los resultados de las comparativas en el panel interactivo. (Nota: El GIF está acelerado y editado para mayor brevedad).
Únete a la versión preliminar privada del portal de Google AI Edge
El portal de Google AI Edge está disponible en versión de vista previa privada para los clientes de Google Cloud incluidos en la lista de entidades permitidas. Durante este período de vista previa privada, el acceso se proporciona sin cargo, sujeto a las condiciones de la vista previa.
Esta versión preliminar es ideal para los desarrolladores y los equipos que crean aplicaciones de AA para dispositivos móviles con LiteRT y que necesitan datos de comparativas confiables en diversos dispositivos Android, y que desean proporcionar comentarios para ayudar a definir el futuro del producto. Para solicitar acceso, completa nuestro formulario de registro aquí y expresa tu interés. El acceso se otorga a través de una lista de entidades permitidas.