LiteRT, antes conocido como TensorFlow Lite, es el entorno de ejecución de alto rendimiento de Google para la IA integrada en el dispositivo. Puedes encontrar modelos LiteRT listos para ejecutar para una amplia una gran variedad de tareas de IA y AA, o convierte y ejecuta modelos de TensorFlow, PyTorch y JAX en el formato TFLite con las herramientas de conversión y optimización de AI Edge.
Características clave
Optimizado para el aprendizaje automático integrado en el dispositivo: LiteRT abarca cinco Restricciones clave de ODML: latencia (no hay ida y vuelta a un servidor), privacidad (los datos personales no salen del dispositivo), la conectividad (la conexión a Internet está no se requiere), tamaño (modelo reducido y tamaño binario) y consumo de energía (inferencia eficiente y falta de conexiones de red).
Compatibilidad con varias plataformas: compatible con Android y Dispositivos iOS, incorporados Linux y microcontroladores.
Opciones de modelos de varios marcos de trabajo: AI Edge proporciona herramientas para convertir modelos desde modelos de TensorFlow, PyTorch y JAX al formato FlatBuffers (
.tflite), lo que te permite usar una amplia variedad de modelos de vanguardia en LiteRT. También tienes acceso a herramientas de optimización de modelos la cuantización y los metadatos.Compatibilidad con diversos lenguajes: Incluye los SDK para Java/Kotlin, Swift, Objective-C, C++ y Python.
Alto rendimiento: Aceleración de hardware a través de delegados especializados, como GPU y iOS Core ML.
Flujo de trabajo de desarrollo
El flujo de trabajo de desarrollo de LiteRT implica identificar un problema de AA/IA, elegir un modelo que resuelva el problema e implementar el modelo en el dispositivo. Los siguientes pasos te guiarán a través del flujo de trabajo y proporcionarán vínculos a instrucciones.
1. Identificar la solución más adecuada para el problema de AA
LiteRT ofrece a los usuarios un alto nivel de flexibilidad y personalización cuando se trata de resolver problemas de aprendizaje automático, por lo que es una buena opción para o usuarios que requieren un modelo específico o una implementación especializada. Usuarios Si buscas soluciones listas para usar, quizás prefieras MediaPipe. Tasks, que proporciona soluciones prediseñadas para tareas comunes de aprendizaje automático, como la detección de objetos, la clasificación de textos y la inferencia LLM.
Elige uno de los siguientes frameworks de AI Edge:
- LiteRT: entorno de ejecución flexible y personalizable que puede ejecutar una amplia variedad de modelos. Elige un modelo para tu caso de uso y conviértelo al LiteRT (si es necesario) y ejecutarlo en el dispositivo. Si lo que para usar LiteRT, sigue leyendo.
- MediaPipe Tasks: Soluciones listas para usar con modelos predeterminados que permiten para la personalización. Elegir la tarea que resuelva tu problema de IA/AA implementarlo en varias plataformas. Si deseas usar tareas de MediaPipe, consulta el archivo MediaPipe Tasks.
2. Elige un modelo
Los modelos LiteRT se representan en un formato portátil eficaz conocido como
FlatBuffers, que usa el .tflite
extensión.
Puedes usar un modelo LiteRT de las siguientes maneras:
Usa un modelo LiteRT existente: El enfoque más simple es usar una El modelo LiteRT ya está en el formato
.tflite. Estos modelos no requieren algún paso de conversión adicional. Puedes encontrar modelos LiteRT en Modelos Kaggle.Convierte un modelo en uno LiteRT: Puedes usar la Convertidor de TensorFlow, PyToch Converter o JAX conversor para convertir modelos al formato FlatBuffers (
.tflite) y ejecutarlas en LiteRT. Para comenzar, puedes encontrar modelos en los siguientes sitios:- Modelos de TensorFlow en Kaggle Modelos y Cara abrazada
- Modelos de PyTorch en Hugging
Rostro y
torchvision - Modelos JAX en Hugging Face
Un modelo LiteRT puede incluir de manera opcional metadatos que contengan descripciones de modelos legibles por humanos y datos legibles por máquinas para las la generación de canalizaciones de procesamiento previo y posterior durante la inferencia integrada en el dispositivo. Consulta Agrega metadatos para obtener más detalles.
3. Integra el modelo en tu app
Puedes implementar los modelos LiteRT para ejecutar inferencias por completo Integradas en la Web, incorporadas y en dispositivos móviles. LiteRT contiene APIs para Python, Java y Kotlin para Android, Swift para iOS y C++ para microdispositivos.
Usa las siguientes guías para implementar un modelo LiteRT en el entorno plataforma:
- Ejecutar en Android: Permite ejecutar modelos en dispositivos Android con la APIs de Java y Kotlin.
- Ejecutar en iOS: Ejecuta modelos en dispositivos iOS con Swift APIs
- Ejecutar en Micro: Ejecuta modelos en dispositivos incorporados. con las APIs de C++.
En dispositivos iOS y Android, puedes mejorar el rendimiento con hardware. aceleración. En cualquiera de las plataformas, puedes usar una GPU Delegado y, en iOS, puedes usar Core ML Delegar. Para agregar compatibilidad con nuevos aceleradores de hardware, puedes definir tu propio delegado.
Puedes ejecutar inferencias de las siguientes maneras según el tipo de modelo:
Modelos sin metadatos: Usa LiteRT. Interpreter. Compatible con varios lenguajes y plataformas como Java, Swift, C++, Objective-C y Python.
Modelos con metadatos: Puedes crear canalizaciones de inferencia personalizadas con el Biblioteca de compatibilidad de LiteRT.
Cómo migrar desde LiteRT
Las aplicaciones que usan bibliotecas LiteRT seguirán funcionando, pero todos los nuevos desarrollos y actualizaciones activos solo se incluirán en los paquetes LiteRT. Las APIs de LiteRT contienen los mismos nombres de métodos que las APIs de TF Lite, por lo que a LiteRT no requiere cambios detallados en el código.
Para obtener más información, consulta la guía de migración.
Próximos pasos
Los usuarios nuevos deben comenzar con la guía de inicio rápido de LiteRT. Para obtener información específica, consulta las siguientes secciones:
Conversión de modelos
- Convierte modelos de TensorFlow
- Convierte modelos de PyTorch
- Convierte modelos de IA generativa de PyTorch
- Convierte modelos de JAX
Guías de la plataforma