LiteRT (مخفف Lite Runtime)، که قبلاً با نام TensorFlow Lite شناخته می شد، زمان اجرای گوگل با کارایی بالا برای هوش مصنوعی روی دستگاه است. می‌توانید مدل‌های LiteRT آماده اجرا را برای طیف گسترده‌ای از وظایف ML/AI بیابید یا با استفاده از ابزارهای تبدیل و بهینه‌سازی AI Edge، مدل‌های TensorFlow، PyTorch و JAX را به فرمت TFLite تبدیل و اجرا کنید.
ویژگی های کلیدی
بهینه‌سازی شده برای یادگیری ماشینی روی دستگاه : LiteRT پنج محدودیت کلیدی ODML را برطرف می‌کند: تأخیر (هیچ سفر رفت و برگشتی به سرور وجود ندارد)، حریم خصوصی (هیچ اطلاعات شخصی از دستگاه خارج نمی‌شود)، اتصال (اتصال به اینترنت لازم نیست)، اندازه (کاهش مدل و اندازه باینری) و مصرف انرژی (استنتاج کارآمد و عدم اتصال به شبکه).
گزینه‌های مدل چند چارچوبی : AI Edge ابزارهایی را برای تبدیل مدل‌ها از مدل‌های TensorFlow، PyTorch، و JAX به قالب FlatBuffers ( .tflite .) فراهم می‌کند و شما را قادر می‌سازد از طیف وسیعی از مدل‌های پیشرفته در LiteRT استفاده کنید. شما همچنین به ابزارهای بهینه سازی مدل دسترسی دارید که می توانند کوانتیزاسیون و ابرداده ها را مدیریت کنند.
پشتیبانی از زبان های متنوع : شامل SDK برای جاوا/کوتلین، سوئیفت، Objective-C، C++ و پایتون است.
عملکرد بالا : شتاب سخت افزار از طریق نمایندگان تخصصی مانند GPU و iOS Core ML.
گردش کار توسعه
گردش کار توسعه LiteRT شامل شناسایی یک مشکل ML/AI، انتخاب مدلی که آن مشکل را حل می کند و پیاده سازی مدل بر روی دستگاه است. مراحل زیر شما را در جریان کار راهنمایی می کند و پیوندهایی به دستورالعمل های بیشتر ارائه می دهد.
1. مناسب ترین راه حل برای مشکل ML را شناسایی کنید
LiteRT برای حل مشکلات یادگیری ماشین سطح بالایی از انعطاف‌پذیری و سفارشی‌سازی را به کاربران ارائه می‌دهد و آن را برای کاربرانی که به یک مدل خاص یا یک پیاده‌سازی تخصصی نیاز دارند، مناسب است. کاربرانی که به دنبال راه‌حل‌های plug-and-play هستند، ممکن است MediaPipe Tasks را ترجیح دهند، که راه‌حل‌های آماده‌ای را برای کارهای رایج یادگیری ماشینی مانند تشخیص اشیا، طبقه‌بندی متن، و استنتاج LLM ارائه می‌کند.
یکی از چارچوب های AI Edge زیر را انتخاب کنید:
LiteRT : زمان اجرا انعطاف پذیر و قابل تنظیم که می تواند طیف گسترده ای از مدل ها را اجرا کند. مدلی را برای مورد استفاده خود انتخاب کنید، آن را به فرمت LiteRT تبدیل کنید (در صورت لزوم)، و آن را روی دستگاه اجرا کنید. اگر قصد استفاده از LiteRT را دارید، به خواندن ادامه دهید.
MediaPipe Tasks : راه حل های Plug-and-play با مدل های پیش فرض که امکان سفارشی سازی را فراهم می کند. وظیفه ای را انتخاب کنید که مشکل AI/ML شما را حل کند و آن را در چندین پلتفرم پیاده سازی کنید. اگر قصد استفاده از MediaPipe Tasks را دارید، به مستندات MediaPipe Tasks مراجعه کنید.
2. یک مدل انتخاب کنید
یک مدل LiteRT در یک قالب قابل حمل کارآمد به نام FlatBuffers نشان داده شده است که از پسوند فایل .tflite . استفاده می کند.
شما می توانید از یک مدل LiteRT به روش های زیر استفاده کنید:
از یک مدل LiteRT موجود استفاده کنید: ساده ترین روش استفاده از مدل LiteRT در قالب .tflite است. این مدل ها به هیچ مرحله تبدیل اضافی نیاز ندارند. می توانید مدل های LiteRT را در Kaggle Models پیدا کنید.
تبدیل یک مدل به مدل LiteRT: می‌توانید از مبدل TensorFlow ، مبدل PyTorch یا مبدل JAX برای تبدیل مدل‌ها به فرمت FlatBuffers ( .tflite ) و اجرای آنها در LiteRT استفاده کنید. برای شروع، می توانید مدل ها را در سایت های زیر پیدا کنید:
یک مدل LiteRT می‌تواند به صورت اختیاری شامل ابرداده‌هایی باشد که حاوی توضیحات مدل قابل خواندن توسط انسان و داده‌های قابل خواندن ماشین برای تولید خودکار خطوط لوله پیش و پس از پردازش در طول استنتاج روی دستگاه باشد. برای جزئیات بیشتر به افزودن متادیتا مراجعه کنید.
3. مدل را در برنامه خود ادغام کنید
می‌توانید مدل‌های LiteRT خود را برای اجرای استنتاج‌ها به‌طور کامل روی دستگاه در وب، جاسازی‌شده و دستگاه‌های تلفن همراه پیاده‌سازی کنید. LiteRT شامل API برای پایتون ، جاوا و کاتلین برای اندروید، سوئیفت برای iOS و C++ برای دستگاه‌های میکرو می‌باشد.
از راهنماهای زیر برای پیاده سازی مدل LiteRT در پلتفرم دلخواه خود استفاده کنید:
اجرا بر روی Android : مدل ها را با استفاده از Java/Kotlin API در دستگاه های Android اجرا کنید.
اجرا در iOS : مدل ها را با استفاده از APIهای Swift بر روی دستگاه های iOS اجرا کنید.
Run on Micro : مدل‌ها را روی دستگاه‌های جاسازی شده با استفاده از C++ API اجرا کنید.
در دستگاه‌های Android و iOS، می‌توانید عملکرد را با استفاده از شتاب سخت‌افزاری بهبود بخشید. در هر یک از پلتفرم‌ها می‌توانید از یک GPU Delegate و در iOS می‌توانید از Core ML Delegate استفاده کنید. برای افزودن پشتیبانی از شتاب دهنده های سخت افزاری جدید، می توانید نماینده خود را تعریف کنید .
بر اساس نوع مدل می توانید استنتاج را به روش های زیر اجرا کنید:
مدل‌های بدون ابرداده : از LiteRT Interpreter API استفاده کنید. پشتیبانی از چندین پلتفرم و زبان مانند جاوا، سوئیفت، C++، Objective-C و Python.
مدل‌های دارای ابرداده : می‌توانید خطوط لوله استنتاج سفارشی را با کتابخانه پشتیبانی LiteRT ایجاد کنید.
مهاجرت از TF Lite
برنامه‌هایی که از کتابخانه‌های TF Lite استفاده می‌کنند به کار خود ادامه می‌دهند، اما همه توسعه‌ها و به‌روزرسانی‌های فعال جدید فقط در بسته‌های LiteRT گنجانده می‌شوند. API های LiteRT دارای نام روش های مشابه با API های TF Lite هستند، بنابراین مهاجرت به LiteRT نیازی به تغییرات دقیق کد ندارد.
تاریخ آخرین بهروزرسانی 2025-05-26 بهوقت ساعت هماهنگ جهانی.
[[["درک آسان","easyToUnderstand","thumb-up"],["مشکلم را برطرف کرد","solvedMyProblem","thumb-up"],["غیره","otherUp","thumb-up"]],[["اطلاعاتی که نیاز دارم وجود ندارد","missingTheInformationINeed","thumb-down"],["بیشازحد پیچیده/ مراحل بسیار زیاد","tooComplicatedTooManySteps","thumb-down"],["قدیمی","outOfDate","thumb-down"],["مشکل ترجمه","translationIssue","thumb-down"],["مشکل کد / نمونهها","samplesCodeIssue","thumb-down"],["غیره","otherDown","thumb-down"]],["تاریخ آخرین بهروزرسانی 2025-05-26 بهوقت ساعت هماهنگ جهانی."],[],[],null,["# LiteRT overview\n\n| **Note:** LiteRT Next is available in Alpha. The new APIs improve and simplify on-device hardware acceleration. For more information, see the [LiteRT\n| Next documentation](./next/overview).\n\nLiteRT (short for Lite Runtime), formerly known as TensorFlow Lite, is Google's\nhigh-performance runtime for on-device AI. You can find ready-to-run LiteRT\nmodels for a wide range of ML/AI tasks, or convert and run TensorFlow, PyTorch,\nand JAX models to the TFLite format using the AI Edge conversion and\noptimization tools.\n\nKey features\n------------\n\n- **Optimized for on-device machine learning**: LiteRT addresses five key ODML\n constraints: latency (there's no round-trip to a server), privacy (no\n personal data leaves the device), connectivity (internet connectivity is not\n required), size (reduced model and binary size) and power consumption\n (efficient inference and a lack of network connections).\n\n- **Multi-platform support** : Compatible with [Android](./android) and\n [iOS](./ios/quickstart) devices, [embedded\n Linux](./microcontrollers/python), and\n [microcontrollers](./microcontrollers/overview).\n\n- **Multi-framework model options** : AI Edge provides tools to convert models\n from TensorFlow, PyTorch, and JAX models into the FlatBuffers format\n (`.tflite`), enabling you to use a wide range of state-of-the-art models on\n LiteRT. You also have access to model optimization tools that can handle\n quantization and metadata.\n\n- **Diverse language support**: Includes SDKs for Java/Kotlin, Swift,\n Objective-C, C++, and Python.\n\n- **High performance** : [Hardware acceleration](./performance/delegates)\n through specialized delegates like GPU and iOS Core ML.\n\nDevelopment workflow\n--------------------\n\nThe LiteRT development workflow involves identifying an ML/AI problem, choosing\na model that solves that problem, and implementing the model on-device. The\nfollowing steps walk you through the workflow and provides links to further\ninstructions.\n\n### 1. Identify the most suitable solution to the ML problem\n\nLiteRT offers users a high level of flexibility and customizability when it\ncomes to solving machine learning problems, making it a good fit for users who\nrequire a specific model or a specialized implementation. Users looking for\nplug-and-play solutions may prefer [MediaPipe\nTasks](https://ai.google.dev/edge/mediapipe/solutions/tasks), which provides\nready-made solutions for common machine learning tasks like object detection,\ntext classification, and LLM inference.\n\nChoose one of the following AI Edge frameworks:\n\n- **LiteRT**: Flexible and customizable runtime that can run a wide range of models. Choose a model for your use case, convert it to the LiteRT format (if necessary), and run it on-device. If you intend to use LiteRT, keep reading.\n- **MediaPipe Tasks** : Plug-and-play solutions with default models that allow for customization. Choose the task that solves your AI/ML problem, and implement it on multiple platforms. If you intend to use MediaPipe Tasks, refer to the [MediaPipe\n Tasks](https://ai.google.dev/edge/mediapipe/solutions/tasks) documentation.\n\n### 2. Choose a model\n\nA LiteRT model is represented in an efficient portable format known as\n[FlatBuffers](https://google.github.io/flatbuffers/), which uses the `.tflite`\nfile extension.\n\nYou can use a LiteRT model in the following ways:\n\n- **Use an existing LiteRT model:** The simplest approach is to use a LiteRT\n model already in the `.tflite` format. These models do not require any added\n conversion steps. You can find LiteRT models on [Kaggle\n Models](https://www.kaggle.com/models?framework=tfLite).\n\n- **Convert a model into a LiteRT model:** You can use the [TensorFlow\n Converter](./models/convert_tf), [PyTorch\n Converter](./models/convert_pytorch), or [JAX\n converter](./models/convert_jax) to convert models to the FlatBuffers format\n (`.tflite`) and run them in LiteRT. To get started, you can find models on\n the following sites:\n\n - **TensorFlow models** on [Kaggle\n Models](https://www.kaggle.com/models?framework=tensorFlow2) and [Hugging Face](https://huggingface.co/models?library=tf)\n - **PyTorch models** on [Hugging\n Face](https://huggingface.co/models?library=pytorch) and [`torchvision`](https://pytorch.org/vision/0.9/models.html)\n - **JAX models** on [Hugging Face](https://huggingface.co/models?library=jax)\n\nA LiteRT model can optionally include *metadata* that contains human-readable\nmodel descriptions and machine-readable data for automatic generation of pre-\nand post-processing pipelines during on-device inference. Refer to [Add\nmetadata](./models/metadata) for more details.\n\n### 3. Integrate the model into your app\n\nYou can implement your LiteRT models to run inferences completely on-device on\nweb, embedded, and mobile devices. LiteRT contains APIs for\n[Python](https://ai.google.dev/edge/api/tflite/python/tf/lite), [Java and\nKotlin](https://ai.google.dev/edge/api/tflite/java/org/tensorflow/lite/package-summary)\nfor Android, [Swift](https://ai.google.dev/edge/api/tflite/swift/Classes) for\niOS, and [C++](https://ai.google.dev/edge/api/tflite/cc) for micro-devices.\n\nUse the following guides to implement a LiteRT model on your preferred platform:\n\n- [Run on Android](./android/index): Run models on Android devices using the Java/Kotlin APIs.\n- [Run on iOS](./ios/quickstart): Run models on iOS devices using the Swift APIs.\n- [Run on Micro](./microcontrollers/overview): Run models on embedded devices using the C++ APIs.\n\nOn Android and iOS devices, you can improve performance using hardware\nacceleration. On either platform you can use a [GPU\nDelegate](./performance/gpu), and on iOS you can use the [Core ML\nDelegate](./ios/coreml). To add support for new hardware accelerators, you can\n[define your own delegate](./performance/implementing_delegate).\n\nYou can run inference in the following ways based on the model type:\n\n- **Models without metadata** : Use the [LiteRT Interpreter](/edge/litert/inference) API.\n Supported on multiple platforms and languages such as Java, Swift, C++,\n Objective-C and Python.\n\n- **Models with metadata** : You can build custom inference pipelines with the\n [LiteRT Support Library](./android/metadata/lite_support).\n\nMigrate from TF Lite\n--------------------\n\nApplications that use TF Lite libraries will continue to function, but all new\nactive development and updates will only be included in LiteRT packages. The\nLiteRT APIs contain the same method names as the TF Lite APIs, so migrating to\nLiteRT does not require detailed code changes.\n\nFor more information, refer to the [migration guide](./migration).\n\nNext steps\n----------\n\nNew users should get started with the [LiteRT quickstart](./inference). For\nspecific information, see the following sections:\n\n**Model conversion**\n\n- [Convert TensorFlow models](./models/convert_tf)\n- [Convert PyTorch models](./models/convert_pytorch)\n- [Convert PyTorch Generative AI models](./models/edge_generative)\n- [Convert JAX models](./models/convert_jax)\n\n**Platform guides**\n\n- [Run on Android](./android/index)\n- [Run on iOS](./ios/quickstart)\n- [Run on Micro](./microcontrollers/overview)"]]
