LiteRT Next مجموعه جدیدی از APIها است که نسبت به LiteRT بهبود می‌یابد، به ویژه از نظر شتاب سخت‌افزاری و عملکرد برای برنامه‌های کاربردی ML و AI روی دستگاه. APIها نسخه آلفا هستند و در Kotlin و C++ موجود هستند.
LiteRT Next Compiled Model API مبتنی بر TensorFlow Lite Interpreter API است و فرآیند بارگیری و اجرای مدل را برای یادگیری ماشین روی دستگاه ساده می‌کند. APIهای جدید یک راه کارآمد جدید برای استفاده از شتاب سخت‌افزاری ارائه می‌کنند که نیاز به مقابله با FlatBuffers مدل، قابلیت همکاری بافر I/O و نمایندگان را از بین می‌برد. API های LiteRT Next با API های LiteRT سازگار نیستند. به منظور استفاده از ویژگی های LiteRT Next، راهنمای شروع را ببینید.
برای مثال پیاده سازی LiteRT Next، به برنامه های آزمایشی زیر مراجعه کنید:
اجرای استنتاج با LiteRT Next API شامل مراحل کلیدی زیر است:
یک مدل سازگار بارگیری کنید.
بافرهای تانسور ورودی و خروجی را اختصاص دهید.
مدل کامپایل شده را فراخوانی کنید.
استنتاج ها را در بافر خروجی بخوانید.
قطعه کد زیر یک پیاده سازی اساسی از کل فرآیند در Kotlin و C++ را نشان می دهد.
C++
// Load model and initialize runtimeLITERT_ASSIGN_OR_RETURN(automodel,Model::CreateFromFile("mymodel.tflite"));LITERT_ASSIGN_OR_RETURN(autoenv,Environment::Create({}));LITERT_ASSIGN_OR_RETURN(autocompiled_model,CompiledModel::Create(env,model,kLiteRtHwAcceleratorCpu));// Preallocate input/output buffersLITERT_ASSIGN_OR_RETURN(autoinput_buffers,compiled_model.CreateInputBuffers());LITERT_ASSIGN_OR_RETURN(autooutput_buffers,compiled_model.CreateOutputBuffers());// Fill the first inputfloatinput_values[]={/* your data */};input_buffers[0].Write<float>(absl::MakeConstSpan(input_values,/*size*/));// Invokecompiled_model.Run(input_buffers,output_buffers);// Read the outputstd::vector<float>data(output_data_size);output_buffers[0].Read<float>(absl::MakeSpan(data));
کاتلین
// Load model and initialize runtimevalmodel=CompiledModel.create(context.assets,"mymodel.tflite",CompiledModel.Options(Accelerator.CPU))// Preallocate input/output buffersvalinputBuffers=model.createInputBuffers()valoutputBuffers=model.createOutputBuffers()// Fill the first inputinputBuffers[0].writeFloat(FloatArray(data_size){data_value/* your data */})// Invokemodel.run(inputBuffers,outputBuffers)// Read the outputvaloutputFloatArray=outputBuffers[0].readFloat()
LiteRT API جدید : توسعه را با انتخاب شتاب دهنده خودکار، اجرای ناهمگام واقعی و مدیریت کارآمد بافر I/O ساده کنید.
بهترین عملکرد GPU در کلاس : از پیشرفته ترین شتاب GPU برای ML روی دستگاه استفاده کنید. قابلیت همکاری بافر جدید امکان کپی صفر را فراهم می کند و تأخیر را در انواع مختلف بافر GPU به حداقل می رساند.
استنباط هوش مصنوعی مولد برتر : ساده ترین ادغام را با بهترین عملکرد برای مدل های GenAI فعال کنید.
شتاب یکپارچه NPU : ارائه دسترسی یکپارچه به NPU ها از ارائه دهندگان اصلی چیپست با تجربه توسعه دهنده سازگار. شتاب NPU LiteRT از طریق یک برنامه دسترسی زودهنگام در دسترس است.
پیشرفت های کلیدی
LiteRT Next (Compiled Model API) شامل بهبودهای کلیدی زیر در LiteRT (TFLite Interpreter API) است. برای یک راهنمای جامع برای تنظیم برنامه خود با LiteRT Next، راهنمای شروع را ببینید.
استفاده از شتابدهنده : اجرای مدل‌ها بر روی GPU با LiteRT به ایجاد نماینده صریح، فراخوانی عملکرد و تغییرات نمودار نیاز دارد. با LiteRT Next، فقط شتاب دهنده را مشخص کنید.
قابلیت همکاری بافر سخت افزاری اصلی : LiteRT گزینه بافر را ارائه نمی دهد و تمام داده ها را از طریق حافظه CPU مجبور می کند. با LiteRT Next، می‌توانید بافرهای سخت‌افزار Android (AHWB)، بافرهای OpenCL، بافرهای OpenGL یا سایر بافرهای تخصصی را پاس کنید.
اجرای Async : LiteRT Next با یک API ناهمگام طراحی شده مجدد ارائه می شود که یک مکانیسم ناهمگام واقعی بر اساس حصارهای همگام سازی ارائه می دهد. این کار با استفاده از سخت افزارهای متنوع - مانند CPU، GPU، CPU و NPU - برای کارهای مختلف، زمان اجرای کلی سریعتر را ممکن می کند.
بارگذاری مدل : LiteRT Next هنگام بارگذاری یک مدل به مرحله سازنده جداگانه نیاز ندارد.
تاریخ آخرین بهروزرسانی 2025-07-25 بهوقت ساعت هماهنگ جهانی.
[[["درک آسان","easyToUnderstand","thumb-up"],["مشکلم را برطرف کرد","solvedMyProblem","thumb-up"],["غیره","otherUp","thumb-up"]],[["اطلاعاتی که نیاز دارم وجود ندارد","missingTheInformationINeed","thumb-down"],["بیشازحد پیچیده/ مراحل بسیار زیاد","tooComplicatedTooManySteps","thumb-down"],["قدیمی","outOfDate","thumb-down"],["مشکل ترجمه","translationIssue","thumb-down"],["مشکل کد / نمونهها","samplesCodeIssue","thumb-down"],["غیره","otherDown","thumb-down"]],["تاریخ آخرین بهروزرسانی 2025-07-25 بهوقت ساعت هماهنگ جهانی."],[],[],null,["# LiteRT Next Overview\n\n| **Experimental:** LiteRT Next is an alpha release and under active development.\n\nLiteRT Next is a new set of APIs that improves upon LiteRT, particularly in\nterms of hardware acceleration and performance for on-device ML and AI\napplications. The APIs are an alpha release and available in Kotlin and C++.\n\nThe LiteRT Next Compiled Model API builds on the TensorFlow Lite Interpreter\nAPI, and simplifies the model loading and execution process for on-device\nmachine learning. The new APIs provide a new streamlined way to use hardware\nacceleration, removing the need to deal with model FlatBuffers, I/O buffer\ninteroperability, and delegates. The LiteRT Next APIs are not compatible with\nthe LiteRT APIs. In order to use features from LiteRT Next, see the [Get\nStarted](./get_started) guide.\n\nFor example implementations of LiteRT Next, refer to the following demo\napplications:\n\n- [Image segmentation with Kotlin](https://github.com/google-ai-edge/LiteRT/tree/main/litert/samples/image_segmentation/kotlin_cpu_gpu/android)\n- [Asynchronous segmentation with C++](https://github.com/google-ai-edge/LiteRT/tree/main/litert/samples/async_segmentation)\n\nQuickstart\n----------\n\nRunning inference with the LiteRT Next APIs involves the following key steps:\n\n1. Load a compatible model.\n2. Allocate the input and output tensor buffers.\n3. Invoke the compiled model.\n4. Read the inferences into an output buffer.\n\nThe following code snippets show a basic implementation of the entire process in\nKotlin and C++. \n\n### C++\n\n // Load model and initialize runtime\n LITERT_ASSIGN_OR_RETURN(auto model, Model::CreateFromFile(\"mymodel.tflite\"));\n LITERT_ASSIGN_OR_RETURN(auto env, Environment::Create({}));\n LITERT_ASSIGN_OR_RETURN(auto compiled_model,\n CompiledModel::Create(env, model, kLiteRtHwAcceleratorCpu));\n\n // Preallocate input/output buffers\n LITERT_ASSIGN_OR_RETURN(auto input_buffers, compiled_model.CreateInputBuffers());\n LITERT_ASSIGN_OR_RETURN(auto output_buffers, compiled_model.CreateOutputBuffers());\n\n // Fill the first input\n float input_values[] = { /* your data */ };\n input_buffers[0].Write\u003cfloat\u003e(absl::MakeConstSpan(input_values, /*size*/));\n\n // Invoke\n compiled_model.Run(input_buffers, output_buffers);\n\n // Read the output\n std::vector\u003cfloat\u003e data(output_data_size);\n output_buffers[0].Read\u003cfloat\u003e(absl::MakeSpan(data));\n\n### Kotlin\n\n // Load model and initialize runtime\n val model =\n CompiledModel.create(\n context.assets,\n \"mymodel.tflite\",\n CompiledModel.Options(Accelerator.CPU)\n )\n\n // Preallocate input/output buffers\n val inputBuffers = model.createInputBuffers()\n val outputBuffers = model.createOutputBuffers()\n\n // Fill the first input\n inputBuffers[0].writeFloat(FloatArray(data_size) { data_value /* your data */ })\n\n // Invoke\n model.run(inputBuffers, outputBuffers)\n\n // Read the output\n val outputFloatArray = outputBuffers[0].readFloat()\n\nFor more information, see the [Get Started with Kotlin](./android_kotlin) and\n[Get Started with C++](./android_cpp) guides.\n\nKey features\n------------\n\nLiteRT Next contains the following key benefits and features:\n\n- **New LiteRT API**: Streamline development with automated accelerator selection, true async execution, and efficient I/O buffer handling.\n- **Best-in-class GPU Performance**: Use state-of-the-art GPU acceleration for on-device ML. The new buffer interoperability enables zero-copy and minimizes latency across various GPU buffer types.\n- **Superior Generative AI inference**: Enable the simplest integration with the best performance for GenAI models.\n- **Unified NPU Acceleration** : Offer seamless access to NPUs from major chipset providers with a consistent developer experience. LiteRT NPU acceleration is available through an [Early Access\n Program](https://forms.gle/CoH4jpLwxiEYvDvF6).\n\nKey improvements\n----------------\n\nLiteRT Next (Compiled Model API) contains the following key improvements on\nLiteRT (TFLite Interpreter API). For a comprehensive guide to setting up your\napplication with LiteRT Next, see the [Get Started](./get_started) guide.\n\n- **Accelerator usage**: Running models on GPU with LiteRT requires explicit delegate creation, function calls, and graph modifications. With LiteRT Next, just specify the accelerator.\n- **Native hardware buffer interoperability**: LiteRT does not provide the option of buffers, and forces all data through CPU memory. With LiteRT Next, you can pass in Android Hardware Buffers (AHWB), OpenCL buffers, OpenGL buffers, or other specialized buffers.\n- **Async execution**: LiteRT Next comes with a redesigned async API, providing a true async mechanism based on sync fences. This enables faster overall execution times through the use of diverse hardware -- like CPUs, GPUs, CPUs, and NPUs -- for different tasks.\n- **Model loading**: LiteRT Next does not require a separate builder step when loading a model."]]
