TensorFlow Lite ในบริการ Google Play ยังเข้าถึงได้โดยใช้ Java API เสริมจาก Native API โดยเฉพาะอย่างยิ่ง TensorFlow Lite ในบริการต่างๆ ของ Google Play ที่พร้อมให้ใช้งานผ่าน TensorFlow Lite Translation API
การใช้ API ล่าม
TensorFlow Lite Redirecter API ที่มอบโดยรันไทม์ของ TensorFlow มอบอินเทอร์เฟซอเนกประสงค์สำหรับการสร้างและเรียกใช้โมเดล ML ใช้ขั้นตอนต่อไปนี้เพื่อเรียกใช้การอนุมานด้วย API ล่ามโดยใช้ TensorFlow Lite ในรันไทม์ของบริการ Google Play
1. เพิ่มทรัพยากร Dependency ของโปรเจ็กต์
เพิ่มทรัพยากร Dependency ต่อไปนี้ลงในโค้ดโปรเจ็กต์แอปเพื่อเข้าถึง Play services API สำหรับ TensorFlow Lite
dependencies {
...
// Tensorflow Lite dependencies for Google Play services
implementation 'com.google.android.gms:play-services-tflite-java:16.0.1'
// Optional: include Tensorflow Lite Support Library
implementation 'com.google.android.gms:play-services-tflite-support:16.0.1'
...
}
2. เพิ่มการเริ่มต้นของ TensorFlow Lite
เริ่มต้นคอมโพเนนต์ TensorFlow Lite ของ API บริการ Google Play ก่อนโดยใช้ API ของ TensorFlow Lite ดังนี้
Kotlin
val initializeTask: Task<Void> by lazy { TfLite.initialize(this) }
Java
Task<Void> initializeTask = TfLite.initialize(context);
3. สร้างล่ามและตั้งค่าตัวเลือกรันไทม์
สร้างล่ามโดยใช้ InterpreterApi.create()
และกำหนดค่าให้ใช้รันไทม์ของบริการ Google Play โดยการเรียกใช้ InterpreterApi.Options.setRuntime()
ดังที่แสดงในโค้ดตัวอย่างต่อไปนี้
Kotlin
import org.tensorflow.lite.InterpreterApi import org.tensorflow.lite.InterpreterApi.Options.TfLiteRuntime ... private lateinit var interpreter: InterpreterApi ... initializeTask.addOnSuccessListener { val interpreterOption = InterpreterApi.Options().setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY) interpreter = InterpreterApi.create( modelBuffer, interpreterOption )} .addOnFailureListener { e -> Log.e("Interpreter", "Cannot initialize interpreter", e) }
Java
import org.tensorflow.lite.InterpreterApi import org.tensorflow.lite.InterpreterApi.Options.TfLiteRuntime ... private InterpreterApi interpreter; ... initializeTask.addOnSuccessListener(a -> { interpreter = InterpreterApi.create(modelBuffer, new InterpreterApi.Options().setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)); }) .addOnFailureListener(e -> { Log.e("Interpreter", String.format("Cannot initialize interpreter: %s", e.getMessage())); });
คุณควรใช้การติดตั้งใช้งานข้างต้นเนื่องจากหลีกเลี่ยงการบล็อกเทรดอินเทอร์เฟซผู้ใช้ Android หากจำเป็นต้องจัดการการดำเนินการของชุดข้อความให้ใกล้ชิดมากขึ้น คุณสามารถเพิ่มการเรียกใช้ Tasks.await()
เพื่อสร้างอินเตอร์พรีเตอร์ได้ ดังนี้
Kotlin
import androidx.lifecycle.lifecycleScope ... lifecycleScope.launchWhenStarted { // uses coroutine initializeTask.await() }
Java
@BackgroundThread InterpreterApi initializeInterpreter() { Tasks.await(initializeTask); return InterpreterApi.create(...); }
4. เรียกใช้การอนุมาน
ใช้ออบเจ็กต์ interpreter
ที่คุณสร้างขึ้นเพื่อเรียกเมธอด run()
เพื่อสร้างการอนุมาน
Kotlin
interpreter.run(inputBuffer, outputBuffer)
Java
interpreter.run(inputBuffer, outputBuffer);
การเร่งฮาร์ดแวร์
TensorFlow Lite ช่วยให้คุณเร่งประสิทธิภาพของโมเดลได้โดยใช้ตัวประมวลผลฮาร์ดแวร์เฉพาะทาง เช่น หน่วยประมวลผลกราฟิก (GPU) คุณจะใช้ประโยชน์จากโปรเซสเซอร์พิเศษเหล่านี้ได้โดยใช้ไดรเวอร์ฮาร์ดแวร์ที่เรียกว่าการมอบสิทธิ์
GPU Delegate มีให้ผ่านบริการ Google Play และจะมีการโหลดแบบไดนามิก เช่นเดียวกับเวอร์ชันของบริการ Play สำหรับ ครั้งที่ Mediation API
กำลังตรวจสอบความเข้ากันได้ของอุปกรณ์
อุปกรณ์บางรุ่นไม่รองรับการเร่งฮาร์ดแวร์ GPU ด้วย TFLite ใช้เมธอด TfLiteGpu.isGpuDelegateAvailable
เพื่อตรวจสอบว่าอุปกรณ์เข้ากันได้กับการมอบสิทธิ์ GPU หรือไม่ เพื่อลดข้อผิดพลาดและข้อขัดข้องที่อาจเกิดขึ้น
ใช้วิธีนี้เพื่อยืนยันว่าอุปกรณ์เข้ากันได้กับ GPU หรือไม่ และใช้ CPU เป็นข้อมูลสำรองเมื่อไม่รองรับ GPU
useGpuTask = TfLiteGpu.isGpuDelegateAvailable(context)
เมื่อมีตัวแปรอย่างเช่น useGpuTask
แล้ว คุณจะใช้ตัวแปรดังกล่าวเพื่อระบุว่าอุปกรณ์ใช้การมอบสิทธิ์ GPU หรือไม่
Kotlin
val interpreterTask = useGpuTask.continueWith { task -> val interpreterOptions = InterpreterApi.Options() .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY) if (task.result) { interpreterOptions.addDelegateFactory(GpuDelegateFactory()) } InterpreterApi.create(FileUtil.loadMappedFile(context, MODEL_PATH), interpreterOptions) }
Java
Task<InterpreterApi.Options> interpreterOptionsTask = useGpuTask.continueWith({ task -> InterpreterApi.Options options = new InterpreterApi.Options().setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY); if (task.getResult()) { options.addDelegateFactory(new GpuDelegateFactory()); } return options; });
GPU พร้อม API ของโหมดล่าม
วิธีใช้การมอบสิทธิ์ GPU กับ API ของล่าม ให้ทำดังนี้
อัปเดตทรัพยากร Dependency ของโปรเจ็กต์เพื่อใช้การมอบสิทธิ์ GPU จากบริการ Play โดยทำดังนี้
implementation 'com.google.android.gms:play-services-tflite-gpu:16.1.0'
เปิดใช้ตัวเลือกการมอบสิทธิ์ GPU ในการเริ่มต้นของ TFlite
Kotlin
TfLite.initialize(context, TfLiteInitializationOptions.builder() .setEnableGpuDelegateSupport(true) .build())
Java
TfLite.initialize(context, TfLiteInitializationOptions.builder() .setEnableGpuDelegateSupport(true) .build());
เปิดใช้การมอบสิทธิ์ GPU ในตัวเลือกล่าม: ตั้งค่าโรงงานมอบสิทธิ์เป็น GpuDelegateFound ด้วยการเรียกใช้
addDelegateFactory() within
ก่อนจะตีความ.Options()`:Kotlin
val interpreterOption = InterpreterApi.Options() .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY) .addDelegateFactory(GpuDelegateFactory())
Java
Options interpreterOption = InterpreterApi.Options() .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY) .addDelegateFactory(new GpuDelegateFactory());
การย้ายข้อมูลจาก TensorFlow Lite แบบสแตนด์อโลน
หากคุณกำลังวางแผนที่จะย้ายข้อมูลแอปจาก TensorFlow Lite แบบสแตนด์อโลนไปยัง API ของบริการ Play โปรดอ่านคำแนะนำเพิ่มเติมต่อไปนี้สำหรับการอัปเดตโค้ดโปรเจ็กต์แอปของคุณ
- ดูส่วนข้อจำกัดในหน้านี้เพื่อให้แน่ใจว่าระบบรองรับกรณีการใช้งานของคุณ
- ก่อนที่จะอัปเดตโค้ด ให้ตรวจสอบประสิทธิภาพและความแม่นยำสำหรับโมเดลของคุณ โดยเฉพาะอย่างยิ่งหากคุณใช้ TensorFlow Lite เวอร์ชันเก่ากว่าเวอร์ชัน 2.1 เพื่อให้มีพื้นฐานสำหรับเปรียบเทียบกับการใช้งานใหม่
- หากคุณย้ายข้อมูลโค้ดทั้งหมดเพื่อใช้ Play services API สำหรับ TensorFlow Lite แล้ว คุณควรนำทรัพยากร Dependency ของไลบรารีรันไทม์ ของ TensorFlow Lite (รายการที่มี
org.tensorflow:tensorflow-lite:*
) ออกจากไฟล์ Build.gradle ของคุณ เพื่อที่คุณจะได้ลดขนาดแอปได้ - ระบุการสร้างออบเจ็กต์
new Interpreter
ทั้งหมดในโค้ดของคุณ และแก้ไขแต่ละรายการเพื่อให้ใช้การเรียกใช้ API ของ Mediation .create() TfLite.initialize ใหม่เป็นแบบไม่พร้อมกัน ซึ่งหมายความว่าในกรณีส่วนใหญ่ ฟีเจอร์ดังกล่าวไม่ใช่การแทนที่แบบดรอปอิน กล่าวคือ คุณต้องลงทะเบียน Listener เมื่อการโทรเสร็จสิ้น ดูข้อมูลโค้ดในโค้ดขั้นตอนที่ 3 - เพิ่ม
import org.tensorflow.lite.InterpreterApi;
และimport org.tensorflow.lite.InterpreterApi.Options.TfLiteRuntime;
ลงในไฟล์ต้นฉบับโดยใช้คลาสorg.tensorflow.lite.Interpreter
หรือorg.tensorflow.lite.InterpreterApi
- หากการเรียกผลลัพธ์ไปยัง
InterpreterApi.create()
มีอาร์กิวเมนต์เดียว ให้เพิ่มnew InterpreterApi.Options()
ต่อท้ายรายการอาร์กิวเมนต์ - เพิ่ม
.setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)
ต่อท้ายอาร์กิวเมนต์สุดท้ายของการเรียกไปยังInterpreterApi.create()
- แทนที่คลาส
org.tensorflow.lite.Interpreter
อื่นๆ ทั้งหมดด้วยorg.tensorflow.lite.InterpreterApi
หากต้องการใช้ TensorFlow Lite แบบเดี่ยวและ API ของบริการ Play ควบคู่กัน คุณต้องใช้ TensorFlow Lite 2.9 (หรือใหม่กว่า) TensorFlow Lite 2.8 และเวอร์ชันก่อนหน้าจะใช้ไม่ได้กับเวอร์ชัน API ของบริการ Play