LiteRT সাপোর্ট লাইব্রেরির সাথে ইনপুট এবং আউটপুট ডেটা প্রক্রিয়া করুন

মোবাইল অ্যাপ্লিকেশন বিকাশকারীরা সাধারণত বিটম্যাপ বা আদিম যেমন পূর্ণসংখ্যার মতো টাইপ করা বস্তুর সাথে যোগাযোগ করে। যাইহোক, LiteRT ইন্টারপ্রেটার এপিআই যেটি ডিভাইসে মেশিন লার্নিং মডেল চালায় তা বাইটবাফার আকারে টেনসর ব্যবহার করে, যা ডিবাগ এবং ম্যানিপুলেট করা কঠিন হতে পারে। LiteRT অ্যান্ড্রয়েড সাপোর্ট লাইব্রেরিটি LiteRT মডেলের ইনপুট এবং আউটপুট প্রক্রিয়া করতে এবং LiteRT ইন্টারপ্রেটারকে সহজে ব্যবহার করতে সাহায্য করার জন্য ডিজাইন করা হয়েছে।

শুরু করা

Gradle নির্ভরতা এবং অন্যান্য সেটিংস আমদানি করুন

.tflite মডেল ফাইলটি Android মডিউলের সম্পদ ডিরেক্টরিতে অনুলিপি করুন যেখানে মডেলটি চালানো হবে৷ নির্দিষ্ট করুন যে ফাইলটি সংকুচিত করা উচিত নয়, এবং মডিউলের build.gradle ফাইলে LiteRT লাইব্রেরি যোগ করুন:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import tflite dependencies
    implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly-SNAPSHOT'
    // The GPU delegate library is optional. Depend on it as needed.
    implementation 'com.google.ai.edge.litert:litert-gpu:0.0.0-nightly-SNAPSHOT'
    implementation 'com.google.ai.edge.litert:litert-support:0.0.0-nightly-SNAPSHOT'
}

সাপোর্ট লাইব্রেরির বিভিন্ন সংস্করণের জন্য MavenCentral-এ হোস্ট করা LiteRT সাপোর্ট লাইব্রেরি AAR দেখুন।

মৌলিক ইমেজ ম্যানিপুলেশন এবং রূপান্তর

LiteRT সাপোর্ট লাইব্রেরিতে মৌলিক ইমেজ ম্যানিপুলেশন পদ্ধতির একটি স্যুট রয়েছে যেমন ক্রপ এবং রিসাইজ। এটি ব্যবহার করতে, একটি ImagePreprocessor তৈরি করুন এবং প্রয়োজনীয় অপারেশন যোগ করুন। LiteRT দোভাষী দ্বারা প্রয়োজনীয় টেনসর বিন্যাসে চিত্রটিকে রূপান্তর করতে, ইনপুট হিসাবে ব্যবহার করার জন্য একটি TensorImage তৈরি করুন:

import org.tensorflow.lite.DataType;
import org.tensorflow.lite.support.image.ImageProcessor;
import org.tensorflow.lite.support.image.TensorImage;
import org.tensorflow.lite.support.image.ops.ResizeOp;

// Initialization code
// Create an ImageProcessor with all ops required. For more ops, please
// refer to the ImageProcessor Architecture section in this README.
ImageProcessor imageProcessor =
    new ImageProcessor.Builder()
        .add(new ResizeOp(224, 224, ResizeOp.ResizeMethod.BILINEAR))
        .build();

// Create a TensorImage object. This creates the tensor of the corresponding
// tensor type (uint8 in this case) that the LiteRT interpreter needs.
TensorImage tensorImage = new TensorImage(DataType.UINT8);

// Analysis code for every frame
// Preprocess the image
tensorImage.load(bitmap);
tensorImage = imageProcessor.process(tensorImage);

একটি টেনসরের DataType মেটাডেটা এক্সট্র্যাক্টর লাইব্রেরির পাশাপাশি অন্যান্য মডেল তথ্যের মাধ্যমে পড়া যায়।

মৌলিক অডিও ডেটা প্রসেসিং

LiteRT সাপোর্ট লাইব্রেরি কিছু মৌলিক অডিও ডেটা প্রসেসিং পদ্ধতি মোড়ানো একটি TensorAudio ক্লাস সংজ্ঞায়িত করে। এটি বেশিরভাগই AudioRecord এর সাথে একসাথে ব্যবহৃত হয় এবং একটি রিং বাফারে অডিও নমুনাগুলি ক্যাপচার করে।

import android.media.AudioRecord;
import org.tensorflow.lite.support.audio.TensorAudio;

// Create an `AudioRecord` instance.
AudioRecord record = AudioRecord(...)

// Create a `TensorAudio` object from Android AudioFormat.
TensorAudio tensorAudio = new TensorAudio(record.getFormat(), size)

// Load all audio samples available in the AudioRecord without blocking.
tensorAudio.load(record)

// Get the `TensorBuffer` for inference.
TensorBuffer buffer = tensorAudio.getTensorBuffer()

আউটপুট অবজেক্ট তৈরি করুন এবং মডেল চালান

মডেল চালানোর আগে, আমাদের ধারক বস্তু তৈরি করতে হবে যা ফলাফল সংরক্ষণ করবে:

import org.tensorflow.lite.DataType;
import org.tensorflow.lite.support.tensorbuffer.TensorBuffer;

// Create a container for the result and specify that this is a quantized model.
// Hence, the 'DataType' is defined as UINT8 (8-bit unsigned integer)
TensorBuffer probabilityBuffer =
    TensorBuffer.createFixedSize(new int[]{1, 1001}, DataType.UINT8);

মডেল লোড হচ্ছে এবং অনুমান চলছে:

import java.nio.MappedByteBuffer;
import org.tensorflow.lite.InterpreterFactory;
import org.tensorflow.lite.InterpreterApi;

// Initialise the model
try{
    MappedByteBuffer tfliteModel
        = FileUtil.loadMappedFile(activity,
            "mobilenet_v1_1.0_224_quant.tflite");
    InterpreterApi tflite = new InterpreterFactory().create(
        tfliteModel, new InterpreterApi.Options());
} catch (IOException e){
    Log.e("tfliteSupport", "Error reading model", e);
}

// Running inference
if(null != tflite) {
    tflite.run(tImage.getBuffer(), probabilityBuffer.getBuffer());
}

ফলাফল অ্যাক্সেস

বিকাশকারীরা probabilityBuffer.getFloatArray() এর মাধ্যমে সরাসরি আউটপুট অ্যাক্সেস করতে পারে। যদি মডেলটি একটি কোয়ান্টাইজড আউটপুট তৈরি করে, ফলাফলটি রূপান্তর করতে ভুলবেন না। MobileNet কোয়ান্টাইজড মডেলের জন্য, বিকাশকারীকে প্রতিটি বিভাগের জন্য 0 (অন্তত সম্ভবত) থেকে 1 (সম্ভবত) পর্যন্ত সম্ভাব্যতা পাওয়ার জন্য প্রতিটি আউটপুট মানকে 255 দ্বারা ভাগ করতে হবে।

ঐচ্ছিক: লেবেলে ফলাফল ম্যাপিং

বিকাশকারীরা ঐচ্ছিকভাবে ফলাফলগুলিকে লেবেলে ম্যাপ করতে পারে৷ প্রথমে, মডিউলের সম্পদ ডিরেক্টরিতে লেবেল ধারণকারী পাঠ্য ফাইলটি অনুলিপি করুন। পরবর্তী, নিম্নলিখিত কোড ব্যবহার করে লেবেল ফাইল লোড করুন:

import org.tensorflow.lite.support.common.FileUtil;

final String ASSOCIATED_AXIS_LABELS = "labels.txt";
List<String> associatedAxisLabels = null;

try {
    associatedAxisLabels = FileUtil.loadLabels(this, ASSOCIATED_AXIS_LABELS);
} catch (IOException e) {
    Log.e("tfliteSupport", "Error reading label file", e);
}

নিম্নলিখিত স্নিপেট দেখায় কিভাবে সম্ভাব্যতাগুলিকে ক্যাটাগরি লেবেলের সাথে সংযুক্ত করতে হয়:

import java.util.Map;
import org.tensorflow.lite.support.common.TensorProcessor;
import org.tensorflow.lite.support.common.ops.NormalizeOp;
import org.tensorflow.lite.support.label.TensorLabel;

// Post-processor which dequantize the result
TensorProcessor probabilityProcessor =
    new TensorProcessor.Builder().add(new NormalizeOp(0, 255)).build();

if (null != associatedAxisLabels) {
    // Map of labels and their corresponding probability
    TensorLabel labels = new TensorLabel(associatedAxisLabels,
        probabilityProcessor.process(probabilityBuffer));

    // Create a map to access the result based on label
    Map<String, Float> floatMap = labels.getMapWithFloatValue();
}

বর্তমান ব্যবহারের ক্ষেত্রে কভারেজ

LiteRT সাপোর্ট লাইব্রেরির বর্তমান সংস্করণ কভার করে:

• tflite মডেলের ইনপুট এবং আউটপুট হিসাবে সাধারণ ডেটা প্রকার (float, uint8, ছবি, অডিও এবং এই বস্তুর অ্যারে)।
• মৌলিক ইমেজ অপারেশন (ক্রপ ইমেজ, রিসাইজ এবং ঘোরানো)।
• স্বাভাবিকীকরণ এবং পরিমাপকরণ
• ফাইল ইউটিলস

ভবিষ্যতের সংস্করণগুলি পাঠ্য-সম্পর্কিত অ্যাপ্লিকেশনগুলির জন্য সমর্থন উন্নত করবে।

ইমেজ প্রসেসর আর্কিটেকচার

ImageProcessor নকশাটি ইমেজ ম্যানিপুলেশন ক্রিয়াকলাপগুলিকে সামনের দিকে সংজ্ঞায়িত করার এবং বিল্ড প্রক্রিয়া চলাকালীন অপ্টিমাইজ করার অনুমতি দেয়। ImageProcessor বর্তমানে তিনটি মৌলিক প্রিপ্রসেসিং ক্রিয়াকলাপ সমর্থন করে, যেমনটি নীচের কোড স্নিপেটে তিনটি মন্তব্যে বর্ণিত হয়েছে:

import org.tensorflow.lite.support.common.ops.NormalizeOp;
import org.tensorflow.lite.support.common.ops.QuantizeOp;
import org.tensorflow.lite.support.image.ops.ResizeOp;
import org.tensorflow.lite.support.image.ops.ResizeWithCropOrPadOp;
import org.tensorflow.lite.support.image.ops.Rot90Op;

int width = bitmap.getWidth();
int height = bitmap.getHeight();

int size = height > width ? width : height;

ImageProcessor imageProcessor =
    new ImageProcessor.Builder()
        // Center crop the image to the largest square possible
        .add(new ResizeWithCropOrPadOp(size, size))
        // Resize using Bilinear or Nearest neighbour
        .add(new ResizeOp(224, 224, ResizeOp.ResizeMethod.BILINEAR));
        // Rotation counter-clockwise in 90 degree increments
        .add(new Rot90Op(rotateDegrees / 90))
        .add(new NormalizeOp(127.5, 127.5))
        .add(new QuantizeOp(128.0, 1/128.0))
        .build();

স্বাভাবিককরণ এবং পরিমাপকরণ সম্পর্কে এখানে আরও বিশদ দেখুন।

সমর্থন লাইব্রেরির শেষ লক্ষ্য হল সমস্ত tf.image রূপান্তরকে সমর্থন করা। এর অর্থ হল রূপান্তরটি টেনসরফ্লো-এর মতোই হবে এবং বাস্তবায়ন অপারেটিং সিস্টেম থেকে স্বাধীন হবে।

কাস্টম প্রসেসর তৈরি করতে ডেভেলপারদেরও স্বাগত জানানো হয়। এই ক্ষেত্রে প্রশিক্ষণ প্রক্রিয়ার সাথে সামঞ্জস্য করা গুরুত্বপূর্ণ - অর্থাৎ প্রজননযোগ্যতা বাড়ানোর জন্য প্রশিক্ষণ এবং অনুমান উভয় ক্ষেত্রেই একই প্রিপ্রসেসিং প্রয়োগ করা উচিত।

কোয়ান্টাইজেশন

TensorImage বা TensorBuffer এর মতো ইনপুট বা আউটপুট অবজেক্ট শুরু করার সময় আপনাকে DataType.UINT8 বা DataType.FLOAT32 হতে তাদের প্রকারগুলি নির্দিষ্ট করতে হবে।

TensorImage tensorImage = new TensorImage(DataType.UINT8);
TensorBuffer probabilityBuffer =
    TensorBuffer.createFixedSize(new int[]{1, 1001}, DataType.UINT8);

TensorProcessor ইনপুট টেনসর পরিমাপ করতে বা আউটপুট টেনসরকে ডিকুয়ান্টাইজ করতে ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, যখন একটি কোয়ান্টাইজড আউটপুট TensorBuffer প্রক্রিয়াকরণ করা হয়, তখন বিকাশকারী DequantizeOp ব্যবহার করে ফলাফলটিকে 0 এবং 1 এর মধ্যে একটি ফ্লোটিং পয়েন্ট সম্ভাব্যতার জন্য ডিকুয়ান্টাইজ করতে পারেন:

import org.tensorflow.lite.support.common.TensorProcessor;

// Post-processor which dequantize the result
TensorProcessor probabilityProcessor =
    new TensorProcessor.Builder().add(new DequantizeOp(0, 1/255.0)).build();
TensorBuffer dequantizedBuffer = probabilityProcessor.process(probabilityBuffer);

মেটাডেটা এক্সট্র্যাক্টর লাইব্রেরির মাধ্যমে একটি টেনসরের কোয়ান্টাইজেশন প্যারামিটারগুলি পড়া যেতে পারে।