การค้นหารูปภาพช่วยให้ค้นหารูปภาพที่คล้ายกันในฐานข้อมูลรูปภาพได้ โดยจะทำงานด้วยการฝังคำค้นหาลงในเวกเตอร์ที่มีมิติสูงซึ่งแสดงถึง ความหมายเชิงความหมายของคำค้นหา ตามด้วยการค้นหาความคล้ายคลึงในดัชนีที่กำหนดไว้ล่วงหน้าและกำหนดเองโดยใช้ ScaNN (Scalable Nearest Neighbors)
การเพิ่มจำนวนรายการที่ระบบจดจำได้ไม่จำเป็นต้องฝึกโมเดลทั้งหมดอีกครั้ง ซึ่งแตกต่างจากการจัดประเภทรูปภาพ คุณเพิ่มรายการใหม่ได้โดยการสร้างดัชนีใหม่ นอกจากนี้ยังช่วยให้ทำงานกับฐานข้อมูลรูปภาพขนาดใหญ่ขึ้น (100,000 รายการขึ้นไป) ได้ด้วย
ใช้ Task Library ImageSearcher API เพื่อติดตั้งใช้งานเครื่องมือค้นหารูปภาพที่กำหนดเอง
ในแอปบนอุปกรณ์เคลื่อนที่
ฟีเจอร์หลักของ ImageSearcher API
รับรูปภาพเดียวเป็นอินพุต ทำการแยกการฝัง และ การค้นหาเพื่อนบ้านที่ใกล้ที่สุดในดัชนี
การประมวลผลรูปภาพอินพุต รวมถึงการหมุน การปรับขนาด และการแปลงพื้นที่สี
ภูมิภาคที่สนใจของรูปภาพอินพุต
ข้อกำหนดเบื้องต้น
ก่อนใช้ ImageSearcher API คุณต้องสร้างดัชนีตามคลังรูปภาพที่กำหนดเองเพื่อค้นหา ซึ่งทำได้โดยใช้ Model Maker
Searcher
API
โดยทำตามและปรับบทแนะนำ
โดยคุณจะต้องมีสิ่งต่อไปนี้
- โมเดลโปรแกรมฝังรูปภาพ TFLite เช่น mobilenet
v3
ดูโมเดลการฝังที่ฝึกไว้ล่วงหน้าเพิ่มเติม (หรือที่เรียกว่าโมเดลเวกเตอร์ฟีเจอร์) จาก
คอลเล็กชันโมดูลรูปภาพของ Google ใน Kaggle
Models
- คลังรูปภาพของคุณ
หลังจากขั้นตอนนี้ คุณควรมีโมเดลโปรแกรมค้นหา TFLite แบบสแตนด์อโลน (เช่น
mobilenet_v3_searcher.tflite) ซึ่งเป็นโมเดลการฝังรูปภาพต้นฉบับที่มี
ดัชนีแนบอยู่ในข้อมูลเมตาของโมเดล TFLite
เรียกใช้การอนุมานใน Java
ขั้นตอนที่ 1: นำเข้าการอ้างอิง Gradle และการตั้งค่าอื่นๆ
คัดลอกไฟล์โมเดล .tflite searcher ไปยังไดเรกทอรีชิ้นงานของโมดูล Android
ที่จะเรียกใช้โมเดล ระบุว่าไม่ควรบีบอัดไฟล์ และเพิ่มไลบรารี TensorFlow Lite ลงในไฟล์ build.gradle ของโมดูล
android {
// Other settings
// Specify tflite index file should not be compressed for the app apk
aaptOptions {
noCompress "tflite"
}
}
dependencies {
// Other dependencies
// Import the Task Vision Library dependency
implementation 'org.tensorflow:tensorflow-lite-task-vision:0.4.4'
// Import the GPU delegate plugin Library for GPU inference
implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}
ขั้นตอนที่ 2: การใช้โมเดล
// Initialization
ImageSearcherOptions options =
ImageSearcherOptions.builder()
.setBaseOptions(BaseOptions.builder().useGpu().build())
.setSearcherOptions(
SearcherOptions.builder().setL2Normalize(true).build())
.build();
ImageSearcher imageSearcher =
ImageSearcher.createFromFileAndOptions(context, modelFile, options);
// Run inference
List<NearestNeighbor> results = imageSearcher.search(image);
ดูตัวเลือกเพิ่มเติมในการกำหนดค่า ImageSearcher ได้ในซอร์สโค้ดและ
javadoc
เรียกใช้การอนุมานใน C++
// Initialization
ImageSearcherOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
options.mutable_embedding_options()->set_l2_normalize(true);
std::unique_ptr<ImageSearcher> image_searcher = ImageSearcher::CreateFromOptions(options).value();
// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
image_data, image_dimension);
// Run inference
const SearchResult result = image_searcher->Search(*frame_buffer).value();
ดูตัวเลือกเพิ่มเติมในการกำหนดค่า ImageSearcher ได้ในซอร์สโค้ด
เรียกใช้การอนุมานใน Python
ขั้นตอนที่ 1: ติดตั้งแพ็กเกจ Pypi สำหรับการรองรับ TensorFlow Lite
คุณสามารถติดตั้งแพ็กเกจ TensorFlow Lite Support Pypi ได้โดยใช้คำสั่งต่อไปนี้
pip install tflite-support
ขั้นตอนที่ 2: การใช้โมเดล
from tflite_support.task import vision
# Initialization
image_searcher = vision.ImageSearcher.create_from_file(model_path)
# Run inference
image = vision.TensorImage.create_from_file(image_file)
result = image_searcher.search(image)
ดูตัวเลือกเพิ่มเติมในการกำหนดค่า ImageSearcher ได้ในซอร์สโค้ด
ตัวอย่างผลการแข่ง
Results:
Rank#0:
metadata: burger
distance: 0.13452
Rank#1:
metadata: car
distance: 1.81935
Rank#2:
metadata: bird
distance: 1.96617
Rank#3:
metadata: dog
distance: 2.05610
Rank#4:
metadata: cat
distance: 2.06347
ลองใช้เครื่องมือเดโม CLI แบบง่ายสำหรับ ImageSearcher กับโมเดลและข้อมูลทดสอบของคุณเอง