SecondEye

Fungsinya

SecondEye adalah asisten visual yang interaktif dan dapat diajarkan. Model ini dapat digunakan untuk berbagai tugas dan kasus penggunaan terkait visi. Model ini juga dapat diajarkan untuk melakukan tugas penglihatan yang dipersonalisasi tanpa pelatihan atau pemrograman. Semuanya dilakukan secara interaktif dan iteratif.
Saat ini, SecondEye hanya dapat dibuat dengan Gemini karena kemampuan unik model berikut:
1. Deteksi objek dengan kemampuan untuk menampilkan posisi kotak pembatas yang akurat
2. Dukungan video native dengan kemampuan untuk menampilkan informasi yang diberi stempel waktu
3. Jendela konteks yang besar
SecondEye memanfaatkan kemampuan ini untuk menawarkan pengalaman AI yang unik dan benar-benar baru:
• Untuk gambar (menggunakan kemampuan N° 1):
◦ Definisi objek yang dianotasi
◦ Bertanya tentang bagian tertentu dari gambar
◦ Meningkatkan:
▪ Penelusuran objek
▪ Cara memperbaiki atau menyusun pertanyaan
▪ Permintaan masukan visual
◦ Mengajari model tentang bagian gambar yang dianotasi
• Untuk video (menggunakan kemampuan N° 2):
◦ Pengalaman penelusuran video yang ditingkatkan
• Untuk video kamera live (menggunakan kemampuan N° 3):
◦ Analisis video real-time yang dipersonalisasi
◦ Mengajari model sesuatu dengan video
◦ Bantuan visual real-time untuk orang dengan gangguan penglihatan, dengan kemampuan untuk mengingat wajah, objek, dan tempat untuk pengenalan di masa mendatang.
• Untuk berbagi layar secara live (menggunakan kemampuan nomor 3):
◦ Mengajari model alur kerja
◦ Dukungan IT atau pemrograman.
◦ Meningkatkan pengalaman menjelajah web dan komputer secara umum bagi orang-orang dengan gangguan penglihatan