SmartVision

Fungsinya

SmartVision adalah asisten seluler untuk pengguna yang
berkebutuhan khusus/buta yang memberi mereka aksesibilitas,
kebebasan, dan bantuan yang ditingkatkan dalam menjalani kehidupan sehari-hari. Asisten seluler ini memanfaatkan teknologi untuk menawarkan berbagai fitur dan fungsi yang disesuaikan dengan kebutuhan individu yang mengalami gangguan penglihatan dengan tujuan untuk membuat tugas sehari-hari mereka lebih mudah dikelola dan memungkinkan partisipasi yang lebih besar dalam masyarakat.
Aplikasi Android ini memiliki fitur seperti Deteksi Objek, Meringkas dokumen, Mode Membaca, Mendeteksi Wajah, Memindai Produk. Fitur Deteksi Objek dan Ringkas dokumen dibuat menggunakan Gemini API.Deteksi Objek khususnya menggunakan model Gemini-1.5-Flash karena lebih cepat dibandingkan dengan Gemini-1.5-Pro. Untuk menggunakan fitur deteksi objek, pengguna harus mengenakan Smart cap yang akan memiliki modul kamera yang mengaktifkan Wi-Fi. Gambar yang diambil dari kamera ini akan ditampilkan di aplikasi seluler dan dikirim ke Gemini API jarak jauh untuk mendeskripsikan gambar yang diambil secara real time oleh Gemini API. Deskripsi akan dibacakan atau diumumkan kepada pengguna menggunakan fitur text to speech untuk memudahkan pengguna yang memiliki gangguan penglihatan. Selain itu, dokumen ringkasan(khusus pdf) dibuat menggunakan model Gemini-1.5-pro. Untuk menggunakan fitur ini, pengguna harus memilih dokumen pdf yang berada di memori ponsel dan menetapkan teks perintah (misalnya, untuk meringkas dokumen pdf dalam 150 kata). Gemini API akan meringkas konten teks yang ada dalam pdf dan mengumumkannya kepada pengguna.