SmartVision

کاری که انجام می دهد

SmartVision یک دستیار تلفن همراه برای بصری است
کاربران آسیب‌دیده/چالش‌خورده که دسترسی بهتری را برای آنها فراهم می‌کند،
استقلال و کمک به هدایت زندگی روزمره آنها. این دستیار تلفن همراه از فناوری برای ارائه طیف گسترده ای از ویژگی ها و عملکردهای متناسب با نیازهای افراد کم بینا با هدف مدیریت پذیرتر کردن وظایف روزمره آنها و امکان مشارکت بیشتر در جامعه استفاده می کند.
این برنامه اندروید دارای ویژگی هایی مانند تشخیص اشیاء، خلاصه کردن اسناد، حالت خواندن، تشخیص چهره، اسکن محصولات است. ویژگی‌های Detect Object و Summarize Docs با استفاده از Gemini API ساخته شده‌اند. Detect Objects به ویژه از مدل Gemini-1.5-Flash استفاده می‌کند، زیرا در مقایسه با Gemini-1.5-Pro ​​سریع‌تر است. برای استفاده از ویژگی تشخیص اشیاء، کاربر باید کلاه هوشمندی را بپوشد که دارای ماژول دوربین با قابلیت WiFi است. تصاویر گرفته شده از این دوربین در اپلیکیشن موبایل نمایش داده می شود و برای توصیف تصویری که به صورت بلادرنگ توسط Gemini API گرفته شده است به API از راه دور Gemini ارسال می شود، توضیحات با استفاده از قابلیت متن به گفتار برای راحتی کاربر کم بینا خوانده یا به کاربر اعلام می شود. علاوه بر این، اسناد خلاصه (فقط pdf) با استفاده از مدل Gemini-1.5-pro ساخته شده است. برای استفاده از این ویژگی، کاربر باید یک سند pdf را که در حافظه تلفن قرار دارد انتخاب کند و یک متن درخواستی تنظیم کند (مثلاً سند pdf را در 150 کلمه خلاصه کنیم.) Gemini API محتوای متن موجود در pdf را خلاصه می کند و به کاربر اعلام می کند.