دستیار شخصی که به طور یکپارچه Gemini API را با دستگاه کاربر ادغام می کند
کاری که انجام می دهد
Jayu یک دستیار شخصی انقلابی است که به طور یکپارچه قابلیت های Gemini را با تعامل روی صفحه ادغام می کند. Jayu با شکستن محدودیتهای کاری که یک LLM باید بتواند انجام دهد، از Gemini برای ارائه یک تجربه کاربر محور، برای همه، از کاربران آگاه به فناوری گرفته تا افراد دارای چالش فناوری، استفاده میکند. بدون Docker Container، بدون رابط پیچیده، و هیچ LLM یا VLM دیگری به جز Gemini. قابلیتهای گفتار به نوشتار، متن به گفتار، و تشخیص حرکت برای قابلیت استفاده تعبیه شدهاند.
نقطه قوت Jayu در توانایی منحصر به فرد آن برای پاسخ دادن به درخواست ها با صفحه شما به عنوان زمینه و تعامل با عناصر روی صفحه نهفته است. از نوشتن کد بر اساس نمودار گرفته تا تعامل مستقیم با برنامهها تا خواندن ترجمههای زنده، Jayu میتواند همه این کارها را انجام دهد.
یک مدل Flash به عنوان مرکز فرمان استفاده می شود. پس از دریافت دستورالعملها از کاربر، مدل از فراخوانی تابع برای فراخوانی سایر مدلهای Gemini استفاده میکند تا در صورت لزوم به انجام وظیفه کمک کند. از طریق مهندسی سریع، مدلهای Flash مستقیماً با Chrome تعامل میکنند و به سؤالات سریع پاسخ میدهند، در حالی که مدلهای Pro برای استفاده از قابلیتهای بینایی قدرتمند Gemini برای تجزیه و تحلیل پنجرههای برنامه آموزش دیدهاند. و قابلیتهای تشخیص شی Gemini به Jayu اجازه میدهد تا روی دکمههایی که روی صفحه میبیند کلیک کند.
ما متوجه خطرات امنیتی دسترسی به صفحه نمایش یا فایل های شما هستیم. Jayu نمی تواند به پوشه ها یا برنامه هایی که به آن نشان داده نمی شوند دسترسی داشته باشد. Jayu فقط در صورتی به صفحه شما نگاه می کند که مستقیماً از شما خواسته شود. Jayu همچنین هیچ حافظه یا گزارشی از تصاویر یا ضبط را حفظ نمی کند.
ساخته شده با
وب/کروم
تیم
توسط
جایو
از
ایالات متحده
برندگان بیشتر
هر
بهترین استفاده از برنامه ARCore
ViddyScribe
بهترین برنامه وب
[[["درک آسان","easyToUnderstand","thumb-up"],["مشکلم را برطرف کرد","solvedMyProblem","thumb-up"],["غیره","otherUp","thumb-up"]],[["اطلاعاتی که نیاز دارم وجود ندارد","missingTheInformationINeed","thumb-down"],["بیشازحد پیچیده/ مراحل بسیار زیاد","tooComplicatedTooManySteps","thumb-down"],["قدیمی","outOfDate","thumb-down"],["مشکل ترجمه","translationIssue","thumb-down"],["مشکل کد / نمونهها","samplesCodeIssue","thumb-down"],["غیره","otherDown","thumb-down"]],[],[],[],null,["# Jayu\n\n[See all winners](/competition#w-0) \nBest Overall app \n\nJayu\n====\n\nA personal assistant that seamlessly integrates the Gemini API with a user's device \nWhat it does\n\nJayu is a revolutionary personal assistant that seamlessly integrates Gemini's capabilities with on-screen interaction. Breaking the limits of what an LLM should be able to do, Jayu utilizes Gemini to provide a user-centered experience, for everyone from tech-savvy users to the technologically challenged. No docker container, no complex interface, and no other LLM or VLM besides Gemini. Speech-to-text, text-to-speech, and gesture recognition capabilities are built in for usability. \n\nJayu's strength lies in its unique ability to answer prompts with your screen as context and interact with on-screen elements. From writing code based on a diagram to directly interacting with apps to reading out live translations, Jayu can do it all. \n\nA Flash model is used as the command center. After receiving instructions from the user, the model uses function calling to call other Gemini models to assist with its task if necessary. Through prompt engineering, Flash models interact directly with Chrome and answer quick questions, while Pro models are trained to use Gemini's powerful vision capabilities to analyze app windows. And Gemini's object detection capabilities allow Jayu to click buttons it sees on the screen. \n\nWe realize the security risks of having access to your screen or files; Jayu cannot access folders or any apps that are not shown to it. Jayu will only look at your screen if directly prompted to do so. Jayu also does not retain any memory or logs of images or recordings. \nBuilt with\n\n- Web/Chrome \nTeam \nBy\n\nJayu \nFrom\n\nUnited States \nMore winners \n[Everies\nBest use of ARCore app](/competition/projects/everies) [ViddyScribe\nBest Web app](/competition/projects/viddyscribe) \n[](/competition)"]]