อุปกรณ์ที่ 1

การทำงาน

"Companion" คือส่วนขยาย Chrome ที่ออกแบบมาเพื่อทําให้เว็บเข้าถึงได้ง่ายขึ้นและเป็นมิตรกับผู้ใช้ โดยเฉพาะสําหรับบุคคลที่มีความบกพร่องทางสายตา ภาวะสมองเสื่อม หรืออุปสรรคด้านภาษา แอปใช้ประโยชน์จาก Gemini API เพื่อลดความซับซ้อนของเนื้อหาเว็บ ทำให้เข้าใจได้ง่ายขึ้นและย่อยง่ายขึ้น

แนวคิดหลักของ Companion คือการให้สิทธิ์ Gemini เข้าถึงเนื้อหาเว็บในแท็บปัจจุบันของคุณโดยตรง ซึ่งจะช่วยให้ Gemini ให้คำตอบที่เกี่ยวข้องกับเนื้อหาที่คุณกำลังดูอยู่ได้ ปัจจุบันแอปรองรับการทำงานแบบหลายรูปแบบขั้นพื้นฐานด้วย Gemini ซึ่งช่วยให้คุณแจ้ง Gemini ด้วยรูปภาพและข้อความ และรับคำตอบที่เป็นข้อความได้ แผนในอนาคตรวมถึงการขยายความสามารถนี้เพื่อประมวลผลรูปภาพ วิดีโอ และเสียงหลายรายการ รวมถึงสร้างรูปภาพเพื่อช่วยแสดงเนื้อหาเว็บ

ฟีเจอร์ที่แสดงให้เห็นถึงทิศทางของแอปคือความสามารถในการเข้าใจและตอบสนองต่อคำสั่งเสียงในโหมดโฮเวอร์ ในโหมดนี้ Gemini จะตีความคำสั่งเสียงที่เกี่ยวข้องกับเนื้อหาที่ผู้ใช้เลือก โดยจะให้คำตอบที่คำนึงถึงบริบทซึ่งสอดคล้องกับการสนทนาที่กำลังดำเนินอยู่

ผู้ใช้ยังปรับคำตอบของ Gemini ได้ตามต้องการ เช่น คุณสามารถขอให้ Gemini อธิบายข้อมูลให้เข้าใจง่ายขึ้น ถามคำถามต่อเนื่องเพื่อให้เข้าใจยิ่งขึ้น หรือแปลเนื้อหาเป็นภาษาที่เลือก ส่วนขยายนี้ไม่เพียงช่วยให้ไปยังส่วนต่างๆ ของเว็บได้ง่ายขึ้น แต่ยังช่วยปรับปรุงประสบการณ์การใช้งานในแต่ละวันด้วยการนำอุปสรรคในการเข้าถึงเนื้อหาดิจิทัลออก