Project Stargate

การทำงาน

แอปพลิเคชัน AI ของโปรเจ็กต์ Stargate เป็นโปรโตไทป์ระยะแรกสำหรับระบบการประเมินอัตโนมัติ (หรือแค่เกมวาดภาพ/ทายภาพที่สนุกๆ เท่านั้น) ปัจจุบัน Stargate ใช้โมเดล Gemini เพื่อจำลองบทบาทของจอภาพในเซสชันการดูจากระยะไกล โดยจอภาพในเซสชันการดูจากระยะไกลจะแนะนำผู้ดูตลอดเซสชัน พยายามให้ผู้ดูอยู่ในเส้นทางสัญญาณ และอธิบายภาพที่เห็นอย่างละเอียดยิ่งขึ้น นอกจากนี้ Gemini ยังใช้เพื่อใช้ประโยชน์จากข้อมูลภาพสเก็ตช์แบบหลายรูปแบบอย่างเต็มรูปแบบ ซึ่งโดยปกติแล้วโปรแกรมตรวจสอบในเซสชันการดูจากระยะไกลจะวิเคราะห์หลังจากเซสชันการทำงานอัตโนมัตินี้ช่วยให้เครื่องมือตรวจสอบ AI (Gemini) มี "ตา" เพื่อดูสิ่งที่ผู้ดูวาดในเวลาหนึ่งๆ และวิธีที่ภาพสเก็ตช์เหล่านี้อาจเกี่ยวข้องกับภาพสถานที่หรือวัตถุที่ชัดเจนยิ่งขึ้นซึ่งจะรวบรวมในเซสชัน แอปพลิเคชันนี้ยังได้รับประโยชน์จากการใช้โมเดล Imagen 2 เพื่อสร้างโมเดลแบบเรียลไทม์ของเป้าหมายการดูภาพจากระยะไกลที่เป็นไปได้โดยอิงตามรายละเอียดที่ให้ไว้ในการสนทนาและภาพร่าง (ซึ่งหมายความว่าแม้กระทั่งผู้ที่วาดภาพได้แย่อย่างฉันก็เพลิดเพลินไปกับกระบวนการของเซสชันการดูภาพจากระยะไกลได้เช่นกัน) เราได้วางรากฐานเบื้องต้นสำหรับการผสานรวมระบบการสร้างที่เพิ่มประสิทธิภาพการดึงข้อมูลไว้ในแชทบ็อตด้วยการพัฒนาตัวจัดการระเบียน Langchain ของ Firestore (PR พร้อมใช้งาน) ตัวจัดการระเบียนนี้จะช่วยให้เราใช้ประโยชน์จาก Firestore อย่างเต็มที่ในการจัดการเอกสารสําหรับแชทบ็อต Gemini ที่สร้างที่เพิ่มประสิทธิภาพการดึงข้อมูล งานในอนาคตที่ระบุไว้ในที่เก็บ