Xylia

การทำงาน

Xylia เป็นผู้ช่วย AI ขั้นสูงสำหรับการประชุมที่ใช้ Gemini เป็นโครงสร้างพื้นฐาน ซึ่งจะเติมเต็มช่องว่างความรู้ในการประชุมเพื่อเพิ่มประสิทธิภาพการทำงาน ฟีเจอร์หลัก
1. การจัดการการค้นหาแบบเรียลไทม์: Xylia จะสตรีมข้อความถอดเสียงของ Google Meet และใช้แชทที่มีประวัติของ Gemini เพื่อตอบคำถามแบบเรียลไทม์ในการประชุม ระบบจะวิเคราะห์บริบทของคำถาม จากนั้นประมวลผลโดยใช้การฝังเชิงความหมายของ Gemini เพื่อดึงข้อมูลเอกสารที่เกี่ยวข้องจาก Firestore ผ่านการดึงข้อมูลตาม KNN
2. พรอมต์อัจฉริยะ: ใช้แนวทางแบบผสมผสานที่ใช้ประโยชน์จาก SLM และ LLM ในการแจ้ง SLM แบบโอเพนซอร์สจะตรวจหาคำถามที่ยังไม่ได้ตอบ จากนั้น Gemini จะประมวลผลเพื่อแสดงคำตอบที่แม่นยำ แนวทางแบบผสมผสานนี้ช่วยเพิ่มประสิทธิภาพและลดต้นทุน
3. การวิเคราะห์เนื้อหาที่เป็นภาพ: Vision API ของ Gemini จะตอบคําถามเกี่ยวกับเนื้อหาการนำเสนอที่เป็นภาพ เช่น ผังงาน และผสานรวมข้อมูลนี้ภายในเซสชันการแชทเพื่อเพิ่มการรับรู้บริบท
4. สรุปที่ครอบคลุม: หลังการประชุม Xylia จะสร้างสรุปและรายการการดำเนินการโดยละเอียดโดยใช้ Gemini เพื่อให้มั่นใจว่าบันทึกประเด็นสำคัญทั้งหมดไว้แล้ว
5. ความสามารถในการค้นหาที่มีประสิทธิภาพ: แชทบ็อตของเว็บไซต์ใช้ Retrieval-Augmented Generation (RAG) เพื่อค้นหาข้อความถอดเสียงและเอกสารที่ผ่านมา ระบบจะดึงข้อมูลเอกสารผ่าน Notion API, แปลงเป็นชิ้นงานแบบฝัง และค้นหาผ่าน Firestore เพื่อดึงข้อมูลที่เกี่ยวข้อง