Xylia

Funktion

Xylia ist ein fortschrittlicher KI-Assistent für Videokonferenzen, der auf Gemini basiert und Wissenslücken in Videokonferenzen schließt, um die Produktivität zu optimieren. Hauptfunktionen:
1. Echtzeit-Abfrage: Xylia streamt Google Meet-Transkripte und verwendet den Chat mit Verlauf von Gemini, um in Videokonferenzen in Echtzeit Antworten zu geben. Fragen werden auf ihren Kontext analysiert und dann mit den semantischen Einbettungen von Gemini verarbeitet, um relevante Dokumente über die KNN-basierte Suche aus Firestore abzurufen.
2. Intelligente Prompts: Für Prompts wird ein Hybridansatz verwendet, der SLMs und LLMs nutzt. Ein Open-Source-SLM erkennt unbeantwortete Fragen, die dann von Gemini verarbeitet werden, um präzise Antworten zu liefern. Dieser hybride Ansatz hilft, Kosten und Leistung zu optimieren.
3. Analyse visueller Inhalte: Die Vision API von Gemini beantwortet Fragen zu visuellen Präsentationsinhalten wie Flussdiagrammen und integriert diese Daten in die Chatsitzung, um den Kontext besser zu verstehen.
4. Umfassende Zusammenfassungen: Nach dem Meeting erstellt Xylia mit Gemini detaillierte Zusammenfassungen und Aufgaben, damit alle wichtigen Punkte erfasst werden.
5. Leistungsstarke Suchfunktionen: Der Website-Chatbot verwendet Retrieval Augmented Generation (RAG), um in früheren Transkripten und Dokumenten zu suchen. Dokumente werden über die Notion API abgerufen, in Einbettungen umgewandelt und über Firestore abgefragt, um relevante Informationen abzurufen.