The Blend

การทำงาน

เราได้พัฒนาแอปวิทยุที่ฟังเสียงผู้ใช้ เข้าใจข้อกำหนดของผู้ใช้ และสร้างประสบการณ์การฟังวิทยุที่ปรับให้เหมาะกับผู้ใช้แต่ละรายด้วยความช่วยเหลือจาก NLP, LLM ของ Gemini และอัลกอริทึมการแนะนำเพลง

เราใช้ Flutter ในการพัฒนาแอปที่แสดงต่อผู้ใช้ ซึ่งสื่อสารกับเซิร์ฟเวอร์ที่พัฒนาโดยใช้ Express เซิร์ฟเวอร์ Express นี้จะมีหน้าที่รับพรอมต์ แปลงเป็นโทเค็น สร้างการผสมที่ปรับให้เหมาะกับผู้ใช้ และส่งไปยังผู้ใช้อย่างทันท่วงที เซิร์ฟเวอร์ Express จะสื่อสารกับเซิร์ฟเวอร์อื่นที่พัฒนาโดยใช้ Flask ไมโครเซอร์วิส Flask จะจัดการการคัดลอกข้อมูล การสร้างสคริปต์สำหรับลิงก์โดยใช้ Gemini และการทำให้สคริปต์เป็นภาษามนุษย์โดยใช้ TTS ของ Eleven Labs เซิร์ฟเวอร์ทั้ง 2 เซิร์ฟเวอร์ใช้ฐานข้อมูล MongoDB ร่วมกัน

Gemini ใช้ข้อมูลที่ทำการคัดลอกและพารามิเตอร์อื่นๆ อีกหลายรายการ เช่น ช่วงเวลาของวันและอารมณ์ เพื่อสร้างสคริปต์สำหรับลิงก์ที่ RJ ควรอ่านออกเสียง จากนั้นระบบจะส่งสคริปต์นี้ไปยัง Eleven Labs TTS API เพื่อสร้างข้อมูลเสียง ระบบจะประมวลผลข้อมูลเสียงเพื่อสร้างลิงก์สุดท้ายที่ปรับให้เหมาะกับผู้ใช้โดยเฉพาะ