Geolingo

การทำงาน

แอปของเราคือเครื่องมือสร้าง Flashcard ภาษาที่ทำงานด้วยระบบ AI ซึ่งสร้าง Flashcard ภาษาจากรูปภาพที่ผู้ใช้อัปโหลด โดยทำงานด้วย Gemini ผู้ใช้สร้างชุดการ์ดใหม่ เพิ่มรูปภาพ แล้ว Gemini จะดึงข้อมูลข้อความและแปลข้อความที่ดึงมา จากนั้นจึงสร้างรูปภาพและคู่คำที่แปลแล้ว ผู้ใช้สามารถสร้างหรือเข้าร่วมปาร์ตี้เพื่อทำงานร่วมกันโดยใช้สำรับไพ่ที่แชร์ ผู้ใช้สามารถดูสำรับการ์ดทั่วโลกที่ชุมชนของ Geolingo เป็นผู้มีส่วนร่วมได้โดยเลือกเครื่องหมายที่แสดงบนแผนที่ นอกจากนี้ ผู้ใช้ยังใช้ Geolingo เพื่อวางแผนแผนการเดินทางได้ด้วย และแผนที่แบบอินเทอร์แอกทีฟจะแสดงตําแหน่งต่างๆ แก่ผู้ใช้ รวมถึงสิ่งอํานวยความสะดวกที่สําคัญ เช่น คลินิก ยิม ร้านอาหาร ที่อยู่ใกล้กับปลายทางที่ป้อน

1) ความสามารถแบบมัลติโมดัลของ Gemini Flash ถูกนํามาใช้เพื่อดึงข้อความในรูปภาพก่อน ไม่ว่ารูปภาพนั้นจะเขียนด้วยภาษาใดก็ตาม จากนั้นระบบจะใช้ Gemini Flash อีกครั้งเพื่อแปลข้อความที่ดึงมา เพื่อสร้างคู่รูปภาพ-คำที่เก็บไว้ใน Firestore แอปทั้งหมดนี้เกิดขึ้นได้เพราะ Firebase Firestore มีรูปแบบ NoSQL

2) ก่อนอื่น Gemini จะสร้างแผนการเดินทาง (AI) โดยใช้รูปแบบ Markdown โดยอิงตามพรอมต์ของระบบ จากนั้นจะประมวลผลผลลัพธ์อีกครั้งเพื่อดึงสถานที่ที่กล่าวถึงในแผนการเดินทาง เราใช้การแปลงพิกัดภูมิศาสตร์และ Places API จาก Google Cloud Platform(Maps) เพื่อแสดงเครื่องหมายบนแผนที่แบบอินเทอร์แอกทีฟแบบไดนามิก ซึ่งสอดคล้องกับสถานที่ที่กล่าวถึงในแผนการเดินทาง ซึ่งทำให้ได้รับประสบการณ์การใช้งานที่สมบูรณ์