Mosaic Learn

การทำงาน

ฉันเป็นนักเรียนชั้นมัธยมปลายปีสุดท้าย (ชั้น 12) ที่สนใจวิทยาการคอมพิวเตอร์และวิศวกรรมซอฟต์แวร์ แม้ว่าฉันจะเป็นผู้เรียนแบบเรียนรู้ด้วยตนเอง แต่เพื่อนร่วมชั้นของฉันมักขอความช่วยเหลือในการอธิบายแนวคิดในลักษณะที่ "ใช้งานง่าย" มากขึ้น ซึ่งทำให้ฉันได้ใช้ประโยชน์จาก "การสอนให้ตกปลา" นั่นคือ แนะแนวทางให้เพื่อนเข้าใจหลักการพื้นฐานแทนที่จะอธิบายปัญหาแต่ละข้อ ด้วยเหตุนี้ เราจึงพัฒนาแอปพลิเคชันบนอุปกรณ์เคลื่อนที่ที่ช่วยให้ผู้ใช้สแกนหน้าตำราเรียนและรับลิงก์ไปยังวิดีโอ YouTube เพื่อเรียนรู้เพิ่มเติมได้ วิธีนี้ช่วยให้เพื่อนร่วมงานของฉันเรียนรู้แนวคิดหลักได้ง่ายขึ้นโดยไม่ต้องสับสน
Mosaic Learn เป็นแอปพลิเคชันที่สร้างขึ้นจาก React Native และ Expo สำหรับส่วนหน้า และ Firebase, Gemini Dev API และ YouTube Search API สำหรับแบ็กเอนด์ เมื่อผู้ใช้ถ่ายภาพเอกสารใน UI เราจะใช้ Google MLKit ในการดึงข้อมูลข้อความข้ามแพลตฟอร์ม จากนั้นเราจะส่งข้อมูลนี้ไปยัง Gemini 1.5 Flash API เพื่อแยกวิเคราะห์และแสดงผล JSON พร้อมข้อมูลสรุปของเอกสารและอาร์เรย์ของข้อความค้นหา จากนั้นเราจะป้อนข้อความค้นหาเหล่านี้ลงใน YouTube Results API และบันทึกผลลัพธ์ที่แสดงใน Firebase เพื่อให้ผู้ใช้เข้าถึงประวัติการสแกนได้ Mosaic Learn เป็นก้าวแรกของเราในการใช้ GenAI เพื่อช่วยให้นักเรียนอย่างเราเรียนรู้แนวคิดต่างๆ ได้เร็วขึ้นและละเอียดยิ่งขึ้น เราหวังว่า Mosaic Learn จะช่วยให้การศึกษาเข้าถึงได้ง่ายขึ้น น่าสนใจ และมีประสิทธิภาพมากขึ้นสำหรับนักเรียนทั่วโลก