Mad-Pic

Description

Cette application permet aux utilisateurs de prendre des photos de problèmes mathématiques ou de notes pour trouver des explications sur les concepts et des questions associées. Vous pouvez rechercher des problèmes similaires dans la base de données ou prendre une photo de vos notes manuscrites. L'application trouvera alors des problèmes de mathématiques pertinents pour vous entraîner.

L'application propose trois modes: un mode axé sur les problèmes, un mode axé sur les explications et un mode combiné. Si vous souhaitez trouver des questions similaires, utilisez le mode axé sur le problème. Pour explorer des concepts, nous vous recommandons d'utiliser le mode axé sur les explications. Les enseignants ont préféré le mode axé sur l'explication dans les tests.

Pour réduire les coûts, nous avons inclus une option "Texte uniquement", qui permet de contourner l'interprétation des images pour les problèmes sans images. Cette application repose sur un service qui stocke des problèmes mathématiques coréens à l'aide d'un embedding vectoriel. L'application catégorise et vectorise automatiquement les problèmes à partir de fichiers PDF. Environ 15 000 problèmes sont actuellement stockés.

L'application utilise la recherche vectorielle pour trouver les problèmes pertinents, ce qui nécessite une interprétation des concepts et des images. L'API Gemini est utilisée pour l'interprétation des concepts, en générant des explications correspondant à des représentations vectorielles continues similaires dans la base de données. Nous avons également exploré l'analyse d'images, mais nous avons trouvé qu'elle était plus complexe que prévu. À l'avenir, nous prévoyons d'utiliser l'API Gemini pour créer une base de données avec des photos gérée par les utilisateurs. Le code de base est déjà prêt.