Toebeans

Funktion

Toebeans ist eine unterhaltsame App, mit der Sie verschiedene Arten von Vorhersagen für Ihre Katze erhalten können. Sie kann Pfotenlesungen, Horoskope erstellen, Ihnen von früheren Leben erzählen und Sie können ihr einige vordefinierte Fragen stellen. Die App befindet sich derzeit in der Entwicklungsphase und soll im Herbst veröffentlicht werden. Toebeans ist eine Compose-Multiplattform-App, die sowohl auf Android als auch auf iOS ausgerichtet ist. Auf Android-Geräten werden die Pfoten der Katze mithilfe der Objekterkennung von MediaPipe erkannt, entweder über den Kamerafeed oder über ein ausgewähltes Bild.

Sobald wir ein Bild der Pfote (der Tatzen) haben, kann der Nutzer verschiedene Zukunftsvorhersagen für seine Katze erhalten. Auf Android-Geräten werden VertexAI und Gemini verwendet, um die Antwort aus dem angegebenen Prompt zu generieren. Unter iOS wird die Gemini API über Firebase Functions aufgerufen. Das liegt daran, dass das Vertex AI-Paket für iOS derzeit in Swift geschrieben ist und nicht mit Kotlin Multiplatform kompatibel ist. Toebeans verwendet außerdem Firebase Remote Config, um die Prompt-Parameter und Modelleinstellungen aus der Ferne anzupassen. Außerdem wird Firebase Auth für die Nutzerauthentifizierung verwendet (derzeit deaktiviert).

Der Nutzer kann seine ursprüngliche Antwort auf ein anderes Orakel ändern. Die App nimmt dann die ursprüngliche Antwort und fordert Gemini auf, sie in einem anderen Stil umzuformulieren.

In Zukunft soll GenKit anstelle von Vertex AI und Firebase-Funktionen verwendet werden. Außerdem optimieren wir gerade ein Gemini-Modell mithilfe von AI Studio.