Toebeans

Działanie

Toebeans to zabawna aplikacja, która pozwala uzyskać różne rodzaje przepowiedni dla Twojego kota. Może generować horoskopy, opowiadać o wcześniejszych wcieleniach i odpowiadać na wstępnie zadane pytania. Aplikacja jest obecnie w trakcie tworzenia i planujemy jej wydanie jesienią. Toebeans to wieloplatformowa aplikacja Compose przeznaczona na systemy Android i iOS. Na Androidzie funkcja korzysta z wykrywania obiektów w MediaPipe, aby wykrywać łapy kotów na podstawie obrazu z kamery lub wybranego zdjęcia.

Gdy mamy zdjęcie łapy (pazurki), użytkownik może uzyskać różne przepowiednie dla swojego kota. Na Androidzie do generowania odpowiedzi na podstawie danego promptu o przepowiedni korzysta się z VertexAI i Gemini. Na iOS używa funkcji Firebase do wywoływania interfejsu Gemini API. Dzieje się tak, ponieważ pakiet VertexAI na iOS jest obecnie napisany w Swift i nie jest zgodny z Kotlin Multiplatform. Toebeans korzysta też ze zdalnej konfiguracji Firebase, aby zdalnie dostosowywać parametry promptu i ustawienia modelu. Użytkownik może też „zmienić” oryginalną odpowiedź na inny typ.

Następnie aplikacja pobiera oryginalną odpowiedź i prosi Gemini, aby przepisała ją w innym stylu.

W przyszłości planujemy użycie GenKit zamiast funkcji VertexAI i Firebase. Jesteśmy też w trakcie dostrojenia modelu Gemini za pomocą AI Studio.