Rozmowa o śliniejących się ustach
na podstawie Twoich ograniczeń żywieniowych rozmawiać na czacie z menu i zamawiać produkty;
Działanie
Aplikacja internetowa do czatu z menu 5 wegetariańskich restauracji.
- Na podstawie ograniczeń dietetycznych użytkownika rekomenduje dania, napoje i przyjmuje zamówienia.
- Tworzy różne persony dla każdej restauracji, aby rozmowa była ciekawa.
- Ożywia smaki, aromaty i tekstury – trudno się nie wracać po więcej. Używane funkcje Gemini API (w Vertex AI):
- Wywoływanie funkcji: - używa `AutomaticFunctionCallingResponder`.
- Kod wyodrębnia `function_call`, `function_response` i `text` z `chat.history`
- Bezpieczne funkcje, które zawsze zwracają coś
- Obsługa błędów wywołanych przez `chat.send_message()`: np. Gemini wymyśla funkcje
- Dokumentowanie:
- Próbowano:
- Użycie Vertex AI do wyszukiwania w magazynie danych dało niezadowalające wyniki wyszukiwania.
- Dodawanie plików PDF do żądań Gemini było kosztowne (za każdą stronę PDF naliczano opłatę jak za obraz).
- Buforowanie nie było możliwe ze względu na minimalny rozmiar.
- Zdecydowano się na użycie:
- PyPDF2 do wyodrębniania plików menu. Przechowuj je w GS (patrz folder Utilities).
- Instrukcje systemowe, aby wstawiać menu z jedzeniem i napojem, gdy użytkownik wybierze restaurację.
- Ugruntowanie w wyszukiwarce Google: początkowy model jest proszony o używanie adresów URL restauracji i tworzenie:
- profili użytkowników
- opisów restauracji
- instrukcji systemowych
- części ogólnej: instrukcje dotyczące wywoływania funkcji i działania w reakcji na nie
- profilu użytkownika: wstawiany, gdy użytkownik wybierze restaurację
- menu: wstawiane, gdy użytkownik wybierze restaurację
Utworzone za pomocą
- Cloud Run
- Vertex AI
- Flask
Zespół
Od
Stany Zjednoczone