Virtual Spokesperson (MVP)

Ý nghĩa

Đây là phần phụ trợ nhận văn bản từ lời nói của cuộc gọi điện thoại, chuyển đổi thành hành động và thực thi các hành động đó. Quy trình như sau:
- Người dùng gọi đến số điện thoại và đưa ra một hành động ("Gọi cho hiệu thuốc địa phương và kiểm tra xem họ có thuốc đau đầu không")
- Hệ thống, sử dụng API Gemini, yêu cầu tất cả thông tin cần thiết cho hành động (như tên, số điện thoại, địa chỉ, v.v.)
- Khi hệ thống có tất cả thông tin, cuộc gọi sẽ kết thúc
- Sau đó, hệ thống xem xét cuộc gọi (sử dụng API Gemini) và chuyển đổi thành hành động (và ghi chú từ thông tin quan trọng)
- Sau đó, hệ thống thực thi hành động (gọi ra ngoài) và nói chuyện với người được chỉ định thực hiện hành động
- Khi hệ thống nhận được thông tin cần thiết để xem xét hành động đã hoàn tất, cuộc gọi đi sẽ kết thúc
- Cuối cùng, hệ thống gọi lại cho người dùng kèm theo bản tóm tắt về hành động

API Gemini được dùng để xử lý tất cả văn bản/tin nhắn trò chuyện:
- Văn bản từ cuộc gọi điện thoại
- Lý do xem xét và chuyển đổi cuộc trò chuyện thành hành động
- Lý do xem xét và chuyển đổi cuộc trò chuyện thành ghi chú
- Lý do xem xét và chuyển đổi cuộc trò chuyện thành bản tóm tắt cho cuộc gọi trả lời