1PUL

기능

1PUL (1st Place You Look, '원 풀'이라고 발음)은 사용자가 이동한 상품의 인벤토리를 보관하고 인벤토리를 검색하는 인터페이스가 있는 Flutter 웹 앱 (프로토타입)입니다. 물건이 많고 보관 장소 옵션이 많은 환경 (예: 바쁜 가정이나 사무실)에서는 1) 물건이 마지막으로 보였던 장소를 찾고 2) 문제를 해결하거나 목록을 작성할 때 모든 물건을 염두에 두기가 어려울 수 있습니다. 1PUL은 항목 모음을 적극적으로 인벤토리화하는 데도 사용할 수 있습니다.
Flutter 코드가 프레임을 비교하여 카메라의 움직임을 감지하면 카메라 프레임과 '물건을 들고 있는 사람이 있고 물건이 선명하게 보이는 경우 물건을 설명해 주세요'와 같은 프롬프트로 Gemini API를 호출합니다. Gemini의 객체 설명과 정지 이미지 URL, 카메라 위치, 사람의 음성 댓글 스크립트 (선택사항)가 Google 시트에 기록됩니다. 정지 이미지가 GCS 버킷에 업로드됩니다. 1PUL을 실행하는 캡처 기기에도 항목의 인벤토리가 생성되고 있음을 나타내는 메시지가 잠시 표시됩니다.
인벤토리 검색은 사용자 검색어 (예: '어떤 캠핑 장비가 있나요?', '소켓 렌치가 어디 있나요?')를 전체 인벤토리 설명 (거대한 컨텍스트 창이 도움이 되었습니다!)과 함께 Gemini API로 전송하고 '이 사용자 검색어를 가장 관련성 높은 항목 설명과 일치시켜 줘'와 같은 메시지를 표시하는 기능입니다. 구조화된 출력을 가져오라는 메시지가 표시됩니다. Dart 코드는 이 출력을 인벤토리 항목에 매핑하여 사용자에게 표시합니다.