1PUL

作用

1PUL（第一个查看的地方，发音为“one pull”）是一个 Flutter Web 应用（原型），用于清点用户移动的物品，并提供一个用于搜索清单的界面。在物品众多且存储方式多样的环境（例如繁忙的家庭或办公室）中，要想 1) 找到物品上次出现的位置，以及 2) 在尝试解决问题或完成清单时记住所有物品，都可能很困难。1PUL 还可用于主动清点一系列项。
当 Flutter 代码通过比较帧检测到摄像头的移动时，它会使用摄像头帧和提示（例如“如果有人拿着物品，并且物品清晰可见，请描述该物品”）命中 Gemini API。Gemini 的对象描述、静态图片网址、摄像头位置信息，以及（可选）从讲者转写的音频评论会写入 Google 表格。静态图片会上传到 GCS 存储分区。运行 1PUL 的拍摄设备还会简要显示某个物品正在进行清点。
“清点搜索”功能会将用户查询（例如“我有哪些露营装备”“我的套筒扳手在哪里”）以及完整的清单说明（感谢巨大的情境窗口！）发送到 Gemini API，并显示“将此用户查询与最相关的物品说明进行匹配”等提示。系统会提示您获取结构化输出，Dart 代码会将其映射回目录项以向用户显示。