InstaLILY：採用 Gemini 的代理式企業搜尋引擎

企業 AI 代理程式會自動執行複雜的工作流程 (例如 B2B 銷售或工業維護)，因此需要以大量高品質的特定領域資料訓練模型。對許多公司來說，建立這類資料是主要瓶頸，因為手動標註既緩慢又昂貴，而通用模型可能缺乏必要的細微差異。

InstaLILY AI 是企業平台，可提供自主式垂直 AI 代理程式，協助企業自動執行及管理銷售、服務和營運方面的複雜工作流程。其中一個客戶 PartsTown 需要建構 AI 代理程式的即時搜尋引擎，以便從超過五百萬項目的目錄中，立即為現場服務技術人員比對特定更換零件。因此需要可擴充的方式，為模型訓練產生數百萬個高品質標籤。

為解決這個問題，InstaLILY AI 開發了多階段合成資料生成管道。這個管道採用師生架構，由 Gemini 2.5 Pro 擔任「老師」模型，生成黃金標準訓練資料，並由微調後的 Gemma 模型擔任「學生」，實現可擴充的低成本生產部署。

零件搜尋引擎的核心是關聯性模型，可將服務技師的查詢 (例如「「Northland 冰箱的壓縮機」) 轉換為確切的零件編號。訓練這個模型需要大量的查詢和部分查詢配對資料集。

InstaLILY AI 採用傳統方法時面臨多項挑戰：

• 擴充性：手動標記數百萬個工單行並不可行。
• 成本和品質：使用其他前沿模型進行標記的成本是最終解決方案的三倍，且一致率降低了 15%。
• 效能：以 LLM 驅動的即時搜尋速度太慢，初步測試顯示延遲時間為兩分鐘，且無法在正式環境中處理每秒 500 次以上的查詢。

他們需要一套系統，以符合成本效益的方式產生高品質資料，進而快速準確地建立最終模型。

InstaLILY AI 設計了三階段管道，運用 Gemini 2.5 Pro 的進階推論功能建立高品質標籤，然後將這些知識蒸餾到較小且更有效率的模型中，用於製作。

管道運作方式如下：

• 生成合成資料 (老師模型)：Gemini 2.5 Pro 會為查詢部分配對生成黃金標準標籤。為確保高準確度，InstaLILY AI 會使用多角度的連鎖思維 (Multi-CoT) 推理，提示模型從多個角度分析零件，包括品牌、類別、規格和複雜的相容性商業邏輯。在盲測集上，這個方法與人類專家的意見一致率達到 94%。
• 學生模型訓練：使用 Gemini 2.5 Pro 的高品質標籤微調 Gemma-7B。InstaLILY AI 採用多種技術來最佳化學生模型，包括直接偏好最佳化 (DPO)，可減少 40% 的誤判。他們也建立了一組微調後的 Gemma 變體，針對每個樣本進行投票，將標籤精確度提升至 96%。
• 正式環境服務：Gemma 模型中的知識會提煉成輕量級 BERT 模型 (1.1 億個參數)，用於最終的正式環境。這個較小的模型在以 600 QPS 處理要求時，仍可維持 89% 的 F1 分數準確度。

「如果沒有 LLM 的連鎖思維標記來啟動我們精簡的模型，我們就得手動標記大量資料。」InstaLILY AI 團隊表示。「Gemini 大幅加快了資料準備速度，讓我們能將數百個工程師工時重新分配到微調和自動化調度管理等高槓桿任務。」

師生架構在速度、成本和準確度方面都有顯著提升。

最終系統達成：

• 查詢延遲時間縮短：從 2 分鐘縮短至 0.2 秒 (提升 99.8%)。
• 服務費用降低：每 1,000 次查詢的費用從 $0.12 美元降至 $0.002 美元，降幅達 98.3%。
• 高準確率：在盲測保留資料集上，F1 分數約為 90%。

開發程序也因此加快。團隊在 48 小時內建構出原型，並在四週內完成可投入生產的管道，他們估計若沒有 Gemini 和 Gemma 生態系統，這個過程需要三到四個月。

「加入 Google 加速器後，我們才得以採用這種做法。」InstaLILY 創辦人兼執行長 Amit Shah 表示。「我們獲得實務技術支援、Gemini 和 Gemma 搶先體驗資格，以及充足的 Cloud 抵免額，因此從原型設計到正式推出，只花了幾週，而非幾個月。」

InstaLILY AI 計劃納入 Gemini 的多模態功能，擴展 AI 代理程式的功能。這可讓技術人員上傳損壞裝置的相片，協助診斷問題。他們也正在開發持續主動學習服務，可標記低信賴度的即時查詢、將查詢傳送至 Gemini 進行註解，並每週重新訓練正式模型。

InstaLILY AI 的 AI 代理程式搜尋引擎獲得成功，證明老師/學生架構結合 Gemini 2.5 Pro 的推理能力和微調 Gemma 模型的效率，可解決複雜的資料生成難題，並支援高效能、可擴充的 AI 應用程式。

如要開始使用 Gemini 和 Gemma 模型建構應用程式，請參閱 API 說明文件。