InstaLILY：一款由 Gemini 提供技術支援的企業級智慧搜尋引擎

企業 AI 代理程式會自動執行複雜的工作流程 (例如 B2B 銷售或工業維護)，因此需要以大量高品質的特定領域資料訓練模型。對於許多公司而言，創建這些數據是一個主要瓶頸，因為手動標註速度慢且成本高，而通用模型可能缺乏必要的細微差別。

InstaLILY AI 是企業專用的自主式垂直 AI 代理平台，可協助公司自動執行及管理銷售、服務和營運方面的複雜工作流程。其中一個客戶 PartsTown 需要建構 AI 代理程式的即時搜尋引擎，從超過五百萬項目的目錄中，即時比對現場服務技術人員與特定更換零件。這就需要一種可擴展的方法來產生數百萬個高品質標籤，用於模型訓練。

為瞭解決這個問題，InstaLILY AI 開發了一個多階段合成資料產生流程。該管道採用師生架構，其中 Gemini 2.5 Pro 作為“教師”模型生成黃金標準訓練數據，而經過微調的 Gemma 模型作為“學生”，以實現可擴展、低成本的生產部署。

零件搜尋引擎的核心是關聯性模型，可將服務技師的查詢 (例如「將「Northland 冰箱壓縮機」精確到零件編號。訓練這個模型需要大量的查詢部分配對資料集。

InstaLILY AI 採用傳統方法時面臨多項挑戰：

• 擴充性：手動標記數百萬個工單行項目並不可行。
• 成本和品質：與最終解決方案相比，使用其他前沿模型進行標記的成本高出三倍，且一致率降低 15%。
• 效能：以 LLM 驅動的即時搜尋速度太慢，初步測試顯示延遲時間為兩分鐘，且無法在正式環境中處理每秒 500 次以上的查詢 (QPS)。

他們需要一套系統，以符合成本效益的方式產生高品質資料，進而快速準確地建立最終模型。

InstaLILY AI 設計了三階段管道，運用 Gemini 2.5 Pro 的進階推論功能建立高品質標籤，然後將這些知識蒸餾到更小、更有效率的生產模型中。

管道運作方式如下：

• 合成資料產生（教師模型）： Gemini 2.5 Pro 為查詢部分對產生黃金標準標籤。為確保高準確度，InstaLILY AI 會使用多角度的連鎖思維 (Multi-CoT) 推理，提示模型從多個角度分析零件，包括品牌、類別、規格和複雜的相容性商業邏輯。在盲測集上，這個方法與人類專家的意見一致率達到 94%。
• 學生模型訓練：使用 Gemini 2.5 Pro 的高品質標籤微調 Gemma-7B。InstaLILY AI 採用多種技術來最佳化學生模型，包括直接偏好最佳化 (DPO)，可減少 40% 的誤判。他們也建立了一組三種微調 Gemma 變體，針對每個樣本進行投票，將標籤精確度提高至 96%。
• 正式環境服務：Gemma 模型中的知識會提煉成輕量級 BERT 模型 (1.1 億個參數)，用於最終的正式環境。這個較小的模型在以 600 QPS 處理要求時，仍可維持 89% 的 F1 分數準確率。

「如果沒有 LLM 的連鎖思維標記來啟動精簡模型，我們就得手動標記大量資料。」InstaLILY AI 團隊表示。「Gemini 大幅加快了資料準備速度，讓我們能將數百個工程師時數重新分配給微調和自動化調度等高槓桿工作。」

老師與學生架構在速度、成本和準確度方面都有顯著提升。

最終系統達成：

• 查詢延遲時間縮短：從 2 分鐘縮短至 0.2 秒 (提升 99.8%)。
• 服務費用降低：每 1,000 次查詢從 $0.12 美元降至 $0.002 美元 (降幅達 98.3%)。
• 高準確率：在盲測保留資料集上，F1 分數約為 90%。

開發程序也因此加快。該團隊在 48 小時內建構出原型，並在四週內完成可投入生產的管道。他們估計，如果沒有 Gemini 和 Gemma 生態系統，這個過程需要三到四個月。

「加入 Google 加速器後，我們才得以採用這種做法。」InstaLILY 創辦人兼執行長 Amit Shah 表示。「我們獲得實務技術支援、Gemini 和 Gemma 搶先體驗資格，以及充足的 Cloud 抵免額，因此從原型設計到正式推出，只花了幾週，而非幾個月。」

InstaLILY AI 計劃納入 Gemini 的多模態功能，擴展 AI 代理程式的功能。這可讓技術人員上傳損壞裝置的相片，協助診斷問題。他們也正在開發持續主動學習服務，可標記低信賴度的即時查詢、將查詢傳送至 Gemini 進行註解，並每週重新訓練正式模型。

InstaLILY AI 的 AI 代理程式搜尋引擎獲得成功，證明老師/學生架構結合 Gemini 2.5 Pro 的推理能力和微調 Gemma 模型的效率，可解決複雜的資料生成難題，並支援高效能、可擴充的 AI 應用程式。

如要開始使用 Gemini 和 Gemma 模型建構應用程式，請參閱 API 說明文件。