AI Edge İşlev Çağırma SDK'sı (FC SDK'sı), geliştiricilerin cihaz üzerinde LLM'lerle işlev çağrısı kullanmasına olanak tanıyan bir kitaplıktır. İşlev çağrısı, modelleri harici araçlara ve API'lere bağlamanıza olanak tanır. Böylece modeller, gerçek dünyadaki işlemleri gerçekleştirmek için gerekli parametrelerle belirli işlevleri çağırabilir.
FC SDK'sını kullanan bir LLM, yalnızca metin oluşturmak yerine güncel bilgileri arama, alarm ayarlama veya rezervasyon yapma gibi bir işlemi yürüten bir işleve yönelik yapılandırılmış bir çağrı oluşturabilir.
AI Edge FC SDK'sı Android için kullanılabilir ve LLM Inference API ile tamamen cihaz üzerinde çalıştırılabilir. SDK'yı kullanmaya başlamak için Android kılavuzunu inceleyin. Bu kılavuzda, işlev çağrısını kullanarak örnek bir uygulamanın temel uygulamasında size yol gösterilir.
İşlev çağrısı ardışık düzeni
İşlev çağrısı özellikleri olan cihaz üzerinde bir LLM oluşturmak için aşağıdaki temel adımlar gerekir:
- İşlev tanımlarını tanımlama: LLM'nin çağırabileceği işlevlerin yapısı ve parametreleri uygulama kodunuzda tanımlanmalıdır. İşlev adları, parametreler ve türler de bu kapsamda yer alır.
- İstemleri ve çıkışları biçimlendirme: Giriş ve çıkış metinleri doğal dil ve işlev çağrıları içerebilir. Düzenleyici, veri yapılarının dizelere nasıl dönüştürüleceğini ve dizelerden nasıl dönüştürüleceğini kontrol ederek LLM'nin bilgileri uygun şekilde biçimlendirmesini sağlar.
- Çıkışları ayrıştırma: Ayrıştırıcı, oluşturulan yanıtın işlev çağrısı içerip içermediğini algılar ve uygulamanın işlev çağrısını yürütebilmesi için işlev çağrısını yapılandırılmış veri türüne ayırır.
- Yanıtları inceleme: Ayrıştırıcı bir işlev çağrısı algılarsa uygulama, işlevi uygun parametrelerle ve yapılandırılmış veri türüyle çağırır. Aksi takdirde doğal dil metni döndürülür.
Temel bileşenler
FC SDK'sı aşağıdaki temel bileşenleri içerir:
- Tahmin Arka Ucu: Üretken yapay zeka modelinde çıkarım çalıştırmak için kullanılan bir arayüz. FC SDK'sı, LiteRT (TFLite) modellerinde çıkarım yapmak için LLM Inference API'yi kullanır. API, InferenceBackend arayüzünü kullanır.
- İstem Düzenleyici: Üretken yapay zeka modeline gönderilen ve modelden alınan istek ve yanıtları biçimlendirmek için kullanılan bir arayüz. FC SDK'sı, işlev tanımlarını LLM tarafından istenen modele özgü biçime dönüştüren ve sistem istemine ekleyen bir biçimlendirici sağlar. Düzenleyici, kullanıcı ve model dönüşlerini belirtmek için modele özgü jetonları da işler. API, ModelFormatter arayüzünü kullanır.
- Çıkış Ayrıştırıcısı: FC SDK'sı, modelin çıkışının bir işlev çağrısını temsil edip etmediğini algılayan ve uygulama tarafından kullanılmak üzere çıkışı bir veri yapısına ayrıştıran bir ayrıştırıcı sağlar. API, ModelFormatter arayüzünü kullanır.
- Kısıtlanmış Kod Çözme: Oluşturulan çıktının belirli kurallara veya koşullara uymasını sağlamak için kısıtlama oluşturma ve yönetme arayüzü. FC SDK'sı, desteklenen modeller için çıkarım arka ucunu kısıtlanmış kod çözme kullanacak şekilde yapılandırır. Bu sayede model yalnızca geçerli işlev adları ve parametreler döndürür. API, ConstraintProvider arayüzünü kullanır.