AI Edge Function Calling SDK'sı (FC SDK), geliştiricilerin cihaz üzerinde LLM'lerle işlev çağrısı kullanmasını sağlayan bir kitaplıktır. İşlev çağırma, modelleri harici araçlara ve API'lere bağlamanıza olanak tanır. Böylece modeller, gerçek dünyadaki işlemleri gerçekleştirmek için gerekli parametrelerle belirli işlevleri çağırabilir.
FC SDK'sını kullanan bir LLM, yalnızca metin oluşturmak yerine güncel bilgileri arama, alarm ayarlama veya rezervasyon yapma gibi bir işlemi yürüten bir fonksiyona yapılandırılmış bir çağrı oluşturabilir.
AI Edge FC SDK, Android için kullanılabilir ve LLM Inference API ile tamamen cihaz üzerinde çalıştırılabilir. İşlev çağrısı kullanarak örnek bir uygulamanın temel uygulamasını adım adım açıklayan Android kılavuzunu inceleyerek SDK'yı kullanmaya başlayın.
İşlev çağırma ardışık düzeni
İşlev çağrısı özelliklerine sahip bir cihaz üzerinde LLM ayarlamak için aşağıdaki temel adımlar gerekir:
- İşlev bildirimlerini tanımlayın: LLM'nin çağırabileceği işlevlerin yapısı ve parametreleri, uygulama kodunuzda tanımlanmalıdır. İşlev adlarını, parametreleri ve türleri belirtmek de buna dahildir.
- İstemleri ve çıkışları biçimlendirme: Giriş ve çıkış metni doğal dil ve işlev çağrıları içerebilir. Biçimlendirici, veri yapılarının dizelere nasıl dönüştürüleceğini ve dizelerden nasıl dönüştürüleceğini kontrol ederek LLM'nin bilgileri uygun şekilde biçimlendirmesini sağlar.
- Çıkışları ayrıştırma: Ayrıştırıcı, oluşturulan yanıtta işlev çağrısı olup olmadığını algılar ve uygulamaların işlev çağrısını yürütebilmesi için bunu yapılandırılmış bir veri türüne ayrıştırır.
- Yanıtları inceleme: Ayrıştırıcı bir işlev çağrısı algılarsa uygulama, işlevi uygun parametreler ve yapılandırılmış veri türüyle çağırır. Aksi takdirde doğal dil metni döndürülür.
Temel bileşenler
FC SDK aşağıdaki temel bileşenleri içerir:
- Çıkarım Arka Ucu: Üretken yapay zeka modelinde çıkarım çalıştırmak için kullanılan bir arayüz. FC SDK, LiteRT (TFLite) modellerinde çıkarım yürütmek için LLM Inference API'yi kullanır. API, InferenceBackend arayüzünü kullanır.
- İstem Biçimlendirici: Üretken yapay zeka modeline ve modelden gelen istekleri ve yanıtları biçimlendirmek için kullanılan bir arayüzdür. FC SDK, işlev bildirimlerini LLM'nin gerektirdiği modele özgü biçime dönüştüren ve bunları sistem istemine ekleyen bir biçimlendirici sağlar. Biçimlendirici, kullanıcı ve model dönüşlerini belirtmek için modele özgü jetonları da işler. API, ModelFormatter arayüzünü kullanır.
- Çıkış ayrıştırıcı: FC SDK, modelin çıkışının bir işlev çağrısını temsil edip etmediğini algılayan ve uygulamada kullanılmak üzere bir veri yapısına ayrıştıran bir ayrıştırıcı sağlar. API, ModelFormatter arayüzünü kullanır.
- Kısıtlanmış kod çözme: Oluşturulan çıkışın belirli kurallara veya koşullara uymasını sağlamak için kısıtlamalar oluşturup yönetmeye yönelik bir arayüz. Desteklenen modellerde FC SDK, çıkarım arka ucunu kısıtlanmış kod çözme kullanacak şekilde yapılandırır. Bu, modelin yalnızca geçerli işlev adları ve parametreler çıkardığından emin olunmasını sağlar. API, ConstraintProvider arayüzünü kullanır.