SDK-ja e Thirrjes së Funksioneve AI Edge (FC SDK) është një bibliotekë që u mundëson zhvilluesve të përdorin thirrjen e funksioneve me LLM-të në pajisje. Thirrja e funksioneve ju lejon të lidhni modelet me mjete dhe API të jashtme, duke u mundësuar modeleve të thërrasin funksione specifike me parametrat e nevojshëm për të ekzekutuar veprime në botën reale.
Në vend që të gjenerojë vetëm tekst, një LLM që përdor FC SDK mund të gjenerojë një thirrje të strukturuar për një funksion që ekzekuton një veprim, siç është kërkimi i informacionit të azhurnuar, vendosja e alarmeve ose bërja e rezervimeve.
AI Edge FC SDK është i disponueshëm për Android dhe mund të ekzekutohet plotësisht në pajisje me LLM Inference API. Filloni të përdorni SDK duke ndjekur udhëzuesin për Android , i cili ju udhëzon përmes një implementimi bazë të një aplikacioni shembull duke përdorur thirrjen e funksioneve.
Tubacioni i thirrjes së funksionit
Konfigurimi i një LLM në pajisje me aftësi për thirrjen e funksioneve kërkon hapat kryesorë të mëposhtëm:
- Përcaktoni deklaratat e funksioneve : Struktura dhe parametrat e funksioneve që LLM mund të thërrasë duhet të përcaktohen në kodin e aplikacionit tuaj. Kjo përfshin specifikimin e emrave të funksioneve, parametrave dhe llojeve.
- Formatimi i kërkesave dhe rezultateve : Teksti hyrës dhe dalës mund të përmbajë gjuhë natyrore dhe thirrje funksionesh. Një formatues kontrollon se si strukturat e të dhënave konvertohen nga dhe në vargje, duke i mundësuar LLM-së të formatojë informacionin në mënyrë të përshtatshme.
- Analiza e rezultateve : Një analizues zbulon nëse përgjigja e gjeneruar përmban një thirrje funksioni dhe e analizon atë në një lloj të strukturuar të të dhënave në mënyrë që aplikacioni të mund ta ekzekutojë thirrjen e funksionit.
- Shqyrtoni përgjigjet : Nëse analizuesi zbulon një thirrje funksioni, aplikacioni e thërret funksionin me parametrat dhe llojin e të dhënave të strukturuara të përshtatshme. Përndryshe, ai kthen tekst në gjuhën natyrore.
Komponentët kryesorë
FC SDK përmban komponentët kryesorë të mëposhtëm:
- Inference Backend : Një ndërfaqe për ekzekutimin e inferencës në një model gjenerues të IA-së. FC SDK përdor API-në LLM Inference për të ekzekutuar inferencën në modelet LiteRT (TFLite). API përdor ndërfaqen InferenceBackend .
- Formatuesi i Promptit : Një ndërfaqe për formatimin e kërkesave dhe përgjigjeve për dhe nga modeli i IA-së Gjenerative. FC SDK ofron një formatues që konverton deklaratat e funksioneve në formatin specifik të modelit të kërkuar nga LLM dhe i fut ato në promptin e sistemit. Formatuesi gjithashtu trajton token-e specifikë të modelit për të treguar kthesat e përdoruesit dhe modelit. API përdor ndërfaqen ModelFormatter .
- Analizuesi i Daljes : FC SDK ofron një analizues që zbulon nëse dalja e modelit përfaqëson një thirrje funksioni dhe e analizon atë në një strukturë të dhënash për përdorim nga aplikacioni. API përdor ndërfaqen ModelFormatter .
- Dekodimi i Kufizuar : Një ndërfaqe për krijimin dhe menaxhimin e kufizimeve për të siguruar që rezultati i gjeneruar i përmbahet rregullave ose kushteve specifike. Për modelet e mbështetura, FC SDK do të konfigurojë backend-in e inferencës për të përdorur dekodimin e kufizuar, i cili siguron që modeli të nxjerrë vetëm emra dhe parametra të vlefshëm funksionesh. API përdor ndërfaqen ConstraintProvider .