SDK e thirrjes së funksionit AI Edge (FC SDK) është një bibliotekë që u mundëson zhvilluesve të përdorin thirrjet funksionale me LLM në pajisje. Thirrja e funksionit ju lejon të lidhni modelet me mjete të jashtme dhe API, duke u mundësuar modeleve të thërrasin funksione specifike me parametrat e nevojshëm për të ekzekutuar veprime në botën reale.
Në vend që të gjenerojë thjesht tekst, një LLM duke përdorur FC SDK mund të gjenerojë një thirrje të strukturuar për një funksion që ekzekuton një veprim, si kërkimi i informacionit të përditësuar, vendosja e alarmeve ose rezervimi.
AI Edge FC SDK është i disponueshëm për Android dhe mund të ekzekutohet plotësisht në pajisje me API-në LLM Inference. Filloni të përdorni SDK-në duke ndjekur udhëzuesin Android , i cili ju udhëzon përmes një zbatimi bazë të një aplikacioni mostër duke përdorur thirrjen e funksionit.
Funksioni i tubacionit thirrës
Vendosja e një LLM në pajisje me aftësi për thirrjen e funksionit kërkon hapat kryesorë të mëposhtëm:
- Përcaktoni deklaratat e funksioneve : Struktura dhe parametrat e funksioneve që mund të thërrasë LLM duhet të përcaktohen në kodin e aplikacionit tuaj. Kjo përfshin specifikimin e emrave, parametrave dhe llojeve të funksioneve.
- Formatoni kërkesat dhe daljet : Teksti hyrës dhe dalës mund të përmbajë thirrje të gjuhës natyrore dhe funksioneve. Një formatues kontrollon se si strukturat e të dhënave konvertohen në dhe nga vargjet, duke i mundësuar LLM të formatojë siç duhet informacionin.
- Analizimi i rezultateve : Një analizues zbulon nëse përgjigja e gjeneruar përmban një thirrje funksioni dhe e analizon atë në një lloj të dhënash të strukturuar në mënyrë që aplikacioni të mund të ekzekutojë thirrjen e funksionit.
- Ekzaminimi i përgjigjeve : Nëse analizuesi zbulon një thirrje funksioni, aplikacioni thërret funksionin me parametrat e duhur dhe llojin e të dhënave të strukturuar. Përndryshe, ai kthen tekstin e gjuhës natyrore.
Komponentët kryesorë
FC SDK përmban përbërësit kryesorë të mëposhtëm:
- Inference Backend : Një ndërfaqe për ekzekutimin e konkluzioneve në një model gjenerues të AI. FC SDK përdor API-në e konkluzionit LLM për të ekzekutuar konkluzionet në modelet LiteRT (TFLite). API përdor ndërfaqen InferenceBackend .
- Prompt Formatter : Një ndërfaqe për formatimin e kërkesave dhe përgjigjeve ndaj dhe nga modeli Generative AI. FC SDK siguron një formatues që konverton deklaratat e funksionit në formatin specifik të modelit të kërkuar nga LLM dhe i fut ato në kërkesën e sistemit. Formatuesi gjithashtu trajton shenjat specifike të modelit për të treguar kthesat e përdoruesit dhe modelit. API përdor ndërfaqen ModelFormatter .
- Analizuesi i daljes : FC SDK siguron një analizues që zbulon nëse dalja e modelit përfaqëson një thirrje funksioni dhe e analizon atë në një strukturë të dhënash për përdorim nga aplikacioni. API përdor ndërfaqen ModelFormatter .
- Dekodimi i kufizuar : Një ndërfaqe për krijimin dhe menaxhimin e kufizimeve për të siguruar që prodhimi i gjeneruar t'u përmbahet rregullave ose kushteve specifike. Për modelet e mbështetura, FC SDK do të konfigurojë fundin e përfundimit për të përdorur dekodimin e kufizuar, i cili siguron që modeli të nxjerrë vetëm emra dhe parametra të vlefshëm funksionesh. API përdor ndërfaqen ConstraintProvider .