AI Edge Function Calling SDK (FC SDK) کتابخانه ای است که توسعه دهندگان را قادر می سازد از فراخوانی تابع با LLM های روی دستگاه استفاده کنند. فراخوانی تابع به شما امکان می‌دهد مدل‌ها را به ابزارهای خارجی و APIها متصل کنید و مدل‌ها را قادر می‌سازد تا توابع خاصی را با پارامترهای لازم برای اجرای اقدامات در دنیای واقعی فراخوانی کنند.
به جای تولید متن، یک LLM با استفاده از FC SDK می‌تواند یک فراخوانی ساختاریافته برای عملکردی ایجاد کند که عملکردی را اجرا می‌کند، مانند جستجوی اطلاعات به‌روز، تنظیم آلارم‌ها یا رزرو کردن.
AI Edge FC SDK برای اندروید در دسترس است و می‌توان آن را کاملاً روی دستگاه با API LLM Inference اجرا کرد. با دنبال کردن راهنمای Android، استفاده از SDK را شروع کنید، که شما را در اجرای اولیه یک برنامه کاربردی با استفاده از فراخوانی تابع راهنمایی می‌کند.
خط لوله فراخوانی تابع
راه اندازی یک LLM روی دستگاه با قابلیت فراخوانی عملکرد به مراحل کلیدی زیر نیاز دارد:
- تعریف اعلان های تابع : ساختار و پارامترهای توابعی که LLM می تواند فراخوانی کند باید در کد برنامه شما تعریف شود. این شامل تعیین نام، پارامترها و انواع تابع است.
- فرمت درخواست ها و خروجی ها : متن ورودی و خروجی می تواند شامل زبان طبیعی و فراخوانی تابع باشد. یک قالب‌ساز نحوه تبدیل ساختارهای داده به رشته‌ها و از آنها را کنترل می‌کند و LLM را قادر می‌سازد تا اطلاعات را به‌طور مناسب قالب‌بندی کند.
- تجزیه خروجی ها : تجزیه کننده تشخیص می دهد که آیا پاسخ تولید شده حاوی یک فراخوانی تابع است یا خیر و آن را به یک نوع داده ساختاریافته تجزیه می کند تا برنامه بتواند فراخوانی تابع را اجرا کند.
- بررسی پاسخ ها : اگر تجزیه کننده یک فراخوانی تابع را تشخیص دهد، برنامه کاربردی تابع را با پارامترهای مناسب و نوع داده ساختاریافته فراخوانی می کند. در غیر این صورت، متن زبان طبیعی را برمی گرداند.
اجزای کلیدی
FC SDK شامل اجزای کلیدی زیر است:
- Inference Backend : رابطی برای اجرای استنتاج بر روی یک مدل هوش مصنوعی مولد. FC SDK از LLM Inference API برای اجرای استنتاج بر روی مدل‌های LiteRT (TFLite) استفاده می‌کند. API از رابط InferenceBackend استفاده می کند.
- Prompt Formatter : رابطی برای قالب بندی درخواست ها و پاسخ ها به و از مدل Generative AI. FC SDK یک قالب‌بندی ارائه می‌کند که اعلان‌های عملکرد را به قالب مدل خاص مورد نیاز LLM تبدیل می‌کند و آنها را در اعلان سیستم درج می‌کند. فرمت‌کننده همچنین توکن‌های خاص مدل را کنترل می‌کند تا چرخش کاربر و مدل را نشان دهد. API از رابط ModelFormatter استفاده می کند.
- تجزیه‌کننده خروجی : FC SDK تجزیه‌کننده‌ای فراهم می‌کند که تشخیص می‌دهد خروجی مدل یک فراخوانی تابع را نشان می‌دهد و آن را در یک ساختار داده برای استفاده توسط برنامه تجزیه می‌کند. API از رابط ModelFormatter استفاده می کند.
- رمزگشایی محدود : یک رابط برای ایجاد و مدیریت محدودیت ها برای اطمینان از اینکه خروجی تولید شده به قوانین یا شرایط خاص پایبند است. برای مدل‌های پشتیبانی‌شده، FC SDK پشتوانه استنتاج را برای استفاده از رمزگشایی محدود پیکربندی می‌کند، که تضمین می‌کند که مدل فقط نام‌ها و پارامترهای تابع معتبر را خروجی می‌دهد. API از رابط ConstraintProvider استفاده می کند.