کیت توسعه نرمافزاری فراخوانی تابع لبه هوش مصنوعی (FC SDK) کتابخانهای است که توسعهدهندگان را قادر میسازد تا از فراخوانی تابع با LLMهای روی دستگاه استفاده کنند. فراخوانی تابع به شما امکان میدهد مدلها را به ابزارها و APIهای خارجی متصل کنید و مدلها را قادر میسازد تا توابع خاصی را با پارامترهای لازم برای اجرای اقدامات دنیای واقعی فراخوانی کنند.
یک LLM با استفاده از FC SDK میتواند به جای تولید متن، یک فراخوانی ساختاریافته برای تابعی ایجاد کند که عملی مانند جستجوی اطلاعات بهروز، تنظیم هشدار یا رزرو را اجرا میکند.
کیت توسعه نرمافزار AI Edge FC برای اندروید در دسترس است و میتواند به طور کامل روی دستگاه با رابط برنامهنویسی کاربردی استنتاج LLM اجرا شود. برای شروع استفاده از کیت توسعه نرمافزار (SDK) راهنمای اندروید را دنبال کنید، که شما را در پیادهسازی اولیه یک برنامه نمونه با استفاده از فراخوانی تابع راهنمایی میکند.
خط لوله فراخوانی تابع
راهاندازی یک LLM روی دستگاه با قابلیت فراخوانی تابع، نیازمند مراحل کلیدی زیر است:
- تعریف اعلانهای تابع : ساختار و پارامترهای توابعی که LLM میتواند فراخوانی کند باید در کد برنامه شما تعریف شوند. این شامل تعیین نام توابع، پارامترها و انواع آنها میشود.
- قالببندی اعلانها و خروجیها : متن ورودی و خروجی میتواند شامل زبان طبیعی و فراخوانی توابع باشد. یک قالببند، نحوه تبدیل ساختارهای داده به رشتهها و از رشتهها را کنترل میکند و LLM را قادر میسازد تا اطلاعات را به طور مناسب قالببندی کند.
- خروجیهای تجزیه : یک تجزیهگر تشخیص میدهد که آیا پاسخ تولید شده حاوی فراخوانی تابع است یا خیر و آن را به یک نوع داده ساختاریافته تجزیه میکند تا برنامه بتواند فراخوانی تابع را اجرا کند.
- بررسی پاسخها : اگر تجزیهگر فراخوانی تابعی را تشخیص دهد، برنامه تابع را با پارامترهای مناسب و نوع داده ساختاریافته فراخوانی میکند. در غیر این صورت، متن زبان طبیعی را برمیگرداند.
اجزای کلیدی
کیت توسعه نرمافزار FC شامل اجزای کلیدی زیر است:
- Inference Backend : رابطی برای اجرای استنتاج روی یک مدل هوش مصنوعی مولد. FC SDK از API استنتاج LLM برای اجرای استنتاج روی مدلهای LiteRT (TFLite) استفاده میکند. این API از رابط InferenceBackend استفاده میکند.
- قالببندی اعلان : رابطی برای قالببندی درخواستها و پاسخها به و از مدل هوش مصنوعی مولد. SDK FC یک قالببندی ارائه میدهد که اعلانهای تابع را به قالب خاص مدل مورد نیاز LLM تبدیل کرده و آنها را در اعلان سیستم وارد میکند. این قالببندی همچنین توکنهای خاص مدل را برای نشان دادن نوبتهای کاربر و مدل مدیریت میکند. API از رابط ModelFormatter استفاده میکند.
- تجزیهگر خروجی : کیت توسعه نرمافزار FC یک تجزیهگر ارائه میدهد که تشخیص میدهد آیا خروجی مدل نشاندهنده فراخوانی تابع است یا خیر و آن را به یک ساختار داده برای استفاده توسط برنامه تجزیه میکند. این API از رابط ModelFormatter استفاده میکند.
- رمزگشایی محدود : رابطی برای ایجاد و مدیریت محدودیتها برای اطمینان از اینکه خروجی تولید شده از قوانین یا شرایط خاص پیروی میکند. برای مدلهای پشتیبانی شده، FC SDK، بخش استنتاج را برای استفاده از رمزگشایی محدود پیکربندی میکند، که تضمین میکند مدل فقط نامها و پارامترهای تابع معتبر را خروجی میدهد. API از رابط ConstraintProvider استفاده میکند.