جما را با اولاما اجرا کنید، جما را با اولاما اجرا کنید

اجرای مدل های هوش مصنوعی مولد (AI) مانند Gemma بدون سخت افزار مناسب می تواند چالش برانگیز باشد. چارچوب‌های منبع باز مانند llama.cpp و Ollama با تنظیم یک محیط زمان اجرا از پیش پیکربندی شده که به شما امکان می‌دهد نسخه‌های Gemma را با منابع محاسباتی کمتری اجرا کنید، این کار را آسان‌تر می‌کنند. در واقع، با استفاده از llama.cpp و Ollama می‌توانید نسخه‌های Gemma را روی لپ‌تاپ یا سایر دستگاه‌های محاسباتی کوچک بدون واحد پردازش گرافیکی (GPU) اجرا کنید.

برای اجرای مدل‌های Gemma با منابع محاسباتی کمتر، چارچوب‌های llama.cpp و Ollama از نسخه‌های کوانتیزه‌شده مدل‌ها در قالب فایل مدل GPT-Generated Unified Format (GGUF) استفاده می‌کنند. این مدل‌های کوانتیزه‌شده برای پردازش درخواست‌ها با استفاده از داده‌های کوچک‌تر و دقیق‌تر اصلاح می‌شوند. استفاده از داده‌های دقیق کمتر در مدل‌های کوانتیزه‌شده برای پردازش درخواست‌ها معمولاً کیفیت خروجی مدل‌ها را پایین می‌آورد، اما به نفع کاهش هزینه‌های منابع محاسباتی نیز است.

این راهنما نحوه تنظیم و استفاده از Ollama برای اجرای Gemma برای تولید پاسخ های متنی را شرح می دهد.

راه اندازی

این بخش نحوه راه اندازی Ollama و آماده سازی نمونه مدل Gemma را برای پاسخ به درخواست ها، از جمله درخواست دسترسی به مدل، نصب نرم افزار، و پیکربندی یک مدل Gemma در Ollama شرح می دهد.

به مدل های Gemma دسترسی پیدا کنید

قبل از کار با مدل‌های Gemma، مطمئن شوید که از طریق Kaggle درخواست دسترسی کرده‌اید و شرایط استفاده از Gemma را بررسی کرده‌اید.

اوللاما را نصب کنید

قبل از اینکه بتوانید از Gemma با Olama استفاده کنید، باید نرم افزار Olama را بر روی دستگاه محاسباتی خود دانلود و نصب کنید.

برای دانلود و نصب Olama:

به صفحه دانلود بروید: https://ollama.com/download
سیستم عامل خود را انتخاب کنید، روی دکمه دانلود کلیک کنید یا دستورالعمل های صفحه دانلود را دنبال کنید.
با اجرای برنامه نصب، برنامه را نصب کنید.
- Windows: فایل installer *.exe را اجرا کنید و دستورالعمل ها را دنبال کنید.
- مک: بسته فشرده را باز کنید و پوشه برنامه Olama را به پوشه برنامه های کاربردی خود منتقل کنید.
- لینوکس: دستورالعمل های نصب کننده اسکریپت bash را دنبال کنید.
با باز کردن یک پنجره ترمینال و وارد کردن دستور زیر، تأیید کنید که Olama نصب شده است:
```
ollama --version
```

شما باید پاسخی شبیه به این ببینید: ollama version is #.#.## . اگر این نتیجه را دریافت نکردید، مطمئن شوید که فایل اجرایی Ollama به مسیر سیستم عامل شما اضافه شده است.

Gemma را در Ollama پیکربندی کنید

بسته نصب Ollama به طور پیش فرض شامل هیچ مدلی نمی شود. شما با استفاده از دستور pull یک مدل را دانلود می کنید.

برای پیکربندی Gemma در Ollama:

با باز کردن یک پنجره ترمینال و وارد کردن دستور زیر، نسخه پیش‌فرض Gemma 2 را دانلود و پیکربندی کنید:
```
ollama pull gemma2
```
پس از اتمام دانلود می توانید با دستور زیر تأیید کنید که مدل موجود است:
```
ollama list
```

به‌طور پیش‌فرض، اوللاما پارامتر 9 میلیاردی، مدل جما کوانتیزه‌شده 4 بیتی (Q4_0) را دانلود می‌کند. همچنین می توانید با تعیین اندازه پارامتر سایزهای دیگر مدل جما را دانلود و استفاده کنید.

مدل ها به صورت <model_name>:<tag> مشخص می شوند. برای مدل Gemma 2، 2 میلیارد پارامتر، gemma2:2b را وارد کنید. برای مدل پارامتر 27 میلیارد، gemma2:27b را وارد کنید. می‌توانید برچسب‌های موجود را در وب‌سایت Olama پیدا کنید، از جمله Gemma 2 و Gemma .

پاسخ ها را ایجاد کنید

پس از اتمام نصب یک مدل Gemma در اوللاما، می‌توانید بلافاصله با استفاده از دستور run رابط خط فرمان اوللاما پاسخ‌ها را ایجاد کنید. Ollama همچنین یک وب سرویس را برای دسترسی به مدل پیکربندی می کند که می توانید با استفاده از دستور curl آن را آزمایش کنید.

برای تولید پاسخ از خط فرمان:

در یک پنجره ترمینال و وارد کردن دستور زیر:
```
ollama run gemma2 "roses are red"
```

برای ایجاد پاسخ با استفاده از سرویس وب محلی Olama:

در یک پنجره ترمینال و وارد کردن دستور زیر:

curl http://localhost:11434/api/generate -d '{\
  "model": "gemma2",\
  "prompt":"roses are red"\
}'

مدل های جما کوک شده

Ollama مجموعه ای از انواع مدل رسمی Gemma را برای استفاده فوری ارائه می دهد که در قالب GGUF کوانتیزه شده و ذخیره می شوند. می توانید با تبدیل آنها به فرمت GGUF از مدل های جما تنظیم شده خود با Ollama استفاده کنید. Ollama شامل برخی از توابع برای تبدیل مدل های تنظیم شده از فرمت Modelfile به GGUF است. برای اطلاعات بیشتر در مورد نحوه تبدیل مدل تنظیم شده خود به GGUF، به Ollama README مراجعه کنید.

مراحل بعدی

هنگامی که Gemma را با Ollama اجرا کردید، می توانید شروع به آزمایش و ساخت راه حل با قابلیت های هوش مصنوعی مولد Gemma کنید. رابط خط فرمان برای Olama می تواند برای ساخت راه حل های اسکریپت مفید باشد. رابط سرویس وب محلی Ollama می تواند برای ساخت برنامه های کاربردی آزمایشی و کم حجم مفید باشد.

سعی کنید با استفاده از وب سرویس Olama یکپارچه سازی کنید تا یک دستیار کد شخصی با اجرای محلی ایجاد کنید.
نحوه تنظیم دقیق مدل Gemma را بیاموزید.
با نحوه اجرای Gemma با Olama از طریق سرویس های Google Cloud Run آشنا شوید.
با نحوه اجرای Gemma با Google Cloud آشنا شوید.