جما را با اولاما اجرا کنید، جما را با اولاما اجرا کنید

اجرای مدل‌های هوش مصنوعی مولد (AI) مانند Gemma می‌تواند بدون سخت‌افزار مناسب چالش‌برانگیز باشد. چارچوب‌های متن‌باز مانند llama.cpp و Ollama با تنظیم یک محیط زمان اجرا از پیش پیکربندی‌شده که به شما امکان می‌دهد نسخه‌هایی از Gemma را با منابع محاسباتی کمتری اجرا کنید، این کار را آسان‌تر می‌کنند. در واقع، با استفاده از llama.cpp و Ollama می‌توانید نسخه‌هایی از Gemma را روی لپ‌تاپ یا سایر دستگاه‌های محاسباتی کوچک بدون واحد پردازش گرافیکی (GPU) اجرا کنید.

برای اجرای مدل‌های Gemma با منابع محاسباتی کمتر، چارچوب‌های llama.cpp و Ollama از نسخه‌های کوانتیزه‌شده‌ی مدل‌ها در قالب فایل مدل Georgi Gerganov Unified Format (GGUF) استفاده می‌کنند. این مدل‌های کوانتیزه‌شده برای پردازش درخواست‌ها با استفاده از داده‌های کوچک‌تر و با دقت کمتر اصلاح شده‌اند. استفاده از داده‌های با دقت کمتر در مدل‌های کوانتیزه‌شده برای پردازش درخواست‌ها معمولاً کیفیت خروجی مدل‌ها را کاهش می‌دهد، اما با این مزیت که هزینه‌های منابع محاسباتی را نیز کاهش می‌دهد.

این راهنما نحوه راه‌اندازی و استفاده از Ollama برای اجرای Gemma جهت تولید پاسخ‌های متنی را شرح می‌دهد.

راه‌اندازی

این بخش نحوه راه‌اندازی Ollama و آماده‌سازی یک نمونه مدل Gemma برای پاسخ به درخواست‌ها، از جمله درخواست دسترسی به مدل، نصب نرم‌افزار و پیکربندی مدل Gemma در Ollama را شرح می‌دهد.

نصب اولاما

قبل از اینکه بتوانید از Gemma به همراه Ollama استفاده کنید، باید نرم‌افزار Ollama را دانلود و روی دستگاه رایانه خود نصب کنید.

برای دانلود و نصب Ollama:

  1. به صفحه دانلود بروید: https://ollama.com/download
  2. سیستم عامل خود را انتخاب کنید، روی دکمه دانلود کلیک کنید یا دستورالعمل‌های روی صفحه دانلود را دنبال کنید.
  3. با اجرای فایل نصب، برنامه را نصب کنید.
    • ویندوز: فایل نصب *.exe را اجرا کنید و دستورالعمل‌ها را دنبال کنید.
    • مک: بسته‌ی زیپ را از حالت فشرده خارج کنید و پوشه‌ی برنامه‌ی Ollama را به پوشه‌ی Applications خود منتقل کنید.
    • لینوکس: دستورالعمل‌های موجود در نصب‌کننده اسکریپت bash را دنبال کنید.

  4. با باز کردن یک پنجره ترمینال و وارد کردن دستور زیر، از نصب Ollama اطمینان حاصل کنید:

    اولاما --نسخه

باید پاسخی مشابه با این ببینید: ollama version is #.#.## . اگر این نتیجه را دریافت نکردید، مطمئن شوید که فایل اجرایی Ollama به مسیر سیستم عامل شما اضافه شده است.

پیکربندی Gemma در Ollama

بسته نصب Ollama به طور پیش‌فرض هیچ مدلی را شامل نمی‌شود. شما با استفاده از دستور pull یک مدل را دانلود می‌کنید.

برای پیکربندی Gemma در Ollama:

  1. با باز کردن یک پنجره ترمینال و وارد کردن دستور زیر، نسخه پیش‌فرض Gemma 4 را دانلود و پیکربندی کنید:

    اولاما پول جما4

  2. پس از اتمام دانلود، می‌توانید با دستور زیر از موجود بودن مدل اطمینان حاصل کنید:

    لیست اولاما

مدل‌ها به صورت <model_name>:<tag> مشخص می‌شوند. برای Gemma 4، چهار اندازه: E2B، E4B، 26B و 31B با پارامترهای زیر وجود دارد:

  • پارامترهای E2B gemma4:e2b
  • پارامترهای E4B gemma4:e4b
  • پارامترهای 26B A4B gemma4:26b
  • پارامترهای ۳۱ب gemma4:31b

می‌توانید برچسب‌های موجود، از جمله Gemma 4 ، Gemma 3n ، Gemma 3 ، Gemma 2 و Gemma را در وب‌سایت Ollama پیدا کنید.

تولید پاسخ‌ها

وقتی نصب یک مدل Gemma در Ollama تمام شد، می‌توانید بلافاصله با استفاده از دستور run رابط خط فرمان Ollama پاسخ‌ها را تولید کنید. Ollama همچنین یک سرویس وب را برای دسترسی به مدل پیکربندی می‌کند که می‌توانید با استفاده از دستور curl آن را آزمایش کنید.

برای تولید پاسخ از خط فرمان:

  • در یک پنجره ترمینال، و با وارد کردن دستور زیر:

    ollama run gemma4 "roses are red"

  • برای استفاده از ورودی بصری، مسیر تصویر خود را وارد کنید:

    ollama run gemma4 "caption this image /Users/$USER/Desktop/surprise.png"

برای تولید پاسخ با استفاده از سرویس وب محلی Ollama:

  • در یک پنجره ترمینال، و با وارد کردن دستور زیر:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"roses are red"\
}'

  • فهرستی از تصاویر کدگذاری‌شده با base64 را برای استفاده از ورودی بصری وارد کنید:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"caption this image",\
      "images":[...]\
}'

مدل‌های تنظیم‌شده‌ی جما

اولاما مجموعه‌ای از مدل‌های رسمی Gemma را برای استفاده فوری ارائه می‌دهد که کوانتیزه شده و با فرمت GGUF ذخیره می‌شوند. شما می‌توانید با تبدیل مدل‌های Gemma تنظیم‌شده خود به فرمت GGUF، از آنها در اولاما استفاده کنید. اولاما شامل توابعی برای تبدیل مدل‌های تنظیم‌شده از فرمت Modelfile به GGUF است. برای اطلاعات بیشتر در مورد نحوه تبدیل مدل تنظیم‌شده خود به GGUF، به فایل راهنمای کاربر اولاما مراجعه کنید.

مراحل بعدی

زمانی که Gemma را با Ollama اجرا کردید، می‌توانید شروع به آزمایش و ساخت راه‌حل‌ها با قابلیت‌های هوش مصنوعی مولد Gemma کنید. رابط خط فرمان Ollama می‌تواند برای ساخت راه‌حل‌های اسکریپت‌نویسی مفید باشد. رابط سرویس وب محلی Ollama می‌تواند برای ساخت برنامه‌های آزمایشی و کم‌حجم مفید باشد.