Google AI Edge stack ব্যবহার করে একটি সূক্ষ্মভাবে টিউন করা Gemma 270m মডেল স্থাপন করুন।

এই টিউটোরিয়ালটি একটি অ্যান্ড্রয়েড স্যাম্পল অ্যাপে কাস্টমাইজড জেমা মডেল ডেপ্লয় করার সম্পূর্ণ প্রক্রিয়াটি ধাপে ধাপে দেখিয়ে দেবে।

এই টিউটোরিয়ালে আমরা যা যা শিখব:

  1. একটি সূক্ষ্মভাবে টিউন করা মডেল দিয়ে শুরু করুন
  2. AI Edge Torch লাইব্রেরি ব্যবহার করে সূক্ষ্মভাবে টিউন করা মডেলটিকে রূপান্তর করুন
    1. এটি HuggingFace চেকপয়েন্টটিকে একটি .litertlm ফাইলে রূপান্তর করবে।
  3. সূক্ষ্মভাবে সমন্বয় করা মডেলটির গুণমান মূল্যায়ন করুন।
  4. কাস্টম মডেলটি একটি টেস্ট ডিভাইসে পুশ করতে adb কমান্ডগুলো চালান।
    1. এটি স্থানীয় পরীক্ষার জন্য মডেলটিকে .litertlm ফরম্যাটে একটি অ্যান্ড্রয়েড ডিভাইসে পাঠিয়ে দেবে।
  5. পাইরেট জেমা নমুনা অ্যাপটি চালান
    1. এটি একটি নমুনা অ্যান্ড্রয়েড অ্যাপে ফাইন-টিউন করা মডেলটির উপর ইনফারেন্স চালানোর জন্য LiteRT-LM কোটলিন লাইব্রেরি ব্যবহার করবে।

ধাপ ১: একটি সূক্ষ্মভাবে টিউন করা মডেল দিয়ে শুরু করুন

এই টিউটোরিয়ালের জন্য, আমরা একটি ফাইন টিউনড মডেল দিয়ে শুরু করব। একটি বেস মডেল এবং একটি ফাইন টিউনড মডেলের মধ্যে স্পষ্ট পার্থক্য দেখানোর জন্য, আমরা একটি বেস Gemma270m মডেল নিয়েছি এবং সেটিকে এমনভাবে ফাইন টিউন করেছি যাতে এটি জলদস্যুর মতো কথা বলতে পারে।

আপনি প্রি-ফাইন টিউনড পাইরেট জেমা মডেলটি https://huggingface.co/erintwalsh/pirate-gemma -এ খুঁজে পেতে পারেন।

একটি মডেলকে সূক্ষ্মভাবে সমন্বয় করার বিষয়ে আরও তথ্যের জন্য, জেমা কুকবুক এবং আনস্লথ গাইডগুলো দেখুন।

ধাপ ২: আপনার কাস্টম মডেলটি কমান্ড লাইনে রূপান্তর করে চালান।

এখন যেহেতু আপনার একটি কাস্টম মডেল HuggingFace-এ প্রকাশিত হয়েছে, আপনি AI Edge Torch লাইব্রেরি ব্যবহার করে সেই মডেলটিকে ডাউনলোড করে .litertlm ফরম্যাটে রূপান্তর করতে পারেন।

পূর্বশর্ত

আপনার ডিভাইসে ইউভি টুল এবং পাইথন ৩.১১ বা তার পরবর্তী সংস্করণ ইনস্টল করা আছে কিনা, তা নিশ্চিত করুন।

মডেল রূপান্তর করুন 

uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=[YOUR-HF-USERNAME]/pirate-gemma \
  --output_dir=/tmp/pirate-gemma \
  --externalize_embedder

আপনার মডেলটি স্থানীয়ভাবে চালান 

uv tool install litert-lm

litert-lm run  \
  /tmp/pirate-gemma/model.litertlm \
  --prompt="Where is the nearest buried treasure?"

ধাপ ৩: মডেলের গুণমান মূল্যায়ন করুন

সূক্ষ্ম সমন্বয়ের গুণমান মূল্যায়ন করুন

একবার আপনার মডেলটি স্থানীয়ভাবে চালু হয়ে গেলে, আপনি ফাইন টিউনিং-এর LiteRT-LM মডেলের গুণমান বিশ্লেষণ করতে AI Edge ইভ্যালুয়েশন CLI টুলটি ব্যবহার করতে পারেন। এই টুলটি পাবলিক ডেটাসেট ব্যবহার করে মূল HF মডেল এবং রূপান্তরিত LiteRT-LM মডেলের মধ্যে রূপান্তরের পরে গুণমানের সমতা যাচাই করার জন্য একটি অন্তর্নির্মিত সুবিধা প্রদান করে। পাবলিক ডেটাসেট ছাড়াও, আপনি আপনার নিজস্ব ডেটা এবং নির্দিষ্ট মেট্রিক ব্যবহার করে কাস্টমাইজড ইভ্যালুয়েশন টাস্ক তৈরি করতে পারেন। LLM-as-a-Judge ব্যবহার করে এই ফাইন টিউন করা মডেলটি মূল্যায়ন করার জন্য একটি কাস্টম টাস্কের উদাহরণ দেখুন।

uv tool install ai-edge-eval

GEMINI_API_KEY="your_actual_api_key_here"
ai_edge_eval \
  --framework custom \
  --runner litert-lm \
  --model-path /path/to/your/model.litertlm \
  --custom-tasks-file pirate_gemma_custom_task.py \
  --tasks pirate_gemma_eval \
  --output-dir /tmp/results

ধাপ ৪: আপনার স্থানীয় মডেলটি আপনার টেস্ট ডিভাইসে পাঠান।

এইমাত্র চালানো মডেলটি আপনার ফিজিক্যাল অ্যান্ড্রয়েড ডিভাইসে পুশ করতে এই adb নির্দেশাবলী ব্যবহার করুন।

adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models

adb shell mkdir -p /data/local/tmp/llm/

adb push /tmp/pirate-gemma/model.litertlm  /data/local/tmp/llm/pirate-gemma.litertlm

ধাপ ৫: ক্যাপ্টেন জেমা স্যাম্পল অ্যাপ ব্যবহার করে আপনার কাস্টম মডেলে ইনফারেন্স চালান।

ক্যাপ্টেন জেমা এমন একটি অ্যাপ যা ডিভাইসে থাকা মডেলের সাথে ইন্টারফেস করার পদ্ধতি প্রদর্শন করে। এটি গিটহাবে খুঁজুন এবং অ্যান্ড্রয়েড স্টুডিওতে চালানোর জন্য রিপোজিটরিটি ক্লোন করুন।

ক্যাপ্টেন জেমা স্যাম্পল অ্যাপটি খুলুন এবং আপনার ডিভাইসে এটি চালান। এই অ্যাপটি অ্যান্ড্রয়েড কম্পোজ এলিমেন্ট ব্যবহার করে আপনার অ্যান্ড্রয়েড ডিভাইসে একটি ফাইন-টিউনড মডেলে ইনফারেন্স চালানো প্রদর্শন করে। অ্যাপটি ব্যবহারকারীর কাছ থেকে টেক্সট ইনপুট নেয় এবং ফাইন-টিউনড জেমা মডেলের জলদস্যু জ্ঞান ফেরত দেয়।

আপনার টেস্ট ডিভাইসে অ্যাপটি চালান, যেটিতে আপনি এইমাত্র .litertlm ফাইলটি পুশ করেছেন। একটি কোয়েরি লিখুন এবং সাদা স্পিচ বক্সে মডেলটির আউটপুট দেখুন।

নমুনা অ্যাপটির প্রধান স্ক্রিন

নমুনা কোড

ক্যাপ্টেন জেমা স্যাম্পল কোডে LiteRT-LM API ব্যবহার করে আপনার মডেল সেট আপ করার এবং ইনফারেন্স চালানোর উদাহরণ দেখুন।

ধাপ ৬: মডেল স্থাপন

আপনার কাস্টম মডেলের স্থানীয় পরীক্ষা শেষ হয়ে গেলে এবং ডেপ্লয় করার জন্য প্রস্তুত হলে, আপনার মডেলটি হোস্ট করার জন্য বিভিন্ন বিকল্প রয়েছে, যেমন: