LiteRT সহ Google Tensor (EdgeTPU)

গুগল টেনসর হলো গুগল পিক্সেল ফোনে এআই মডেল চালানোর জন্য বিশেষভাবে ডিজাইন করা একটি সিস্টেম-অন-চিপ (SoC)। টেনসরকে কম্পিউটেশনাল দক্ষতা এবং ন্যূনতম শক্তি খরচের জন্য অপ্টিমাইজ করা হয়েছে। এটি টিপিইউ (টেনসর প্রসেসিং ইউনিট) নামক একটি ডেডিকেটেড এমএল ইনফারেন্স অ্যাক্সিলারেটর ব্যবহার করে, যা গুগল টেনসর এসডিকে-এর মাধ্যমে অ্যাক্সেস করা যায়।

গুগল টেনসর এসডিকে বিটা-তে অ্যাক্সেস পেতে সাইন আপ করুন।

গুগল টেনসর এসডিকে হলো একটি সফটওয়্যার ডেভেলপমেন্ট কিট, যা কাস্টম টেনসর সিস্টেম-অন-চিপ (SoC) এবং এর ডেডিকেটেড টিপিইউ ইনফারেন্স অ্যাক্সেলারেটর ব্যবহার করে গুগল পিক্সেল ফোনের জন্য অন-ডিভাইস মেশিন লার্নিং অপ্টিমাইজ করার উদ্দেশ্যে তৈরি করা হয়েছে। এই এসডিকে-টি এমন একগুচ্ছ টুলস সরবরাহ করে যা ডেভেলপারদের মডেল গার্ডেন -এ থাকা কিউরেটেড ওপেন-সোর্স মডেলগুলো অ্যাক্সেস করতে সাহায্য করে। এই কিটটি মডেলগুলোকে টিপিইউ-কম্প্যাটিবল ফরম্যাটে কম্পাইল করার সুবিধাও প্রদান করে।

নিবন্ধন করুন

মূল বৈশিষ্ট্য

• পিক্সেল ডিভাইসগুলিতে কার্যকর এমএল ইনফারেন্সের জন্য ডেডিকেটেড টিপিইউ হার্ডওয়্যারে সরাসরি অ্যাক্সেস ।
• মডেল গার্ডেন -এ এসডিকে-র জন্য অপ্টিমাইজ করা নির্বাচিত ওপেন-সোর্স মডেলসমূহ।

উন্নয়ন পরিবেশ সেট আপ করুন

গুগল টেনসর এসডিকে ব্যবহারের জন্য প্রয়োজনীয় হার্ডওয়্যার ও সফ্টওয়্যার স্পেসিফিকেশন এবং পূর্বশর্তগুলো নিচে দেওয়া হলো:

সমর্থিত SoC-গুলি

গুগল টেনসর এসডিকে নিম্নলিখিত এসওসি-গুলো সমর্থন করে:

• গুগল টেনসর জি৫ (টেনসর_জি৫)

পরবর্তী পদক্ষেপ

1. LiteRT ব্যবহার করে NPU অ্যাক্সিলারেশনের জন্য রূপান্তর এবং স্থাপনের ধাপগুলো অনুসরণ করুন এবং প্রযোজ্য ক্ষেত্রে Google Tensor বেছে নিন।

2. ল্যাঙ্গুয়েজ মডেলের জন্য, LiteRT-LM ব্যবহার করে NPU-তে LLM এক্সিকিউট করুন দেখুন।