سند زیر مشخصات طرح کوانتیزاسیون 8 بیتی LiteRT را تشریح می کند. این برای کمک به توسعه دهندگان سخت افزار در ارائه پشتیبانی سخت افزاری برای استنتاج با مدل های LiteRT کوانتیزه شده است.
خلاصه مشخصات
ما در حال ارائه مشخصات هستیم و فقط در صورت رعایت مشخصات می توانیم برخی از ضمانت های رفتار را ارائه دهیم. ما همچنین می‌دانیم که سخت‌افزارهای مختلف ممکن است اولویت‌ها و محدودیت‌هایی داشته باشند که ممکن است باعث ایجاد انحرافات جزئی در هنگام پیاده‌سازی مشخصات شوند که منجر به پیاده‌سازی‌هایی می‌شود که کمی دقیق نیستند. در حالی که این ممکن است در اکثر موارد قابل قبول باشد (و ما مجموعه ای از تست ها را ارائه خواهیم داد که تا جایی که می دانیم شامل تحمل به ازای هر عملیات است که از چندین مدل جمع آوری کرده ایم)، ماهیت یادگیری ماشین (و یادگیری عمیق در رایج ترین آنها) مورد) ارائه هر گونه تضمین سخت را غیرممکن می کند.
کوانتیزاسیون 8 بیتی مقادیر ممیز شناور را با استفاده از فرمول زیر تقریب می زند.
\[real\_value = (int8\_value - zero\_point) \times scale\]
هر محور (معروف به هر کانال در Conv ops) یا وزنهای هر تانسور با مقادیر مکمل int8 two در محدوده [-127, 127] با نقطه صفر برابر با 0 نشان داده می‌شوند. فعال‌سازی/ورودی‌های هر تانسور با نشان داده می‌شوند. مقادیر مکمل int8 two در محدوده [-128, 127] ، با نقطه صفر در محدوده [-128, 127] .
استثناهای دیگری برای عملیات خاص وجود دارد که در زیر مستند شده است.
عدد صحیح امضا شده در مقابل عدد صحیح بدون علامت
کوانتیشن LiteRT در درجه اول ابزارها و هسته ها را برای کوانتیزه سازی int8 برای 8 بیت اولویت بندی می کند. این برای راحتی کوانتیزاسیون متقارن است که با نقطه صفر برابر با 0 نشان داده می شود. علاوه بر این بسیاری از backendها بهینه سازی های اضافی برای انباشت int8xint8 دارند.
هر محور در مقابل هر تانسور
کوانتیزاسیون هر تانسور به این معنی است که در هر تانسور یک مقیاس و/یا نقطه صفر وجود خواهد داشت. کوانتیزاسیون در هر محور به این معنی است که یک مقیاس و/یا zero_point در هر برش در quantized_dimension وجود دارد. بعد کوانتیزه ابعاد شکل تانسور را مشخص می کند که مقیاس ها و نقاط صفر با آن مطابقت دارند. به عنوان مثال، یک تانسور t ، با dims=[4, 3, 2, 1] با پارامترهای کوانتیزاسیون: scale=[1.0, 2.0, 3.0] , zero_point=[1, 2, 3] , quantization_dimension=1 در عرض کوانتیزه می شود. بعد دوم t :
t[:, 0, :, :] will have scale[0]=1.0, zero_point[0]=1
t[:, 1, :, :] will have scale[1]=2.0, zero_point[1]=2
t[:, 2, :, :] will have scale[2]=3.0, zero_point[2]=3
غالباً، quantized_dimension output_channel وزن کانولوشن ها است، اما در تئوری می تواند بُعدی باشد که با هر نقطه-محصول در پیاده سازی هسته مطابقت دارد، و اجازه می دهد تا دانه بندی کمی بیشتر بدون پیامدهای عملکردی باشد. این پیشرفت های زیادی در دقت دارد.
TFLite دارای پشتیبانی از هر محور برای تعداد فزاینده ای از عملیات است. در زمان تهیه این سند، پشتیبانی از Conv2d و DepthwiseConv2d وجود دارد.
متقارن در مقابل نامتقارن
فعال‌سازی‌ها نامتقارن هستند: آنها می‌توانند نقطه صفر خود را در هر جایی در محدوده علامت‌گذاری شده int8 داشته باشند [-128, 127] . بسیاری از فعال‌سازی‌ها ماهیت نامتقارن دارند و نقطه صفر راهی نسبتاً ارزان برای رسیدن به یک بیت دودویی اضافی از دقت است. از آنجایی که فعال‌سازی‌ها فقط در وزنهای ثابت ضرب می‌شوند، مقدار ثابت نقطه صفر را می‌توان به شدت بهینه کرد.
وزن ها متقارن هستند: مجبور به داشتن نقطه صفر برابر با 0 هستند. مقادیر وزن در مقادیر ورودی پویا و فعال سازی ضرب می شوند. این بدان معنی است که ضرب نقطه صفر وزن با مقدار فعال سازی هزینه زمان اجرا اجتناب ناپذیری دارد. با اعمال نقطه صفر 0 می توانیم از این هزینه جلوگیری کنیم.
توضیح ریاضی: این شبیه به بخش 2.3 در arXiv:1712.05877 است، به جز این تفاوت که اجازه می دهیم مقادیر مقیاس در هر محور باشد. این به آسانی به شرح زیر تعمیم می یابد:
$A$ یک ماتریس $m \times n$ از فعال‌سازی‌های کوانتیزه است.
$B$ یک ماتریس $n \times p$ از وزنهای کوانتیزه است.
در نظر بگیرید که ردیف $j$th $A$، $a_j$ را در $k$th ستون $B$، $b_k$، هر دو به طول $n$، ضرب کنید. مقادیر عدد صحیح کوانتیزه شده و مقادیر نقطه صفر به ترتیب $q_a$، $z_a$ و $q_b$، $z_b$ هستند.
\[a_j \cdot b_k = \sum_{i=0}^{n} a_{j}^{(i)} b_{k}^{(i)} = \sum_{i=0}^{n} (q_{a}^{(i)} - z_a) (q_{b}^{(i)} - z_b) = \sum_{i=0}^{n} q_{a}^{(i)} q_{b}^{(i)} - \sum_{i=0}^{n} q_{a}^{(i)} z_b - \sum_{i=0}^{n} q_{b}^{(i)} z_a + \sum_{i=0}^{n} z_a z_b\]