Solusi Google Cloud AI Edge untuk menguji dan membandingkan machine learning (ML) di perangkat dalam skala besar.
Mengoptimalkan performa model ML di berbagai perangkat seluler dapat menjadi tantangan. Pengujian manual lambat, mahal, dan sering kali tidak dapat diakses oleh sebagian besar developer, sehingga menyebabkan ketidakpastian dalam performa model di dunia nyata. Portal AI Edge Google memecahkan masalah ini dengan mengaktifkan tolok ukur model LiteRT di berbagai perangkat seluler, sehingga membantu developer menemukan konfigurasi terbaik untuk deployment model ML skala besar.
Mengoptimalkan deployment ML seluler
Menyederhanakan & mempercepat siklus pengujian di berbagai lanskap hardware: Menilai performa model dengan mudah di ratusan perangkat seluler representatif dalam hitungan menit.
Memastikan kualitas model secara proaktif & mengidentifikasi masalah sejak dini: Menentukan variasi atau regresi performa khusus hardware (seperti pada chipset tertentu atau perangkat dengan batasan memori) sebelum deployment.
Biaya pengujian perangkat yang lebih rendah & akses ke hardware terbaru: Lakukan pengujian di berbagai perangkat fisik yang terus bertambah (saat ini lebih dari 100 model perangkat dari berbagai OEM Android) tanpa biaya dan kerumitan dalam mengelola lab Anda sendiri.
Buat keputusan dan intelijen bisnis berbasis data yang efektif: Portal Edge AI Google memberikan data dan perbandingan performa yang kaya, sehingga memberikan intelijen bisnis penting yang diperlukan untuk memandu pengoptimalan model dengan percaya diri dan memvalidasi kesiapan deployment.
Contoh tolok ukur:
Cara Google AI Edge Portal membantu Anda mengukur performa model LiteRT
Pilih perangkat: Pilih perangkat target Anda dari kumpulan luas kami menggunakan filter hardware tertentu—termasuk dukungan NPU, tingkat perangkat, merek, chipset, dan RAM. Atau, gunakan pintasan pilihan kami untuk akses instan ke daftar perangkat populer.
Buat Konfigurasi: Pilih antara akselerator CPU, GPU, atau NPU untuk tugas benchmarking Anda.
Penyesuaian Lanjutan: Sesuaikan setelan khusus hardware untuk akselerator yang Anda pilih atau lanjutkan dengan nilai default.
Dukungan NPU: Kemampuan akselerasi hardware kini mencakup NPU, yang menampilkan lebih dari 30 perangkat Qualcomm.
- Kompilasi Ahead-Of-Time (AOT): Direkomendasikan untuk performa tingkat produksi, yang memberikan inisialisasi yang jauh lebih cepat dan footprint memori yang lebih rendah. Mode ini mengharuskan Anda menyediakan model yang dikompilasi untuk setiap SoC unik dalam pilihan perangkat Anda.
- Kompilasi Tepat Waktu (JIT): Mendukung satu model untuk kompilasi di seluruh perangkat yang dipilih.
Upload Model: Upload file model Anda menggunakan UI atau tunjuk file tersebut di bucket Google Cloud Storage Anda.
Buat Tugas Benchmark Baru di Lebih dari 100 Perangkat. (Catatan: GIF dipercepat dan diedit agar lebih singkat)
Dari sana, kirimkan tugas Anda dan tunggu hingga selesai. Setelah siap, jelajahi hasilnya di Dasbor Interaktif:
Membandingkan konfigurasi: Memvisualisasikan dengan cepat perbedaan metrik performa (misalnya, latensi rata-rata, memori puncak) saat menggunakan akselerator yang berbeda di semua perangkat yang diuji.
Analisis dampak perangkat: Lihat performa konfigurasi model tertentu di seluruh rentang perangkat yang dipilih. Gunakan histogram dan diagram sebar untuk mengidentifikasi variasi performa yang terkait dengan karakteristik perangkat secara cepat.
Metrik mendetail: Akses tabel mendetail yang dapat diurutkan dan menampilkan metrik tertentu (waktu inisialisasi, latensi inferensi, penggunaan memori) untuk setiap perangkat, beserta spesifikasi hardware-nya. Verifikasi penggunaan hardware dengan tabel Alokasi Akselerator, yang menunjukkan cara operasi model didistribusikan di seluruh kernel (tersedia untuk CPU dan GPU, dengan dukungan NPU akan segera hadir).
Lihat Hasil Benchmark di Dasbor interaktif. (Catatan: GIF dipercepat dan diedit agar lebih singkat)
Bergabung dengan pratinjau pribadi Google AI Edge Portal
Google AI Edge Portal tersedia dalam pratinjau pribadi untuk pelanggan Google Cloud yang masuk dalam daftar yang diizinkan. Selama periode pratinjau pribadi ini, akses diberikan tanpa biaya, tunduk pada persyaratan pratinjau.
Pratinjau ini ideal untuk developer dan tim yang membuat aplikasi ML seluler dengan LiteRT yang memerlukan data tolok ukur yang andal di berbagai hardware Android dan bersedia memberikan masukan untuk membantu membentuk masa depan produk. Untuk meminta akses, lengkapi formulir pendaftaran kami di sini untuk menyatakan minat. Akses diberikan melalui daftar yang diizinkan.