Cihaz üzerinde makine öğrenimi (ML) test etme ve kıyaslama için AI Edge'in Google Cloud çözümü.
ML modeli performansını farklı mobil cihazlarda optimize etmek zor olabilir. Manuel test yavaştır, maliyetlidir ve çoğu geliştirici için genellikle erişilemez. Bu durum, gerçek dünyadaki model performansıyla ilgili belirsizliklere yol açar. Google AI Edge Portal, LiteRT modelinin çok çeşitli mobil cihazlarda karşılaştırmalı değerlendirilmesini sağlayarak bu sorunu çözer ve geliştiricilerin büyük ölçekli makine öğrenimi modeli dağıtımı için en iyi yapılandırmaları bulmasına yardımcı olur.
Mobil makine öğrenimi dağıtımını optimize etme
Çeşitli donanım ortamında test döngülerini basitleştirin ve hızlandırın: Model performansını yüzlerce temsili mobil cihazda dakikalar içinde kolayca değerlendirin.
Model kalitesini proaktif olarak sağlama ve sorunları erken tespit etme: Donanıma özgü performans farklılıklarını veya gerilemeleri (ör. belirli yonga setlerinde ya da bellek kısıtlamalı cihazlarda) dağıtımdan önce belirleyin.
Daha düşük cihaz testi maliyeti ve en yeni donanımlara erişim: Kendi laboratuvarınızı yönetmenin maliyeti ve karmaşıklığı olmadan çeşitli Android OEM'lerinden oluşan, sürekli büyüyen ve çeşitli fiziksel cihaz filolarında (şu anda 100'den fazla cihaz modeli) test yapın.
Güçlü, veriye dayalı kararlar ve iş zekası elde edin: Google Yapay Zeka Edge Portalı, zengin performans verileri ve karşılaştırmalar sunarak model optimizasyonuna güvenle rehberlik etmek ve dağıtıma hazır olma durumunu doğrulamak için gereken önemli iş zekasını sağlar.
Örnek karşılaştırma:
Google AI Edge Portal, LiteRT modellerinizi karşılaştırmanıza nasıl yardımcı olur?
Cihaz seçme: NPU desteği, cihaz katmanı, marka, yonga seti ve RAM gibi belirli donanım filtrelerini kullanarak geniş havuzumuzdan hedef cihazlarınızı seçin. Alternatif olarak, popüler cihaz listelerine anında erişmek için derlenmiş kısayollarımızı kullanın.
Yapılandırmalar Oluşturma: Karşılaştırma görevleriniz için CPU, GPU veya NPU hızlandırıcıları arasından seçim yapın.
Gelişmiş Özelleştirme: Seçtiğiniz hızlandırıcı için donanıma özgü ayarları düzenleyin veya varsayılan değerlerle devam edin.
NPU Desteği: Donanım hızlandırma özellikleri artık 30'dan fazla Qualcomm cihazının yer aldığı NPU'ları da içeriyor.
- Önceden derleme (AOT): Üretim düzeyinde performans için önerilir. Başlatma işlemini önemli ölçüde hızlandırır ve bellekte kaplanan yeri azaltır. Bu modda, cihaz seçiminizdeki her benzersiz SoC için derlenmiş modellerin sağlanması gerekir.
- Tam zamanında (JIT) derleme: Seçilen cihazlarda derleme için tek bir modeli destekler.
Modelleri Yükleme: Model dosyanızı kullanıcı arayüzünü kullanarak yükleyin veya Google Cloud Storage paketinize yönlendirin.
100'den Fazla Cihazda Yeni Bir Karşılaştırma Görevi Oluşturun. (Not: GIF, kısa olması için hızlandırılmış ve düzenlenmiştir.)
Buradan işinizi gönderin ve tamamlanmasını bekleyin. Hazır olduğunuzda etkileşimli kontrol panelindeki sonuçları inceleyin:
Yapılandırmaları karşılaştırma: Test edilen tüm cihazlarda farklı hızlandırıcılar kullanılırken performans metriklerinin (ör. ortalama gecikme, en yüksek bellek) nasıl değiştiğini hızlıca görselleştirin.
Cihaz etkisini analiz etme: Belirli bir model yapılandırmasının, seçilen cihaz aralığında nasıl performans gösterdiğini görün. Cihaz özellikleriyle ilişkili performans farklılıklarını hızlıca belirlemek için histogramları ve dağılım grafiklerini kullanın.
Ayrıntılı metrikler: Her bir cihaz için donanım özelliklerinin yanı sıra belirli metrikleri (başlatma süresi, çıkarım gecikmesi, bellek kullanımı) gösteren ayrıntılı ve sıralanabilir bir tabloya erişin. Model işlemlerinin çekirdeklere nasıl dağıtıldığını gösteren Hızlandırıcı Tahsisi tablosuyla donanım kullanımını doğrulayın (CPU ve GPU için kullanılabilir, NPU desteği yakında kullanıma sunulacaktır).
Etkileşimli kontrol panelinde karşılaştırma sonuçlarını görüntüleyin. (Not: GIF, kısa olması için hızlandırılmış ve düzenlenmiştir)
Google AI Edge Portal özel önizlemesine katılma
Google AI Edge Portalı, izin verilenler listesindeki Google Cloud müşterileri için gizli önizleme sürümünde kullanılabilir. Bu özel önizleme döneminde, önizleme şartlarına tabi olarak ücretsiz erişim sağlanır.
Bu önizleme, LiteRT ile mobil makine öğrenimi uygulamaları geliştiren ve çeşitli Android donanımlarında güvenilir karşılaştırma verilerine ihtiyaç duyan, ürünün geleceğini şekillendirmeye yardımcı olmak için geri bildirimde bulunmaya istekli geliştiriciler ve ekipler için idealdir. Erişim isteğinde bulunmak için kayıt formumuzu buradan doldurarak ilgilendiğinizi belirtin. Erişim, izin verilenler listesi aracılığıyla verilir.