Üretken yapay zeka uygulamaları genellikle giriş ve çıkış veri filtrelemesine dayanır. sorumlu bir model sunmaya yardımcı olmak için bazen güvenlik önlemleri olarak adlandırılır gösterir. Giriş ve çıkış filtreleme teknikleri, belirli bir sayfaya giden veya gerçekleştirdiğiniz politikalara uygun olması, tanımlamanız gerekir. Giriş sınıflandırıcıları genellikle veya projenizde kullanılmak üzere tasarlanmamış modelinizin güvenlik politikalarınızı ihlal etmesine neden olur. Giriş filtreleri genellikle hedefler içerik politikalarınızı atlatmaya çalışan yanıltıcı saldırılar. çıktı sınıflandırıcılar, güvenlik eğitimi daha fazla filtresiyle çalışır güvenlik politikalarınızı ihlal edebilecek şekilde üretilen çıkışları yakalamak için aşağıdaki adımları uygulayabilirsiniz. Tüm içerik politikalarınızı kapsayan sınıflandırıcılara sahip olmanız önerilir.
Hazır teminatlar
Güvenlik için yapılan önceki ayarlamalarda ve iyi tasarlanmış bir istem şablonuyla bile, yine de modelinizin istenmeyen zarara neden olacak içerikler üretmesi mümkündür. Hazır içerik sınıflandırıcılar, belirli politika ihlali türleri için bu potansiyeli daha da artırabilirsiniz.
ShieldGemma
ShieldGemma, talimatlarla ayarlanmış hazır, açık Gemma 2'ye dayalı olarak geliştirilen ve yayınlanabilen içerik sınıflandırıcı modellerine ağırlık verir. tarafından sağlanan, model tarafından oluşturulmuş veya karma içeriklerin herhangi bir politikayı ihlal edip etmediğini İçerik Güvenliği Politikası. ShieldGemma, dört zararı (cinsel cinsel içerik) tanımlayacak şekilde eğitildi cinsel içerik, tehlikeli içerik, taciz ve nefret söylemi) üç başlıkta ele alınır. şunları yapmanıza olanak tanıyan beden sınıfı varyantları (2B, 9B ve 27 milyar parametreleri) hızı, performansı ve genelleştirilebilirliği ihtiyaçlarınızı karşılayacak şekilde dengeleyerek dağıtım. Modelle ilgili daha fazla bilgi için model kartına bakın. 1,5'tir.
ShieldGemma ile modellerinizi koruyun
![]() |
![]() |
ShieldGemma modellerini aşağıdaki çerçevelerde kullanabilirsiniz.
- Model kontrol noktalarının bulunduğu KerasNLP Kaggle. Şu bölüme göz atın: Başlamak için Kras Colab'de SheldGemma'yı kullanın.
- Model kontrol noktaları bulunan Hugging Face Transformers (Yüz Dönüştürücüler İçin) Hugging Face Hub'dan. Şu bölüme göz atın: Transformers Colab'de SheldGemma'yı kullanarak başladı.
API tabanlı
Google, içerik güvenliği için API tabanlı sınıflandırıcılar sunar. sistem giriş ve çıkışlarını filtreleyin:
- Perspective API, makine öğrenimi ve veri için bir yorumun olası satın alma üzerindeki olası etkisini puanlamayı yardımcı olur. Bir müşterinin bir hedefe ulaşma olasılığını Yorum toksik, tehdit edici, aşağılayıcı veya konu dışı.
- Metin Denetleme Hizmeti bir Google Cloud API'dir. belirli bir sınırın altında kullanılabilir ve makine öğrenimini kullanarak bir belgeyi güvenlik listesindeki zararlı olabilecek çeşitli kategoriler ve konular dahil olmak üzere hassas olarak değerlendirilebilir.
Hazır sınıflandırıcıların politikanıza ne kadar uygun olduğunu değerlendirmek önemlidir. ve başarısızlık durumlarını nitel olarak değerlendirebilirsiniz. Proje hedeflerinizin aşırı filtrelemenin istenmeyen zararlara neden olabileceğini yardımcı olduğunu gösterir; bu da uygulamayı kullanmak için bazı durumlara örnek olarak verilebilir. Bu tür değerlendirmeler hakkında Modeli ve sistemi güvenlik açısından değerlendirme bölümüne bakın.
Özelleştirilmiş güvenlik sınıflandırıcıları oluşturma
Hazır koruma yazılımlarının aşağıdakiler için uygun olmamasının birkaç nedeni vardır: örneğin desteklenmeyen bir politikaya sahip olma veya desteklenmeyen bir politikaya sahip olma sisteminizi etkilediğini gözlemlediğiniz verilerle güvenlik önlemlerinizi daha da artırmalısınız. İçinde Bu durumda, çevik sınıflandırıcılar, başarılı ve Bu gibi modellerde ince ayarlar yaparak özel koruma önlemleri oluşturmaya yönelik esnek çerçeve Gemma'yı tercih edebilirsiniz. Ayrıca, kontrollerin nerede ve ne zaman nasıl dağıtıldıklarına bakalım.
Gemma Çevik Sınıflandırıcı Eğiticileri
![]() |
![]() |
Çevik sınıflandırıcılar, codelab ve bir Gemma'da ince ayar yapmak için LoRA'yı kullanan eğitim KerasNLP kullanarak bir içerik moderasyonu sınıflandırıcısı işlevi görecek bir model oluşturun. kitaplığını tanıtır. ETHOS veri kümesinden yalnızca 200 örnek kullanıldığında, sınıflandırıcının F1 puanı 0,80 ve ROC-AUC puanı elde etmesi Bu, son teknolojiye göre olumlu yönde bir durumdur. Skor tablosu sonuçları. 800 örnekle eğitildiğinde, Leaderboard'daki diğer sınıflandırıcılar, yani Gemma tabanlı çevik sınıflandırıcı, F1 puanı 83,74, ROC-AUC puanı ise 88,17'dir. Her bir URL'yi bu sınıflandırıcıyı daha da hassaslaştırmak veya kendi sınıflandırıcınızı oluşturmak için eğitim talimatları özel güvenlik sınıflandırıcı teminatları.
Güvenlik önlemleri ayarlamayla ilgili en iyi uygulamalar
Önlem olarak güvenlik sınıflandırıcılarının kullanılması önemle tavsiye edilir. Ancak, üretken modelin olası her şey için hiçbir şey (içerik engellenmişse) kullanıcı tarafından belirlenir. Uygulamaların bunu işleyecek şekilde tasarlanması gerekir. dava açın. Çoğu popüler chatbot'lar bunu hazır yanıtlar vererek ("Ben "Ben bir dil modeliyim, bu istek konusunda size yardımcı olamıyorum").
Faydalı olma ve zararsızlık arasında doğru dengeyi bulun: bu sınıflandırıcıların hata yapabileceğini, İki yanlış pozitif de dahil olmak üzere (ör. bir çıktıyı içeren bir çıkış üzerinde hak iddia etmek değil) ve yanlış negatifler (güvenli değil) olarak etiketlenmemesi. Ölçüt sınıflandırıcıları F1, Hassasiyet, Geri çağırma ve AUC-ROC gibi metriklerle değerlendirerek yanlış pozitif ve yanlış seçiminden nasıl uzak duracağınızı belirleyebilirsiniz negatif hatalar oluşturabilir. Sınıflandırıcıların eşiğini değiştirerek çıktıları aşırı filtrelemeden kaçınarak aynı zamanda etkili bir denge yardımcı olur.
Sınıflandırıcılarınızı istenmeyen sapmalara karşı kontrol edin: sosyo-kültürel ve teknikler gibi istenmeyen önyargıları yayabilirler. klişeler var. Uygulamaların potansiyel olarak sorunlu davranışlara işaret eder. Özellikle, içerik güvenliği sınıflandırıcıları, daha fazla ilişkili olan kimliklerle alakalı içeriklerde internette kötüye kullanım dili hedefi. Örneğin, Perspective API, model ilk kullanıma sunulduğunda, yorumlarda daha yüksek toksisite puanları döndürdü. Belirli kimlik gruplarına referans verme (blog). Aşırı tetikleyici Örneğin, daha fazlası için kimlik terimlerinden bahseden yorumlar, sık sık hedeflenen gruplar (ör. "Siyah", "Müslüman", "feminist", "kadın", "gay" vb.) doğaları gereği genellikle toksikdir. Veri kümeleri, sınıflandırıcıları, bazı özel öğeleri içeren yorumlar için sınıflandırıcılar, aşırı genelleme yapabilir ve bu kelimeleri içeren tüm yorumları riskleri kabul eder. Jigsaw ekibinin nasıl çalıştığını öğrenin azaltmalarını sağlayabilir.
Geliştirici Kaynakları
- Perspective API: Zararlı içerikleri tespit etmek için.
- Metin denetleme hizmeti: Google Cloud müşterileri içindir.