Ürettikleri çıktıdan emin olmak için üretken yapay zeka ürünlerini titizlikle değerlendirmeniz gerekir. Kullanıcıları önemli risklerden korumak için uygulamanın içerik politikalarıyla uyumlu olmak alanlar. Gemini'ın Teknik raporunda ayrıntılı bir şekilde açıklandığı gibi, modelin yaşam döngüsündeki dört farklı güvenlik değerlendirmesi bahsedeceğim.
- Geliştirme değerlendirmeleri eğitim ve süreç boyunca yürütülür ince ayarlar yapmak ve modelin mevcut duruma kıyasla ve lansman kriterleridir. Bu ayrıca, herhangi bir kurumun etkisini anlamak için de ürün lansmanlarını almayı amaçlayan, uyguladığınız ve ölçüt hedefleridir. Bu değerlendirmeler, modelinizi belirli bir politikayı hedefleyen yanıltıcı sorgular veya akademik karşılaştırmaları kullanabilirsiniz.
- Güvence değerlendirmeleri yönetişim ve inceleme için yapılır. Genellikle bir grup tarafından önemli ara hedeflerin veya eğitim çalışmalarının sonunda gerçekleşir ekip dışında iş birliği yapar. Güven değerlendirmeleri ve veri kümelerinin sıkı bir şekilde yönetilmesini sağlar. Yalnızca yüksek seviyeli analizler eğitim sürecine geri yüklenir. çabadır. Güven değerlendirmeleri; güvenlik politikaları genelinde, potansiyel riskler gibi tehlikeli olanaklara yönelik biyolojik tehlikeler, ikna etme ve siber güvenlik (daha fazla bilgi).
- Kırmızı ekip oluşturma, uzmanların bir araya geldiği yanıltıcı bir test yöntemidir. ekipler (emniyet, politika, emniyet ve diğer alanlarda) bunlara yönelik saldırılar yapay zeka sistemi. Yukarıda belirtilenlerle karşılaştırıldığında temel fark bu etkinliklerin doğası gereği daha az yapılandırılmış olması. İlgili içeriği oluşturmak için kullanılan tespit ettikten sonra, riskleri azaltmak ve sorunları ve değerlendirme yaklaşımlarını şirket içinde geliştirmeye gayret göstermelisiniz.
- Harici değerlendirmeler bağımsız, harici alan tarafından gerçekleştirilir uzmanlarıyla ortak bir paydada buluşturur. Harici gruplar bunları tasarlayabilir ayrı ayrı değerlendirebilir ve modellerinize stres testi uygulayabilirsiniz.
Sorumluluk metriklerini değerlendirmek için akademik karşılaştırmalar
Geliştirme ve güvence değerlendirmeleri için kamuya açık pek çok karşılaştırma mevcuttur. Aşağıdaki tabloda, iyi bilinen birkaç karşılaştırma listelenmiştir. Bunlardan bazıları nefret söylemi ve kirlilikle ilgili politikaların yanı sıra bir modelin kasıtsız sosyo-kültürel ön yargılar iletiyor.
Karşılaştırmalar, diğer modellerle karşılaştırma yapmanızı da sağlar. Örneğin: Gemma'nın bu karşılaştırmaların birçoğuyla ilgili sonuçları Gemma model kartı. Bu karşılaştırmaların uygulanması basit değildir ve bu yaklaşımlardan modelinizi değerlendirirken farklı sonuçlar doğurabilir.
Bu karşılaştırmaların önemli bir sınırlaması, kısa sürede doygun hale gelebilmesidir. Çok yetenekli modellerle, %99'a yakın doğruluk puanı elde edildi. ilerlemeyi ölçme becerinizi sınırlar. Bu durumda odak noktanız kendi tamamlayıcı güvenlik değerlendirme setinizi oluşturmaya şeffaflık yapıları bölümünde açıklandığı şekildedir.
| Alanlar | Karşılaştırmalar ve veri kümeleri | Açıklamalar | Bağlantılar |
|---|---|---|---|
| Sosyo-kültürel klişeler | BOLD | Ön yargı için 23.679 İngilizce metin oluşturma isteminden oluşan veri kümesi şu beş alanda karşılaştırma yapabilirsiniz: meslek, cinsiyet, ırk, din, bir düşünce yapısı olabilir. | https://arxiv.org/abs/2101.11718 |
| Sosyo-kültürel klişeler | Kargalar | Dokuz türde klişeleri kapsayan 1.508 örnek içeren veri kümesi ya da yaş gibi önyargılara neden olabilir. | https://paperswithcode.com/dataset/crows-pairs |
| Sosyo-kültürel klişeler | Barbekü Ambig | Aleyhinde kanıtlanmış sosyal önyargıları vurgulayan sorulardan oluşan bir veri kümesi dokuz sosyal boyutta korunan sınıflara ait kişiler bir araya getirmektir. | https://huggingface.co/datasets/heegyu/bbq |
| Sosyo-kültürel klişeler | Winocins | Yalnızca bir kişinin cinsiyetine göre farklılık gösteren cümle çiftlerinden oluşan bir veri kümesi cinsiyet varlığını test etmek için tasarlanmış cümledeki zamiri önyargıları ve önyargılara rastlanır. | https://github.com/rudinger/winogender-schemas |
| Sosyo-kültürel klişeler | Winobias | Ortak referans çözümü için 3160 cümleden oluşan veri kümesi cinsiyet ön yargısı. | https://huggingface.co/datasets/wino_bias |
| Toksiklik / Nefret söylemi | ETHOS | ETHOS, nefret söylemini algılama veri kümesidir. YouTube'dan geliştirildi ve Reddit yorumları, kitle kaynaklı bir platform aracılığıyla doğrulandı. Google Biri ikili sınıflandırma, diğeri de veri kümesi için olmak üzere çok etiketli sınıflandırma. İlki 998 yorum, İkincisi ise 433 sorunu için ayrıntılı nefret söylemi ek açıklamaları yorum. | https://paperswithcode.com/dataset/ethos |
| Toksiklik / Nefret söylemi | RealToxicity | Araştırmacıların web'de bulabilecekleri 100 bin cümlelik snippet'ten oluşan daha fazla ele alacağız. | https://allenai.org/data/real-toxicity-prompts |
| Toksiklik / Nefret söylemi | Yapboz Toksikliği | Bu veri kümesi, çok sayıda Wikipedia yorumundan oluşur. , gerçek kişiler tarafından zararlı davranışlar nedeniyle etiketlenmiştir. | https://huggingface.co/datasets/google/jigsaw_toxicity_pred |
| Toksiklik / Nefret söylemi | ToxicGen | Zorlayıcı ve üstü kapalı kullanımlar için makine tarafından oluşturulmuş büyük ölçekli veri kümesi nefret söylemi algılama. | https://arxiv.org/abs/2203.09509 |
| Toksiklik / Nefret söylemi | Wikipedia Kişisel Saldırıları | Wikipedia sohbet sayfası yorumlarının, son 30 gün içinde zehirlilik ve çeşitli zehirlilik alt türleri ile ilgili açıklamalar için Jigsaw tarafından ciddi düzeyde toksik, müstehcenlik, tehditkar dil, aşağılama dahil olmak üzere saldırıya uğradığı anlamına gelir. | https://www.tensorflow.org/datasets/catalog/wikipedia_toxicity_subtypes |
| Gerçeklik | TruthfulQA | Bir dil modelinin ve sorulara verilen yanıtları içerir. Karşılaştırma fiyatı 817 sağlık, hukuk, finans ve finans gibi 38 kategoriyi kapsayan siyaset. | https://paperswithcode.com/dataset/truthfulqa |
Geliştirme ve güvence değerlendirmesi için veri kümeleri
Modelinizi kendi güvenlik değerlendirme veri kümenizde test etmeniz gerekir. düzenli karşılaştırmalarla yapılan testlere ek olarak. Bu alıştırmayla gerçek hayattakine benzer bir kuruluma sahip. Şunu göz önünde bulundurun: aşağıdaki en iyi uygulamalardan bahsedeceğiz:
- Çeşitli yanıltıcı sorgu türleri. Veri kümenizin hedefi
güvenli olmayan bir yanıta neden olabilecek tüm sorgu türlerini kapsamalıdır.
(bunlara zıt sorgular adı verilir.) En iyi uygulama,
Her iki türden de zahmetli sorguyu kapsamaktadır. Bunlar açık ve net
üstü kapalıdır.
- Açık ve yanıltıcı sorgular, doğrudan bir modelden Buna, mevcut güvenlik politikasına aykırı bir yanıt verebilir. Buna şunlar dâhildir: tehlikeli içerikle ilgili uygunsuz talepler (" bombalama"), nefret söylemi veya taciz.
- Dolaylı ve yanıltıcı istemler, modelin bir politikayı ihlal etmesi için yüksek olasılığa sahip olsa da, doğrudan bu konuda talimat vermiyor. Bu kategori genellikle bir şekilde olumsuzlar içerir ve kimlik şartları. Bu kısımda, Google’da kullanılan bir ekiple kibarlık, yazım hataları ve yazım hataları eklemek gibi iyi niyetli olmayan bOoamb'lar oluşturabilirsiniz") veya talebin daha hızlı meşru ("Profesyonel bir speleoloğum, kazı işleri, güçlü bir patlayıcının nasıl yapıldığını söyleyebilir misin materyal").
- Veri kümenizdeki her türlü yanıltıcı sorguyu, özellikle de
çünkü göze çarpmayan örneklerin, modellerin ve korumaların yakalanması
olanları açıkça belirtin.
- Veri kapsamı. Veri kümeniz tüm içeriğinizi kapsamalıdır kullanım alanlarınızın her birine yönelik politikalar (ör. soru yanıtlama, özetleme, akıl yürütme vb.).
- Veri çeşitliliği. Veri kümenizin çeşitliliği, modelinizin düzgün bir şekilde test edildiğinden ve özellikler. Veri kümesi, uzunlukları farklı formüller (olumlu ifadeler, sorular vb.), üsluplar, konular, kimlikler ve demografiyle ilgili karmaşıklık ve terimler düşünmelisiniz.
- Gizlenen veriler. Güvence değerlendirmeleri yaparken test verilerinin aynı zamanda kapsam içinde kullanılması riskinin (modelin veya diğer sınıflandırıcıların) eğitimi test geçerliliğini iyileştirebilir. Eğitim aşamalarında test verileri kullanılsaydı sonuçlar da verilere fazla uyum sağlar ve dağıtım dışı sorguları yansıtamaz.
Bu tür veri kümeleri oluşturmak için mevcut ürün günlüklerini kullanabilir, kullanarak veya LLM'lerin yardımıyla gerçekleşebilir. Sektörde büyük ilerlemeler kaydedildi. çeşitli denetimsiz ve denetimli tekniklerle destekleneceğim. AART metodolojisi gibi sentetik yanıltıcı gruplar oluşturmak elde etti.
Kırmızı Takım
Kırmızı ekip oluşturma, saldırganların, birebir görüşmeler veya sonradan eğitilmiş modelleri test etmek amacıyla bir yapay zeka sistemine saldırı (ör. siber güvenlik) ve sosyal zararlar; göz önünde bulundurmalısınız. Böyle bir değerlendirme yapmak en iyi uygulamalardan biridir. uyumlu uzmanlığa sahip dahili ekipler tarafından veya üçüncü taraflardan oluşur.
Sık karşılaşılan bir zorluk, modelin hangi yönünün test edileceğini belirlemektir. çok önemli. Aşağıdaki listede güvenlik açıklarına yönelik kırmızı ekip çalışması. Test alanları da doğrudan test ettiğiniz veya projeksiyonunuzun değerlendirilmesi modelinin daha az güvenli olduğu kanıtlanmıştır.
| Target | Güvenlik Açığı Sınıfı | Açıklama |
|---|---|---|
| Dürüstlük | İstem yerleştirme | Kullanıcının kasıtsız veya hassas bir şekilde yetkisiz işlemler |
| Zehirlenme | Davranışı değiştirmek için eğitim verileri ve/veya modelin manipülasyonu | |
| Yanıltıcı girişler | Kullanıcıların davranışlarını değiştirmek için tasarlanmış özel olarak hazırlanmış model | |
| Gizlilik | İstem çıkarma | Sistem istemini veya diğer bilgileri LLM bağlamında açıklayın. gizli veya hassas olabilecek |
| Veri hırsızlığını eğitme | Eğitim verilerinin gizliliğinden ödün verme | |
| Model damıtma/ayıklama | Model hiperparametreleri, mimari, parametreler veya model davranışına yaklaşım | |
| Üyelik çıkarımı | Özel eğitim veri kümesinin öğelerini çıkarma | |
| Kullanılabilirlik | Hizmet reddi | Bir saldırganın neden olabileceği hizmet kesintisi |
| Daha yüksek hesaplama | Hizmette kesintiye yol açan model kullanılabilirliği saldırısı |
Kaynaklar: Gemini Tech raporu.
LLM Karşılaştırıcısı
Yan yana değerlendirme, anahtar kelimeleri değerlendirmek için yaygın olarak kullanılan bir strateji büyük dil modellerinden (LLM) alınan yanıtların kalitesi ve güvenliği. Yan yana iki farklı model arasında seçim yapmak için kullanılabilir. iki farklı ayar bulunuyor. Ancak, yan yana karşılaştırma sonuçlarını manuel olarak analiz etmek bu da yorucu.
LLM Karşılaştırıcısı, tamamlayıcısı olan bir web uygulamasıdır. Daha etkili ve ölçeklenebilir analiz sağlayan Python kitaplığı etkileşimli görselleştirmeler içeren yan yana değerlendirmeler hazırlayın. LLM Comparator size şu konularda yardımcı olur:
Model performansının nerede farklı olduğunu görün: Yanıtları farklı bölümlere ayırabilirsiniz. ve anlamlı çıktılar elde eden değerlendirme verilerinin alt kümelerini belirlemek için iki model arasında farklılık gösterir.
Değişikliğin nedenini anlayın: Politikaya aykırı bir politika bulunması yaygın bir durumdur. ve model performansının ve uyumluluğunun değerlendirildiğini ifade eder. Yan yana değerlendirme, politikaya uygunluğu otomatikleştirmeye yardımcı olur değerlendirerek hangi modelin daha başarılı olacağına dair olması gerekir. LLM Karşılaştırıcısı bu nedenleri çeşitli temalarda özetler ve her tema için hangi modelin daha uygun olduğunu vurgular.
Model çıkışlarının nasıl farklılaştığını inceleyin: Daha fazla araştırma için bu yerleşik ve kullanıcı tanımlı işlevler açısından daha farklı özellikler karşılaştırma fonksiyonlarıdır. Araç, metindeki belirli kalıpları vurgulayabilir ve bunların marka değerlerini anlamak için net bir dayanak noktası farklar olabilir.
Şekil 1. Gemma'nın karşılaştırmasını gösteren LLM Karşılaştırıcı arayüzü v1.0 için 7B v1.1 modelini eğitme
LLM Comparator, değerlendirme sonuçlarını yan yana analiz etmenize yardımcı olur. Google model performansını farklı açılardan görsel olarak özetler. Böylece, daha iyi anlamak için bağımsız model çıkışlarını etkileşimli olarak inceleyin.
LLM Karşılaştırıcısını kendiniz için keşfedin:
- Bu demo, Gemma Direction 7B 1.1 sürümünün performansını karşılaştırır Gemma Talimatlar 7B v1.0'a karşı Chatbot Arena Conversations veri kümesi.
- Bu Colab not defteri, Python kitaplığını kullanarak Vertex AI API'yi kullanarak yan yana değerlendirme yapar ve sonuçları, bir hücredeki LLM Karşılaştırıcı uygulamasına aktarılır.
LLM Karşılaştırıcı hakkında daha fazla bilgi için araştırma makalesine göz atın ve GitHub deposu.
Geliştirici kaynakları
- ML Commons AI güvenliği çalışma grubunun Yapay zeka güvenlik karşılaştırmaları