Cilësimet e sigurisë

API-ja e Gemini ofron cilësime sigurie që mund t'i rregullosh gjatë fazës së prototipit për të përcaktuar nëse aplikacioni yt kërkon një konfigurim sigurie më kufizues ose më pak kufizues. Mund t'i rregullosh këto cilësime në katër kategori filtrash për të kufizuar ose lejuar lloje të caktuara përmbajtjesh.

Ky udhëzues mbulon mënyrën se si API-ja e Gemini i administron cilësimet e sigurisë dhe filtrimin, si dhe mënyrën se si mund t'i ndryshosh cilësimet e sigurisë për aplikacionin tënd.

Filtrat e sigurisë

Filtrat e rregullueshëm të sigurisë të Gemini API mbulojnë kategoritë e mëposhtme:

Këto kategori janë përcaktuar në HarmCategory. Mund t'i përdorësh këta filtra për të rregulluar atë që është e përshtatshme për rastin tënd të përdorimit. Për shembull, nëse po krijon dialogun e një videoloje, mund ta konsiderosh të pranueshme të lejosh më shumë përmbajtje që janë vlerësuar si Të rrezikshme për shkak të natyrës së lojës.

Përveç filtrave të rregullueshëm të sigurisë, Gemini API ka mbrojtje të integruara kundër dëmeve kryesore, si p.sh. përmbajtjet që rrezikojnë sigurinë e fëmijëve. Këto lloje dëmesh bllokohen gjithmonë dhe nuk mund të rregullohen.

Niveli i filtrimit të sigurisë së përmbajtjes

Gemini API kategorizon nivelin e probabilitetit që përmbajtja të jetë e pasigurt si HIGH, MEDIUM, LOW ose NEGLIGIBLE.

API-ja e Gemini bllokon përmbajtjet bazuar në probabilitetin që përmbajtjet të jenë të pasigurta dhe jo në ashpërsinë e tyre. Kjo është e rëndësishme të merret parasysh sepse disa përmbajtje mund të kenë probabilitet të ulët që të jenë të pasigurta, megjithëse ashpërsia e dëmit mund të jetë ende e lartë. Për shembull, krahasimi i fjalive:

1. Roboti më goditi me grusht.
2. Roboti më preu.

Fjalia e parë mund të rezultojë në një probabilitet më të lartë për të qenë e pasigurt, por ti mund ta konsiderosh fjalinë e dytë si me një nivel më të lartë ashpërsie në lidhje me dhunën. Duke pasur parasysh këtë, është e rëndësishme që të testosh me kujdes dhe të marrësh parasysh se cili është niveli i duhur i bllokimit që nevojitet për të mbështetur rastet e tua kryesore të përdorimit ndërkohë që minimizon dëmin për përdoruesit fundorë.

Filtrimi i sigurisë për kërkesë

Mund t'i rregullosh cilësimet e sigurisë për çdo kërkesë që bën në API. Kur bën një kërkesë, përmbajtja analizohet dhe i caktohet një vlerësim sigurie. Vlerësimi i sigurisë përfshin kategorinë dhe probabilitetin e klasifikimit të dëmit. Për shembull, nëse përmbajtja është bllokuar për shkak se kategoria e ngacmimit ka një probabilitet të lartë, vlerësimi i sigurisë i kthyer do të ketë kategori të barabartë me HARASSMENT dhe probabilitetin e dëmtimit të caktuar në HIGH.

Për shkak të sigurisë së natyrshme të modelit, filtrat shtesë janë Joaktivë si parazgjedhje. Nëse zgjedh t'i aktivizosh, mund ta konfigurosh sistemin që të bllokojë përmbajtjet bazuar në mundësinë që ato të jenë të pasigurta. Sjellja e parazgjedhur e modelit mbulon shumicën e rasteve të përdorimit, kështu që duhet t'i rregullosh këto cilësime vetëm nëse kërkohet qëndrueshmëri për aplikacionin tënd.

Tabela e mëposhtme përshkruan cilësimet e bllokimit që mund të rregullosh për çdo kategori. Për shembull, nëse e cakton cilësimin e bllokimit në Blloko pak për kategorinë Gjuhë urrejtjeje, çdo gjë që ka probabilitet të lartë të jetë përmbajtje me gjuhë urrejtjeje bllokohet. Por çdo gjë me një probabilitet më të ulët lejohet.

Nëse pragu nuk është caktuar, pragu i parazgjedhur i bllokimit është Joaktiv për Gemini 2.5 dhe modelet e mëvonshme.

Mund t'i caktosh këto cilësime për çdo kërkesë që bën për shërbimin gjenerues. Shiko referencën e API-së së HarmBlockThreshold për detaje.

Komentet për sigurinë

generateContent kthen një GenerateContentResponse që përfshin komente për sigurinë.

Komentet për kërkesën janë përfshirë në promptFeedback. Nëse është caktuar promptFeedback.blockReason, atëherë përmbajtja e kërkesës është bllokuar.

Komentet për kandidatët për përgjigje janë të përfshira në Candidate.finishReason dhe Candidate.safetyRatings. Nëse përmbajtja e përgjigjes është bllokuar dhe finishReason ishte SAFETY, mund të kontrollosh safetyRatings për më shumë detaje. Përmbajtja që u bllokua nuk kthehet.

Rregullo cilësimet e sigurisë

Ky seksion mbulon mënyrën se si të rregullosh cilësimet e sigurisë në Google AI Studio dhe në kodin tënd.

Google AI Studio

Mund t'i rregullosh cilësimet e sigurisë në Google AI Studio.

Kliko Cilësimet e sigurisë te Cilësimet e përparuara në panelin Cilësimet e ekzekutimit për të hapur modalen Cilësimet e sigurisë të ekzekutimit. Në modal, mund të përdorësh rrëshqitësit për të rregulluar nivelin e filtrimit të përmbajtjes për çdo kategori sigurie:

Kur dërgon një kërkesë (për shembull, duke i bërë një pyetje modelit), shfaqet një mesazh warning Përmbajtja u bllokua nëse përmbajtja e kërkesës është bllokuar. Për të parë më shumë detaje, mbaj treguesin mbi tekstin Përmbajtja u bllokua për të parë kategorinë dhe probabilitetin e klasifikimit të dëmit.

Shembuj të kodeve

Fragmenti i kodit të mëposhtëm tregon se si të caktosh cilësimet e sigurisë në telefonatën tënde të GenerateContent. Kjo cakton pragun për kategorinë e gjuhës së urrejtjes (HARM_CATEGORY_HATE_SPEECH). Caktimi i kësaj kategorie në BLOCK_LOW_AND_ABOVE bllokon çdo përmbajtje që ka një probabilitet të ulët ose më të lartë për të qenë gjuhë urrejtjeje. Për të kuptuar cilësimet e pragut, shiko Filtrimi i sigurisë për kërkesë.

from google import genai
from google.genai import types

client = genai.Client()

response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents="Some potentially unsafe prompt",
    config=types.GenerateContentConfig(
      safety_settings=[
        types.SafetySetting(
            category=types.HarmCategory.HARM_CATEGORY_HATE_SPEECH,
            threshold=types.HarmBlockThreshold.BLOCK_LOW_AND_ABOVE,
        ),
      ]
    )
)

print(response.text)

package main

import (
    "context"
    "fmt"
    "log"
    "google.golang.org/genai"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }

    config := &genai.GenerateContentConfig{
        SafetySettings: []*genai.SafetySetting{
            {
                Category:  "HARM_CATEGORY_HATE_SPEECH",
                Threshold: "BLOCK_LOW_AND_ABOVE",
            },
        },
    }

    response, err := client.Models.GenerateContent(
        ctx,
        "gemini-3.8-flash",
        genai.Text("Some potentially unsafe prompt."),
        config,
    )
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(response.Text())
}

import { GoogleGenAI } from "@google/genai";

const ai = new GoogleGenAI({});

const safetySettings = [
  {
    category: "HARM_CATEGORY_HATE_SPEECH",
    threshold: "BLOCK_LOW_AND_ABOVE",
  },
];

async function main() {
  const response = await ai.models.generateContent({
    model: "gemini-3.8-flash",
    contents: "Some potentially unsafe prompt.",
    config: {
      safetySettings: safetySettings,
    },
  });
  console.log(response.text);
}

await main();

import com.google.genai.Client;
import com.google.genai.types.GenerateContentConfig;
import com.google.genai.types.GenerateContentResponse;
import com.google.genai.types.HarmBlockThreshold;
import com.google.genai.types.HarmCategory;
import com.google.genai.types.SafetySetting;
import java.util.Arrays;

Client client = new Client();

SafetySetting hateSpeechSafety =
    SafetySetting.builder()
        .category(HarmCategory.Known.HARM_CATEGORY_HATE_SPEECH)
        .threshold(HarmBlockThreshold.Known.BLOCK_LOW_AND_ABOVE)
        .build();

GenerateContentConfig config =
    GenerateContentConfig.builder()
        .safetySettings(Arrays.asList(hateSpeechSafety))
        .build();

GenerateContentResponse response =
    client.models.generateContent(
        "gemini-3.8-flash", "Some potentially unsafe prompt.", config);

System.out.println(response.text());

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -X POST \
  -d '{
    "safetySettings": [
        {"category": "HARM_CATEGORY_HATE_SPEECH", "threshold": "BLOCK_LOW_AND_ABOVE"}
    ],
    "contents": [{
        "parts":[{
            "text": "'\''Some potentially unsafe prompt.'\''"
        }]
    }]
}'

Hapat e radhës

• Shiko referencën e API-së për të mësuar më shumë rreth API-së së plotë.
• Rishiko udhëzimet për sigurinë për një vështrim të përgjithshëm të konsideratave për sigurinë kur zhvillon me LLM-të.
• Mëso më shumë rreth vlerësimit të probabilitetit kundrejt ashpërsisë nga ekipi i Jigsaw
• Mëso më shumë rreth produkteve që kontribuojnë në zgjidhjet e sigurisë si p.sh. Perspective API. * Mund t'i përdorësh këto cilësime sigurie për të krijuar një klasifikues toksiciteti. Shiko shembullin e klasifikimit për të filluar.