सुरक्षा की सेटिंग

Gemini API में सुरक्षा सेटिंग उपलब्ध होती हैं. इन्हें प्रोटोटाइपिंग के दौरान अडजस्ट किया जा सकता है. इससे यह तय करने में मदद मिलती है कि आपके ऐप्लिकेशन के लिए, सुरक्षा से जुड़ी ज़्यादा या कम पाबंदियों वाला कॉन्फ़िगरेशन ज़रूरी है. इन सेटिंग को चार फ़िल्टर कैटगरी में अडजस्ट किया जा सकता है, ताकि कुछ तरह के कॉन्टेंट को प्रतिबंधित किया जा सके या अनुमति दी जा सके.

इस गाइड में बताया गया है कि Gemini API, सुरक्षा सेटिंग और फ़िल्टर करने की सुविधा को कैसे मैनेज करता है. साथ ही, इसमें यह भी बताया गया है कि अपने ऐप्लिकेशन के लिए सुरक्षा सेटिंग कैसे बदली जा सकती हैं.

सेफ़्टी फ़िल्टर

Gemini API के अडजस्ट किए जा सकने वाले सुरक्षा फ़िल्टर, इन कैटगरी को कवर करते हैं:

इन कैटगरी के बारे में HarmCategory में बताया गया है. इन फ़िल्टर का इस्तेमाल करके, अपनी ज़रूरत के हिसाब से कॉन्टेंट को अडजस्ट किया जा सकता है. उदाहरण के लिए, अगर वीडियो गेम के लिए डायलॉग जनरेट किए जा रहे हैं, तो हो सकता है कि आपको गेम के हिसाब से, खतरनाक के तौर पर रेट किए गए ज़्यादा कॉन्टेंट को अनुमति देना सही लगे.

Gemini API में, सुरक्षा फ़िल्टर को अडजस्ट करने की सुविधा के साथ-साथ, बच्चों की सुरक्षा को खतरे में डालने वाले कॉन्टेंट जैसे गंभीर नुकसान से बचाने के लिए सुरक्षा की सुविधाएं भी शामिल हैं. इस तरह के नुकसान पहुंचाने वाले कॉन्टेंट को हमेशा ब्लॉक किया जाता है. इस सेटिंग में बदलाव नहीं किया जा सकता.

कॉन्टेंट की सुरक्षा के लिए फ़िल्टर करने का लेवल

Gemini API, कॉन्टेंट के असुरक्षित होने की संभावना को इन कैटगरी में बांटता है: HIGH, MEDIUM, LOW या NEGLIGIBLE.

Gemini API, कॉन्टेंट के असुरक्षित होने की संभावना के आधार पर उसे ब्लॉक करता है. वह कॉन्टेंट की गंभीरता के आधार पर ऐसा नहीं करता. इस बात का ध्यान रखना ज़रूरी है, क्योंकि कुछ कॉन्टेंट के असुरक्षित होने की संभावना कम हो सकती है. हालांकि, उससे होने वाले नुकसान की गंभीरता अब भी ज़्यादा हो सकती है. उदाहरण के लिए, इन वाक्यों की तुलना करें:

1. रोबोट ने मुझे मुक्का मारा.
2. रोबोट ने मुझ पर हमला कर दिया.

पहले वाक्य को असुरक्षित माना जा सकता है. हालांकि, हिंसा के मामले में दूसरे वाक्य को ज़्यादा गंभीर माना जा सकता है. इसलिए, यह ज़रूरी है कि आप सावधानी से जांच करें और यह तय करें कि आपके मुख्य इस्तेमाल के उदाहरणों के लिए, किस लेवल पर ब्लॉक करने की ज़रूरत है. साथ ही, यह भी ध्यान रखें कि इससे असली उपयोगकर्ताओं को कम से कम नुकसान हो.

हर अनुरोध के लिए सुरक्षा फ़िल्टर

एपीआई से किए जाने वाले हर अनुरोध के लिए, सुरक्षा सेटिंग को अडजस्ट किया जा सकता है. अनुरोध करने पर, कॉन्टेंट का विश्लेषण किया जाता है और उसे सुरक्षा रेटिंग दी जाती है. सुरक्षा रेटिंग में, नुकसान की कैटगरी और नुकसान की संभावना का वर्गीकरण शामिल होता है. उदाहरण के लिए, अगर कॉन्टेंट को उत्पीड़न की कैटगरी की वजह से ब्लॉक किया गया है, तो सुरक्षा रेटिंग में कैटगरी HARASSMENT और नुकसान की संभावना HIGH पर सेट होगी.

मॉडल में पहले से मौजूद सुरक्षा सुविधाओं की वजह से, अतिरिक्त फ़िल्टर डिफ़ॉल्ट रूप से बंद रहते हैं. अगर आपने इन्हें चालू करने का विकल्प चुना है, तो सिस्टम को इस तरह कॉन्फ़िगर किया जा सकता है कि वह असुरक्षित होने की संभावना के आधार पर कॉन्टेंट को ब्लॉक कर दे. डिफ़ॉल्ट मॉडल का व्यवहार, ज़्यादातर इस्तेमाल के उदाहरणों पर लागू होता है. इसलिए, आपको इन सेटिंग में सिर्फ़ तब बदलाव करना चाहिए, जब आपके ऐप्लिकेशन के लिए इनकी ज़रूरत हो.

यहां दी गई टेबल में, हर कैटगरी के लिए ब्लॉक करने की उन सेटिंग के बारे में बताया गया है जिनमें बदलाव किया जा सकता है. उदाहरण के लिए, अगर आपने नफ़रत फैलाने वाले भाषण वाली कैटगरी के लिए, ब्लॉक करने की सेटिंग को कुछ पर सेट किया है, तो नफ़रत फैलाने वाले भाषण की संभावना वाले सभी कॉन्टेंट को ब्लॉक कर दिया जाएगा. हालांकि, कम संभावना वाले किसी भी कॉन्टेंट को अनुमति दी जाती है.

अगर थ्रेशोल्ड सेट नहीं किया जाता है, तो Gemini 2.5 और इसके बाद के मॉडल के लिए, ब्लॉक करने का डिफ़ॉल्ट थ्रेशोल्ड बंद है पर सेट होता है.

जनरेटिव सर्विस को किए जाने वाले हर अनुरोध के लिए, ये सेटिंग सेट की जा सकती हैं. ज़्यादा जानकारी के लिए, HarmBlockThreshold एपीआई का रेफ़रंस देखें.

सुरक्षा से जुड़े सुझाव/राय दें या शिकायत करें

generateContent, GenerateContentResponse दिखाता है. इसमें सुरक्षा से जुड़ा फ़ीडबैक शामिल होता है.

प्रॉम्प्ट के बारे में सुझाव, राय या शिकायत को promptFeedback में शामिल किया जाता है. अगर promptFeedback.blockReason सेट है, तो इसका मतलब है कि प्रॉम्प्ट का कॉन्टेंट ब्लॉक कर दिया गया है.

जवाब के संभावित विकल्प के बारे में मिले सुझाव/राय या शिकायत को Candidate.finishReason और Candidate.safetyRatings में शामिल किया जाता है. अगर जवाब का कॉन्टेंट ब्लॉक कर दिया गया था और finishReason, SAFETY था, तो ज़्यादा जानकारी के लिए safetyRatings की जांच की जा सकती है. जिस कॉन्टेंट को ब्लॉक किया गया था उसे वापस नहीं लाया जाता.

सुरक्षा सेटिंग में बदलाव करना

इस सेक्शन में, Google AI Studio और आपके कोड, दोनों में सुरक्षा सेटिंग को अडजस्ट करने का तरीका बताया गया है.

Google AI Studio

Google AI Studio में जाकर, सुरक्षा सेटिंग में बदलाव किया जा सकता है.

रन सेटिंग पैनल में, ऐडवांस सेटिंग में जाकर सुरक्षा सेटिंग पर क्लिक करें. इससे रन सुरक्षा सेटिंग वाला मोडल खुलेगा. मॉडल में, स्लाइडर का इस्तेमाल करके सुरक्षा की हर कैटगरी के हिसाब से, कॉन्टेंट फ़िल्टर करने के लेवल में बदलाव किया जा सकता है:

जब कोई अनुरोध भेजा जाता है (उदाहरण के लिए, मॉडल से कोई सवाल पूछकर), तो अगर अनुरोध के कॉन्टेंट को ब्लॉक किया गया है, तो warning कॉन्टेंट ब्लॉक किया गया मैसेज दिखता है. ज़्यादा जानकारी देखने के लिए, कॉन्टेंट ब्लॉक किया गया टेक्स्ट पर पॉइंटर को दबाकर रखें. इससे आपको कैटगरी और नुकसान पहुंचाने की संभावना के वर्गीकरण की जानकारी दिखेगी.

कोड के उदाहरण

यहां दिए गए कोड स्निपेट से पता चलता है कि GenerateContent कॉल में सुरक्षा सेटिंग कैसे सेट करें. इससे नफ़रत फैलाने वाली भाषा (HARM_CATEGORY_HATE_SPEECH) कैटगरी के लिए थ्रेशोल्ड सेट होता है. इस कैटगरी को BLOCK_LOW_AND_ABOVE पर सेट करने से, नफ़रत फैलाने वाला ऐसा कॉन्टेंट ब्लॉक हो जाता है जिसमें नफ़रत फैलाने वाली भाषा का इस्तेमाल होने की संभावना कम या ज़्यादा होती है. थ्रेशोल्ड की सेटिंग के बारे में जानने के लिए, हर अनुरोध के लिए सुरक्षा फ़िल्टर देखें.

from google import genai
from google.genai import types

client = genai.Client()

response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents="Some potentially unsafe prompt",
    config=types.GenerateContentConfig(
      safety_settings=[
        types.SafetySetting(
            category=types.HarmCategory.HARM_CATEGORY_HATE_SPEECH,
            threshold=types.HarmBlockThreshold.BLOCK_LOW_AND_ABOVE,
        ),
      ]
    )
)

print(response.text)

package main

import (
    "context"
    "fmt"
    "log"
    "google.golang.org/genai"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }

    config := &genai.GenerateContentConfig{
        SafetySettings: []*genai.SafetySetting{
            {
                Category:  "HARM_CATEGORY_HATE_SPEECH",
                Threshold: "BLOCK_LOW_AND_ABOVE",
            },
        },
    }

    response, err := client.Models.GenerateContent(
        ctx,
        "gemini-3.8-flash",
        genai.Text("Some potentially unsafe prompt."),
        config,
    )
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(response.Text())
}

import { GoogleGenAI } from "@google/genai";

const ai = new GoogleGenAI({});

const safetySettings = [
  {
    category: "HARM_CATEGORY_HATE_SPEECH",
    threshold: "BLOCK_LOW_AND_ABOVE",
  },
];

async function main() {
  const response = await ai.models.generateContent({
    model: "gemini-3.8-flash",
    contents: "Some potentially unsafe prompt.",
    config: {
      safetySettings: safetySettings,
    },
  });
  console.log(response.text);
}

await main();

import com.google.genai.Client;
import com.google.genai.types.GenerateContentConfig;
import com.google.genai.types.GenerateContentResponse;
import com.google.genai.types.HarmBlockThreshold;
import com.google.genai.types.HarmCategory;
import com.google.genai.types.SafetySetting;
import java.util.Arrays;

Client client = new Client();

SafetySetting hateSpeechSafety =
    SafetySetting.builder()
        .category(HarmCategory.Known.HARM_CATEGORY_HATE_SPEECH)
        .threshold(HarmBlockThreshold.Known.BLOCK_LOW_AND_ABOVE)
        .build();

GenerateContentConfig config =
    GenerateContentConfig.builder()
        .safetySettings(Arrays.asList(hateSpeechSafety))
        .build();

GenerateContentResponse response =
    client.models.generateContent(
        "gemini-3.8-flash", "Some potentially unsafe prompt.", config);

System.out.println(response.text());

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -X POST \
  -d '{
    "safetySettings": [
        {"category": "HARM_CATEGORY_HATE_SPEECH", "threshold": "BLOCK_LOW_AND_ABOVE"}
    ],
    "contents": [{
        "parts":[{
            "text": "'\''Some potentially unsafe prompt.'\''"
        }]
    }]
}'

अगले चरण

• एपीआई के बारे में ज़्यादा जानने के लिए, एपीआई का संदर्भ देखें.
• एलएलएम का इस्तेमाल करके ऐप्लिकेशन डेवलप करते समय, सुरक्षा से जुड़ी बातों के बारे में जानने के लिए, सुरक्षा से जुड़े दिशा-निर्देश पढ़ें.
• Jigsaw टीम से, संभावना बनाम गंभीरता का आकलन करने के बारे में ज़्यादा जानें
• सुरक्षा से जुड़े समाधानों में योगदान देने वाले प्रॉडक्ट के बारे में ज़्यादा जानें. जैसे, Perspective API. * इन सुरक्षा सेटिंग का इस्तेमाल करके, आपत्तिजनक कॉन्टेंट की पहचान करने वाला क्लासिफ़ायर बनाया जा सकता है. शुरू करने के लिए, कैटगरी का उदाहरण देखें.