Anleitung: Erste Schritte mit der Gemini API


In diesem Tutorial erfahren Sie, wie Sie direkt von Ihrem Webanwendung mit dem Google AI JavaScript SDK erstellen. Sie können dieses SDK verwenden, wenn Sie direkt mit REST APIs oder serverseitigem Code (wie Node.js) arbeiten möchten. auf Gemini-Modelle in Ihrer Web-App zugreifen.

In dieser Anleitung erfahren Sie, wie Sie Folgendes tun:

Darüber hinaus enthält dieses Tutorial Abschnitte zu fortgeschrittenen Anwendungsfällen (z. B. Zählen von Tokens) sowie Optionen für Generieren von Inhalten.

Vorbereitung

In diesem Tutorial wird davon ausgegangen, dass Sie mit der Verwendung von JavaScript für die Entwicklung Web-Apps. Dieser Leitfaden ist Framework-unabhängig.

Achten Sie beim Abschluss dieser Anleitung darauf, dass Ihre Entwicklungsumgebung die die folgenden Anforderungen erfüllen:

  • (Optional) Node.js
  • Moderner Webbrowser

Projekt einrichten

Bevor Sie die Gemini API aufrufen, müssen Sie Ihr Projekt einrichten. Dazu gehören: API-Schlüssel anfordern, SDK importieren und Modell initialisieren

API-Schlüssel einrichten

Zur Verwendung der Gemini API benötigen Sie einen API-Schlüssel. Falls Sie noch keines haben, einen Schlüssel in Google AI Studio zu erstellen.

API-Schlüssel anfordern

API-Schlüssel sichern

Es wird dringend empfohlen, keinen API-Schlüssel in Ihre Version einzuchecken. zu steuern. Stattdessen sollten Sie Ihren API-Schlüssel direkt vor das Initialisieren des Modells.

Bei allen Snippets in dieser Anleitung wird davon ausgegangen, dass Sie auf Ihren API-Schlüssel als globale Konstante.

SDK importieren und generatives Modell initialisieren

Bevor Sie API-Aufrufe ausführen können, müssen Sie das SDK importieren und das Ereignis generatives Modell an.

<html>
  <body>
    <!-- ... Your HTML and CSS -->

    <script type="importmap">
      {
        "imports": {
          "@google/generative-ai": "https://esm.run/@google/generative-ai"
        }
      }
    </script>
    <script type="module">
      import { GoogleGenerativeAI } from "@google/generative-ai";

      // Fetch your API_KEY
      const API_KEY = "...";
      // Reminder: This should only be for local testing

      // Access your API key (see "Set up your API key" above)
      const genAI = new GoogleGenerativeAI(API_KEY);

      // ...

      // The Gemini 1.5 models are versatile and work with most use cases
      const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

      // ...
    </script>
  </body>
</html>

Beachten Sie beim Angeben eines Modells Folgendes:

  • Verwenden Sie ein Modell, das für Ihren Anwendungsfall spezifisch ist (z. B. gemini-1.5-flash) für die multimodale Eingabe. In diesem Handbuch finden Sie die Anweisungen für die Implementierungsliste das empfohlene Modell für jeden Anwendungsfall.

Gängige Anwendungsfälle implementieren

Ihr Projekt ist nun eingerichtet. Jetzt können Sie mit der Gemini API experimentieren, um verschiedene Anwendungsfälle zu implementieren:

Text aus reiner Texteingabe generieren

Wenn die Prompt-Eingabe nur Text enthält, verwenden Sie ein Gemini 1.5-Modell oder den Gemini 1.0 Pro-Modell mit generateContent zum Generieren von Textausgabe:

import { GoogleGenerativeAI } from "@google/generative-ai";

// Access your API key (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(API_KEY);

async function run() {
  // The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
  const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

  const prompt = "Write a story about a magic backpack."

  const result = await model.generateContent(prompt);
  const response = await result.response;
  const text = response.text();
  console.log(text);
}

run();

Text aus Text- und Bildeingabe generieren (multimodal)

Gemini bietet verschiedene Modelle, die multimodale Eingaben verarbeiten können. (Gemini 1.5-Modelle), damit Sie beide Texte eingeben können und Bilder. Sehen Sie sich die Bildanforderungen für Prompts

Wenn die Prompt-Eingabe sowohl Text als auch Bilder enthält, verwenden Sie ein Gemini 1.5-Modell mit die Methode generateContent zum Generieren der Textausgabe:

import { GoogleGenerativeAI } from "@google/generative-ai";

// Access your API key (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(API_KEY);

// Converts a File object to a GoogleGenerativeAI.Part object.
async function fileToGenerativePart(file) {
  const base64EncodedDataPromise = new Promise((resolve) => {
    const reader = new FileReader();
    reader.onloadend = () => resolve(reader.result.split(',')[1]);
    reader.readAsDataURL(file);
  });
  return {
    inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
  };
}

async function run() {
  // The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
  const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash" });

  const prompt = "What's different between these pictures?";

  const fileInputEl = document.querySelector("input[type=file]");
  const imageParts = await Promise.all(
    [...fileInputEl.files].map(fileToGenerativePart)
  );

  const result = await model.generateContent([prompt, ...imageParts]);
  const response = await result.response;
  const text = response.text();
  console.log(text);
}

run();

Multi-Turn Conversations erstellen (Chat)

Mit Gemini kannst du Unterhaltungen im freien Format über mehrere Runden hinweg führen. Die Das SDK vereinfacht den Prozess, da es den Status der Unterhaltung verwaltet. Im Gegensatz zu mit generateContent müssen Sie den Unterhaltungsverlauf nicht speichern, sich selbst zu zeigen.

Wenn Sie eine Unterhaltung mit mehreren Teilnehmern (z. B. einen Chat) erstellen möchten, verwenden Sie ein Gemini 1.5-Modell oder das Gemini 1.0 Pro und initialisieren Sie den Chat, indem Sie startChat() aufrufen. Verwenden Sie dann sendMessage(), um eine neue Nutzernachricht zu senden, die auch den und die Antwort auf das Chatprotokoll.

Es gibt zwei mögliche Optionen für role, die mit den Inhalten in einer Gespräch:

  • user: Die Rolle, die die Aufforderungen bereitstellt. Dieser Wert ist der Standardwert für sendMessage aufruft. Die Funktion löst eine Ausnahme aus, wenn eine andere Rolle übergeben wurde.

  • model: Die Rolle, die die Antworten bereitstellt. Diese Rolle kann verwendet werden, wenn startChat() wird mit vorhandenem history aufgerufen.

import { GoogleGenerativeAI } from "@google/generative-ai";

// Access your API key (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(API_KEY);

async function run() {
  // The Gemini 1.5 models are versatile and work with multi-turn conversations (like chat)
  const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

  const chat = model.startChat({
    history: [
      {
        role: "user",
        parts: [{ text: "Hello, I have 2 dogs in my house." }],
      },
      {
        role: "model",
        parts: [{ text: "Great to meet you. What would you like to know?" }],
      },
    ],
    generationConfig: {
      maxOutputTokens: 100,
    },
  });

  const msg = "How many paws are in my house?";

  const result = await chat.sendMessage(msg);
  const response = await result.response;
  const text = response.text();
  console.log(text);
}

run();

Streaming für schnellere Interaktionen nutzen

Standardmäßig gibt das Modell nach Abschluss der gesamten Generierung eine Antwort zurück . Sie können schnellere Interaktionen erzielen, wenn Sie nicht auf die gesamte Ergebnis. Verwenden Sie stattdessen Streaming, um Teilergebnisse zu verarbeiten.

Das folgende Beispiel zeigt, wie Streaming mit der generateContentStream-Methode zum Generieren von Text aus einer Text- und Bildeingabe .

// ...

const result = await model.generateContentStream([prompt, ...imageParts]);

let text = '';
for await (const chunk of result.stream) {
  const chunkText = chunk.text();
  console.log(chunkText);
  text += chunkText;
}

// ...

Sie können einen ähnlichen Ansatz für reine Texteingabe und Chat-Anwendungsfälle verwenden.

// Use streaming with text-only input
const result = await model.generateContentStream(prompt);

Die Instanziierung ist im Chatbeispiel oben beschrieben. chat.

// Use streaming with multi-turn conversations (like chat)
const result = await chat.sendMessageStream(msg);

Erweiterte Anwendungsfälle implementieren

Die im vorherigen Abschnitt dieses Tutorials beschriebenen gängigen Anwendungsfälle damit Sie sich mit der Nutzung der Gemini API vertraut machen können. In diesem Abschnitt werden einige Anwendungsfälle, die als fortgeschrittener betrachtet werden können.

Funktionsaufrufe

Funktionsaufrufe erleichtern Ihnen, Ausgaben für strukturierte Daten generativen Modellen. Sie können diese Ausgaben dann verwenden, um andere APIs aufzurufen und die relevanten Antwortdaten an das Modell zu senden. Mit anderen Worten, Funktionsaufrufe helfen generative Modelle mit externen Systemen verbinden, damit die generierten Inhalte aktuelle und korrekte Informationen enthält. Weitere Informationen finden Sie in der Anleitung für Funktionsaufrufe.

Anzahl der Tokens

Bei langen Prompts kann es hilfreich sein, Tokens zu zählen, bevor sie gesendet werden an das Modell übergeben. Die folgenden Beispiele zeigen, wie countTokens() verwendet wird für verschiedene Anwendungsfälle:

// For text-only input
const { totalTokens } = await model.countTokens(prompt);

// For text-and-image input (multimodal)
const { totalTokens } = await model.countTokens([prompt, ...imageParts]);

// For multi-turn conversations (like chat)
const history = await chat.getHistory();
const msgContent = { role: "user", parts: [{ text: msg }] };
const contents = [...history, msgContent];
const { totalTokens } = await model.countTokens({ contents });

Optionen zum Steuern der Inhaltserstellung

Sie können die Generierung von Inhalten steuern, indem Sie Modellparameter konfigurieren und die Sicherheitseinstellungen.

Modellparameter konfigurieren

Jeder Prompt, den Sie an das Modell senden, enthält Parameterwerte, mit denen generiert das Modell eine Antwort. Das Modell kann für verschiedene Parameterwerte unterschiedliche Ergebnisse generieren. Weitere Informationen zu Modellparameter: Die Konfiguration wird für die gesamte Lebensdauer der Modellinstanz beibehalten.

const generationConfig = {
  stopSequences: ["red"],
  maxOutputTokens: 200,
  temperature: 0.9,
  topP: 0.1,
  topK: 16,
};

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash",  generationConfig });

Sicherheitseinstellungen verwenden

Mithilfe der Sicherheitseinstellungen kannst du anpassen, wie wahrscheinlich es ist, dass du Antworten erhältst, als schädlich eingestuft werden. Standardmäßig blockieren die Sicherheitseinstellungen Inhalte mit der Einstellung „Medium“ und/oder eine hohe Wahrscheinlichkeit, dass sie in allen Dimensionen unsicher sind. Weitere Informationen Weitere Informationen zu den Sicherheitseinstellungen

So legen Sie eine Sicherheitseinstellung fest:

import { HarmBlockThreshold, HarmCategory } from "@google/generative-ai";

// ...

const safetySettings = [
  {
    category: HarmCategory.HARM_CATEGORY_HARASSMENT,
    threshold: HarmBlockThreshold.BLOCK_ONLY_HIGH,
  },
];

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash", safetySettings });

Sie können auch mehrere Sicherheitseinstellungen festlegen:

const safetySettings = [
  {
    category: HarmCategory.HARM_CATEGORY_HARASSMENT,
    threshold: HarmBlockThreshold.BLOCK_ONLY_HIGH,
  },
  {
    category: HarmCategory.HARM_CATEGORY_HATE_SPEECH,
    threshold: HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
  },
];

Nächste Schritte

  • Beim Prompt-Design werden Aufforderungen erstellt, die die gewünschte Antwort aus Sprachmodellen auslösen. Gut strukturierte Eingabeaufforderungen sind wichtig, um genaue, hochwertige Antworten aus einem Sprachmodell zu gewährleisten. Best Practices für das Schreiben von Prompts

  • Gemini bietet mehrere Modellvarianten für unterschiedliche Anforderungen wie Eingabetypen und -komplexität, Implementierungen für Chat und andere Dialogsprachaufgaben und Größenbeschränkungen. Weitere Informationen zu den verfügbaren Gemini-Modellen