Anleitung: Erste Schritte mit der Gemini API


In dieser Anleitung wird gezeigt, wie Sie für Ihr Node.js-Script auf die Gemini API zugreifen. mit dem Google AI JavaScript SDK erstellen.

In dieser Anleitung erfahren Sie, wie Sie Folgendes tun:

Darüber hinaus enthält dieses Tutorial Abschnitte zu fortgeschrittenen Anwendungsfällen (z. B. embeddings und Zählen von Tokens) sowie Optionen für Generieren von Inhalten steuern.

Vorbereitung

In dieser Anleitung wird davon ausgegangen, dass Sie mit dem Erstellen von Anwendungen Node.js

Achten Sie beim Abschluss dieser Anleitung darauf, dass Ihre Entwicklungsumgebung die die folgenden Anforderungen erfüllen:

  • Node.js ab Version 18
  • npm

Projekt einrichten

Bevor Sie die Gemini API aufrufen, müssen Sie Ihr Projekt einrichten. Dazu gehören: den API-Schlüssel einrichten, das SDK-Paket installieren und das Modell initialisieren.

API-Schlüssel einrichten

Zur Verwendung der Gemini API benötigen Sie einen API-Schlüssel. Falls Sie noch keines haben, einen Schlüssel in Google AI Studio zu erstellen.

API-Schlüssel anfordern

API-Schlüssel sichern

Es wird dringend empfohlen, keinen API-Schlüssel in Ihre Version einzuchecken. zu steuern. Stattdessen sollten Sie einen geheimen Speicher für Ihren API-Schlüssel verwenden.

Bei allen Snippets in dieser Anleitung wird davon ausgegangen, dass Sie auf Ihren API-Schlüssel als eine Umgebungsvariable.

SDK-Paket installieren

Wenn Sie die Gemini API in Ihrer eigenen Anwendung verwenden möchten, müssen Sie die GoogleGenerativeAI-Paket für Node.js:

npm install @google/generative-ai

Generatives Modell initialisieren

Bevor Sie API-Aufrufe ausführen können, müssen Sie die API generatives Modell an.

const { GoogleGenerativeAI } = require("@google/generative-ai");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

// ...

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

// ...

Beachten Sie beim Angeben eines Modells Folgendes:

  • Verwenden Sie ein Modell, das für Ihren Anwendungsfall spezifisch ist (z. B. gemini-1.5-flash) für die multimodale Eingabe. In diesem Handbuch finden Sie die Anweisungen für die Implementierungsliste das empfohlene Modell für jeden Anwendungsfall.

Gängige Anwendungsfälle implementieren

Ihr Projekt ist nun eingerichtet. Jetzt können Sie mit der Gemini API experimentieren, um verschiedene Anwendungsfälle zu implementieren:

Im Abschnitt zu erweiterten Anwendungsfällen finden Sie Informationen zur Gemini API. und Einbettungen.

Text aus reiner Texteingabe generieren

Wenn die Prompt-Eingabe nur Text enthält, verwenden Sie ein Gemini 1.5-Modell mit generateContent, um die Textausgabe zu generieren:

const { GoogleGenerativeAI } = require("@google/generative-ai");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

async function run() {
  // The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
  const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

  const prompt = "Write a story about a magic backpack."

  const result = await model.generateContent(prompt);
  const response = await result.response;
  const text = response.text();
  console.log(text);
}

run();

Text aus Text- und Bildeingabe generieren (multimodal)

Gemini 1.5 Flash und 1.5 Pro können multimodale Eingaben verarbeiten, sodass Sie sowohl Text eingeben können und Bilder. Sehen Sie sich die Bildanforderungen für Prompts

Wenn die Prompt-Eingabe sowohl Text als auch Bilder enthält, verwenden Sie Gemini 1.5-Modelle mit die Methode generateContent zum Generieren der Textausgabe:

const { GoogleGenerativeAI } = require("@google/generative-ai");
const fs = require("fs");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

// Converts local file information to a GoogleGenerativeAI.Part object.
function fileToGenerativePart(path, mimeType) {
  return {
    inlineData: {
      data: Buffer.from(fs.readFileSync(path)).toString("base64"),
      mimeType
    },
  };
}

async function run() {
  // The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
  const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash" });

  const prompt = "What's different between these pictures?";

  const imageParts = [
    fileToGenerativePart("image1.png", "image/png"),
    fileToGenerativePart("image2.jpeg", "image/jpeg"),
  ];

  const result = await model.generateContent([prompt, ...imageParts]);
  const response = await result.response;
  const text = response.text();
  console.log(text);
}

run();

Multi-Turn Conversations erstellen (Chat)

Mit Gemini kannst du Unterhaltungen im freien Format über mehrere Runden hinweg führen. Die Das SDK vereinfacht den Prozess, da es den Status der Unterhaltung verwaltet. Im Gegensatz zu mit generateContent müssen Sie den Unterhaltungsverlauf nicht speichern, sich selbst zu zeigen.

Wenn Sie eine Unterhaltung mit mehreren Teilnehmern (z. B. einen Chat) erstellen möchten, verwenden Sie ein Gemini 1.5-Modell oder das Gemini 1.0 Pro und initialisieren Sie den Chat, indem Sie startChat() aufrufen. Verwenden Sie dann sendMessage(), um eine neue Nutzernachricht zu senden, die auch den und die Antwort auf das Chatprotokoll.

Es gibt zwei mögliche Optionen für role, die mit den Inhalten in einer Gespräch:

  • user: Die Rolle, die die Aufforderungen bereitstellt. Dieser Wert ist der Standardwert für sendMessage Anrufe.

  • model: Die Rolle, die die Antworten bereitstellt. Diese Rolle kann verwendet werden, wenn startChat() wird mit vorhandenem history aufgerufen.

const { GoogleGenerativeAI } = require("@google/generative-ai");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

async function run() {
  // The Gemini 1.5 models are versatile and work with multi-turn conversations (like chat)
  const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

  const chat = model.startChat({
    history: [
      {
        role: "user",
        parts: [{ text: "Hello, I have 2 dogs in my house." }],
      },
      {
        role: "model",
        parts: [{ text: "Great to meet you. What would you like to know?" }],
      },
    ],
    generationConfig: {
      maxOutputTokens: 100,
    },
  });

  const msg = "How many paws are in my house?";

  const result = await chat.sendMessage(msg);
  const response = await result.response;
  const text = response.text();
  console.log(text);
}

run();

Streaming für schnellere Interaktionen nutzen

Standardmäßig gibt das Modell nach Abschluss der gesamten Generierung eine Antwort zurück . Sie können schnellere Interaktionen erzielen, wenn Sie nicht auf die gesamte Ergebnis. Verwenden Sie stattdessen Streaming, um Teilergebnisse zu verarbeiten.

Das folgende Beispiel zeigt, wie Streaming mit der generateContentStream-Methode zum Generieren von Text aus einer Text- und Bildeingabe .

//...

const result = await model.generateContentStream([prompt, ...imageParts]);

let text = '';
for await (const chunk of result.stream) {
  const chunkText = chunk.text();
  console.log(chunkText);
  text += chunkText;
}

//...

Sie können einen ähnlichen Ansatz für reine Texteingabe und Chat-Anwendungsfälle verwenden.

// Use streaming with text-only input
const result = await model.generateContentStream(prompt);

Die Instanziierung ist im Chatbeispiel oben beschrieben. chat.

// Use streaming with multi-turn conversations (like chat)
const result = await chat.sendMessageStream(msg);

Erweiterte Anwendungsfälle implementieren

Die im vorherigen Abschnitt dieses Tutorials beschriebenen gängigen Anwendungsfälle damit Sie sich mit der Nutzung der Gemini API vertraut machen können. In diesem Abschnitt werden einige Anwendungsfälle, die als fortgeschrittener betrachtet werden können.

Einbettungen verwenden

Einbettung ist eine Technik, mit der Informationen dargestellt werden. als Liste von Gleitkommazahlen in einem Array. Mit Gemini können Sie Text (Wörter, Sätze und Textblöcke) in vektorisierter Form, sodass sie Einbettungen leichter zu vergleichen und gegenüberzustellen. Beispiel: Zwei Texte, die den gleichen ähnliche Themen oder Stimmungen sollten ähnliche Einbettungen haben, durch mathematische Vergleichstechniken wie die Kosinus-Ähnlichkeit identifiziert werden.

Verwenden Sie das Modell embedding-001 mit der Methode embedContent (oder dem batchEmbedContent), um Einbettungen zu generieren. Im folgenden Beispiel generiert eine Einbettung für einen einzelnen String:

const { GoogleGenerativeAI } = require("@google/generative-ai");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

async function run() {
  // For embeddings, use the embedding-001 model
  const model = genAI.getGenerativeModel({ model: "embedding-001"});

  const text = "The quick brown fox jumps over the lazy dog."

  const result = await model.embedContent(text);
  const embedding = result.embedding;
  console.log(embedding.values);
}

run();

Funktionsaufrufe

Funktionsaufrufe erleichtern Ihnen, Ausgaben für strukturierte Daten generativen Modellen. Sie können diese Ausgaben dann verwenden, um andere APIs aufzurufen und die relevanten Antwortdaten an das Modell zu senden. Mit anderen Worten, Funktionsaufrufe helfen generative Modelle mit externen Systemen verbinden, damit die generierten Inhalte aktuelle und korrekte Informationen enthält. Weitere Informationen finden Sie in der Anleitung für Funktionsaufrufe.

Anzahl der Tokens

Bei langen Prompts kann es hilfreich sein, Tokens zu zählen, bevor sie gesendet werden an das Modell übergeben. Die folgenden Beispiele zeigen, wie countTokens() verwendet wird für verschiedene Anwendungsfälle:

// For text-only input
const { totalTokens } = await model.countTokens(prompt);

// For text-and-image input (multimodal)
const { totalTokens } = await model.countTokens([prompt, ...imageParts]);

// For multi-turn conversations (like chat)
const history = await chat.getHistory();
const msgContent = { role: "user", parts: [{ text: msg }] };
const contents = [...history, msgContent];
const { totalTokens } = await model.countTokens({ contents });

Optionen zum Steuern der Inhaltserstellung

Sie können die Generierung von Inhalten steuern, indem Sie Modellparameter konfigurieren und die Sicherheitseinstellungen.

Übergeben Sie generationConfig oder safetySettings an eine Modellanfrage. (z. B. generateContent) das Konfigurationsobjekt vollständig mit demselben Namen, der in getGenerativeModel übergeben wird.

Modellparameter konfigurieren

Jeder Prompt, den Sie an das Modell senden, enthält Parameterwerte, mit denen generiert das Modell eine Antwort. Das Modell kann für verschiedene Parameterwerte unterschiedliche Ergebnisse generieren. Weitere Informationen zu Modellparameter:

const generationConfig = {
  stopSequences: ["red"],
  maxOutputTokens: 200,
  temperature: 0.9,
  topP: 0.1,
  topK: 16,
};

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash",  generationConfig });

Sicherheitseinstellungen verwenden

Mithilfe der Sicherheitseinstellungen kannst du anpassen, wie wahrscheinlich es ist, dass du Antworten erhältst, als schädlich eingestuft werden. Standardmäßig blockieren die Sicherheitseinstellungen Inhalte mit der Einstellung „Medium“ und/oder eine hohe Wahrscheinlichkeit, dass sie in allen Dimensionen unsicher sind. Weitere Informationen Weitere Informationen zu den Sicherheitseinstellungen

So legen Sie eine Sicherheitseinstellung fest:

import { HarmBlockThreshold, HarmCategory } from "@google/generative-ai";

// ...

const safetySettings = [
  {
    category: HarmCategory.HARM_CATEGORY_HARASSMENT,
    threshold: HarmBlockThreshold.BLOCK_ONLY_HIGH,
  },
];

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash", safetySettings });

Sie können auch mehrere Sicherheitseinstellungen festlegen:

const safetySettings = [
  {
    category: HarmCategory.HARM_CATEGORY_HARASSMENT,
    threshold: HarmBlockThreshold.BLOCK_ONLY_HIGH,
  },
  {
    category: HarmCategory.HARM_CATEGORY_HATE_SPEECH,
    threshold: HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
  },
];

Nächste Schritte

  • Beim Prompt-Design werden Aufforderungen erstellt, die die gewünschte Antwort aus Sprachmodellen auslösen. Gut strukturierte Eingabeaufforderungen sind wichtig, um genaue, hochwertige Antworten aus einem Sprachmodell zu gewährleisten. Best Practices für das Schreiben von Prompts

  • Gemini bietet mehrere Modellvarianten für unterschiedliche Anforderungen wie Eingabetypen und -komplexität, Implementierungen für Chat und andere Dialogsprachaufgaben und Größenbeschränkungen. Weitere Informationen zu den verfügbaren Gemini-Modellen