教程:Gemini API 使用入门

<ph type="x-smartling-placeholder"></ph>


本教程演示了如何直接从 Google Cloud 控制台 使用 Google AI JavaScript SDK 构建 Web 应用。如果您不 希望直接使用 REST API 或服务器端代码(如 Node.js) 在 Web 应用中访问 Gemini 模型。

在本教程中,您将了解如何执行以下操作:

此外,本教程还包含一些有关高级用例(如 计算词元)以及 控制内容生成

前提条件

本教程假定您熟悉使用 JavaScript 开发 Web 应用。本指南独立于框架。

要完成本教程,请确保您的开发环境符合 以下要求:

  • (可选)Node.js
  • 现代网络浏览器

设置项目

在调用 Gemini API 之前,您需要设置项目,包括 获取 API 密钥、导入 SDK 并初始化模型。

设置您的 API 密钥

如需使用 Gemini API,您需要 API 密钥。如果您还没有账号, 在 Google AI Studio 中创建密钥。

获取 API 密钥

保护您的 API 密钥

强烈建议您不要将 API 密钥签入您的版本 控制系统您应该先将 API 密钥传递给您的应用, 初始化模型。

本教程中的所有代码段均假定您以 全局常量。

导入 SDK 并初始化生成模型

要进行 API 调用,您需要先导入 SDK 并初始化 生成模型。

<html>
 
<body>
   
<!-- ... Your HTML and CSS -->

   
<script type="importmap">
     
{
       
"imports": {
         
"@google/generative-ai": "https://esm.run/@google/generative-ai"
       
}
     
}
   
</script>
   
<script type="module">
     
import { GoogleGenerativeAI } from "@google/generative-ai";

     
// Fetch your API_KEY
     
const API_KEY = "...";
     
// Reminder: This should only be for local testing

     
// Access your API key (see "Set up your API key" above)
     
const genAI = new GoogleGenerativeAI(API_KEY);

     
// ...

     
// The Gemini 1.5 models are versatile and work with most use cases
     
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

     
// ...
   
</script>
 
</body>
</html>

指定模型时,请注意以下事项:

  • 请使用您的用例专用的模型(例如 gemini-1.5-flash 适用于多模态输入)。在本指南中, 实现列出了每个用例的推荐模型。

实现常见使用场景

现在您的项目已设置完毕,您可以探索如何使用 Gemini API 来 实现不同的应用场景:

根据纯文本输入生成文本

如果输入的提示仅包含文本,请使用 Gemini 1.5 模型或 使用 generateContent 生成文本输出的 Gemini 1.0 Pro 模型:

import { GoogleGenerativeAI } from "@google/generative-ai";

// Access your API key (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(API_KEY);

async
function run() {
 
// The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
 
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

 
const prompt = "Write a story about a magic backpack."

 
const result = await model.generateContent(prompt);
 
const response = await result.response;
 
const text = response.text();
  console
.log(text);
}

run
();

根据文本和图片输入生成文本(多模态)

Gemini 提供各种可处理多模态输入的模型 (Gemini 1.5 模型),这样你就可以同时输入 和图片。请务必查看 提示的图片要求

如果输入的提示同时包含文本和图片,请使用符合以下条件的 Gemini 1.5 模型: generateContent 方法,用于生成文本输出:

import { GoogleGenerativeAI } from "@google/generative-ai";

// Access your API key (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(API_KEY);

// Converts a File object to a GoogleGenerativeAI.Part object.
async
function fileToGenerativePart(file) {
 
const base64EncodedDataPromise = new Promise((resolve) => {
   
const reader = new FileReader();
    reader
.onloadend = () => resolve(reader.result.split(',')[1]);
    reader
.readAsDataURL(file);
 
});
 
return {
    inlineData
: { data: await base64EncodedDataPromise, mimeType: file.type },
 
};
}

async
function run() {
 
// The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
 
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash" });

 
const prompt = "What's different between these pictures?";

 
const fileInputEl = document.querySelector("input[type=file]");
 
const imageParts = await Promise.all(
   
[...fileInputEl.files].map(fileToGenerativePart)
 
);

 
const result = await model.generateContent([prompt, ...imageParts]);
 
const response = await result.response;
 
const text = response.text();
  console
.log(text);
}

run
();

建立多轮对话(聊天)

借助 Gemini,您可以跨多个回合构建自由形式的对话。通过 SDK 通过管理对话状态来简化流程, 使用 generateContent,则无需存储对话记录 。

如需构建多轮对话(如聊天),请使用 Gemini 1.5 模型或 Gemini 1.0 Pro 模型,并通过调用 startChat() 来初始化对话。 然后,使用 sendMessage() 发送一条新的用户消息,此消息还将附加 消息和对聊天记录的响应。

与内容关联的 role 有两种可能的选项 对话:

  • user:提供提示的角色。该值是 sendMessage 调用,如果没有不同的值,该函数将抛出异常 角色。

  • model:提供响应的角色。此角色可以在以下情况下使用: 使用现有的 history 调用 startChat()

import { GoogleGenerativeAI } from "@google/generative-ai";

// Access your API key (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(API_KEY);

async
function run() {
 
// The Gemini 1.5 models are versatile and work with multi-turn conversations (like chat)
 
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

 
const chat = model.startChat({
    history
: [
     
{
        role
: "user",
        parts
: [{ text: "Hello, I have 2 dogs in my house." }],
     
},
     
{
        role
: "model",
        parts
: [{ text: "Great to meet you. What would you like to know?" }],
     
},
   
],
    generationConfig
: {
      maxOutputTokens
: 100,
   
},
 
});

 
const msg = "How many paws are in my house?";

 
const result = await chat.sendMessage(msg);
 
const response = await result.response;
 
const text = response.text();
  console
.log(text);
}

run
();

使用流式传输加快互动速度

默认情况下,模型会在完成整个生成过程后返回响应 过程。您无需等待整个会话,即可实现更快速的互动 结果,而改用流式传输来处理部分结果。

以下示例展示了如何使用 generateContentStream 方法,用于根据文本和图片输入生成文本 提示。

// ...

const result = await model.generateContentStream([prompt, ...imageParts]);

let text
= '';
for await (const chunk of result.stream) {
 
const chunkText = chunk.text();
  console
.log(chunkText);
  text
+= chunkText;
}

// ...

对于纯文本输入和聊天用例,您可以使用类似的方法。

// Use streaming with text-only input
const result = await model.generateContentStream(prompt);

请参阅上面的聊天示例,了解如何实例化 一个 chat

// Use streaming with multi-turn conversations (like chat)
const result = await chat.sendMessageStream(msg);

实现高级用例

本教程上一部分中介绍的常见用例有助于 能够熟练使用 Gemini API。本部分介绍了一些 可能被视为更高级的用例。

调用函数

函数调用可让您更轻松地从 Google Cloud 控制台获取结构化数据输出 生成模型。然后,您可以使用这些输出来调用其他 API 并返回 将相关的响应数据提供给模型。换句话说,函数调用有助于 将生成模型连接到外部系统, 可提供最新、最准确的信息。 如需了解详情,请参阅 函数调用教程

计算词元数量

在使用长提示时,在发送任何词元之前计算词元数量可能会有帮助 传递给模型。以下示例展示了如何使用 countTokens() 例如:

// For text-only input
const { totalTokens } = await model.countTokens(prompt);
// For text-and-image input (multimodal)
const { totalTokens } = await model.countTokens([prompt, ...imageParts]);
// For multi-turn conversations (like chat)
const history = await chat.getHistory();
const msgContent = { role: "user", parts: [{ text: msg }] };
const contents = [...history, msgContent];
const { totalTokens } = await model.countTokens({ contents });

用于控制内容生成的选项

您可以通过配置模型参数和使用 安全设置。

配置模型参数

您发送到模型的每个提示都包含参数值,用于控制 模型生成回答。对于不同的参数值,模型会生成不同的结果。详细了解 模型参数。 此配置在模型实例的生命周期内保持不变。

const generationConfig = {
  stopSequences
: ["red"],
  maxOutputTokens
: 200,
  temperature
: 0.9,
  topP
: 0.1,
  topK
: 16,
};

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash",  generationConfig });

使用安全设置

你可以使用安全设置来调整收到符合以下要求的回答的可能性 可能会被视为有害的内容。默认情况下,安全设置会屏蔽带有“中等”标记的内容 和/或在所有维度上都属于不安全的内容的高概率。了解 详细了解安全设置

设置一项安全设置的方法如下:

import { HarmBlockThreshold, HarmCategory } from "@google/generative-ai";

// ...

const safetySettings = [
 
{
    category
: HarmCategory.HARM_CATEGORY_HARASSMENT,
    threshold
: HarmBlockThreshold.BLOCK_ONLY_HIGH,
 
},
];

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash", safetySettings });

您还可以设定多项安全设置:

const safetySettings = [
 
{
    category
: HarmCategory.HARM_CATEGORY_HARASSMENT,
    threshold
: HarmBlockThreshold.BLOCK_ONLY_HIGH,
 
},
 
{
    category
: HarmCategory.HARM_CATEGORY_HATE_SPEECH,
    threshold
: HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
 
},
];

后续步骤

  • 提示设计是创建提示以从语言模型引出所需回复的过程。撰写结构合理的提示是 是确保语言模型做出准确、高质量响应的一部分。 了解提示撰写的最佳做法

  • Gemini 提供多种模型变体,以满足不同使用情形的需求 例如输入类型和复杂性、聊天或其他 对话框语言任务和大小限制。 不妨了解可用的 Gemini 模型