Создание изображений

API Gemini поддерживает создание изображений с помощью Gemini 2.0 Flash Experimental и Imagen 3 . Это руководство поможет вам начать работу с обеими моделями.

Инструкции по подсказкам изображений см. в разделе «Руководство по подсказкам Imagen» .

Прежде чем начать

Прежде чем вызывать API Gemini, убедитесь, что выбранный вами SDK установлен, а ключ API Gemini настроен и готов к использованию.

Создание изображений с помощью Gemini

Gemini 2.0 Flash Experimental поддерживает возможность вывода текста и встроенных изображений. Это позволяет вам использовать Gemini для редактирования изображений в диалоговом режиме или создания результатов с переплетенным текстом (например, создание сообщения в блоге с текстом и изображениями за один ход). Все сгенерированные изображения содержат водяной знак SynthID , а изображения в Google AI Studio также включают видимый водяной знак.

В следующем примере показано, как использовать Gemini 2.0 для генерации вывода текста и изображений:

from google import genai
from google.genai import types
from PIL import Image
from io import BytesIO
import base64

client = genai.Client()

contents = ('Hi, can you create a 3d rendered image of a pig '
            'with wings and a top hat flying over a happy '
            'futuristic scifi city with lots of greenery?')

response = client.models.generate_content(
    model="gemini-2.0-flash-exp-image-generation",
    contents=contents,
    config=types.GenerateContentConfig(
      response_modalities=['TEXT', 'IMAGE']
    )
)

for part in response.candidates[0].content.parts:
  if part.text is not None:
    print(part.text)
  elif part.inline_data is not None:
    image = Image.open(BytesIO((part.inline_data.data)))
    image.save('gemini-native-image.png')
    image.show()

import { GoogleGenAI, Modality } from "@google/genai";
import * as fs from "node:fs";

async function main() {

  const ai = new GoogleGenAI({ apiKey: "GEMINI_API_KEY" });

  const contents =
    "Hi, can you create a 3d rendered image of a pig " +
    "with wings and a top hat flying over a happy " +
    "futuristic scifi city with lots of greenery?";

  // Set responseModalities to include "Image" so the model can generate  an image
  const response = await ai.models.generateContent({
    model: "gemini-2.0-flash-exp-image-generation",
    contents: contents,
    config: {
      responseModalities: [Modality.TEXT, Modality.IMAGE],
    },
  });
  for (const part of response.candidates[0].content.parts) {
    // Based on the part type, either show the text or save the image
    if (part.text) {
      console.log(part.text);
    } else if (part.inlineData) {
      const imageData = part.inlineData.data;
      const buffer = Buffer.from(imageData, "base64");
      fs.writeFileSync("gemini-native-image.png", buffer);
      console.log("Image saved as gemini-native-image.png");
    }
  }
}

main();

curl -s -X POST \
  "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash-exp-image-generation:generateContent?key=$GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [{
      "parts": [
        {"text": "Hi, can you create a 3d rendered image of a pig with wings and a top hat flying over a happy futuristic scifi city with lots of greenery?"}
      ]
    }],
    "generationConfig":{"responseModalities":["TEXT","IMAGE"]}
  }' \
  | grep -o '"data": "[^"]*"' \
  | cut -d'"' -f4 \
  | base64 --decode > gemini-native-image.png

В зависимости от подсказки и контекста Gemini будет генерировать контент в разных режимах (текст в изображение, текст в изображение и текст и т. д.). Вот несколько примеров:

• Текст в изображение
  • Пример запроса: «Создать изображение Эйфелевой башни с фейерверком на заднем плане».
• Текст в изображение(я) и текст (чередующийся)
  • Пример приглашения: «Создать иллюстрированный рецепт паэльи».
• Изображения и текст в изображения и текст (чередующиеся)
  • Пример подсказки: (с изображением меблированной комнаты) «Дива каких еще цветов подойдут в моем пространстве? Можете ли вы обновить изображение?»
• Редактирование изображений (текст и изображение в изображение)
  • Пример подсказки: «Отредактируйте это изображение, чтобы оно выглядело как мультфильм».
  • Пример подсказки: [изображение кота] + [изображение подушки] + «Вышейте крестиком моего кота на этой подушке».
• Многооборотное редактирование изображений (чат)
  • Пример подсказки: [загрузите изображение синего автомобиля.] «Превратите эту машину в кабриолет». «Теперь измените цвет на желтый».

Редактирование изображений с помощью Gemini

Чтобы выполнить редактирование изображения, добавьте изображение в качестве входных данных. В следующем примере демонстрируется загрузка изображений в кодировке Base64. Если вы хотите получить несколько изображений и более крупные полезные данные, проверьте раздел ввода изображений .

from google import genai
from google.genai import types
from PIL import Image
from io import BytesIO

import PIL.Image

image = PIL.Image.open('/path/to/image.png')

client = genai.Client()

text_input = ('Hi, This is a picture of me.'
            'Can you add a llama next to me?',)

response = client.models.generate_content(
    model="gemini-2.0-flash-exp-image-generation",
    contents=[text_input, image],
    config=types.GenerateContentConfig(
      response_modalities=['TEXT', 'IMAGE']
    )
)

for part in response.candidates[0].content.parts:
  if part.text is not None:
    print(part.text)
  elif part.inline_data is not None:
    image = Image.open(BytesIO(part.inline_data.data))
    image.show()

import { GoogleGenAI, Modality } from "@google/genai";
import * as fs from "node:fs";

async function main() {

  const ai = new GoogleGenAI({ apiKey: "GEMINI_API_KEY" });

  // Load the image from the local file system
  const imagePath = "path/to/image.png";
  const imageData = fs.readFileSync(imagePath);
  const base64Image = imageData.toString("base64");

  // Prepare the content parts
  const contents = [
    { text: "Can you add a llama next to the image?" },
    {
      inlineData: {
        mimeType: "image/png",
        data: base64Image,
      },
    },
  ];

  // Set responseModalities to include "Image" so the model can generate an image
  const response = await ai.models.generateContent({
    model: "gemini-2.0-flash-exp-image-generation",
    contents: contents,
    config: {
      responseModalities: [Modality.TEXT, Modality.IMAGE],
    },
  });
  for (const part of response.candidates[0].content.parts) {
    // Based on the part type, either show the text or save the image
    if (part.text) {
      console.log(part.text);
    } else if (part.inlineData) {
      const imageData = part.inlineData.data;
      const buffer = Buffer.from(imageData, "base64");
      fs.writeFileSync("gemini-native-image.png", buffer);
      console.log("Image saved as gemini-native-image.png");
    }
  }
}

main();

IMG_PATH=/path/to/your/image1.jpeg

if [[ "$(base64 --version 2>&1)" = *"FreeBSD"* ]]; then
  B64FLAGS="--input"
else
  B64FLAGS="-w0"
fi

IMG_BASE64=$(base64 "$B64FLAGS" "$IMG_PATH" 2>&1)

curl -X POST \
  "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash-exp-image-generation:generateContent?key=$GEMINI_API_KEY" \
    -H 'Content-Type: application/json' \
    -d "{
      \"contents\": [{
        \"parts\":[
            {\"text\": \"'Hi, This is a picture of me. Can you add a llama next to me\"},
            {
              \"inline_data\": {
                \"mime_type\":\"image/jpeg\",
                \"data\": \"$IMG_BASE64\"
              }
            }
        ]
      }],
      \"generationConfig\": {\"responseModalities\": [\"TEXT\", \"IMAGE\"]}
    }"  \
  | grep -o '"data": "[^"]*"' \
  | cut -d'"' -f4 \
  | base64 --decode > gemini-edited-image.png

Ограничения

• Для достижения наилучшей производительности используйте следующие языки: EN, es-MX, ja-JP, zh-CN, hi-IN.
• Генерация изображений не поддерживает аудио- и видеовходы.
• Генерация изображения не всегда может срабатывать:
  • Модель может выводить только текст. Попробуйте явно запросить выходные данные изображения (например, «создать изображение», «предоставить изображения по мере продвижения», «обновить изображение»).
  • Модель может перестать генерировать на полпути. Попробуйте еще раз или попробуйте другое приглашение.
• При создании текста для изображения Gemini работает лучше всего, если вы сначала генерируете текст, а затем запрашиваете изображение с текстом.

Выберите модель

Какую модель следует использовать для создания изображений? Это зависит от вашего варианта использования.

Gemini 2.0 лучше всего подходит для создания контекстно-релевантных изображений, объединения текста и изображений, включения мировых знаний и рассуждений об изображениях. Вы можете использовать его для создания точных, контекстуально релевантных визуальных эффектов, встроенных в длинные текстовые последовательности. Вы также можете редактировать изображения в диалоговом режиме, используя естественный язык, сохраняя при этом контекст на протяжении всего разговора.

Если качество изображения является вашим главным приоритетом, то Imagen 3 — лучший выбор. Imagen 3 отличается фотореализмом, художественными деталями и конкретными художественными стилями, такими как импрессионизм или аниме. Imagen 3 также является хорошим выбором для специализированных задач по редактированию изображений, таких как обновление фона продукта, масштабирование изображений и придание фирменного стиля и стиля визуальным элементам. Вы можете использовать Imagen 3 для создания логотипов или дизайна другой фирменной продукции.

Создавайте изображения с помощью Imagen 3

Gemini API обеспечивает доступ к Imagen 3 , модели Google для преобразования текста в изображение высочайшего качества, обладающей рядом новых и улучшенных возможностей. Imagen 3 может делать следующее:

• Создавайте изображения с большей детализацией, более насыщенным освещением и меньшим количеством отвлекающих артефактов, чем предыдущие модели.
• Понимать подсказки, написанные на естественном языке
• Создавайте изображения в широком диапазоне форматов и стилей.
• Рендеринг текста более эффективно, чем в предыдущих моделях

from google import genai
from google.genai import types
from PIL import Image
from io import BytesIO

client = genai.Client(api_key='GEMINI_API_KEY')

response = client.models.generate_images(
    model='imagen-3.0-generate-002',
    prompt='Robot holding a red skateboard',
    config=types.GenerateImagesConfig(
        number_of_images= 4,
    )
)
for generated_image in response.generated_images:
  image = Image.open(BytesIO(generated_image.image.image_bytes))
  image.show()

import { GoogleGenAI } from "@google/genai";
import * as fs from "node:fs";

async function main() {

  const ai = new GoogleGenAI({ apiKey: "GEMINI_API_KEY" });

  const response = await ai.models.generateImages({
    model: 'imagen-3.0-generate-002',
    prompt: 'Robot holding a red skateboard',
    config: {
      numberOfImages: 4,
    },
  });

  let idx = 1;
  for (const generatedImage of response.generatedImages) {
    let imgBytes = generatedImage.image.imageBytes;
    const buffer = Buffer.from(imgBytes, "base64");
    fs.writeFileSync(`imagen-${idx}.png`, buffer);
    idx++;
  }
}

main();

curl -X POST \
    "https://generativelanguage.googleapis.com/v1beta/models/imagen-3.0-generate-002:predict?key=GEMINI_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{
        "instances": [
          {
            "prompt": "Robot holding a red skateboard"
          }
        ],
        "parameters": {
          "sampleCount": 4
        }
      }'

В настоящее время Imagen поддерживает только запросы на английском языке и следующие параметры:

Параметры модели изображения

(Соглашения об именах зависят от языка программирования.)

• numberOfImages : количество генерируемых изображений от 1 до 4 (включительно). По умолчанию — 4.
• aspectRatio : изменяет соотношение сторон сгенерированного изображения. Поддерживаемые значения: "1:1" , "3:4" , "4:3" , "9:16" и "16:9" . По умолчанию установлено "1:1" .
• personGeneration : разрешить модели генерировать изображения людей. Поддерживаются следующие значения:
  • "DONT_ALLOW" : блокировать создание изображений людей.
  • "ALLOW_ADULT" : создавать изображения взрослых, но не детей. Это значение по умолчанию.

Подсказка по изображению

В этом разделе руководства Imagen показано, как изменение приглашения преобразования текста в изображение может привести к различным результатам, а также приведены примеры изображений, которые вы можете создать.

Основы написания подсказок

Хорошая подсказка описательна и понятна, в ней используются значимые ключевые слова и модификаторы. Начните с обдумывания темы , контекста и стиля .

1. Тема : Первое, о чем следует подумать при любой подсказке, — это тема : объект, человек, животное или пейзаж, изображение которого вы хотите отобразить.

2. Контекст и предыстория. Не менее важным является фон или контекст , в котором будет помещен объект. Попробуйте разместить объект съемки на разных фонах. Например, студия с белым фоном, на открытом воздухе или в помещении.

3. Стиль: Наконец, добавьте желаемый стиль изображения. Стили могут быть общими (живопись, фотография, эскизы) или очень конкретными (живопись пастелью, рисунок углем, изометрическое 3D). Вы также можете комбинировать стили.

После того, как вы напишете первую версию приглашения, усовершенствуйте его, добавляя больше деталей, пока не дойдете до нужного изображения. Итерация важна. Начните с определения своей основной идеи, а затем уточняйте и расширяйте ее до тех пор, пока созданный образ не станет близок к вашему видению.

Imagen 3 может превратить ваши идеи в подробные изображения, независимо от того, короткие ли ваши подсказки или длинные и подробные. Уточняйте свое видение с помощью повторяющихся подсказок, добавляя детали, пока не достигнете идеального результата.

Короткие подсказки позволяют быстро создать изображение.

Более длинные подсказки позволяют добавлять конкретные детали и создавать свой образ.

Дополнительные советы по написанию подсказки Imagen:

• Используйте описательный язык : используйте подробные прилагательные и наречия, чтобы нарисовать четкую картину Imagen 3.
• Предоставьте контекст : при необходимости включите справочную информацию, которая поможет ИИ понять.
• Ссылайтесь на конкретных художников или стили . Если вы имеете в виду определенную эстетику, может оказаться полезным упоминание конкретных художников или художественных направлений.
• Используйте инструменты оперативного проектирования . Рассмотрите возможность изучения инструментов или ресурсов оперативного проектирования, которые помогут вам усовершенствовать подсказки и достичь оптимальных результатов.
• Улучшение деталей лица на ваших личных и групповых изображениях :
  • Укажите детали лица в качестве фокуса фотографии (например, используйте в подсказке слово «портрет»).

Генерация текста в изображениях

Imagen может добавлять текст в изображения, открывая более творческие возможности создания изображений. Используйте следующие рекомендации, чтобы максимально эффективно использовать эту функцию:

• Выполняйте итерации с уверенностью : возможно, вам придется регенерировать изображения, пока не добьетесь желаемого результата. Интеграция текста в Imagen все еще развивается, и иногда несколько попыток дают наилучшие результаты.
• Будьте краткими : для оптимальной генерации ограничьте текст 25 символами или меньше.

• Несколько фраз . Поэкспериментируйте с двумя или тремя разными фразами, чтобы предоставить дополнительную информацию. Избегайте превышения трех фраз для более чистых композиций.

  

• Размещение направляющих : Хотя Imagen может попытаться расположить текст в соответствии с указаниями, ожидайте случайных изменений. Эта функция постоянно совершенствуется.

• Стиль шрифта Inspire : укажите общий стиль шрифта, чтобы слегка повлиять на выбор Imagen. Не полагайтесь на точное копирование шрифта, а ожидайте творческих интерпретаций.

• Размер шрифта : укажите размер шрифта или общее указание размера (например, маленький , средний , большой ), чтобы повлиять на создание размера шрифта.

Оперативная параметризация

Чтобы лучше контролировать результаты вывода, вам может оказаться полезным параметризовать входные данные в Imagen. Например, предположим, вы хотите, чтобы ваши клиенты могли создавать логотипы для своего бизнеса, и вы хотите, чтобы логотипы всегда создавались на сплошном цветном фоне. Вы также хотите ограничить параметры, которые клиент может выбрать из меню.

В этом примере вы можете создать параметризованное приглашение, подобное следующему:

A {logo_style} logo for a {company_area} company on a solid color background. Include the text {company_name}.

В вашем пользовательском интерфейсе клиент может вводить параметры с помощью меню, и выбранное ими значение заполняет подсказку, которую получает Imagen.

Например:

1. Подсказка: A minimalist logo for a health care company on a solid color background. Include the text Journey .

   

2. Подсказка: A modern logo for a software company on a solid color background. Include the text Silo .

   

3. Подсказка: A traditional logo for a baking company on a solid color background. Include the text Seed .

   

Продвинутые методы быстрого написания

Используйте следующие примеры, чтобы создать более конкретные подсказки на основе таких атрибутов, как дескрипторы фотографий, формы и материалы, исторические направления искусства и модификаторы качества изображения.

Фотография

• Подсказка включает в себя: «Фотография...»

Чтобы использовать этот стиль, начните с использования ключевых слов, которые четко сообщают Imagen, что вы ищете фотографию. Начните свои подсказки со слов «Фотография...». . Например:

^{Источник изображения: каждое изображение было создано с использованием соответствующей текстовой подсказки с помощью модели Imagen 3.}

Модификаторы фотографий

В следующих примерах вы можете увидеть несколько модификаторов и параметров, специфичных для фотографии. Вы можете комбинировать несколько модификаторов для более точного управления.

1. Близость камеры — крупный план, снято издалека.

2. Положение камеры – сверху, снизу.

3. Освещение – естественное, драматическое, теплое, холодное.

4. Настройки камеры — размытие в движении, мягкий фокус, боке, портрет.

5. Типы объективов : 35 мм, 50 мм, «рыбий глаз», широкоугольный, макро.

6. Типы пленки – черно-белая, полароид.

^{Источник изображения: каждое изображение было создано с использованием соответствующей текстовой подсказки с помощью модели Imagen 3.}

Иллюстрация и искусство

• Подсказка включает в себя: « painting ...» , « sketch ...».

Художественные стили варьируются от монохромных стилей, таких как карандашные наброски, до гиперреалистичного цифрового искусства. Например, на следующих изображениях используется одна и та же подсказка в разных стилях:

« [art style or creation technique] угловатого спортивного электрического седана на фоне небоскребов»

^{Источник изображения: каждое изображение было создано с использованием соответствующей текстовой подсказки с помощью модели Imagen 2.}

Формы и материалы

• Подсказка включает в себя: «...сделано из...» , «...в форме...»

Одной из сильных сторон этой технологии является то, что вы можете создавать изображения, которые иначе сложно или невозможно. Например, вы можете воссоздать логотип своей компании, используя разные материалы и текстуры.

^{Источник изображения: каждое изображение было создано с использованием соответствующей текстовой подсказки с помощью модели Imagen 3.}

Ссылки на историческое искусство

• Подсказка включает в себя: «...в стиле...»

Некоторые стили с годами стали культовыми. Ниже приведены некоторые идеи исторической живописи или художественных стилей, которые вы можете попробовать.

«создать изображение в стиле [art period or movement] : ветряная электростанция»

^{Источник изображения: каждое изображение было создано с использованием соответствующей текстовой подсказки с помощью модели Imagen 3.}

Модификаторы качества изображения

Определенные ключевые слова могут дать понять модели, что вы ищете высококачественный актив. Примеры модификаторов качества включают следующее:

• Общие Модификаторы - качественные, красивые, стилизованные.
• Фотографии - 4K, HDR, студийное фото
• Искусство, Иллюстрация - от профессионала, подробно

Ниже приведены несколько примеров подсказок без модификаторов качества и того же приглашения с модификаторами качества.

^{Источник изображения: каждое изображение было создано с использованием соответствующей текстовой подсказки с помощью модели Imagen 3.}

Соотношения сторон

Генерация изображений Imagen 3 позволяет установить пять различных соотношений сторон изображения.

1. Квадрат (1:1, по умолчанию) — стандартное квадратное фото. Обычное использование этого соотношения сторон включает публикации в социальных сетях.

2. Полноэкранный режим (4:3). Это соотношение сторон обычно используется в средствах массовой информации или фильмах. Это также размеры большинства старых (неширокоэкранных) телевизоров и камер среднего формата. Он захватывает большую часть сцены по горизонтали (по сравнению с соотношением сторон 1:1), что делает его предпочтительным соотношением сторон для фотографии.

3. Портретный полноэкранный режим (3:4). Это полноэкранное соотношение сторон, повернутое на 90 градусов. Это позволяет захватить большую часть сцены по вертикали по сравнению с соотношением сторон 1:1.

4. Широкоэкранный (16:9). Это соотношение заменило 4:3 и теперь является наиболее распространенным соотношением сторон для телевизоров, мониторов и экранов мобильных телефонов (альбомная ориентация). Используйте это соотношение сторон, если хотите захватить большую часть фона (например, живописные пейзажи).

   

5. Портрет (9:16). Это соотношение широкоэкранное, но повернутое. Это относительно новое соотношение сторон, которое стало популяризироваться в приложениях для создания коротких видеороликов (например, короткометражках на YouTube). Используйте это для высоких объектов с сильной вертикальной ориентацией, таких как здания, деревья, водопады и другие подобные объекты.

   

Фотореалистичные изображения

Различные версии модели генерации изображений могут предлагать сочетание художественных и фотореалистичных результатов. Используйте следующую формулировку в подсказках, чтобы создать более фотореалистичный результат в зависимости от объекта, который вы хотите создать.

Портреты

Используя несколько ключевых слов из таблицы, Imagen может сгенерировать следующие портреты:

Подсказка: женщина, портрет 35 мм, синие и серые дуотоны.
Модель: imagen-3.0-generate-002

Подсказка: женщина, портрет 35 мм, фильм-нуар.
Модель: imagen-3.0-generate-002

Объекты

Используя несколько ключевых слов из таблицы, Imagen может генерировать следующие изображения объектов:

Подсказка: лист молитвенного растения, макрообъектив, 60 мм.
Модель: imagen-3.0-generate-002

Подсказка: тарелка макарон, макрообъектив 100 мм.
Модель: imagen-3.0-generate-002

Движение

Используя несколько ключевых слов из таблицы, Imagen может генерировать следующие движущиеся изображения:

Подсказка: победное приземление, короткая выдержка, отслеживание движения.
Модель: imagen-3.0-generate-002

Подсказка: олень, бегущий по лесу, короткая выдержка, отслеживание движения.
Модель: imagen-3.0-generate-002

Широкоугольный

Используя несколько ключевых слов из таблицы, Imagen может генерировать следующие широкоугольные изображения:

Подсказка: обширный горный массив, пейзаж, широкий угол обзора 10 мм.
Модель: imagen-3.0-generate-002

Подсказка: фото Луны, астросъемка, широкоугольный 10мм.
Модель: imagen-3.0-generate-002

Что дальше

• Ознакомьтесь с руководством Veo , чтобы узнать, как создавать видео с помощью Gemini API.
• Дополнительные сведения о моделях Gemini 2.0 см. в разделах Модели Gemini и Экспериментальные модели .