Lyria 3 — это семейство моделей генерации музыки от Google, доступных через API Gemini. С помощью Lyria 3 вы можете генерировать высококачественный стереофонический звук с частотой 44,1 кГц из текстовых подсказок или изображений. Эти модели обеспечивают структурную целостность, включая вокал, синхронизированные тексты песен и полные инструментальные аранжировки.
В семейство Lyria 3 входят две модели:
| Модель | Идентификатор модели | Лучше всего подходит для | Продолжительность | Выход |
|---|---|---|---|---|
| Клип Лирии 3 | lyria-3-clip-preview | Короткие видеоролики, зацикленные фрагменты, превью. | 30 секунд | MP3 |
| Лирия 3 Про | lyria-3-pro-preview | Полноценные песни с куплетами, припевами и бриджами. | Несколько минут (можно регулировать с помощью подсказки) | MP3 |
Обе модели могут использоваться со стандартным методом generateContent и новым API Interactions , поддерживая многомодальные входные данные (текст и изображения) и обеспечивая высококачественный стереозвук с частотой 44,1 кГц .
Создать музыкальный клип
Модель Lyria 3 Clip всегда генерирует 30-секундный клип. Для генерации клипа вызовите метод generateContent с текстовой подсказкой. В ответе всегда будут содержаться сгенерированные текст и структура песни, а также аудиодорожка.
Python
from google import genai
client = genai.Client()
response = client.models.generate_content(
model="lyria-3-clip-preview",
contents="Create a 30-second cheerful acoustic folk song with "
"guitar and harmonica.",
)
# Parse the response
for part in response.parts:
if part.text is not None:
print(part.text)
elif part.inline_data is not None:
with open("clip.mp3", "wb") as f:
f.write(part.inline_data.data)
print("Audio saved to clip.mp3")
JavaScript
import { GoogleGenAI } from "@google/genai";
import * as fs from "node:fs";
const ai = new GoogleGenAI({});
async function main() {
const response = await ai.models.generateContent({
model: "lyria-3-clip-preview",
contents: "Create a 30-second cheerful acoustic folk song with " +
"guitar and harmonica.",
});
for (const part of response.candidates[0].content.parts) {
if (part.text) {
console.log(part.text);
} else if (part.inlineData) {
const buffer = Buffer.from(part.inlineData.data, "base64");
fs.writeFileSync("clip.mp3", buffer);
console.log("Audio saved to clip.mp3");
}
}
}
main();
Идти
package main
import (
"context"
"fmt"
"log"
"os"
"google.golang.org/genai"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
result, err := client.Models.GenerateContent(
ctx,
"lyria-3-clip-preview",
genai.Text("Create a 30-second cheerful acoustic folk song " +
"with guitar and harmonica."),
nil,
)
if err != nil {
log.Fatal(err)
}
for _, part := range result.Candidates[0].Content.Parts {
if part.Text != "" {
fmt.Println(part.Text)
} else if part.InlineData != nil {
err := os.WriteFile("clip.mp3", part.InlineData.Data, 0644)
if err != nil {
log.Fatal(err)
}
fmt.Println("Audio saved to clip.mp3")
}
}
}
Java
import com.google.genai.Client;
import com.google.genai.types.GenerateContentResponse;
import com.google.genai.types.Part;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
public class GenerateMusicClip {
public static void main(String[] args) throws IOException {
try (Client client = new Client()) {
GenerateContentResponse response = client.models.generateContent(
"lyria-3-clip-preview",
"Create a 30-second cheerful acoustic folk song with "
+ "guitar and harmonica.");
for (Part part : response.parts()) {
if (part.text().isPresent()) {
System.out.println(part.text().get());
} else if (part.inlineData().isPresent()) {
var blob = part.inlineData().get();
if (blob.data().isPresent()) {
Files.write(Paths.get("clip.mp3"), blob.data().get());
System.out.println("Audio saved to clip.mp3");
}
}
}
}
}
}
ОТДЫХ
curl -s -X POST \
"https://generativelanguage.googleapis.com/v1beta/models/lyria-3-clip-preview:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"contents": [{
"parts": [
{"text": "Create a 30-second cheerful acoustic folk song with guitar and harmonica."}
]
}]
}'
C#
using System.Threading.Tasks;
using Google.GenAI;
using Google.GenAI.Types;
using System.IO;
public class GenerateMusicClip {
public static async Task main() {
var client = new Client();
var response = await client.Models.GenerateContentAsync(
model: "lyria-3-clip-preview",
contents: "Create a 30-second cheerful acoustic folk song with guitar and harmonica."
);
foreach (var part in response.Candidates[0].Content.Parts) {
if (part.Text != null) {
Console.WriteLine(part.Text);
} else if (part.InlineData != null) {
await File.WriteAllBytesAsync("clip.mp3", part.InlineData.Data);
Console.WriteLine("Audio saved to clip.mp3");
}
}
}
}
Создайте полноценную песню
Используйте модель lyria-3-pro-preview для создания полноценных песен продолжительностью в несколько минут. Модель Pro понимает музыкальную структуру и может создавать композиции с отдельными куплетами, припевами и бриджами. Вы можете влиять на продолжительность, указывая её в командной строке (например, «создать 2-минутную песню») или используя временные метки для определения структуры.
Python
response = client.models.generate_content(
model="lyria-3-pro-preview",
contents="An epic cinematic orchestral piece about a journey home. "
"Starts with a solo piano intro, builds through sweeping "
"strings, and climaxes with a massive wall of sound.",
)
JavaScript
const response = await ai.models.generateContent({
model: "lyria-3-pro-preview",
contents: "An epic cinematic orchestral piece about a journey home. " +
"Starts with a solo piano intro, builds through sweeping " +
"strings, and climaxes with a massive wall of sound.",
});
Идти
result, err := client.Models.GenerateContent(
ctx,
"lyria-3-pro-preview",
genai.Text("An epic cinematic orchestral piece about a journey " +
"home. Starts with a solo piano intro, builds through " +
"sweeping strings, and climaxes with a massive wall of sound."),
nil,
)
Java
GenerateContentResponse response = client.models.generateContent(
"lyria-3-pro-preview",
"An epic cinematic orchestral piece about a journey home. "
+ "Starts with a solo piano intro, builds through sweeping "
+ "strings, and climaxes with a massive wall of sound.");
ОТДЫХ
curl -s -X POST \
"https://generativelanguage.googleapis.com/v1beta/models/lyria-3-pro-preview:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"contents": [{
"parts": [
{"text": "An epic cinematic orchestral piece about a journey home. Starts with a solo piano intro, builds through sweeping strings, and climaxes with a massive wall of sound."}
]
}]
}'
C#
var response = await client.Models.GenerateContentAsync(
model: "lyria-3-pro-preview",
contents: "An epic cinematic orchestral piece about a journey home. " +
"Starts with a solo piano intro, builds through sweeping " +
"strings, and climaxes with a massive wall of sound."
);
Выберите формат вывода
По умолчанию модели Lyria 3 генерируют аудио в формате MP3 . Для Lyria 3 Pro вы также можете запросить вывод в формате WAV , задав параметр response_format в generationConfig .
Python
response = client.models.generate_content(
model="lyria-3-pro-preview",
contents="An atmospheric ambient track.",
config=types.GenerateContentConfig(
response_modalities=["AUDIO", "TEXT"],
response_format={"audio": {"mime_type": "audio/wav"}},
),
)
JavaScript
const response = await ai.models.generateContent({
model: "lyria-3-pro-preview",
contents: "An atmospheric ambient track.",
config: {
responseModalities: ["AUDIO", "TEXT"],
responseFormat: { audio: { mimeType: "audio/wav" } },
},
});
Идти
config := &genai.GenerateContentConfig{
ResponseModalities: []string{"AUDIO", "TEXT"},
ResponseMIMEType: "audio/wav",
}
result, err := client.Models.GenerateContent(
ctx,
"lyria-3-pro-preview",
genai.Text("An atmospheric ambient track."),
config,
)
Java
GenerateContentConfig config = GenerateContentConfig.builder()
.responseModalities("AUDIO", "TEXT")
.responseFormat(ResponseFormat.builder().audio(AudioFormat.builder().mimeType("audio/wav").build()).build())
.build();
GenerateContentResponse response = client.models.generateContent(
"lyria-3-pro-preview",
"An atmospheric ambient track.",
config);
C#
var config = new GenerateContentConfig {
ResponseModalities = { "AUDIO", "TEXT" },
ResponseMimeType = "audio/wav"
};
var response = await client.Models.GenerateContentAsync(
model: "lyria-3-pro-preview",
contents: "An atmospheric ambient track.",
config: config
);
ОТДЫХ
curl -s -X POST \
"https://generativelanguage.googleapis.com/v1beta/models/lyria-3-pro-preview:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"contents": [{
"parts": [
{"text": "An atmospheric ambient track."}
]
}],
"generationConfig": {
"responseModalities": ["AUDIO", "TEXT"],
"responseFormat": { "audio": { "mimeType": "audio/wav" } }
}
}'
Проанализируйте ответ
Ответ от Lyria 3 состоит из нескольких частей. Текстовые части содержат сгенерированный текст песни или JSON-описание структуры песни. Части с inline_data содержат аудиобайты.
Python
lyrics = []
audio_data = None
for part in response.parts:
if part.text is not None:
lyrics.append(part.text)
elif part.inline_data is not None:
audio_data = part.inline_data.data
if lyrics:
print("Lyrics:\n" + "\n".join(lyrics))
if audio_data:
with open("output.mp3", "wb") as f:
f.write(audio_data)
JavaScript
const lyrics = [];
let audioData = null;
for (const part of response.candidates[0].content.parts) {
if (part.text) {
lyrics.push(part.text);
} else if (part.inlineData) {
audioData = Buffer.from(part.inlineData.data, "base64");
}
}
if (lyrics.length) {
console.log("Lyrics:\n" + lyrics.join("\n"));
}
if (audioData) {
fs.writeFileSync("output.mp3", audioData);
}
Идти
var lyrics []string
var audioData []byte
for _, part := range result.Candidates[0].Content.Parts {
if part.Text != "" {
lyrics = append(lyrics, part.Text)
} else if part.InlineData != nil {
audioData = part.InlineData.Data
}
}
if len(lyrics) > 0 {
fmt.Println("Lyrics:\n" + strings.Join(lyrics, "\n"))
}
if audioData != nil {
err := os.WriteFile("output.mp3", audioData, 0644)
if err != nil {
log.Fatal(err)
}
}
Java
List<String> lyrics = new ArrayList<>();
byte[] audioData = null;
for (Part part : response.parts()) {
if (part.text().isPresent()) {
lyrics.add(part.text().get());
} else if (part.inlineData().isPresent()) {
audioData = part.inlineData().get().data().get();
}
}
if (!lyrics.isEmpty()) {
System.out.println("Lyrics:\n" + String.join("\n", lyrics));
}
if (audioData != null) {
Files.write(Paths.get("output.mp3"), audioData);
}
C#
var lyrics = new List<string>();
byte[] audioData = null;
foreach (var part in response.Candidates[0].Content.Parts) {
if (part.Text != null) {
lyrics.Add(part.Text);
} else if (part.InlineData != null) {
audioData = part.InlineData.Data;
}
}
if (lyrics.Count > 0) {
Console.WriteLine("Lyrics:\n" + string.Join("\n", lyrics));
}
if (audioData != null) {
await File.WriteAllBytesAsync("output.mp3", audioData);
}
ОТДЫХ
# The output from the REST API is a JSON object containing base64 encoded data.
# You can extract the text or the audio data using a tool like jq.
# To extract the audio and save it to a file:
curl ... | jq -r '.candidates[0].content.parts[] | select(.inlineData) | .inlineData.data' | base64 -d > output.mp3
Генерация музыки из изображений
Lyria 3 поддерживает мультимодальный ввод — вы можете предоставить до 10 изображений вместе с текстовой подсказкой, и модель сочинит музыку, вдохновленную визуальным контентом.
Python
from PIL import Image
image = Image.open("desert_sunset.jpg")
response = client.models.generate_content(
model="lyria-3-pro-preview",
contents=[
"An atmospheric ambient track inspired by the mood and "
"colors in this image.",
image,
],
)
JavaScript
const imageData = fs.readFileSync("desert_sunset.jpg");
const base64Image = imageData.toString("base64");
const response = await ai.models.generateContent({
model: "lyria-3-pro-preview",
contents: [
{ text: "An atmospheric ambient track inspired by the mood " +
"and colors in this image." },
{
inlineData: {
mimeType: "image/jpeg",
data: base64Image,
},
},
],
});
Идти
imgData, err := os.ReadFile("desert_sunset.jpg")
if err != nil {
log.Fatal(err)
}
parts := []*genai.Part{
genai.NewPartFromText("An atmospheric ambient track inspired " +
"by the mood and colors in this image."),
&genai.Part{
InlineData: &genai.Blob{
MIMEType: "image/jpeg",
Data: imgData,
},
},
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, err := client.Models.GenerateContent(
ctx,
"lyria-3-pro-preview",
contents,
nil,
)
Java
GenerateContentResponse response = client.models.generateContent(
"lyria-3-pro-preview",
Content.fromParts(
Part.fromText("An atmospheric ambient track inspired by "
+ "the mood and colors in this image."),
Part.fromBytes(
Files.readAllBytes(Path.of("desert_sunset.jpg")),
"image/jpeg")));
ОТДЫХ
curl -s -X POST \
"https://generativelanguage.googleapis.com/v1beta/models/lyria-3-pro-preview:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-d "{
\"contents\": [{
\"parts\":[
{\"text\": \"An atmospheric ambient track inspired by the mood and colors in this image.\"},
{
\"inline_data\": {
\"mime_type\":\"image/jpeg\",
\"data\": \"<BASE64_IMAGE_DATA>\"
}
}
]
}]
}"
C#
var response = await client.Models.GenerateContentAsync(
model: "lyria-3-pro-preview",
contents: new List<Part> {
Part.FromText("An atmospheric ambient track inspired by the mood and colors in this image."),
Part.FromBytes(await File.ReadAllBytesAsync("desert_sunset.jpg"), "image/jpeg")
}
);
Предоставьте собственные тексты песен.
Вы можете написать свой собственный текст песни и включить его в задание. Используйте теги разделов, такие как [Verse] , [Chorus] и [Bridge] , чтобы помочь модели понять структуру песни:
Python
prompt = """
Create a dreamy indie pop song with the following lyrics:
[Verse 1]
Walking through the neon glow,
city lights reflect below,
every shadow tells a story,
every corner, fading glory.
[Chorus]
We are the echoes in the night,
burning brighter than the light,
hold on tight, don't let me go,
we are the echoes down below.
[Verse 2]
Footsteps lost on empty streets,
rhythms sync to heartbeats,
whispers carried by the breeze,
dancing through the autumn leaves.
"""
response = client.models.generate_content(
model="lyria-3-pro-preview",
contents=prompt,
)
JavaScript
const prompt = `
Create a dreamy indie pop song with the following lyrics:
[Verse 1]
Walking through the neon glow,
city lights reflect below,
every shadow tells a story,
every corner, fading glory.
[Chorus]
We are the echoes in the night,
burning brighter than the light,
hold on tight, don't let me go,
we are the echoes down below.
[Verse 2]
Footsteps lost on empty streets,
rhythms sync to heartbeats,
whispers carried by the breeze,
dancing through the autumn leaves.
`;
const response = await ai.models.generateContent({
model: "lyria-3-pro-preview",
contents: prompt,
});
Идти
prompt := `
Create a dreamy indie pop song with the following lyrics:
[Verse 1]
Walking through the neon glow,
city lights reflect below,
every shadow tells a story,
every corner, fading glory.
[Chorus]
We are the echoes in the night,
burning brighter than the light,
hold on tight, don't let me go,
we are the echoes down below.
[Verse 2]
Footsteps lost on empty streets,
rhythms sync to heartbeats,
whispers carried by the breeze,
dancing through the autumn leaves.
`
result, err := client.Models.GenerateContent(
ctx,
"lyria-3-pro-preview",
genai.Text(prompt),
nil,
)
Java
String prompt = """
Create a dreamy indie pop song with the following lyrics:
[Verse 1]
Walking through the neon glow,
city lights reflect below,
every shadow tells a story,
every corner, fading glory.
[Chorus]
We are the echoes in the night,
burning brighter than the light,
hold on tight, don't let me go,
we are the echoes down below.
[Verse 2]
Footsteps lost on empty streets,
rhythms sync to heartbeats,
whispers carried by the breeze,
dancing through the autumn leaves.
""";
GenerateContentResponse response = client.models.generateContent(
"lyria-3-pro-preview",
prompt);
C#
var prompt = @"
Create a dreamy indie pop song with the following lyrics:
[Verse 1]
Walking through the neon glow,
city lights reflect below,
every shadow tells a story,
every corner, fading glory.
[Chorus]
We are the echoes in the night,
burning brighter than the light,
hold on tight, don't let me go,
we are the echoes down below.
[Verse 2]
Footsteps lost on empty streets,
rhythms sync to heartbeats,
whispers carried by the breeze,
dancing through the autumn leaves.
";
var response = await client.Models.GenerateContentAsync(
model: "lyria-3-pro-preview",
contents: prompt
);
ОТДЫХ
curl -s -X POST \
"https://generativelanguage.googleapis.com/v1beta/models/lyria-3-pro-preview:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"contents": [{
"parts": [
{"text": "Create a dreamy indie pop song with the following lyrics: ..."}
]
}]
}'
Контроль времени и структуры
С помощью временных меток можно точно указать, что происходит в определенные моменты песни. Это полезно для управления моментом вступления инструментов, моментом исполнения текста и развитием композиции:
Python
prompt = """
[0:00 - 0:10] Intro: Begin with a soft lo-fi beat and muffled
vinyl crackle.
[0:10 - 0:30] Verse 1: Add a warm Fender Rhodes piano melody
and gentle vocals singing about a rainy morning.
[0:30 - 0:50] Chorus: Full band with upbeat drums and soaring
synth leads. The lyrics are hopeful and uplifting.
[0:50 - 1:00] Outro: Fade out with the piano melody alone.
"""
response = client.models.generate_content(
model="lyria-3-pro-preview",
contents=prompt,
)
JavaScript
const prompt = `
[0:00 - 0:10] Intro: Begin with a soft lo-fi beat and muffled
vinyl crackle.
[0:10 - 0:30] Verse 1: Add a warm Fender Rhodes piano melody
and gentle vocals singing about a rainy morning.
[0:30 - 0:50] Chorus: Full band with upbeat drums and soaring
synth leads. The lyrics are hopeful and uplifting.
[0:50 - 1:00] Outro: Fade out with the piano melody alone.
`;
const response = await ai.models.generateContent({
model: "lyria-3-pro-preview",
contents: prompt,
});
Идти
prompt := `
[0:00 - 0:10] Intro: Begin with a soft lo-fi beat and muffled
vinyl crackle.
[0:10 - 0:30] Verse 1: Add a warm Fender Rhodes piano melody
and gentle vocals singing about a rainy morning.
[0:30 - 0:50] Chorus: Full band with upbeat drums and soaring
synth leads. The lyrics are hopeful and uplifting.
[0:50 - 1:00] Outro: Fade out with the piano melody alone.
`
result, err := client.Models.GenerateContent(
ctx,
"lyria-3-pro-preview",
genai.Text(prompt),
nil,
)
Java
String prompt = """
[0:00 - 0:10] Intro: Begin with a soft lo-fi beat and muffled
vinyl crackle.
[0:10 - 0:30] Verse 1: Add a warm Fender Rhodes piano melody
and gentle vocals singing about a rainy morning.
[0:30 - 0:50] Chorus: Full band with upbeat drums and soaring
synth leads. The lyrics are hopeful and uplifting.
[0:50 - 1:00] Outro: Fade out with the piano melody alone.
""";
GenerateContentResponse response = client.models.generateContent(
"lyria-3-pro-preview",
prompt);
C#
var prompt = @"
[0:00 - 0:10] Intro: Begin with a soft lo-fi beat and muffled
vinyl crackle.
[0:10 - 0:30] Verse 1: Add a warm Fender Rhodes piano melody
and gentle vocals singing about a rainy morning.
[0:30 - 0:50] Chorus: Full band with upbeat drums and soaring
synth leads. The lyrics are hopeful and uplifting.
[0:50 - 1:00] Outro: Fade out with the piano melody alone.
";
var response = await client.Models.GenerateContentAsync(
model: "lyria-3-pro-preview",
contents: prompt
);
ОТДЫХ
curl -s -X POST \
"https://generativelanguage.googleapis.com/v1beta/models/lyria-3-pro-preview:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"contents": [{
"parts": [
{"text": "[0:00 - 0:10] Intro: ..."}
]
}]
}'
Создание инструментальных треков
Для фоновой музыки, саундтреков к играм или любых других случаев, когда вокал не требуется, вы можете настроить модель на создание только инструментальных треков:
Python
response = client.models.generate_content(
model="lyria-3-clip-preview",
contents="A bright chiptune melody in C Major, retro 8-bit "
"video game style. Instrumental only, no vocals.",
)
JavaScript
const response = await ai.models.generateContent({
model: "lyria-3-clip-preview",
contents: "A bright chiptune melody in C Major, retro 8-bit " +
"video game style. Instrumental only, no vocals.",
});
Идти
result, err := client.Models.GenerateContent(
ctx,
"lyria-3-clip-preview",
genai.Text("A bright chiptune melody in C Major, retro 8-bit " +
"video game style. Instrumental only, no vocals."),
nil,
)
Java
GenerateContentResponse response = client.models.generateContent(
"lyria-3-clip-preview",
"A bright chiptune melody in C Major, retro 8-bit "
+ "video game style. Instrumental only, no vocals.");
C#
var response = await client.Models.GenerateContentAsync(
model: "lyria-3-clip-preview",
contents: "A bright chiptune melody in C Major, retro 8-bit " +
"video game style. Instrumental only, no vocals."
);
ОТДЫХ
curl -s -X POST \
"https://generativelanguage.googleapis.com/v1beta/models/lyria-3-clip-preview:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"contents": [{
"parts": [
{"text": "A bright chiptune melody in C Major, retro 8-bit video game style. Instrumental only, no vocals."}
]
}]
}'
Создавайте музыку на разных языках.
Lyria 3 генерирует текст песни на языке вашего запроса. Чтобы сгенерировать песню с французским текстом, напишите свой запрос на французском языке. Модель адаптирует свой вокальный стиль и произношение в соответствии с языком.
Python
response = client.models.generate_content(
model="lyria-3-pro-preview",
contents="Crée une chanson pop romantique en français sur un "
"coucher de soleil à Paris. Utilise du piano et de "
"la guitare acoustique.",
)
JavaScript
const response = await ai.models.generateContent({
model: "lyria-3-pro-preview",
contents: "Crée une chanson pop romantique en français sur un " +
"coucher de soleil à Paris. Utilise du piano et de " +
"la guitare acoustique.",
});
Идти
result, err := client.Models.GenerateContent(
ctx,
"lyria-3-pro-preview",
genai.Text("Crée une chanson pop romantique en français sur un " +
"coucher de soleil à Paris. Utilise du piano et de " +
"la guitare acoustique."),
nil,
)
Java
GenerateContentResponse response = client.models.generateContent(
"lyria-3-pro-preview",
"Crée une chanson pop romantique en français sur un "
+ "coucher de soleil à Paris. Utilise du piano et de "
+ "la guitare acoustique.");
C#
var response = await client.Models.GenerateContentAsync(
model: "lyria-3-pro-preview",
contents: "Crée une chanson pop romantique en français sur un " +
"coucher de soleil à Paris. Utilise du piano et de " +
"la guitare acoustique."
);
ОТДЫХ
curl -s -X POST \
"https://generativelanguage.googleapis.com/v1beta/models/lyria-3-pro-preview:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"contents": [{
"parts": [
{"text": "Crée une chanson pop romantique en français sur un coucher de soleil à Paris. Utilise du piano et de la guitare acoustique."}
]
}]
}'
Модель интеллекта
Lyria 3 анализирует процесс создания музыкального произведения на основе вашего запроса, прорабатывая его структуру (вступление, куплет, припев, бридж и т. д.). Это происходит до генерации аудио и обеспечивает структурную целостность и музыкальность.
API взаимодействий
Вы можете использовать модели Lyria 3 с API взаимодействий — единым интерфейсом для взаимодействия с моделями и агентами Gemini. Он упрощает управление состоянием и выполнение длительных задач в сложных многомодальных сценариях использования.
Python
from google import genai
client = genai.Client()
interaction = client.interactions.create(
model="lyria-3-pro-preview",
input="A melancholic jazz fusion track in D minor, " +
"featuring a smooth saxophone melody, walking bass line, " +
"and complex drum rhythms.",
)
for output in interaction.outputs:
if output.text:
print(output.text)
elif output.inline_data:
with open("interaction_output.mp3", "wb") as f:
f.write(output.inline_data.data)
print("Audio saved to interaction_output.mp3")
JavaScript
import { GoogleGenAI } from '@google/genai';
const client = new GoogleGenAI({});
const interaction = await client.interactions.create({
model: 'lyria-3-pro-preview',
input: 'A melancholic jazz fusion track in D minor, ' +
'featuring a smooth saxophone melody, walking bass line, ' +
'and complex drum rhythms.',
});
for (const output of interaction.outputs) {
if (output.text) {
console.log(output.text);
} else if (output.inlineData) {
const buffer = Buffer.from(output.inlineData.data, 'base64');
fs.writeFileSync('interaction_output.mp3', buffer);
console.log('Audio saved to interaction_output.mp3');
}
}
ОТДЫХ
curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
-H "Content-Type: application/json" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-d '{
"model": "lyria-3-pro-preview",
"input": "A melancholic jazz fusion track in D minor, featuring a smooth saxophone melody, walking bass line, and complex drum rhythms."
}'
Руководство по подсказкам
Ваша задача может быть как простой, например, «народная песня о милых котиках, избегающих луж, женский вокал и шум дождя», так и подробной и структурированной, например:
Трек в стиле синт-поп 1980-х с энергичным ритмом, мерцающими синтезаторами и запоминающимся, гимновидным припевом. Песня должна обладать ретро-футуристическим звучанием, напоминающим классические поп-хиты 80-х, с современным звучанием. Темп должен быть бодрым и танцевальным, около 120 ударов в минуту, с четкой структурой куплет-припев и запоминающимся инструментальным хуком. Текст песни о предвкушении вечеринки.
Как простые, так и сложные подсказки могут дать хорошие результаты. Мы рекомендуем поэкспериментировать с этими советами, чтобы найти то, что лучше всего подходит именно вам.
Жанр
В начале запроса укажите желаемый музыкальный жанр, например, хип-хоп, рок или рэп. Вы также можете указать сочетание жанров:
- Сочетание метала и рэпа
- Сочетание дэт-метала и оперы
- Классическое произведение с элементами электронного дрона.
- Современная электронная танцевальная музыка (EDM) в сочетании с европопом
Также можно указать конкретную эпоху:
- Хип-хоп начала 90-х
- Французский поп-стиль "йе-йе" 60-х
- Электронные эксперименты 80-х годов
- мейнстримная поп-музыка 2000-х годов
Если вы укажете конкретные жанры или региональные варианты, например, «берлинское техно» или «хайфи из района залива Сан-Франциско», модель попытается уловить эту суть, но не всегда сможет сделать это правильно.
Инструменты
По умолчанию Lyria 3 будет создавать песни с использованием инструментов и приемов, которые вы ожидаете от этого жанра. Вам не нужно ничего навязывать.
Однако в танцевальном треке саксофон не будет присутствовать, если вы сами об этом не попросите. Поэтому, если вы хотите услышать соло на саксофоне, вам нужно об этом попросить:
Танцевальный трек с энергичным ритмом, мерцающими синтезаторами и запоминающимся, гимновидным припевом. В бридже должно появиться соло на саксофоне.
В качестве задания можно указать конкретные инструменты, их звучание и взаимодействие друг с другом. Вы можете использовать это сочетание для создания определённого настроения или текстуры:
- Грязная, искаженная басовая линия борется с чистыми, четкими хай-хэтами.
- Теплые, аналоговые синтезаторные пэды нарастают под сухой, проникновенный аккомпанемент акустической гитары.
- Стена звука, созданная множеством слоев искаженных гитарных риффов, с приглушенным, отдаленным вокалом.
Структура песни
В задании вы можете описать последовательность развития песни. Используйте стрелки или список, чтобы обозначить ход событий:
-
[Intro]->[Verse 1]->[Chorus]->[Verse 2]->[Chorus]->[Bridge]->[Outro] - Начните с тихого фортепианного вступления, постепенно переходите к громкому куплету, затем наступит тишина, и, наконец, разразитесь припевом.
Вы также можете указать, как изменяется уровень энергии между этими разделами:
- Нагнетание напряжения в предприпеве, затем полная тишина перед мощным, взрывным припевом.
- Постепенное нарастание звучания на протяжении всей песни, добавление одного инструмента за раз, пока не образуется хаотичная стена звука.
- Внезапная остановка после моста, за которой следует хоровое пение а капелла.
Вы также можете указать точное время, когда хотите, чтобы что-то произошло:
- Достигните точки падения через 12 секунд.
- Каждые 2 секунды кто-то произносит "что?"
- Припев начинается на 22-й секунде.
Текст песни
Вокал и текст генерируются по умолчанию. Вы можете указать свой собственный текст, запросить отсутствие текста (или инструментальную версию) или направить генерацию текста в нужном вам направлении.
Текст песни будет на том языке, на котором вы написали задание. Вы также можете попросить написать текст на другом языке, например: «Напишите текст песни на французском».
Используя собственные тексты песен
Чтобы добавить в модель собственные слова песни, укажите их в подсказке, добавив префикс "Lyrics:":
Lyrics:
[Intro]
Oooh, oooh
[Verse 1]
Let's go
Let's go
Go with the flow
[Chorus]
...
Вы можете добавлять к частям песни названия разделов, например [Intro] , [Verse 1] , [Pre-chorus] , [Chorus] и [Outro] .
Если вы хотите, чтобы слово или фраза повторялись, как эхо или в исполнении бэк-вокалистов, вы можете заключить их в скобки: "Let's go (go)".
Предложить модели написать текст песни
Если вы хотите, чтобы Lyria 3 сама создавала для вас текст песни, лучше всего указать в вашем запросе, о чём будет текст. В противном случае модели придётся догадываться о теме из вашего музыкального запроса, и это может оказаться не тем, что вам нужно.
Текст песни посвящен утраченной любви и боли от разбитого сердца. Певец вспоминает прошлые отношения и воспоминания, которые нахлынули на него.
Если вам нужен повторяющийся припев, полезно указать это в подсказке:
Текст песни посвящен утраченной любви и боли разбитого сердца. Певец вспоминает прошлые отношения, и нахлынувшие воспоминания оставляют глубокий след. Мощный припев посвящен преодолению боли и движению вперед.
Lyria 3 автоматически скорректирует структуру текста в соответствии с запрошенным вами музыкальным стилем, но вы также можете подчеркнуть это в своем запросе. Например:
EDM-трек, в котором одна и та же энергичная фраза повторяется снова и снова.
Вы также можете запрашивать голосовые эффекты, которые не являются непосредственно текстом песни, например:
- В песне на протяжении всего исполнения повторяется сэмпл из фильма: "Не могу в это поверить!"
- Энергичный техно-трек, прямо перед кульминацией звук затихает, и тихий голосок произносит: «Я не знаю, что я здесь делаю», после чего музыка резко обрывается.
- Композиция начинается с разговора о том, что фильмы 90-х были лучше современных. Затем трек плавно переходит в поп-песню.
Вокал
Вы можете указать желаемый способ озвучивания текста песни. Для достижения наилучших результатов укажите подробный профиль певца, включающий пол, тембр и диапазон голоса.
- Женское сопрано : Чистый, кристально чистый тембр с подвижным, парящим звучанием. Способна брать свистящие высокие ноты с воздушной, хриплой текстурой.
- Женский альт : Насыщенный, теплый и хрипловатый нижний регистр. Дымчатый тембр с легким оттенком «вокального хрипа», проникновенный и резонансный.
- Мужской тенор : Яркий, пронзительный и энергичный. Молодой тембр с легким носовым оттенком, прорезающий микс благодаря мощному, басовитому звучанию.
- Мужской баритон : глубокий, бархатистый и насыщенный. Резонансный грудной голос с успокаивающей, нежной манерой пения.
- Weathered Rocker (мужской) : Хриплый и текстурированный тембр с шероховатостью, напоминающий гранж 90-х. Напряженный верхний регистр для эмоциональной интенсивности.
Другие параметры запроса
Вы также можете добавить следующие параметры для дальнейшей уточнения запроса:
- Тональность/Гамма : Укажите музыкальную тональность (например, «соль мажор», «ре минор»).
- Настроение и атмосфера : используйте описательные прилагательные (например, «ностальгический», «агрессивный», «неземной», «мечтательный»).
- Длительность : В модели Clip всегда создаются 30-секундные клипы. В модели Pro укажите желаемую длительность в командной строке (например, «создать 2-минутную песню») или используйте временные метки для управления длительностью.
Примеры подсказок
Вот несколько примеров эффективных подсказок:
-
"A 30-second lofi hip hop beat with dusty vinyl crackle, mellow Rhodes piano chords, a slow boom-bap drum pattern at 85 BPM, and a jazzy upright bass line. Instrumental only." -
"An upbeat, feel-good pop song in G major at 120 BPM with bright acoustic guitar strumming, claps, and warm vocal harmonies about a summer road trip." -
"A dark, atmospheric trap beat at 140 BPM with heavy 808 bass, eerie synth pads, sharp hi-hats, and a haunting vocal sample. In D minor."
Передовые методы
- Сначала поэкспериментируйте с Clip. Используйте более быструю модель
lyria-3-clip-preview, чтобы поэкспериментировать с подсказками, прежде чем приступать к полномасштабной генерации с помощьюlyria-3-pro-preview. - Будьте конкретны. Расплывчатые подсказки приводят к общим результатам. Для достижения наилучшего результата укажите инструменты, темп, тональность, настроение и структуру.
- Используйте теги разделов. Теги
[Verse],[Chorus],[Bridge]обеспечивают четкую структуру, которой легко следовать. - Разделяйте текст песни и инструкции. При создании собственного текста песни четко отделяйте его от указаний по музыкальному оформлению.
Ограничения
- Безопасность : Все запросы проверяются фильтрами безопасности. Запросы, которые активируют фильтры, будут заблокированы. Это включает запросы, требующие использования голосов конкретных исполнителей или генерации защищенных авторским правом текстов песен.
- Водяной знак : Все сгенерированные аудиофайлы содержат водяной знак SynthID для идентификации. Этот водяной знак незаметен для человеческого уха и не влияет на качество прослушивания.
- Многоэтапное редактирование : создание музыки — это одноэтапный процесс. Итеративное редактирование или доработка созданного клипа с помощью нескольких подсказок не поддерживается в текущей версии Lyria 3.
- Длительность : Модель Clip всегда генерирует 30-секундные клипы. Модель Pro генерирует песни длительностью в несколько минут; точную продолжительность можно изменить с помощью вашей подсказки.
- Детерминизм : Результаты могут различаться в зависимости от вызова, даже при использовании одного и того же запроса.
Что дальше?
- Узнайте цены на модели Lyria 3.
- Попробуйте создавать музыку в режиме реального времени с помощью Lyria RealTime.
- Создавайте многоголосые диалоги с помощью моделей синтеза речи .
- Узнайте, как создавать изображения или видео .
- Узнайте, как Близнецы могут понимать аудиофайлы .
- Общайтесь с Gemini в режиме реального времени, используя Live API .