Руководство по подсказкам для Лирии

API Gemini предлагает два способа генерации музыки с помощью Lyria:

Обе модели реагируют на описательные текстовые подсказки, музыкальную терминологию и структурные указания. В этом руководстве рассматривается, как писать эффективные подсказки как для пакетной генерации, так и для управления в реальном времени.

Основные принципы быстрого реагирования

В качестве подсказки можно использовать короткую фразу:

A folk song about cute cats avoiding puddles, female vocals, acoustic guitar, sound of rain

Или структурированное, подробное описание:

A 1980s-style synth-pop track with a driving beat, shimmering synthesizers, and a catchy, anthemic chorus. The song should have a retro-futuristic feel with modern production polish. Upbeat tempo around 120 BPM, clear verse-chorus structure, and a memorable instrumental hook. The lyrics describe getting ready for a party.

Как короткие, так и подробные подсказки дают хорошие результаты. Используйте следующие стратегии, чтобы направить модель к желаемому звучанию.

Жанр и стиль

Начните свой текст с основного жанра. Вы можете комбинировать жанры, создавая уникальные гибриды:

  • Сочетание метала и хип-хопа
  • Дэт-метал в сочетании с оперным вокалом
  • Классическая камерная музыка с элементами мрачного электронного дрона.
  • Современная электронная танцевальная музыка (EDM) в сочетании с европопом

Вы также можете указать музыкальную эпоху или региональный вариант:

  • бум-бэп хип-хоп начала 1990-х
  • Французский поп-стиль йе-йе 1960-х годов
  • Пост-панк и нью-вейв 1980-х годов
  • Популярный R&B 2000-х годов
  • Берлинский минимал-техно или хайфи из района залива Сан-Франциско

Ключевые слова жанра

Используйте эти общепризнанные жанровые термины в заданиях для Lyria 3.5 и Lyria RealTime:

  • Электронная и танцевальная музыка : Acid House, Breakbeat, Chillout, Chiptune, Deep House, Drum & Bass, Dubstep, EDM, Electro Swing, Glitch Hop, Hyperpop, Minimal Techno, Moombahton, Psytrance, Synthpop, Techno, Trance, Trip Hop, Vaporwave
  • Хип-хоп и R&B : 808 Hip Hop, Boom-Bap, Contemporary R&B, G-funk, Grime, Lo-Fi Hip Hop, Neo-Soul, New Jack Swing, Trap Beat
  • Рок и альтернативная музыка : Alternative Country, Blues Rock, Classic Rock, Funk Metal, Garage Rock, Indie Folk, Indie Pop, Post-Punk, 60s Psychedelic Rock, Shoegaze, Surf Rock
  • Джаз, соул и фанк : Acid Jazz, Afrobeat, Bossa Nova, Disco Funk, Funk, Jazz Fusion, Latin Jazz
  • Народные и традиционные : Bengal Baul, Bhangra, Bluegrass, Celtic Folk, Cumbia, Indian Classical, Irish Folk, Merengue, Polka, Reggae, Reggaeton, Renaissance Music, Salsa
  • Классическая и акустическая музыка : Baroque, Orchestral Score, Piano Ballad

Инструменты и текстуры

Lyria автоматически подбирает подходящий состав инструментов для запрошенного жанра. Если вам нужны определенные инструменты или необычные сочетания, укажите их явно:

A dance track with a driving beat, shimmering synthesizers, and a catchy, anthemic chorus. A saxophone solo enters during the bridge.

Опишите, как звучат инструменты и как они взаимодействуют, создавая настроение и текстуру:

  • Искаженная басовая линия 303-го синтезатора прорезает четкие, плотные хай-хэты.
  • Теплые аналоговые синтезаторные пэды нарастают под сухой, проникновенный аккомпанемент акустической гитары.
  • Стена звука, созданная из множества слоев гитарного звучания с эффектом фузза, с отдаленным, пропитанным реверберацией вокалом.

Ключевые слова инструмента

  • Клавишные инструменты и синтезаторы : Buchla Synths, Clavichord, Dirty Synths, Harpsichord, Mellotron, Moog Oscillations, Ragtime Piano, Rhodes Piano, Smooth Pianos, Spacey Synths, Synth Pads
  • Бас-гитара и ударные : 303 Acid Bass, 808 Hip Hop Beat, Boomy Bass, Conga Drums, Drumline, Funk Drums, Precision Bass, Tabla, TR-909 Drum Machine
  • Гитары и струнные инструменты : Banjo, Balalaika, Bouzouki, Cello, Charango, Dulcimer, Fiddle, Flamenco Guitar, Guitar, Harp, Koto, Lyre, Mandolin, Pipa, Shamisen, Shredding Guitar, Sitar, Slide Guitar, Viola Ensemble, Warm Acoustic Guitar
  • Духовые и медные инструменты : Alto Saxophone, Bagpipes, Bass Clarinet, Didgeridoo, Harmonica, Ocarina, Trumpet, Tuba, Woodwinds
  • Перкуссия : Bongos, Djembe, Glockenspiel, Hang Drum, Kalimba, Maracas, Marimba, Mbira, Steel Drum, Vibraphone

Структура и ритм песни

В Lyria 3.5 последовательность аккордов песни определяется с помощью тегов или стрелок:

  • [Intro] -> [Verse 1] -> [Chorus] -> [Verse 2] -> [Chorus] -> [Bridge] -> [Outro]
  • Начните с тихого фортепианного вступления, постепенно переходите к энергичному куплету, сделайте паузу на мгновение, а затем резко перейдите к припеву.

Вы можете управлять динамикой и переходами энергии:

  • Нагнетание напряжения в предприпеве, затем полная тишина перед взрывным припевом.
  • Постепенное нарастание звучания на протяжении всей песни, с добавлением одного инструмента в каждой секции.
  • Резкая остановка после моста, за которой следует исполнение хора а капелла.

Вы также можете запускать определенные временные метки:

  • На 12 секунде ритм резко меняется, достигая кульминации.
  • Вокальный сэмпл повторяется каждые 4 такта.
  • Припев начинается на 22 секунде.

Текст и вокал

Lyria 3.5 по умолчанию генерирует вокальные дорожки с текстом. Вы можете указать свой собственный текст, попросить модель сгенерировать его или запросить инструментальную дорожку.

Используя собственные тексты песен

Вставьте текст песни непосредственно в подсказку под заголовком Lyrics: . Пометьте каждый раздел тегами, чтобы направлять вокальное исполнение:

Lyrics:

[Intro]
Ooooh, yeah

[Verse 1]
Early morning rain on the window pane
City lights wash away the pain
Walking down this empty street again

[Chorus]
We keep moving on (moving on)
Until the morning light
Everything will be alright

Используйте скобки для обозначения бэк-вокала, эхо или импровизаций, например (moving on) .

Режиссура сгенерированных текстов песен

При задании тексту песни в программе Lyria 3.5, изложите сюжет, эмоции или ключевые фразы:

The lyrics describe driving down the Pacific Coast Highway at sunset. The mood is nostalgic and reflective. Include an uplifting, anthemic chorus about second chances and starting over.

Для электронной и танцевальной музыки запрашивайте короткие повторяющиеся вокальные хуки:

An upbeat dance-pop track with a repetitive, high-energy vocal hook: "Feel the rhythm all night long."

Вокальные данные и профили певцов

Укажите пол, диапазон голоса и тембр для точной передачи голоса:

  • Женское сопрано : Чистый, кристально чистый тембр с подвижным, парящим исполнением. Яркий тон, способный создавать воздушные, воздушные тембры.
  • Женский альт : Насыщенный, теплый и хрипловатый нижний регистр. Дымчатый тембр с проникновенным, резонансным грудным голосом.
  • Мужской тенор : Яркий, пронзительный и энергичный голос. Молодой тембр с мощным, пробивным звучанием, которое пробивается сквозь плотный микс.
  • Мужской баритон : глубокий, бархатисто-гладкий грудной голос с тёплым, успокаивающим, проникновенным тембром.
  • Weathered Rocker : Хриплый, резкий тембр, напоминающий альтернативный рок 1990-х. Необузданная эмоциональная интенсивность с напряженными верхними нотами.

Нелирические вокальные эффекты

Вы также можете запрашивать голосовые подсказки, сэмплирование и эффекты сэмплирования:

  • Голос, звучавший в стиле старинной радиопередачи, представляет песню перед началом ритма.
  • Перед кульминацией раздается шепот, за которым следуют энергичные синтезаторные звуки.
  • Нарезанные, сдвинутые по высоте вокальные сэмплы, зацикленные в качестве инструментального ритмического элемента.

Музыкальные параметры

Уточните свою подсказку, используя стандартные музыкальные свойства:

  • Темп (уд/мин) : Установите темп напрямую (например, 120 BPM , slow tempo around 72 BPM , fast 160 BPM ).
  • Тональность и гамма : Укажите основную тональность и тональность (например in G major , in D minor , in C pentatonic ).
  • Настроение и атмосфера : Используйте описательные эмоциональные прилагательные: Ambient, Bright, Chill, Dark, Dreamy, Emotional, Ethereal, Euphoric, Funky, Groovy, Melancholic, Nostalgic, Ominous, Psychedelic, Relaxed, Soulful, Triumphant, Upbeat, Whimsical

Подсказка Lyria RealTime

Lyria RealTime использует взвешенные подсказки вместо единой монолитной строки подсказок. Это позволяет динамически смешивать различные музыкальные влияния и непрерывно управлять воспроизведением музыки через соединение WebSocket.

Взвешенная структура подсказки

Каждый взвешенный запрос состоит из описательной текстовой фразы и значения веса с плавающей запятой:

prompts = [
    types.WeightedPrompt(text="minimal techno", weight=1.0),
    types.WeightedPrompt(text="deep sub bass", weight=0.6),
    types.WeightedPrompt(text="shimmering hi-hats", weight=0.4),
]

Стратегии управления в реальном времени

  • Сочетание жанров : смешивайте различные стили, присваивая им сбалансированные веса:
    • ambient synth pads (weight: 0.8) + lo-fi hip-hop drums (weight: 0.6)
    • flamenco guitar (weight: 0.7) + deep house groove (weight: 0.5)
  • Динамические переходы : Для плавного перехода музыки регулируйте весовые коэффициенты подсказок во времени:
    1. Начните с chill jazz piano (weight: 1.0) .
    2. Постепенно добавляйте electronic breakbeat (weight: 0.3) .
    3. Увеличьте electronic breakbeat до 0.8 одновременно уменьшив chill jazz piano до 0.3 .
  • Наложение элементов : Разделяйте метки инструментов и метки настроения, чтобы вы могли настраивать их независимо друг от друга:
    • Задание 1: bossa nova guitar (weight: 0.9)
    • Задание 2: warm acoustic bass (weight: 0.7)
    • Задание 3: subtle vinyl crackle (weight: 0.3)

Примеры подсказок

Примеры Лирии 3.5

  • Lo-Fi Study Beat : none A 30-second lofi hip hop beat with dusty vinyl crackle, mellow Rhodes piano chords, a relaxed boom-bap drum groove at 82 BPM, and a warm upright bassline. Instrumental only.
  • Поп-гимн : none An upbeat, feel-good indie-pop song in G major at 122 BPM. Bright acoustic guitar strumming, driving kick drum, handclaps, and warm female vocal harmonies. The lyrics describe an unforgettable summer road trip with friends.
  • Кинематографический киберпанк : none Dark, cinematic cyberpunk synthwave at 110 BPM in D minor. Heavy distorted bass, ominous arpeggiated analog synthesizers, distant metallic percussion, and an ethereal female vocalise swelling during the climax.

Комплект рулевого управления Lyria RealTime 

# Initial high-energy groove
await session.set_weighted_prompts(
    prompts=[
        types.WeightedPrompt(text="techno groove", weight=1.0),
        types.WeightedPrompt(text="acid 303 bass", weight=0.8),
    ]
)

# Transition to a melodic breakdown
await session.set_weighted_prompts(
    prompts=[
        types.WeightedPrompt(text="ambient synth pads", weight=1.0),
        types.WeightedPrompt(text="subtle reverberant piano", weight=0.7),
        types.WeightedPrompt(text="techno groove", weight=0.2),
    ]
)

Что дальше?