Guía de instrucciones de Lyria

La API de Gemini ofrece dos formas de generar música con Lyria:

Ambos modelos responden a instrucciones de texto descriptivas, terminología musical y direcciones estructurales. En esta guía, se explica cómo escribir instrucciones eficaces para la generación por lotes y la dirección en tiempo real.

Conceptos básicos de las instrucciones

Tu instrucción puede ser una frase corta:

A folk song about cute cats avoiding puddles, female vocals, acoustic guitar, sound of rain

O bien, una descripción detallada y estructurada:

A 1980s-style synth-pop track with a driving beat, shimmering synthesizers, and a catchy, anthemic chorus. The song should have a retro-futuristic feel with modern production polish. Upbeat tempo around 120 BPM, clear verse-chorus structure, and a memorable instrumental hook. The lyrics describe getting ready for a party.

Tanto las instrucciones breves como las detalladas producen resultados sólidos. Usa las siguientes estrategias para guiar el modelo hacia el sonido exacto que deseas.

Género y estilo

Comienza la instrucción con el género principal. Puedes combinar géneros para crear híbridos únicos:

  • Una fusión de metal y hip-hop
  • Death metal combinado con voces operísticas
  • Música de cámara clásica con elementos electrónicos oscuros
  • Música dance electrónica (EDM) moderna mezclada con Europop

También puedes especificar una era musical o una variante regional:

  • Hip hop boom bap de principios de los 90
  • Pop francés yé-yé de los 60
  • Post-punk y new wave de los 80
  • R&B popular de los 2000
  • Techno minimalista de Berlín o hyphy del Área de la Bahía

Palabras clave de género

Usa estos términos de género reconocidos en tus instrucciones para Lyria 3.5 y Lyria RealTime:

  • Dance y electrónica: Acid House, Breakbeat, Chillout, Chiptune, Deep House, Drum & Bass, Dubstep, EDM, Electro Swing, Glitch Hop, Hyperpop, Minimal Techno, Moombahton, Psytrance, Synthpop, Techno, Trance, Trip Hop, Vaporwave
  • Hip hop y R&B: 808 Hip Hop, Boom-Bap, Contemporary R&B, G-funk, Grime, Lo-Fi Hip Hop, Neo-Soul, New Jack Swing, Trap Beat
  • Rock y alternativa: Alternative Country, Blues Rock, Classic Rock, Funk Metal, Garage Rock, Indie Folk, Indie Pop, Post-Punk, 60s Psychedelic Rock, Shoegaze, Surf Rock
  • Jazz, soul y funk: Acid Jazz, Afrobeat, Bossa Nova, Disco Funk, Funk, Jazz Fusion, Latin Jazz
  • Folk y tradicional: Bengal Baul, Bhangra, Bluegrass, Celtic Folk, Cumbia, Indian Classical, Irish Folk, Merengue, Polka, Reggae, Reggaeton, Renaissance Music, Salsa
  • Clásica y acústica: Baroque, Orchestral Score, Piano Ballad

Instrumentos y texturas

Lyria selecciona automáticamente la instrumentación adecuada para el género solicitado. Si quieres instrumentos específicos o combinaciones inusuales, decláralos de forma explícita:

A dance track with a driving beat, shimmering synthesizers, and a catchy, anthemic chorus. A saxophone solo enters during the bridge.

Describe cómo suenan y cómo interactúan los instrumentos para establecer el ambiente y la textura:

  • Una línea de bajo 303 distorsionada que atraviesa hi-hats nítidos y ajustados
  • Cálidos pads de sintetizador analógico que se expanden debajo de una guitarra acústica íntima y limpia
  • Una pared de sonido construida a partir de varias capas de guitarra fuzz, con voces distantes y cargadas de reverberación

Palabras clave de instrumentos

  • Teclados y sintetizadores: Buchla Synths, Clavichord, Dirty Synths, Harpsichord, Mellotron, Moog Oscillations, Ragtime Piano, Rhodes Piano, Smooth Pianos, Spacey Synths, Synth Pads
  • Bajo y batería: 303 Acid Bass, 808 Hip Hop Beat, Boomy Bass, Conga Drums, Drumline, Funk Drums, Precision Bass, Tabla, TR-909 Drum Machine
  • Guitarras y cuerdas: Banjo, Balalaika, Bouzouki, Cello, Charango, Dulcimer, Fiddle, Flamenco Guitar, Guitar, Harp, Koto, Lyre, Mandolin, Pipa, Shamisen, Shredding Guitar, Sitar, Slide Guitar, Viola Ensemble, Warm Acoustic Guitar
  • Viento y metal: Alto Saxophone, Bagpipes, Bass Clarinet, Didgeridoo, Harmonica, Ocarina, Trumpet, Tuba, Woodwinds
  • Percusión: Bongos, Djembe, Glockenspiel, Hang Drum, Kalimba, Maracas, Marimba, Mbira, Steel Drum, Vibraphone

Estructura y duración de la canción

En Lyria 3.5, define la progresión de la canción con etiquetas o flechas:

  • [Intro] -> [Verse 1] -> [Chorus] -> [Verse 2] -> [Chorus] -> [Bridge] -> [Outro]
  • Comienza con una introducción de piano tranquila, avanza hacia un verso enérgico, haz una pausa para un momento de silencio y, luego, explota en el coro.

Puedes dirigir las dinámicas y las transiciones de energía de la siguiente manera:

  • Genera tensión en el pre-estribillo y, luego, baja el volumen hasta el silencio antes de un estribillo explosivo.
  • Crescendo gradual a lo largo de la canción, con la incorporación de un instrumento por sección
  • Una parada repentina después del puente, seguida de un coro a capela

También puedes solicitar marcadores de tiempo específicos:

  • Genera un ritmo que se intensifica a los 12 segundos.
  • La muestra vocal se repite cada 4 compases
  • El estribillo comienza a los 22 segundos.

Letras y voces

De forma predeterminada, Lyria 3.5 genera pistas vocales con letras. Puedes proporcionar tu propia letra, pedirle al modelo que la genere o solicitar una pista instrumental.

Cómo usar tus propias letras

Incluye la letra directamente en la instrucción debajo de un encabezado Lyrics:. Etiqueta cada sección para guiar la entrega vocal:

Lyrics:

[Intro]
Ooooh, yeah

[Verse 1]
Early morning rain on the window pane
City lights wash away the pain
Walking down this empty street again

[Chorus]
We keep moving on (moving on)
Until the morning light
Everything will be alright

Usa paréntesis para los coros, los ecos o las improvisaciones, como (moving on).

Cómo dirigir la letra generada

Cuando le pidas a Lyria 3.5 que escriba letras, describe la narrativa, la emoción o las frases clave:

The lyrics describe driving down the Pacific Coast Highway at sunset. The mood is nostalgic and reflective. Include an uplifting, anthemic chorus about second chances and starting over.

En el caso de los géneros electrónicos y de baile, solicita fragmentos vocales cortos y repetitivos:

An upbeat dance-pop track with a repetitive, high-energy vocal hook: "Feel the rhythm all night long."

Interpretación vocal y perfiles de cantantes

Especifica el género, el rango vocal y el timbre para una interpretación precisa:

  • Soprano femenina: Timbre claro y cristalino con una interpretación ágil y potente. Tono brillante capaz de producir texturas aireadas y con respiración.
  • Alto femenino: Rango inferior rico, cálido y ronco. Timbre ahumado con una voz de pecho conmovedora y resonante.
  • Tenor masculino: Brillante, penetrante y enérgico Timbre juvenil con gran potencia de voz que se destaca en mezclas densas.
  • Barítono masculino: Voz de pecho profunda y suave como el terciopelo con una interpretación cálida, relajante y melódica.
  • Weathered Rocker: Timbre áspero y arenoso que recuerda al rock alternativo de los años 90. Intensidad emocional cruda con notas altas tensas.

Efectos vocales no líricos

También puedes solicitar diálogos hablados, cortes vocales y efectos de muestreo:

  • Una voz de transmisión de radio antigua presenta la canción antes de que comience el ritmo.
  • Una voz susurra justo antes del drop, seguida de sintetizadores enérgicos
  • Muestras vocales cortadas y con cambio de tono que se repiten en bucle como un elemento de ritmo instrumental

Parámetros musicales

Mejora tu instrucción con propiedades musicales estándar:

  • Tempo (BPM): Establece el tempo directamente (p.ej., 120 BPM, slow tempo around 72 BPM, fast 160 BPM).
  • Clave y escala: Especifica la clave raíz y la tonalidad (p.ej., in G major, in D minor, in C pentatonic).
  • Estado de ánimo y atmósfera: Usa adjetivos descriptivos que expresen emociones: Ambient, Bright, Chill, Dark, Dreamy, Emotional, Ethereal, Euphoric, Funky, Groovy, Melancholic, Nostalgic, Ominous, Psychedelic, Relaxed, Soulful, Triumphant, Upbeat, Whimsical

Cómo dar instrucciones a Lyria RealTime

Lyria RealTime usa instrucciones ponderadas en lugar de una sola cadena de instrucciones monolítica. Esto te permite combinar varias influencias musicales de forma dinámica y dirigir la música de forma continua a través de una conexión WebSocket.

Estructura de instrucción ponderada

Cada instrucción ponderada consta de una frase de texto descriptiva y un peso de punto flotante:

prompts = [
    types.WeightedPrompt(text="minimal techno", weight=1.0),
    types.WeightedPrompt(text="deep sub bass", weight=0.6),
    types.WeightedPrompt(text="shimmering hi-hats", weight=0.4),
]

Estrategias de dirección en tiempo real

  • Combinación de géneros: Combina estilos distintos asignando pesos equilibrados:
    • ambient synth pads (weight: 0.8) y lo-fi hip-hop drums (weight: 0.6)
    • flamenco guitar (weight: 0.7) y deep house groove (weight: 0.5)
  • Transiciones dinámicas: Para que la música cambie de forma fluida, ajusta los pesos de las instrucciones con el tiempo:
    1. Comienza con chill jazz piano (weight: 1.0).
    2. Agrega electronic breakbeat (weight: 0.3) de forma gradual.
    3. Aumenta electronic breakbeat a 0.8 y, al mismo tiempo, reduce chill jazz piano a 0.3.
  • Superposición de elementos: Mantén separadas las etiquetas de instrumentos y las de estados de ánimo para que puedas ajustarlas de forma independiente:
    • Instrucción 1: bossa nova guitar (weight: 0.9)
    • Instrucción 2: warm acoustic bass (weight: 0.7)
    • Instrucción 3: subtle vinyl crackle (weight: 0.3)

Ejemplos de instrucciones

Ejemplos de Lyria 3.5

  • Lo-Fi Study Beat: none A 30-second lofi hip hop beat with dusty vinyl crackle, mellow Rhodes piano chords, a relaxed boom-bap drum groove at 82 BPM, and a warm upright bassline. Instrumental only.
  • Pop Anthem: none An upbeat, feel-good indie-pop song in G major at 122 BPM. Bright acoustic guitar strumming, driving kick drum, handclaps, and warm female vocal harmonies. The lyrics describe an unforgettable summer road trip with friends.
  • Cinematic Cyberpunk: none Dark, cinematic cyberpunk synthwave at 110 BPM in D minor. Heavy distorted bass, ominous arpeggiated analog synthesizers, distant metallic percussion, and an ethereal female vocalise swelling during the climax.

Conjunto de parámetros de dirección de Lyria RealTime

# Initial high-energy groove
await session.set_weighted_prompts(
    prompts=[
        types.WeightedPrompt(text="techno groove", weight=1.0),
        types.WeightedPrompt(text="acid 303 bass", weight=0.8),
    ]
)

# Transition to a melodic breakdown
await session.set_weighted_prompts(
    prompts=[
        types.WeightedPrompt(text="ambient synth pads", weight=1.0),
        types.WeightedPrompt(text="subtle reverberant piano", weight=0.7),
        types.WeightedPrompt(text="techno groove", weight=0.2),
    ]
)

¿Qué sigue?