Lyria-Leitfaden für Prompts

Die Gemini API bietet zwei Möglichkeiten, Musik mit Lyria zu generieren:

Beide Modelle reagieren auf beschreibende Text-Prompts, musikalische Terminologie und strukturelle Anweisungen. In diesem Leitfaden wird beschrieben, wie Sie effektive Prompts für die Batchgenerierung und die Echtzeitsteuerung schreiben.

Grundlagen zu Prompts

Ihr Prompt kann ein kurzer Satz sein:

A folk song about cute cats avoiding puddles, female vocals, acoustic guitar, sound of rain

Oder eine strukturierte, detaillierte Beschreibung:

A 1980s-style synth-pop track with a driving beat, shimmering synthesizers, and a catchy, anthemic chorus. The song should have a retro-futuristic feel with modern production polish. Upbeat tempo around 120 BPM, clear verse-chorus structure, and a memorable instrumental hook. The lyrics describe getting ready for a party.

Sowohl kurze als auch detaillierte Prompts führen zu guten Ergebnissen. Mit den folgenden Strategien können Sie das Modell in die gewünschte Richtung lenken.

Genre und Stil

Beginnen Sie Ihren Prompt mit dem primären Genre. Sie können Genres kombinieren, um einzigartige Hybride zu schaffen:

  • Eine Mischung aus Metal und Hip-Hop
  • Death Metal kombiniert mit Operngesang
  • Klassische Kammermusik mit dunklen elektronischen Drone-Elementen
  • Moderne elektronische Tanzmusik (EDM) gemischt mit Europop

Sie können auch eine musikalische Epoche oder regionale Variante angeben:

  • Boom-Bap-Hip-Hop der frühen 1990er
  • Französischer Yé-Yé-Pop der 1960er
  • Post-Punk und New Wave der 1980er
  • Mainstream-R&B der 2000er
  • Minimal Techno aus Berlin oder Hyphy aus der Bay Area

Genre-Keywords

Verwende diese anerkannten Genre-Begriffe in deinen Prompts für Lyria 3.5 und Lyria RealTime:

  • Electronic & Dance: Acid House, Breakbeat, Chillout, Chiptune, Deep House, Drum & Bass, Dubstep, EDM, Electro Swing, Glitch Hop, Hyperpop, Minimal Techno, Moombahton, Psytrance, Synthpop, Techno, Trance, Trip Hop, Vaporwave
  • Hip-Hop und R&B: 808 Hip Hop, Boom-Bap, Contemporary R&B, G-funk, Grime, Lo-Fi Hip Hop, Neo-Soul, New Jack Swing, Trap Beat
  • Rock & Alternative: Alternative Country, Blues Rock, Classic Rock, Funk Metal, Garage Rock, Indie Folk, Indie Pop, Post-Punk, 60s Psychedelic Rock, Shoegaze, Surf Rock
  • Jazz, Soul und Funk: Acid Jazz, Afrobeat, Bossa Nova, Disco Funk, Funk, Jazz Fusion, Latin Jazz
  • Folk & traditionelle Musik: Bengal Baul, Bhangra, Bluegrass, Celtic Folk, Cumbia, Indian Classical, Irish Folk, Merengue, Polka, Reggae, Reggaeton, Renaissance Music, Salsa
  • Klassik und Akustik: Baroque, Orchestral Score, Piano Ballad

Instrumente und Texturen

Lyria wählt automatisch die passende Instrumentierung für das angeforderte Genre aus. Wenn Sie bestimmte Instrumente oder ungewöhnliche Kombinationen wünschen, deklarieren Sie sie explizit:

A dance track with a driving beat, shimmering synthesizers, and a catchy, anthemic chorus. A saxophone solo enters during the bridge.

Beschreiben Sie, wie Instrumente klingen und interagieren, um Stimmung und Textur zu erzeugen:

  • Eine verzerrte 303-Bassline, die sich durch knackige, präzise Hi-Hats schneidet
  • Warme, analoge Synthesizer-Pads, die unter einer schlichten, intimen Akustikgitarre anschwellen
  • Ein Soundteppich aus mehreren Schichten von Fuzz-Gitarren, mit entfernten, hallgetränkten Vocals

Instrument-Keywords

  • Keyboards und Synthesizer: Buchla Synths, Clavichord, Dirty Synths, Harpsichord, Mellotron, Moog Oscillations, Ragtime Piano, Rhodes Piano, Smooth Pianos, Spacey Synths, Synth Pads
  • Bass und Schlagzeug: 303 Acid Bass, 808 Hip Hop Beat, Boomy Bass, Conga Drums, Drumline, Funk Drums, Precision Bass, Tabla, TR-909 Drum Machine
  • Gitarren und Saiten: Banjo, Balalaika, Bouzouki, Cello, Charango, Dulcimer, Fiddle, Flamenco Guitar, Guitar, Harp, Koto, Lyre, Mandolin, Pipa, Shamisen, Shredding Guitar, Sitar, Slide Guitar, Viola Ensemble, Warm Acoustic Guitar
  • Blas- und Blechblasinstrumente: Alto Saxophone, Bagpipes, Bass Clarinet, Didgeridoo, Harmonica, Ocarina, Trumpet, Tuba, Woodwinds
  • Schlagzeug: Bongos, Djembe, Glockenspiel, Hang Drum, Kalimba, Maracas, Marimba, Mbira, Steel Drum, Vibraphone

Songstruktur und Timing

Bei Lyria 3.5 können Sie den Songverlauf mit Tags oder Pfeilen definieren:

  • [Intro] -> [Verse 1] -> [Chorus] -> [Verse 2] -> [Chorus] -> [Bridge] -> [Outro]
  • Beginne mit einem ruhigen Piano-Intro, steigere dich zu einem energiegeladenen Vers, lege eine kurze Pause ein und gehe dann in den Refrain über.

Sie können die Energiedynamik und ‑übergänge steuern:

  • Baue im Pre-Chorus Spannung auf und lasse es dann vor einem explosiven Chorus still werden.
  • Das Lied steigert sich allmählich und pro Abschnitt kommt ein Instrument hinzu.
  • Ein plötzlicher Stopp nach der Bridge, gefolgt von einem A-cappella-Refrain

Sie können auch bestimmte Zeitmarkierungen anfordern:

  • Bis zum Beat Drop bei 12 Sekunden aufbauen
  • Gesangsprobe wird alle 4 Takte wiederholt
  • Der Refrain beginnt nach 22 Sekunden.

Songtexte und Gesang

Lyria 3.5 generiert standardmäßig Gesangstracks mit Songtexten. Sie können eigene Texte eingeben, das Modell bitten, Texte zu generieren, oder einen Instrumental-Track anfordern.

Eigene Songtexte verwenden

Fügen Sie den Text direkt im Prompt unter der Überschrift Lyrics: ein. Taggen Sie jeden Abschnitt, um die Stimmwiedergabe zu steuern:

Lyrics:

[Intro]
Ooooh, yeah

[Verse 1]
Early morning rain on the window pane
City lights wash away the pain
Walking down this empty street again

[Chorus]
We keep moving on (moving on)
Until the morning light
Everything will be alright

Verwende runde Klammern für Backing-Vocals, Echos oder Ad-libs, z. B. (moving on).

Generierte Songtexte anpassen

Wenn Sie Lyria 3.5 bitten, Songtexte zu schreiben, sollten Sie die Geschichte, die Emotionen oder die wichtigsten Formulierungen angeben:

The lyrics describe driving down the Pacific Coast Highway at sunset. The mood is nostalgic and reflective. Include an uplifting, anthemic chorus about second chances and starting over.

Für elektronische Musik und Dance-Genres sollten Sie kurze, sich wiederholende Gesangshooks anfordern:

An upbeat dance-pop track with a repetitive, high-energy vocal hook: "Feel the rhythm all night long."

Gesang und Sängerprofile

Gib Geschlecht, Stimmumfang und Klangfarbe an, um das gewünschte Ergebnis zu erzielen:

  • Sopran: Klarer, kristalliner Klang mit agiler, schwebender Darbietung. Heller Ton, der luftige, hauchzarte Texturen erzeugen kann.
  • Weiblicher Alt: Kräftiger, warmer und heiserer tiefer Bereich. Rauchiger Klang mit gefühlvoller, resonanter Bruststimme.
  • Tenor: Hell, durchdringend und energiegeladen. Jugendliches Timbre mit hoher Belting-Power, das sich in dichten Mixen durchsetzt.
  • Männlicher Bariton: Tiefe, samtweiche Bruststimme mit warmem, beruhigendem, schmachtendem Vortrag.
  • Weathered Rocker: Eine raue, kratzige Klangfarbe, die an Alternative Rock aus den 1990er-Jahren erinnert. Rohe emotionale Intensität mit angestrengten hohen Noten.

Nicht-lyrische Gesangseffekte

Sie können auch gesprochene Dialoge, Vocal Chops und Sampling-Effekte anfordern:

  • Eine Stimme aus einer alten Radiosendung kündigt den Song an, bevor der Beat einsetzt.
  • Eine gesprochene Stimme flüstert kurz vor dem Drop, gefolgt von energiegeladenen Synthesizern.
  • Gechoppte, in der Tonhöhe verschobene Gesangssamples, die als instrumentales Rhythmuselement wiederholt werden

Musikalische Parameter

Verfeinere deinen Prompt mit Standardattributen für Musik:

  • Tempo (BPM): Legen Sie das Tempo direkt fest, z.B. 120 BPM, slow tempo around 72 BPM oder fast 160 BPM.
  • Schlüssel und Skala: Geben Sie den Hauptschlüssel und die Tonalität an, z.B. in G major, in D minor, in C pentatonic.
  • Stimmung und Atmosphäre: Verwenden Sie beschreibende emotionale Adjektive: Ambient, Bright, Chill, Dark, Dreamy, Emotional, Ethereal, Euphoric, Funky, Groovy, Melancholic, Nostalgic, Ominous, Psychedelic, Relaxed, Soulful, Triumphant, Upbeat, Whimsical

Lyria RealTime-Prompts

Lyria RealTime verwendet gewichtete Prompts anstelle einer einzelnen monolithischen Prompt-String. So können Sie mehrere musikalische Einflüsse dynamisch kombinieren und die Musik kontinuierlich über eine WebSocket-Verbindung steuern.

Gewichtete Prompt-Struktur

Jeder gewichtete Prompt besteht aus einem beschreibenden Text und einem Gleitkommagewicht:

prompts = [
    types.WeightedPrompt(text="minimal techno", weight=1.0),
    types.WeightedPrompt(text="deep sub bass", weight=0.6),
    types.WeightedPrompt(text="shimmering hi-hats", weight=0.4),
]

Steuerungsstrategien in Echtzeit

  • Genres kombinieren: Kombinieren Sie verschiedene Stile, indem Sie ausgewogene Gewichte zuweisen:
    • ambient synth pads (weight: 0.8) + lo-fi hip-hop drums (weight: 0.6)
    • flamenco guitar (weight: 0.7) + deep house groove (weight: 0.5)
  • Dynamische Übergänge: Wenn Sie die Musik nahtlos überblenden möchten, passen Sie die Gewichtungen der Prompts im Laufe der Zeit an:
    1. Beginnen Sie mit chill jazz piano (weight: 1.0).
    2. Fügen Sie electronic breakbeat (weight: 0.3) nach und nach hinzu.
    3. electronic breakbeat auf 0.8 erhöhen und chill jazz piano auf 0.3 senken.
  • Elemente übereinanderlegen: Halte Instrument- und Stimmungstags getrennt, damit du sie unabhängig voneinander anpassen kannst:
    • Prompt 1: bossa nova guitar (weight: 0.9)
    • Prompt 2: warm acoustic bass (weight: 0.7)
    • Prompt 3: subtle vinyl crackle (weight: 0.3)

Beispiele für Prompts

Beispiele für Lyria 3.5

  • Lo-Fi Study Beat: none A 30-second lofi hip hop beat with dusty vinyl crackle, mellow Rhodes piano chords, a relaxed boom-bap drum groove at 82 BPM, and a warm upright bassline. Instrumental only.
  • Pop Anthem: none An upbeat, feel-good indie-pop song in G major at 122 BPM. Bright acoustic guitar strumming, driving kick drum, handclaps, and warm female vocal harmonies. The lyrics describe an unforgettable summer road trip with friends.
  • Cinematic Cyberpunk: none Dark, cinematic cyberpunk synthwave at 110 BPM in D minor. Heavy distorted bass, ominous arpeggiated analog synthesizers, distant metallic percussion, and an ethereal female vocalise swelling during the climax.

Steuerungssatz für Lyria RealTime

# Initial high-energy groove
await session.set_weighted_prompts(
    prompts=[
        types.WeightedPrompt(text="techno groove", weight=1.0),
        types.WeightedPrompt(text="acid 303 bass", weight=0.8),
    ]
)

# Transition to a melodic breakdown
await session.set_weighted_prompts(
    prompts=[
        types.WeightedPrompt(text="ambient synth pads", weight=1.0),
        types.WeightedPrompt(text="subtle reverberant piano", weight=0.7),
        types.WeightedPrompt(text="techno groove", weight=0.2),
    ]
)

Nächste Schritte