Gemini API 提供兩種使用 Lyria 生成音樂的方式:
- Lyria 3.5 和 Lyria 3 Clip:非串流生成,可製作 30 秒短片或完整歌曲,並加入歌詞和人聲。請參閱「使用 Lyria 3.5 生成音樂」。
- Lyria RealTime:透過 WebSockets 即時串流播放互動式音樂,並即時調控。請參閱「使用 Lyria RealTime 即時生成音樂」。
這兩款模型都會回應描述性文字提示、音樂術語和結構指示。本指南說明如何為批次生成和即時導引撰寫有效的提示。
提示詞基本概念
提示可以是簡短的片語:
A folk song about cute cats avoiding puddles, female vocals, acoustic guitar, sound of rain
或是結構化的詳細說明:
A 1980s-style synth-pop track with a driving beat, shimmering synthesizers, and a catchy, anthemic chorus. The song should have a retro-futuristic feel with modern production polish. Upbeat tempo around 120 BPM, clear verse-chorus structure, and a memorable instrumental hook. The lyrics describe getting ready for a party.
無論是簡短或詳細的提示,都能產生出色的結果。使用下列策略,引導模型生成您想要的確切聲音。
類型和風格
在提示開頭輸入主要類型。你可以結合不同類型,創造獨特的混種:
- 融合金屬樂和嘻哈
- 結合歌劇人聲的死亡金屬
- 古典室內樂,搭配陰暗的電子音樂元素
- 現代電子舞曲 (EDM) 混合歐洲流行音樂
你也可以指定音樂年代或區域變體:
- 1990 年代初期的 boom-bap 嘻哈
- 1960 年代法國 yé-yé 流行樂
- 1980 年代的後龐克和新浪潮
- 2000 年代主流節奏藍調
- 柏林極簡電子舞曲或灣區 hyphy
類型關鍵字
在 Lyria 3.5 和 Lyria RealTime 的提示中,使用這些公認的類型用語:
- 電子音樂與舞曲:
Acid House, Breakbeat, Chillout, Chiptune, Deep House, Drum & Bass, Dubstep, EDM, Electro Swing, Glitch Hop, Hyperpop, Minimal Techno, Moombahton, Psytrance, Synthpop, Techno, Trance, Trip Hop, Vaporwave - 嘻哈與節奏藍調:
808 Hip Hop, Boom-Bap, Contemporary R&B, G-funk, Grime, Lo-Fi Hip Hop, Neo-Soul, New Jack Swing, Trap Beat - 搖滾和另類音樂:
Alternative Country, Blues Rock, Classic Rock, Funk Metal, Garage Rock, Indie Folk, Indie Pop, Post-Punk, 60s Psychedelic Rock, Shoegaze, Surf Rock - 爵士、靈魂與放克:
Acid Jazz, Afrobeat, Bossa Nova, Disco Funk, Funk, Jazz Fusion, Latin Jazz - 民謠與傳統音樂:
Bengal Baul, Bhangra, Bluegrass, Celtic Folk, Cumbia, Indian Classical, Irish Folk, Merengue, Polka, Reggae, Reggaeton, Renaissance Music, Salsa - 古典與原聲:
Baroque, Orchestral Score, Piano Ballad
樂器和紋理
Lyria 會自動為要求的音樂類型選取合適的樂器。如要使用特定樂器或不尋常的組合,請明確宣告:
A dance track with a driving beat, shimmering synthesizers, and a catchy, anthemic chorus. A saxophone solo enters during the bridge.
說明樂器如何發出聲音並相互作用,營造情境和質感:
- 失真的 303 低音線穿過清脆緊密的 Hi-Hat
- 溫暖的類比合成器音墊在乾淨、充滿臨場感的木吉他下方膨脹
- 多層破音吉他堆疊出音牆,遠處傳來充滿殘響的人聲
檢測關鍵字
- 鍵盤與合成器:
Buchla Synths, Clavichord, Dirty Synths, Harpsichord, Mellotron, Moog Oscillations, Ragtime Piano, Rhodes Piano, Smooth Pianos, Spacey Synths, Synth Pads - 貝斯和鼓:
303 Acid Bass, 808 Hip Hop Beat, Boomy Bass, Conga Drums, Drumline, Funk Drums, Precision Bass, Tabla, TR-909 Drum Machine - 吉他與弦:
Banjo, Balalaika, Bouzouki, Cello, Charango, Dulcimer, Fiddle, Flamenco Guitar, Guitar, Harp, Koto, Lyre, Mandolin, Pipa, Shamisen, Shredding Guitar, Sitar, Slide Guitar, Viola Ensemble, Warm Acoustic Guitar - 管樂:
Alto Saxophone, Bagpipes, Bass Clarinet, Didgeridoo, Harmonica, Ocarina, Trumpet, Tuba, Woodwinds - 打擊樂:
Bongos, Djembe, Glockenspiel, Hang Drum, Kalimba, Maracas, Marimba, Mbira, Steel Drum, Vibraphone
歌曲結構和時間
使用標記或箭頭定義 Lyria 3.5 的歌曲進展:
[Intro] -> [Verse 1] -> [Chorus] -> [Verse 2] -> [Chorus] -> [Bridge] -> [Outro]- 先以輕柔的鋼琴前奏開場,接著進入充滿活力的段落,暫停片刻後,再以高潮結尾。
你可以直接控制能量動態和轉場效果:
- 透過前副歌營造緊張感,然後在爆發性的副歌前歸於寂靜
- 整首歌曲的音量逐漸變大,每個段落都加入一種樂器
- 橋段結束後突然停止,接著是無伴奏合唱
您也可以提示特定時間標記:
- 在 12 秒處的節拍落下時建構
- 每 4 小節重複一次人聲樣本
- 副歌從 22 秒開始
歌詞和人聲
Lyria 3.5 預設會生成含歌詞的人聲音軌。你可以提供自己的歌詞、要求模型生成歌詞,或要求提供純音樂曲目。
使用自訂歌詞
在 Lyrics: 標題下方的提示中直接加入歌詞。為每個部分加上標記,引導語音傳達:
Lyrics:
[Intro]
Ooooh, yeah
[Verse 1]
Early morning rain on the window pane
City lights wash away the pain
Walking down this empty street again
[Chorus]
We keep moving on (moving on)
Until the morning light
Everything will be alright
請使用半形括號標示和聲、回音或即興演唱,例如 (moving on)。
引導生成歌詞
要求 Lyria 3.5 撰寫歌詞時,請提供敘事內容、情緒或關鍵詞組的大綱:
The lyrics describe driving down the Pacific Coast Highway at sunset. The mood is nostalgic and reflective. Include an uplifting, anthemic chorus about second chances and starting over.
如果是電子和舞曲類型,請要求簡短重複的歌聲記憶點:
An upbeat dance-pop track with a repetitive, high-energy vocal hook: "Feel the rhythm all night long."
演唱方式和歌手個人資料
指定性別、音域和音色,確保演繹效果精準:
- 女高音:音色清澈如水晶,音調靈活高亢。音色明亮,可呈現空靈、氣音的質感。
- 女中音:低音域豐富、溫暖且沙啞,煙燻音色,胸腔共鳴的聲音充滿靈魂。
- 男高音:明亮、高亢、充滿活力。音色年輕,高音爆發力十足,可穿透密集的混音。
- 男中音:深沉、如天鵝絨般柔滑的胸腔共鳴,溫暖、舒緩的低吟。
- Weathered Rocker:沙啞的音色,讓人想起 1990 年代的另類搖滾。高音帶有緊繃感,展現原始的情緒強度。
非歌詞人聲效果
你也可以提示生成口語對白、人聲切分和取樣效果:
- 在節奏開始前,老式電台廣播的聲音會介紹這首歌曲
- 在節奏開始前,會先聽到低語聲,接著是充滿活力的合成音效
- 經過剪輯和變調的人聲樣本會循環播放,做為樂器節奏元素
音樂參數
使用標準音樂屬性修正提示:
- 速度 (BPM):直接設定速度 (例如
120 BPM、slow tempo around 72 BPM、fast 160 BPM)。 - 調性和音階:指定根音和調性 (例如
in G major、in D minor、in C pentatonic)。 - 情緒和氛圍:使用描述情緒的形容詞:
Ambient, Bright, Chill, Dark, Dreamy, Emotional, Ethereal, Euphoric, Funky, Groovy, Melancholic, Nostalgic, Ominous, Psychedelic, Relaxed, Soulful, Triumphant, Upbeat, Whimsical
提示詞:Lyria RealTime
Lyria RealTime 使用加權提示,而非單一的整體提示字串。透過 WebSocket 連線,即可動態融合多種音樂風格,並持續引導音樂走向。
加權提示結構
每個加權提示都包含描述性文字詞組和浮點權重:
prompts = [
types.WeightedPrompt(text="minimal techno", weight=1.0),
types.WeightedPrompt(text="deep sub bass", weight=0.6),
types.WeightedPrompt(text="shimmering hi-hats", weight=0.4),
]
即時調整策略
- 混合類型:分配均衡權重,混合不同風格:
ambient synth pads (weight: 0.8)+lo-fi hip-hop drums (weight: 0.6)flamenco guitar (weight: 0.7)+deep house groove (weight: 0.5)
- 動態轉場效果:如要順暢轉場音樂,請隨時間調整提示權重:
- 先從
chill jazz piano (weight: 1.0)開始。 - 逐步新增
electronic breakbeat (weight: 0.3)。 - 將
electronic breakbeat提高至0.8,同時將chill jazz piano降低至0.3。
- 先從
- 分層元素:將樂器標籤和情緒標籤分開,以便獨立調整:
- 提示 1:
bossa nova guitar (weight: 0.9) - 提示 2:
warm acoustic bass (weight: 0.7) - 提示 3:
subtle vinyl crackle (weight: 0.3)
- 提示 1:
提示詞範例
Lyria 3.5 範例
- Lo-Fi Study Beat:
none A 30-second lofi hip hop beat with dusty vinyl crackle, mellow Rhodes piano chords, a relaxed boom-bap drum groove at 82 BPM, and a warm upright bassline. Instrumental only. - 流行國歌:
none An upbeat, feel-good indie-pop song in G major at 122 BPM. Bright acoustic guitar strumming, driving kick drum, handclaps, and warm female vocal harmonies. The lyrics describe an unforgettable summer road trip with friends. - 電影風格的賽博龐克:
none Dark, cinematic cyberpunk synthwave at 110 BPM in D minor. Heavy distorted bass, ominous arpeggiated analog synthesizers, distant metallic percussion, and an ethereal female vocalise swelling during the climax.
Lyria RealTime 導向設定
# Initial high-energy groove
await session.set_weighted_prompts(
prompts=[
types.WeightedPrompt(text="techno groove", weight=1.0),
types.WeightedPrompt(text="acid 303 bass", weight=0.8),
]
)
# Transition to a melodic breakdown
await session.set_weighted_prompts(
prompts=[
types.WeightedPrompt(text="ambient synth pads", weight=1.0),
types.WeightedPrompt(text="subtle reverberant piano", weight=0.7),
types.WeightedPrompt(text="techno groove", weight=0.2),
]
)
後續步驟
- 使用 Lyria 3.5 生成音樂:使用 Interactions API 生成完整歌曲和 30 秒片段。
- 使用 Lyria RealTime 即時生成音樂:透過 WebSocket 建構即時互動式音樂串流應用程式。