Gemini 2.0 Flash (eksperimental)

Gemini 2.0 Flash kini tersedia sebagai rilis pratinjau eksperimental melalui Gemini Developer API dan Google AI Studio. Model ini memperkenalkan fitur baru dan kemampuan inti yang ditingkatkan:

Multimodal Live API: API baru ini membantu Anda membuat aplikasi streaming audio dan visio real-time dengan penggunaan alat.
Kecepatan dan performa: Gemini 2.0 memiliki waktu untuk token pertama (TTFT) yang jauh lebih baik dibandingkan 1.5 Flash.
Kualitas: Performa yang lebih baik di sebagian besar benchmark dibandingkan Gemini 1.5 Pro.
Kemampuan agen yang ditingkatkan: Gemini 2.0 memberikan peningkatan pada pemahaman multimodal, coding, mengikuti petunjuk kompleks, dan panggilan fungsi.
Modalitas baru: Gemini 2.0 memperkenalkan pembuatan gambar native dan kemampuan text-to-speech yang dapat dikontrol.

Untuk memberikan pengalaman developer yang lebih baik, kami juga mengirimkan SDK baru. Untuk mengetahui detail teknis Gemini 2.0, lihat model Gemini.

Google Gen AI SDK (eksperimental)

Google Gen AI SDK baru menyediakan antarmuka terpadu ke Gemini 2.0 melalui Gemini Developer API dan Gemini API di Vertex AI. Dengan beberapa pengecualian, kode yang berjalan di satu platform akan berjalan di kedua platform. SDK baru ini tersedia di Python dan Go, dengan Java dan JavaScript akan segera hadir.

Instal SDK baru: pip install google-genai
Kemudian, impor library, lakukan inisialisasi klien, dan buat konten:

from google import genai

client = genai.Client(api_key="GEMINI_API_KEY")

response = client.models.generate_content(model='gemini-2.0-flash-exp', contents='How does AI work?')
print(response.text)

Developer Python juga dapat mencoba notebook Memulai di Cookbook Gemini.

Multimodal Live API

Multimodal Live API memungkinkan interaksi suara dan video dua arah dengan latensi rendah dengan Gemini. Dengan menggunakan Multimodal Live API, Anda dapat memberikan pengalaman percakapan suara alami yang mirip manusia kepada pengguna akhir, dan dengan kemampuan untuk mengganggu respons model menggunakan perintah suara. Model ini dapat memproses input teks, audio, dan video, serta dapat memberikan output teks dan audio.

Anda dapat mencoba Multimodal Live API di Google AI Studio. Untuk mempelajari lebih lanjut kemampuan dan batasan API, lihat panduan referensi Multimodal Live API.

Penelusuran sebagai alat

Dengan menggunakan Grounding dengan Google Penelusuran, Anda dapat meningkatkan akurasi dan keaktualan respons dari model. Mulai Gemini 2.0, Google Penelusuran tersedia sebagai alat. Artinya, model dapat memutuskan kapan harus menggunakan Google Penelusuran. Contoh berikut menunjukkan cara mengonfigurasi Penelusuran sebagai alat.

from google import genai
from google.genai.types import Tool, GenerateContentConfig, GoogleSearch

client = genai.Client()
model_id = "gemini-2.0-flash-exp"

google_search_tool = Tool(
    google_search = GoogleSearch()
)

response = client.models.generate_content(
    model=model_id,
    contents="When is the next total solar eclipse in the United States?",
    config=GenerateContentConfig(
        tools=[google_search_tool],
        response_modalities=["TEXT"],
    )
)

for each in response.candidates[0].content.parts:
    print(each.text)
# Example response:
# The next total solar eclipse visible in the contiguous United States will be on ...

# To get grounding metadata as web content.
print(response.candidates[0].grounding_metadata.search_entry_point.rendered_content)

Fungsi Penelusuran sebagai alat juga memungkinkan penelusuran multi-giliran dan kueri multi-alat (misalnya, menggabungkan Grounding dengan Google Penelusuran dan eksekusi kode).

Penelusuran sebagai alat memungkinkan perintah dan alur kerja kompleks yang memerlukan perencanaan, pemikiran, dan pemikiran:

Dasar untuk meningkatkan faktualitas dan keaktualan serta memberikan jawaban yang lebih akurat
Mengambil artefak dari web untuk melakukan analisis lebih lanjut
Menemukan gambar, video, atau media lain yang relevan untuk membantu tugas pemikiran atau pembuatan multimodal
Coding, pemecahan masalah teknis, dan tugas khusus lainnya
Menemukan informasi khusus wilayah atau membantu menerjemahkan konten secara akurat
Menemukan situs yang relevan untuk penjelajahan lebih lanjut

Anda dapat memulai dengan mencoba notebook alat Penelusuran.

Penggunaan alat yang lebih baik

Gemini 2.0 memperkenalkan peningkatan pada panggilan fungsi dan alat yang memberikan dukungan yang lebih baik untuk pengalaman agen.

Panggilan fungsi komposisi

Gemini 2.0 mendukung kemampuan panggilan fungsi baru: panggilan fungsi komposisi. Panggilan fungsi komposisi memungkinkan Gemini API memanggil beberapa fungsi yang ditentukan pengguna secara otomatis dalam proses pembuatan respons. Misalnya, untuk merespons perintah "Get the temperature in my current location", Gemini API dapat memanggil fungsi get_current_location() dan fungsi get_weather() yang menggunakan lokasi sebagai parameter.

Panggilan fungsi komposisi dengan eksekusi kode memerlukan streaming dua arah dan hanya didukung oleh Multimodal Live API baru. Berikut adalah contoh yang menunjukkan cara menggunakan panggilan fungsi komposisi, eksekusi kode, dan Multimodal Live API secara bersamaan:

turn_on_the_lights_schema = {'name': 'turn_on_the_lights'}
turn_off_the_lights_schema = {'name': 'turn_off_the_lights'}

prompt = """
  Hey, can you write run some python code to turn on the lights, wait 10s and then turn off the lights?
  """

tools = [
    {'code_execution': {}},
    {'function_declarations': [turn_on_the_lights_schema, turn_off_the_lights_schema]}
]

await run(prompt, tools=tools, modality="AUDIO")

Developer Python dapat mencobanya di notebook Penggunaan Alat API Live.

Penggunaan multi-alat

Dengan Gemini 2.0, Anda dapat mengaktifkan beberapa alat secara bersamaan, dan model akan memutuskan kapan harus memanggilnya. Berikut adalah contoh yang mengaktifkan dua alat, Pemrosesan dengan Google Penelusuran dan eksekusi kode, dalam permintaan menggunakan Multimodal Live API.

prompt = """
  Hey, I need you to do three things for me.

  1. Turn on the lights.
  2. Then compute the largest prime palindrome under 100000.
  3. Then use Google Search to look up information about the largest earthquake in California the week of Dec 5 2024.

  Thanks!
  """

tools = [
    {'google_search': {}},
    {'code_execution': {}},
    {'function_declarations': [turn_on_the_lights_schema, turn_off_the_lights_schema]}
]

await run(prompt, tools=tools, modality="AUDIO")

Developer Python dapat mencobanya di notebook Penggunaan Alat API Live.

Deteksi kotak pembatas

Dalam peluncuran eksperimental ini, kami menyediakan alat yang canggih untuk deteksi dan pelokalan objek dalam gambar dan video kepada developer. Dengan mengidentifikasi dan menandai objek dengan kotak pembatas secara akurat, developer dapat membuka berbagai aplikasi dan meningkatkan kecerdasan project mereka.

Manfaat Utama:

Mudah: Integrasikan kemampuan deteksi objek ke dalam aplikasi Anda dengan mudah, apa pun keahlian computer vision Anda.
Dapat disesuaikan: Membuat kotak pembatas berdasarkan petunjuk kustom (misalnya, "Saya ingin melihat kotak pembatas semua objek hijau dalam gambar ini"), tanpa harus melatih model kustom.

Detail Teknis:

Input: Perintah Anda dan gambar atau bingkai video terkait.
Output: Bounding box dalam format [y_min, x_min, y_max, x_max]. Sudut kiri atas adalah asal. Sumbu x dan y masing-masing bergerak secara horizontal dan vertikal. Nilai koordinat dinormalisasi menjadi 0-1000 untuk setiap gambar.
Visualisasi: Pengguna AI Studio akan melihat kotak pembatas yang diplot dalam UI. Pengguna Vertex AI harus memvisualisasikan kotak pembatas melalui kode visualisasi kustom.

Untuk developer Python, coba notebook pemahaman spasial 2D atau notebook penunjuk 3D eksperimental.

Pembuatan ucapan (akses awal/daftar yang diizinkan)

Gemini 2.0 mendukung kemampuan pembuatan multimodal baru: text to speech. Dengan menggunakan kemampuan text-to-speech, Anda dapat meminta model untuk menghasilkan output audio berkualitas tinggi yang terdengar seperti suara manusia (say "hi everyone"), dan Anda dapat lebih meningkatkan kualitas output dengan mengarahkan suara.

Pembuatan gambar (akses awal/daftar yang diizinkan)

Gemini 2.0 mendukung kemampuan untuk menghasilkan teks dengan gambar inline. Hal ini memungkinkan Anda menggunakan Gemini untuk mengedit gambar secara percakapan atau menghasilkan output multimodal (misalnya, postingan blog dengan teks dan gambar dalam satu giliran). Sebelumnya, hal ini akan memerlukan penggabungan beberapa model.

Pembuatan gambar tersedia sebagai rilis eksperimental pribadi. Fitur ini mendukung modalitas dan kemampuan berikut:

Teks ke gambar
- Contoh perintah: "Buat gambar menara Eiffel dengan kembang api di latar belakang."
Teks ke gambar dan teks (disisipkan)
- Contoh perintah: "Buat resep bergambar untuk paella."
Gambar dan teks ke gambar dan teks (disisipkan)
- Contoh perintah: (Dengan gambar ruangan yang dilengkapi furnitur) "Sofa warna apa lagi yang cocok untuk ruangan saya? Bisakah Anda memperbarui gambarnya?"
Pengeditan gambar (teks dan gambar ke gambar)
- Contoh perintah: "Edit gambar ini agar terlihat seperti kartun"
- Contoh perintah: [gambar kucing] + [gambar bantal] + "Buat jahitan silang kucing saya di bantal ini".
Pengeditan gambar multi-giliran (chat)
- Contoh perintah: [upload gambar mobil biru.] "Ubah mobil ini menjadi mobil konversi." "Sekarang ubah warnanya menjadi kuning."
Penambahan watermark
- Semua gambar yang dihasilkan menyertakan watermark SynthID.

Batasan:

Pembuatan orang dan pengeditan gambar orang yang diupload tidak diizinkan.
Untuk performa terbaik, gunakan bahasa berikut: EN, es-MX, ja-JP, zh-CN, hi-IN.
Pembuatan gambar tidak mendukung input audio atau video.
Pembuatan gambar mungkin tidak selalu memicu:
- Model hanya dapat menghasilkan teks. Coba minta output gambar secara eksplisit (misalnya, "buat gambar", "berikan gambar saat Anda melakukannya", "update gambar").
- Model mungkin berhenti menghasilkan di tengah jalan. Coba lagi atau coba perintah lain.