Tutorial sulla chiamata di funzione

La chiamata di funzione semplifica l'ottenimento di output di dati strutturati da e modelli generativi. Puoi quindi utilizzare questi output per chiamare altre API e restituire al modello i dati di risposta pertinenti. In altre parole, la chiamata di funzione colleghi modelli generativi a sistemi esterni in modo che i contenuti generati includa le informazioni più aggiornate e accurate.

Puoi fornire ai modelli Gemini descrizioni delle funzioni. Si tratta di di funzioni che scrivi nella lingua della tua app (ovvero, Google Cloud Functions). Il modello potrebbe chiederti di richiamare una funzione e restituirla il risultato per aiutare il modello a gestire la query.

Se non l'hai già fatto, consulta il Introduzione alle chiamate di funzione per imparare altro ancora. Puoi anche prova questa funzione Google Colab o visualizza il codice di esempio nella il repository del libro di ricette dell'API Gemini.

API di esempio per il controllo dell'illuminazione

Immagina di avere un sistema di base per il controllo dell'illuminazione con una programmazione di un'applicazione (API) e vuoi consentire agli utenti di controllare le luci tramite semplici richieste di testo. Puoi utilizzare la funzionalità di chiamata di funzione per interpretare l'illuminazione modificare le richieste degli utenti e tradurle in chiamate API per e i relativi valori. Questo ipotetico sistema di controllo dell'illuminazione ti consente di regolare la luminosità della luce e la sua temperatura di colore, definite come due parametri distinti:

Parametro Tipo Obbligatorio Descrizione
brightness numero sì Livello di illuminazione da 0 a 100. Lo zero è disattivato e 100 è piena luminosità.
colorTemperature stringa sì La temperatura di colore della lampada, che può essere daylight, cool o warm.

Per semplicità, questo sistema di illuminazione immaginario ha una sola illuminazione, quindi l'utente non richiede di specificare una stanza o un luogo. Ecco un esempio di richiesta JSON puoi inviare l'API di controllo della luce per impostare il livello della luce al 50% utilizzando la temperatura di colore della luce diurna:

{
  "brightness": "50",
  "colorTemperature": "daylight"
}

Questo tutorial mostra come configurare una chiamata di funzione per l'API Gemini interpretare le richieste di illuminazione degli utenti e mapparle alle impostazioni API per controllare i valori di luminosità e temperatura di colore della luce.

Prima di iniziare: configura il progetto e la chiave API

Prima di chiamare l'API Gemini, devi impostare il tuo progetto la chiave API.

Definisci una funzione API

Crea una funzione che effettui una richiesta API. Questa funzione deve essere definita all'interno del codice dell'applicazione, ma potrebbe chiamare servizi o API al di fuori dell'applicazione. L'API Gemini non chiama questa funzione direttamente, quindi puoi controllare come e quando viene eseguita tramite il codice dell'applicazione. A scopo dimostrativo, questo tutorial definisce una funzione API fittizia che restituisce solo i valori di illuminazione richiesti:

def set_light_values(brightness, color_temp):
    """Set the brightness and color temperature of a room light. (mock API).

    Args:
        brightness: Light level from 0 to 100. Zero is off and 100 is full brightness
        color_temp: Color temperature of the light fixture, which can be `daylight`, `cool` or `warm`.

    Returns:
        A dictionary containing the set brightness and color temperature.
    """
    return {
        "brightness": brightness,
        "colorTemperature": color_temp
    }

Quando crei una funzione da utilizzare in una chiamata di funzione dal modello, deve includere il maggior numero possibile di dettagli nella funzione e nel parametro descrizioni. Il modello generativo utilizza queste informazioni per determinare quale funzione selezionare e come fornire i valori per i parametri nella chiamata della funzione.

Dichiarare le funzioni durante l'inizializzazione del modello

Quando vuoi utilizzare la chiamata di funzione con un modello, devi dichiarare le funzioni quando inizili l'oggetto modello. Le funzioni vengono dichiarate impostando il parametro tools del modello:

model = genai.GenerativeModel(model_name='gemini-1.5-flash',
                              tools=[set_light_values])

Generare una chiamata di funzione

Dopo aver inizializzato il modello con le dichiarazioni delle funzioni, puoi chiedere al modello di eseguire la funzione definita. Ti consigliamo di utilizzare le chiamate di funzione con i prompt di chat (sendMessage()), poiché in genere le chiamate di funzione traggono vantaggio dal contesto dei prompt e delle risposte precedenti.

chat = model.start_chat()
response = chat.send_message('Dim the lights so the room feels cozy and warm.')
response.text

L'oggetto ChatSession dell'SDK Python semplifica la gestione delle sessioni di chat gestendo la cronologia della conversazione per te. Puoi utilizzare enable_automatic_function_calling per avere l'SDK automaticamente la funzione.

# Create a chat session that automatically makes suggested function calls
chat = model.start_chat(enable_automatic_function_calling=True)

Chiamata di funzioni parallele

Oltre alla chiamata di funzioni di base descritta sopra, puoi anche chiamare più funzioni in un unico passaggio. Questa sezione mostra un esempio di come utilizzare le chiamate di funzione parallele.

Definisci gli strumenti.

def power_disco_ball(power: bool) -> bool:
    """Powers the spinning disco ball."""
    print(f"Disco ball is {'spinning!' if power else 'stopped.'}")
    return True


def start_music(energetic: bool, loud: bool, bpm: int) -> str:
    """Play some music matching the specified parameters.

    Args:
      energetic: Whether the music is energetic or not.
      loud: Whether the music is loud or not.
      bpm: The beats per minute of the music.

    Returns: The name of the song being played.
    """
    print(f"Starting music! {energetic=} {loud=}, {bpm=}")
    return "Never gonna give you up."


def dim_lights(brightness: float) -> bool:
    """Dim the lights.

    Args:
      brightness: The brightness of the lights, 0.0 is off, 1.0 is full.
    """
    print(f"Lights are now set to {brightness:.0%}")
    return True

Ora chiama il modello con un'istruzione che potrebbe utilizzare tutti gli strumenti specificati.

# Set the model up with tools.
house_fns = [power_disco_ball, start_music, dim_lights]

model = genai.GenerativeModel(model_name="gemini-1.5-flash", tools=house_fns)

# Call the API.
chat = model.start_chat()
response = chat.send_message("Turn this place into a party!")

# Print out each of the function calls requested from this single call.
for part in response.parts:
    if fn := part.function_call:
        args = ", ".join(f"{key}={val}" for key, val in fn.args.items())
        print(f"{fn.name}({args})")

power_disco_ball(power=True)
start_music(energetic=True, loud=True, bpm=120.0)
dim_lights(brightness=0.3)

Ciascuno dei risultati stampati riflette una singola chiamata di funzione richiesta dal modello. Per inviare i risultati, includi le risposte nello stesso ordine in cui sono state richieste.

# Simulate the responses from the specified tools.
responses = {
    "power_disco_ball": True,
    "start_music": "Never gonna give you up.",
    "dim_lights": True,
}

# Build the response parts.
response_parts = [
    genai.protos.Part(function_response=genai.protos.FunctionResponse(name=fn, response={"result": val}))
    for fn, val in responses.items()
]

response = chat.send_message(response_parts)
print(response.text)

Let's get this party started! I've turned on the disco ball, started playing some upbeat music, and dimmed the lights. 🎶✨  Get ready to dance! 🕺💃

Mappatura del tipo di dati della chiamata di funzione

L'estrazione automatica dello schema dalle funzioni Python non funziona in tutti i casi. Ad esempio, non gestisce i casi in cui descrivi i campi di un oggetto dizionario nidificato, ma l'API lo supporta. L'API è in grado di descrivere uno dei seguenti tipi:

AllowedType = (int | float | bool | str | list['AllowedType'] | dict[str, AllowedType])

La libreria client google.ai.generativelanguage fornisce l'accesso ai tipi di basso livello, offrendoti il pieno controllo.

Dai un'occhiata all'attributo _tools del modello per vedere come descrive le funzioni che hai passato al modello:

def multiply(a:float, b:float):
    """returns a * b."""
    return a*b

model = genai.GenerativeModel(model_name='gemini-1.5-flash',
                             tools=[multiply])

model._tools.to_proto()

[function_declarations {
   name: "multiply"
   description: "returns a * b."
   parameters {
     type_: OBJECT
     properties {
       key: "b"
       value {
         type_: NUMBER
       }
     }
     properties {
       key: "a"
       value {
         type_: NUMBER
       }
     }
     required: "a"
     required: "b"
   }
 }]

Viene restituito l'elenco degli oggetti genai.protos.Tool che verranno inviati all'API. Se il formato stampato non ti è familiare, è perché si tratta di classi protobuf di Google. Ciascun genai.protos.Tool (in questo caso 1) contiene un elenco di genai.protos.FunctionDeclarations, che descrive una funzione e le sue argomenti.

Ecco una dichiarazione per la stessa funzione di moltiplicazione scritta utilizzando le classi genai.protos. Tieni presente che queste classi descrivono solo la funzione per l'API, non ne includono un'implementazione. Questo non funziona chiamate di funzione automatiche, ma le funzioni non hanno sempre bisogno implementazione.

calculator = genai.protos.Tool(
    function_declarations=[
      genai.protos.FunctionDeclaration(
        name='multiply',
        description="Returns the product of two numbers.",
        parameters=genai.protos.Schema(
            type=genai.protos.Type.OBJECT,
            properties={
                'a':genai.protos.Schema(type=genai.protos.Type.NUMBER),
                'b':genai.protos.Schema(type=genai.protos.Type.NUMBER)
            },
            required=['a','b']
        )
      )
    ])

In modo equivalente, puoi descrivere questo oggetto come un oggetto compatibile con JSON:

calculator = {'function_declarations': [
      {'name': 'multiply',
       'description': 'Returns the product of two numbers.',
       'parameters': {'type_': 'OBJECT',
       'properties': {
         'a': {'type_': 'NUMBER'},
         'b': {'type_': 'NUMBER'} },
       'required': ['a', 'b']} }]}

genai.protos.Tool(calculator)

function_declarations {
  name: "multiply"
  description: "Returns the product of two numbers."
  parameters {
    type_: OBJECT
    properties {
      key: "b"
      value {
        type_: NUMBER
      }
    }
    properties {
      key: "a"
      value {
        type_: NUMBER
      }
    }
    required: "a"
    required: "b"
  }
}

In entrambi i casi, devi passare una rappresentazione di un genai.protos.Tool o di un elenco di strumenti a

model = genai.GenerativeModel('gemini-1.5-flash', tools=calculator)
chat = model.start_chat()

response = chat.send_message(
    f"What's 234551 X 325552 ?",
)

Come prima, il modello restituisce un genai.protos.FunctionCall che richiama la funzione multiply della calcolatrice:

response.candidates

[index: 0
content {
  parts {
    function_call {
      name: "multiply"
      args {
        fields {
          key: "b"
          value {
            number_value: 325552
          }
        }
        fields {
          key: "a"
          value {
            number_value: 234551
          }
        }
      }
    }
  }
  role: "model"
}
finish_reason: STOP
]

Esegui la funzione autonomamente:

fc = response.candidates[0].content.parts[0].function_call
assert fc.name == 'multiply'

result = fc.args['a'] * fc.args['b']
result

76358547152.0

Invia il risultato al modello per continuare la conversazione:

response = chat.send_message(
    genai.protos.Content(
    parts=[genai.protos.Part(
        function_response = genai.protos.FunctionResponse(
          name='multiply',
          response={'result': result}))]))