 Bei Google AI ansehen
|
 In Google Colab ausführen
|
 Quelle auf GitHub ansehen
|
In dieser Anleitung gehen Sie ein Beispiel für die Extraktion strukturierter Daten durch und extrahieren mit der Gemini API Listen mit Figuren, Beziehungen, Dingen und Orten aus einer Geschichte.
Einrichtung
pip install -U -q google-generativeai
import pathlib
import textwrap
import google.generativeai as genai
from IPython.display import display
from IPython.display import Markdown
from google.api_core import retry
def to_markdown(text):
text = text.replace('•', ' *')
return Markdown(textwrap.indent(text, '> ', predicate=lambda _: True))
Sobald Sie den API-Schlüssel haben, übergeben Sie ihn an das SDK. Dafür haben Sie die beiden folgenden Möglichkeiten:
- Fügen Sie den Schlüssel in die Umgebungsvariable
GOOGLE_API_KEYein. Das SDK ruft ihn dort automatisch ab. - Übergib den Schlüssel an
genai.configure(api_key=...)
try:
# Used to securely store your API key
from google.colab import userdata
# Or use `os.getenv('API_KEY')` to fetch an environment variable.
GOOGLE_API_KEY=userdata.get('GOOGLE_API_KEY')
except ImportError:
import os
GOOGLE_API_KEY = os.environ['GOOGLE_API_KEY']
genai.configure(api_key=GOOGLE_API_KEY)
Die Beispielaufgabe
In dieser Anleitung extrahieren Sie Entitäten aus Geschichten in natürlicher Sprache. Unten sehen Sie als Beispiel eine von Gemini geschriebene Geschichte.
new_story = False
if new_story:
model = genai.GenerativeModel(model_name='models/gemini-1.5-pro-latest')
response = model.generate_content("""
Write a long story about a girl with magic backpack, her family, and at
least one other charater. Make sure everyone has names. Don't forget to
describe the contents of the backpack, and where everyone and everything
starts and ends up.""", request_options={'retry': retry.Retry()})
story = response.text
print(response.candidates[0].citation_metadata)
else:
story = """In the quaint town of Willow Creek, nestled amidst rolling hills and whispering willows, resided a young girl named Anya. As she stepped out of the creaky wooden door of her modest cottage, her heart skipped a beat with excitement and anticipation. Today was her first day of school, and she couldn't wait to show off her prized possession - a magical backpack.\n\nHanded down to her from her grandmother, the backpack was no ordinary satchel. Its soft, emerald-green fabric shimmered with an ethereal glow, and its leather straps held secrets that only Anya knew. Within its capacious interior lay an enchanted world, filled with wonders that would ignite her imagination and change her life forever.\n\nAnya's parents, kind-hearted Elise and wise-bearded Edward, bid her farewell with warm embraces. "Remember, my dear," whispered her mother, "use your magic wisely and for good." Her father added, "Always seek knowledge, and let the backpack be your trusted companion."\n\nWith a skip in her step, Anya set off towards the town's only schoolhouse. On her way, she passed her best friend, Samuel, a curious and adventurous boy with a mischievous grin. "Hey, Anya," he called out. "Can I see your backpack?"\n\nAnya hesitated for a moment before unzipping the flap and revealing its contents. Samuel's eyes widened in amazement as he peered inside. There, nestled amidst pencils and notebooks, were a shimmering sword, a book of ancient spells, a tiny compass that always pointed north, and a magical key that could open any lock.\n\nTogether, they marveled at the backpack's wonders, promising to keep its secrets safe. As they approached the schoolhouse, Anya noticed a group of older children huddled together, their faces etched with fear. Curiosity getting the better of her, she cautiously approached.\n\n"What's wrong?" she asked.\n\nA tall, lanky boy stepped forward. "There's a monster in the forest," he stammered. "It's been terrorizing the town, attacking animals and even people."\n\nAnya's heart sank. The town of Willow Creek was small and peaceful, and the thought of a monster brought a shiver down her spine. She knew she had to do something to protect her family and friends.\n\nWithout a moment's hesitation, Anya opened her backpack and retrieved the shimmering sword. With a determined gleam in her eye, she turned to her terrified peers. "Don't worry," she said, her voice steady. "I'll take care of it."\n\nWith Samuel close behind her, Anya ventured into the shadowy depths of the forest. The trees seemed to whisper secrets as she passed, and the undergrowth rustled with unseen creatures. As they walked deeper into the forest, the air grew heavy and the ground beneath their feet trembled.\n\nSuddenly, they came to a clearing, and there before their eyes was the monster - a massive beast with sharp teeth, glowing red eyes, and claws that could crush a human with ease. The creature roared, a thunderous sound that shook the forest to its core.\n\nFear surged through Anya, but she refused to let it consume her. She drew the sword from its sheath and charged towards the monster. The blade shimmered in the sunlight, and as it struck the beast's hide, a blinding light erupted, enveloping everything in its radiance.\n\nWhen the light faded, the monster was gone, and in its place was a pile of shattered crystals. Anya had defeated the creature with the magic of her backpack, proving that even the smallest of objects could hold the greatest of powers.\n\nAs she and Samuel returned to the town, they were greeted as heroes. The people of Willow Creek rejoiced, and the legend of Anya, the girl with the magic backpack, was passed down through generations. And so, Anya continued her adventures, using the backpack's wonders to make the world a better place, one magical step at a time."""
to_markdown(story)
In der malerischen Stadt Willow Creek lebte ein junges Mädchen namens Anya, das von sanften Hügeln und flüsternden Weiden umgeben ist. Als sie aus der knarrenden Holztür ihrer bescheidenen Hütte trat, sprang ihr Herz vor Begeisterung und Vorfreude. Heute war ihr erster Tag im Studium und sie konnte es kaum erwarten, ihren wertvollen Besitz zu präsentieren – einen magischen Rucksack.
Der Rucksack war keine gewöhnliche Tasche, die sie von ihrer Großmutter an sie übergeben hatte. Sein weicher, smaragdgrüner Stoff schimmerte mit einem ätherischen Glanz und die Lederarmbänder enthielten Geheimnisse, die nur Anya kannte. Innerhalb des weitläufigen Innenraums lag eine verzauberte Welt voller Wunder, die ihre Fantasie anregten und ihr Leben für immer verändern sollte.
Anyas Eltern, die freundliche Elise und der weise bärtige Eduard, verabschieden sich mit warmen Umarmungen. "Denk daran, mein Liebes", flüsterte ihre Mutter, "nutze deine Magie weise und für immer." Ihr Vater fügte hinzu: „Such immer nach Wissen und lass den Rucksack dein vertrauenswürdiger Begleiter sein.“
Mit einem Hüpferschritt machte Anya sich auf den Weg zum einzigen Schulhaus der Stadt. Unterwegs kam sie an ihrem besten Freund Samuel vorbei, einem neugierigen und abenteuerlustigen Jungen mit einem schelmischen Grinsen. „Hey Anya“, rief er. „Kann ich deinen Rucksack sehen?“
Anya zögerte einen Moment, bevor sie die Lasche entpackte und ihren Inhalt enthüllte. Samuel blickte erstaunt in die Augen, als er hineinblickte. Dort, inmitten von Stiften und Notizbüchern, befanden sich ein schimmerndes Schwert, ein Buch mit alten Zaubersprüchen, ein winziger Kompass, der immer nach Norden zeigte, und ein magischer Schlüssel, mit dem jedes Schloss geöffnet werden konnte.
Gemeinsam bewunderten sie die Wunder des Rucksacks und versprechen, die Geheimnisse zu schützen. Als sie sich dem Schulgebäude näherten, bemerkte Anya, dass sich eine Gruppe älterer Kinder zusammenschrieb, deren Gesicht von Angst eingraviert war. Da ihre Neugier immer besser wurde, wandte sie sich vorsichtig an.
"Was ist los?", fragte sie.
Ein großer, schlakster Junge trat nach vorn. „Im Wald ist ein Monster“, stotterte er. „Es hat die Stadt terrorisiert und Tiere und sogar Menschen angegriffen.“
Anyas Herz sank. Willow Creek war klein und friedlich, und der Gedanke an ein Monster brachte ihr einen Schauer über den Rücken. Sie wusste, dass sie etwas tun musste, um ihre Familie und ihre Freunde zu schützen.
Ohne einen Moment zu zögern, öffnete Anya ihren Rucksack und holte das schimmernde Schwert in die Hand. Mit einem entschlossenen Schimmer in ihrem Auge wandte sie sich ihren ängstlichen Freunden zu. „Keine Sorge“, sagte sie mit ruhiger Stimme. „Ich kümmere mich darum.“
Da Samuel nah hinter ihr war, wagte Anya sich in die schattenhaften Tiefen des Waldes. Die Bäume schienen Geheimnisse zu flüstern, als sie vorbeiging, und das Unterholz rauschte vor unsichtbaren Kreaturen. Als sie tiefer in den Wald gingen, wurde die Luft stark und der Boden unter ihren Füßen zitterte.
Plötzlich kamen sie auf eine Lichtung und dort war vor ihren Augen das Monster – ein riesiges Tier mit scharfen Zähnen, leuchtenden roten Augen und Klauen, die Menschen mit Leichtigkeit zerquetschen konnten. Das Tier brüllte, ein tosender Geräusch, das den Wald bis ins Innere erschüttert.
Die Angst breitete Anya aus, aber sie weigerte sich, sie zu verzehren. Sie zog das Schwert aus der Scheide und griff dem Monster zu. Die Klinge schimmerte im Sonnenlicht, und als es auf das Ungeheuer schlug, erstrahlte ein blendendes Licht, das alles in seine Strahlung einhüllte.
Als das Licht schwächer war, verschwand das Monster. An seiner Stelle lag ein Haufen zerbrochener Kristalle. Anya hatte die Kreatur mit der Magie ihres Rucksacks besiegt, was beweist, dass selbst die kleinsten Objekte die größten Kräfte fassen konnten.
Als sie und Samuel in die Stadt zurückkehrten, wurden sie als Helden begrüßt. Die Bewohner von Willow Creek begeisterten sich und die Legende von Anya, dem Mädchen mit dem magischen Rucksack, wurde über Generationen weitergegeben. Also setzte Anya ihre Abenteuer fort und nutzte die Wunder des Rucksacks, um die Welt zu einem besseren Ort zu machen, einen magischen Schritt nach dem anderen.
Natural Language verwenden
Large Language Models sind ein leistungsstarkes Multitasking-Tool. Häufig reicht es aus, Gemini einfach zu fragen, was Sie möchten.
Die Gemini API hat keinen JSON-Modus. Daher müssen einige Dinge beachtet werden, wenn Sie Datenstrukturen auf diese Weise generieren:
- Manchmal schlägt das Parsen fehl.
- Das Schema kann nicht streng erzwungen werden.
Diese Probleme lösen Sie im nächsten Abschnitt. Versuchen Sie es zuerst mit einem einfachen Prompt in natürlicher Sprache, bei dem das Schema als Text ausgeschrieben ist. Dies wurde nicht optimiert:
model = model = model = genai.GenerativeModel(
model_name='models/gemini-1.5-pro-latest')
response = model.generate_content(
textwrap.dedent("""\
Please return JSON describing the the people, places, things and relationships from this story using the following schema:
{"people": list[PERSON], "places":list[PLACE], "things":list[THING], "relationships": list[RELATIONSHIP]}
PERSON = {"name": str, "description": str, "start_place_name": str, "end_place_name": str}
PLACE = {"name": str, "description": str}
THING = {"name": str, "description": str, "start_place_name": str, "end_place_name": str}
RELATIONSHIP = {"person_1_name": str, "person_2_name": str, "relationship": str}
All fields are required.
Important: Only return a single piece of valid JSON text.
Here is the story:
""") + story,
generation_config={'response_mime_type':'application/json'}
)
response.text
'{"people": [\n {\n "name": "Anya",\n "description": "A young girl who lives in the town of Willow Creek with her parents, Elise and Edward. She possesses a magical backpack that was handed down to her from her grandmother.",\n "start_place_name": "Willow Creek",\n "end_place_name": "Willow Creek"\n },\n {\n "name": "Elise",\n "description": "Anya\'s kind-hearted mother",\n "start_place_name": "Willow Creek",\n "end_place_name": "Willow Creek"\n },\n {\n "name": "Edward",\n "description": "Anya\'s wise-bearded father",\n "start_place_name": "Willow Creek",\n "end_place_name": "Willow Creek"\n },\n {\n "name": "Samuel",\n "description": "Anya\'s best friend, a curious and adventurous boy with a mischievous grin.",\n "start_place_name": "Willow Creek",\n "end_place_name": "Willow Creek"\n },\n {\n "name": "Monster",\n "description": "A massive beast with sharp teeth, glowing red eyes, and claws that could crush a human with ease.",\n "start_place_name": "Forest",\n "end_place_name": "Forest"\n }\n], "places": [\n {\n "name": "Willow Creek",\n "description": "A quaint town nestled amidst rolling hills and whispering willows."\n },\n {\n "name": "Forest",\n "description": "A shadowy place with rustling undergrowth and whispering trees."\n },\n {\n "name": "Schoolhouse",\n "description": "The only school in the town of Willow Creek."\n },\n {\n "name": "Anya\'s home",\n "description": "A modest cottage with a creaky wooden door."\n }\n], "things": [\n {\n "name": "Magic backpack",\n "description": "A magical backpack that was handed down to Anya from her grandmother. Its soft, emerald-green fabric shimmered with an ethereal glow, and its leather straps held secrets that only Anya knew.",\n "start_place_name": "Anya\'s home",\n "end_place_name": "Forest"\n },\n {\n "name": "Shimmering sword",\n "description": "A sword that shimmered in the sunlight and could strike with blinding light.",\n "start_place_name": "Magic backpack",\n "end_place_name": "Forest"\n },\n {\n "name": "Book of ancient spells",\n "description": "A book that contained ancient spells.",\n "start_place_name": "Magic backpack",\n "end_place_name": "Forest"\n },\n {\n "name": "Tiny compass",\n "description": "A compass that always pointed north.",\n "start_place_name": "Magic backpack",\n "end_place_name": "Forest"\n },\n {\n "name": "Magical key",\n "description": "A key that could open any lock.",\n "start_place_name": "Magic backpack",\n "end_place_name": "Forest"\n },\n {\n "name": "Shattered crystals",\n "description": "The remains of the monster after it was defeated by Anya\'s magic backpack.",\n "start_place_name": "Forest",\n "end_place_name": "Forest"\n }\n], "relationships": [\n {\n "person_1_name": "Anya",\n "person_2_name": "Elise",\n "relationship": "mother-daughter"\n },\n {\n "person_1_name": "Anya",\n "person_2_name": "Edward",\n "relationship": "father-daughter"\n },\n {\n "person_1_name": "Anya",\n "person_2_name": "Samuel",\n "relationship": "best friends"\n }\n]}'
Dabei wurde ein JSON-String zurückgegeben. Versuchen Sie es zu parsen:
import json
print(json.dumps(json.loads(response.text), indent=4))
{
"people": [
{
"name": "Anya",
"description": "A young girl who lives in the town of Willow Creek with her parents, Elise and Edward. She possesses a magical backpack that was handed down to her from her grandmother.",
"start_place_name": "Willow Creek",
"end_place_name": "Willow Creek"
},
{
"name": "Elise",
"description": "Anya's kind-hearted mother",
"start_place_name": "Willow Creek",
"end_place_name": "Willow Creek"
},
{
"name": "Edward",
"description": "Anya's wise-bearded father",
"start_place_name": "Willow Creek",
"end_place_name": "Willow Creek"
},
{
"name": "Samuel",
"description": "Anya's best friend, a curious and adventurous boy with a mischievous grin.",
"start_place_name": "Willow Creek",
"end_place_name": "Willow Creek"
},
{
"name": "Monster",
"description": "A massive beast with sharp teeth, glowing red eyes, and claws that could crush a human with ease.",
"start_place_name": "Forest",
"end_place_name": "Forest"
}
],
"places": [
{
"name": "Willow Creek",
"description": "A quaint town nestled amidst rolling hills and whispering willows."
},
{
"name": "Forest",
"description": "A shadowy place with rustling undergrowth and whispering trees."
},
{
"name": "Schoolhouse",
"description": "The only school in the town of Willow Creek."
},
{
"name": "Anya's home",
"description": "A modest cottage with a creaky wooden door."
}
],
"things": [
{
"name": "Magic backpack",
"description": "A magical backpack that was handed down to Anya from her grandmother. Its soft, emerald-green fabric shimmered with an ethereal glow, and its leather straps held secrets that only Anya knew.",
"start_place_name": "Anya's home",
"end_place_name": "Forest"
},
{
"name": "Shimmering sword",
"description": "A sword that shimmered in the sunlight and could strike with blinding light.",
"start_place_name": "Magic backpack",
"end_place_name": "Forest"
},
{
"name": "Book of ancient spells",
"description": "A book that contained ancient spells.",
"start_place_name": "Magic backpack",
"end_place_name": "Forest"
},
{
"name": "Tiny compass",
"description": "A compass that always pointed north.",
"start_place_name": "Magic backpack",
"end_place_name": "Forest"
},
{
"name": "Magical key",
"description": "A key that could open any lock.",
"start_place_name": "Magic backpack",
"end_place_name": "Forest"
},
{
"name": "Shattered crystals",
"description": "The remains of the monster after it was defeated by Anya's magic backpack.",
"start_place_name": "Forest",
"end_place_name": "Forest"
}
],
"relationships": [
{
"person_1_name": "Anya",
"person_2_name": "Elise",
"relationship": "mother-daughter"
},
{
"person_1_name": "Anya",
"person_2_name": "Edward",
"relationship": "father-daughter"
},
{
"person_1_name": "Anya",
"person_2_name": "Samuel",
"relationship": "best friends"
}
]
}
Das ist relativ einfach und funktioniert häufig, aber Sie können dies möglicherweise strenger/robuster machen, indem Sie das Schema mithilfe der Funktionsaufruffunktion der API definieren.
Funktionsaufrufe verwenden
Wenn Sie die Anleitung Grundlagen von Funktionsaufrufen noch nicht durchgearbeitet haben, sollten Sie das zuerst tun.
Durch Funktionsaufrufe werden die Funktion und ihre Parameter in der API als genai.protos.FunctionDeclaration beschrieben. In einfachen Fällen kann das SDK die FunctionDeclaration aus der Funktion und ihren Annotationen erstellen. Sie müssen sie also vorerst explizit definieren.
Schema definieren
Definieren Sie zuerst person als Objekt mit den Stringfeldern name, description, start_place_name und end_place_name.
person = genai.protos.Schema(
type = genai.protos.Type.OBJECT,
properties = {
'name': genai.protos.Schema(type=genai.protos.Type.STRING),
'description': genai.protos.Schema(type=genai.protos.Type.STRING),
'start_place_name': genai.protos.Schema(type=genai.protos.Type.STRING),
'end_place_name': genai.protos.Schema(type=genai.protos.Type.STRING)
},
required=['name', 'description', 'start_place_name', 'end_place_name']
)
Definieren Sie dann Personen als ARRAY von person-Objekten:
people = genai.protos.Schema(
type=genai.protos.Type.ARRAY,
items=person
)
Wiederholen Sie diesen Vorgang für jede Entität, die Sie extrahieren möchten:
place = genai.protos.Schema(
type = genai.protos.Type.OBJECT,
properties = {
'name': genai.protos.Schema(type=genai.protos.Type.STRING),
'description': genai.protos.Schema(type=genai.protos.Type.STRING),
}
)
places = genai.protos.Schema(
type=genai.protos.Type.ARRAY,
items=place
)
thing = genai.protos.Schema(
type = genai.protos.Type.OBJECT,
properties = {
'name': genai.protos.Schema(type=genai.protos.Type.STRING),
'description': genai.protos.Schema(type=genai.protos.Type.STRING),
}
)
things = genai.protos.Schema(
type=genai.protos.Type.ARRAY,
items=thing
)
relationship = genai.protos.Schema(
type = genai.protos.Type.OBJECT,
properties = {
'person_1_name': genai.protos.Schema(type=genai.protos.Type.STRING),
'person_2_name': genai.protos.Schema(type=genai.protos.Type.STRING),
'relationship': genai.protos.Schema(type=genai.protos.Type.STRING),
}
)
relationships = genai.protos.Schema(
type=genai.protos.Type.ARRAY,
items=relationship
)
Erstellen Sie jetzt das FunctionDeclaration:
add_to_database = genai.protos.FunctionDeclaration(
name="add_to_database",
description=textwrap.dedent("""\
Adds entities to the database.
"""),
parameters=genai.protos.Schema(
type=genai.protos.Type.OBJECT,
properties = {
'people': people,
'places': places,
'things': things,
'relationships': relationships
}
)
)
API aufrufen
Wie Sie im Abschnitt Grundlagen des Funktionsaufrufs gesehen haben, können Sie jetzt FunctionDeclaration an das Argument tools des genai.GenerativeModel-Konstruktors übergeben. Der Konstruktor akzeptiert auch eine entsprechende JSON-Darstellung der Funktionsdeklaration:
model = model = genai.GenerativeModel(
model_name='models/gemini-1.5-pro-latest',
tools = [add_to_database])
Jedes Mal, wenn Sie die API aufrufen, sendet das SDK die Tools zusammen mit Ihrem Prompt und das Modell sollte die von Ihnen definierte Funktion aufrufen:
result = model.generate_content(f"""
Please add the people, places, things, and relationships from this story to the database:
{story}
""",
# Force a function call
tool_config={'function_calling_config':'ANY'})
Jetzt muss kein Text geparst werden. Das Ergebnis ist eine Datenstruktur.
'text' in result.candidates[0].content.parts[0]
False
'function_call' in result.candidates[0].content.parts[0]
True
fc = result.candidates[0].content.parts[0].function_call
print(type(fc))
<class 'google.ai.generativelanguage_v1beta.types.content.FunctionCall'>
Die Klasse genai.protos.FunctionCall basiert auf Google Protocol Buffers. Konvertieren Sie sie in ein vertrauteres JSON-kompatibles Objekt:
print(json.dumps(type(fc).to_dict(fc), indent=4))
{
"name": "add_to_database",
"args": {
"things": [
{
"name": "Magical Backpack",
"description": "Anya's prized possession, the Magical Backpack, is no ordinary satchel. Its soft, emerald-green fabric shimmers with an ethereal glow, and its leather straps have secrets that only Anya knows. Within its capacious interior lay an enchanted world, filled with wonders that would ignite her imagination and change her life forever."
},
{
"name": "Shimmering Sword",
"description": "Among the wonders in Anya's Magical Backpack, lies a shimmering sword. With a determined gleam in her eye, she retrieved the shimmering sword and charged towards the monster."
},
{
"description": "Residing within the Magical Backpack, the Book of Ancient Spells holds secrets untold.",
"name": "Book of Ancient Spells"
},
{
"description": "Tucked away in the Magical Backpack is a tiny compass that always points north.",
"name": "Tiny Compass that Always Points North"
},
{
"description": "Hidden within the Magical Backpack is a magical key that can open any lock.",
"name": "Magical Key that Can Open Any Lock"
}
],
"relationships": [
{
"relationship": "Mother-Daughter",
"person_1_name": "Anya",
"person_2_name": "Elise"
},
{
"person_2_name": "Edward",
"relationship": "Father-Daughter",
"person_1_name": "Anya"
},
{
"person_2_name": "Samuel",
"person_1_name": "Anya",
"relationship": "Best Friends"
}
],
"people": [
{
"name": "Anya",
"description": "Anya, the main character of the story, is a young girl with a magical backpack.",
"start_place_name": "Willow Creek",
"end_place_name": "Unknown"
},
{
"name": "Elise",
"description": "Anya's mother, Elise is a kind-hearted woman.",
"end_place_name": "Unknown",
"start_place_name": "Willow Creek"
},
{
"start_place_name": "Willow Creek",
"end_place_name": "Unknown",
"name": "Edward",
"description": "Anya's father, Edward is a wise-bearded man."
},
{
"end_place_name": "Unknown",
"start_place_name": "Willow Creek",
"description": "Anya's best friend, Samuel is a curious and adventurous boy with a mischievous grin.",
"name": "Samuel"
}
],
"places": [
{
"description": "The quaint town of Willow Creek is nestled amidst rolling hills and whispering willows.",
"name": "Willow Creek"
},
{
"description": "The town's only schoolhouse.",
"name": "Schoolhouse"
},
{
"description": "A shadowy place filled with secrets and dangers, the Forest is home to a terrifying monster.",
"name": "Forest"
}
]
}
}
Fazit
Während die API Probleme bei der Extraktion strukturierter Daten bei reiner Texteingabe und Textausgabe bewältigen kann, ist die Verwendung von Funktionsaufrufen wahrscheinlich zuverlässiger, da Sie damit ein strenges Schema definieren können und einen potenziell fehleranfälligen Parsing-Schritt eliminiert werden.