 Посмотреть в Google AI |  Запустить в Google Colab |  Посмотреть исходный код на GitHub |
В этом руководстве вы поработаете над примером извлечения структурированных данных, используя API Gemini для извлечения списков персонажей, отношений, вещей и мест из истории.
Настраивать
pip install -U -q google-generativeai
import pathlib
import textwrap
import google.generativeai as genai
import google.ai.generativelanguage as glm
from IPython.display import display
from IPython.display import Markdown
from google.api_core import retry
def to_markdown(text):
text = text.replace('•', ' *')
return Markdown(textwrap.indent(text, '> ', predicate=lambda _: True))
Получив ключ API, передайте его в SDK. Вы можете сделать это двумя способами:
- Поместите ключ в переменную среды
GOOGLE_API_KEY(SDK автоматически подберет его оттуда). - Передайте ключ в
genai.configure(api_key=...)
try:
# Used to securely store your API key
from google.colab import userdata
# Or use `os.getenv('API_KEY')` to fetch an environment variable.
GOOGLE_API_KEY=userdata.get('GOOGLE_API_KEY')
except ImportError:
import os
GOOGLE_API_KEY = os.environ['GOOGLE_API_KEY']
genai.configure(api_key=GOOGLE_API_KEY)
Пример задачи
В этом уроке вы будете извлекать сущности из историй на естественном языке. В качестве примера ниже приведен рассказ, написанный Близнецами.
new_story = False
if new_story:
model = genai.GenerativeModel(model_name='models/gemini-1.5-pro-latest')
response = model.generate_content("""
Write a long story about a girl with magic backpack, her family, and at
least one other charater. Make sure everyone has names. Don't forget to
describe the contents of the backpack, and where everyone and everything
starts and ends up.""", request_options={'retry': retry.Retry()})
story = response.text
print(response.candidates[0].citation_metadata)
else:
story = """In the quaint town of Willow Creek, nestled amidst rolling hills and whispering willows, resided a young girl named Anya. As she stepped out of the creaky wooden door of her modest cottage, her heart skipped a beat with excitement and anticipation. Today was her first day of school, and she couldn't wait to show off her prized possession - a magical backpack.\n\nHanded down to her from her grandmother, the backpack was no ordinary satchel. Its soft, emerald-green fabric shimmered with an ethereal glow, and its leather straps held secrets that only Anya knew. Within its capacious interior lay an enchanted world, filled with wonders that would ignite her imagination and change her life forever.\n\nAnya's parents, kind-hearted Elise and wise-bearded Edward, bid her farewell with warm embraces. "Remember, my dear," whispered her mother, "use your magic wisely and for good." Her father added, "Always seek knowledge, and let the backpack be your trusted companion."\n\nWith a skip in her step, Anya set off towards the town's only schoolhouse. On her way, she passed her best friend, Samuel, a curious and adventurous boy with a mischievous grin. "Hey, Anya," he called out. "Can I see your backpack?"\n\nAnya hesitated for a moment before unzipping the flap and revealing its contents. Samuel's eyes widened in amazement as he peered inside. There, nestled amidst pencils and notebooks, were a shimmering sword, a book of ancient spells, a tiny compass that always pointed north, and a magical key that could open any lock.\n\nTogether, they marveled at the backpack's wonders, promising to keep its secrets safe. As they approached the schoolhouse, Anya noticed a group of older children huddled together, their faces etched with fear. Curiosity getting the better of her, she cautiously approached.\n\n"What's wrong?" she asked.\n\nA tall, lanky boy stepped forward. "There's a monster in the forest," he stammered. "It's been terrorizing the town, attacking animals and even people."\n\nAnya's heart sank. The town of Willow Creek was small and peaceful, and the thought of a monster brought a shiver down her spine. She knew she had to do something to protect her family and friends.\n\nWithout a moment's hesitation, Anya opened her backpack and retrieved the shimmering sword. With a determined gleam in her eye, she turned to her terrified peers. "Don't worry," she said, her voice steady. "I'll take care of it."\n\nWith Samuel close behind her, Anya ventured into the shadowy depths of the forest. The trees seemed to whisper secrets as she passed, and the undergrowth rustled with unseen creatures. As they walked deeper into the forest, the air grew heavy and the ground beneath their feet trembled.\n\nSuddenly, they came to a clearing, and there before their eyes was the monster - a massive beast with sharp teeth, glowing red eyes, and claws that could crush a human with ease. The creature roared, a thunderous sound that shook the forest to its core.\n\nFear surged through Anya, but she refused to let it consume her. She drew the sword from its sheath and charged towards the monster. The blade shimmered in the sunlight, and as it struck the beast's hide, a blinding light erupted, enveloping everything in its radiance.\n\nWhen the light faded, the monster was gone, and in its place was a pile of shattered crystals. Anya had defeated the creature with the magic of her backpack, proving that even the smallest of objects could hold the greatest of powers.\n\nAs she and Samuel returned to the town, they were greeted as heroes. The people of Willow Creek rejoiced, and the legend of Anya, the girl with the magic backpack, was passed down through generations. And so, Anya continued her adventures, using the backpack's wonders to make the world a better place, one magical step at a time."""
to_markdown(story)
В причудливом городке Уиллоу-Крик, расположенном среди холмов и шепчущих ив, жила молодая девушка по имени Аня. Когда она вышла из скрипучей деревянной двери своего скромного коттеджа, ее сердце забилось сильнее от волнения и предвкушения. Сегодня был ее первый день в школе, и ей не терпелось продемонстрировать свое ценное сокровище — волшебный рюкзак.
Рюкзак, доставшийся ей от бабушки, был не просто ранцем. Его мягкая изумрудно-зеленая ткань переливалась неземным сиянием, а кожаные ремни хранили тайны, которые знала только Аня. Внутри его просторного интерьера находился волшебный мир, наполненный чудесами, которые воспламенили ее воображение и навсегда изменили ее жизнь.
Родители Ани, добросердечная Элиза и мудробородый Эдвард, прощаются с ней в теплых объятиях. «Помни, моя дорогая, — прошептала ее мать, — используй свою магию мудро и во благо». Ее отец добавил: «Всегда стремитесь к знаниям, и пусть рюкзак станет вашим надежным спутником».
Прискакивая, Аня направилась к единственной в городе школе. По пути она встретила своего лучшего друга Сэмюэля, любопытного и предприимчивого мальчика с озорной ухмылкой. — Привет, Аня, — крикнул он. — Могу я посмотреть твой рюкзак?
Аня на мгновение поколебалась, прежде чем расстегнуть молнию и раскрыть ее содержимое. Глаза Сэмюэля расширились от изумления, когда он заглянул внутрь. Там, среди карандашей и тетрадей, лежали мерцающий меч, книга древних заклинаний, крошечный компас, который всегда указывал на север, и волшебный ключ, который мог открыть любой замок.
Вместе они восхитились чудесами рюкзака, пообещав сохранить его секреты. Когда они подошли к зданию школы, Аня заметила группу детей постарше, сбившихся в кучу, на их лицах был написан страх. Любопытство взяло верх, и она осторожно приблизилась.
"В чем дело?" она спросила.
Вперед вышел высокий, долговязый мальчик. «В лесу чудовище», — пробормотал он. «Оно терроризировало город, нападало на животных и даже на людей».
Сердце Ани упало. Городок Уиллоу-Крик был маленьким и мирным, и мысль о монстре вызвала у нее дрожь по спине. Она знала, что должна что-то сделать, чтобы защитить свою семью и друзей.
Ни секунды не колеблясь, Аня открыла рюкзак и достала мерцающий меч. С решительным блеском в глазах она повернулась к своим напуганным сверстникам. — Не волнуйся, — сказала она ровным голосом. "Я позабочусь об этом."
Следуя за ней за Сэмюэлем, Аня отправилась в темную глубь леса. Деревья, казалось, шептали ей тайны, а в подлеске шелестели невидимые существа. По мере того как они углублялись в лес, воздух становился тяжелым, а земля под их ногами задрожала.
Внезапно они вышли на поляну, и перед их глазами возник монстр — массивный зверь с острыми зубами, светящимися красными глазами и когтями, способными с легкостью раздавить человека. Существо взревело, оглушительный звук потряс лес до глубины души.
Страх охватил Аню, но она не позволила ему поглотить себя. Она вытащила меч из ножен и бросилась к монстру. Лезвие мерцало в солнечном свете, и когда оно ударило по шкуре зверя, вспыхнул ослепительный свет, окутывающий все своим сиянием.
Когда свет померк, монстр исчез, а на его месте оказалась груда разбитых кристаллов. Аня победила существо с помощью магии своего рюкзака, доказав, что даже самые маленькие предметы могут обладать величайшей силой.
Когда она и Сэмюэль вернулись в город, их встретили как героев. Жители Уиллоу-Крик ликовали, и легенда об Ане, девушке с волшебным рюкзаком, передавалась из поколения в поколение. Итак, Аня продолжила свои приключения, используя чудеса рюкзака, чтобы сделать мир лучше, шаг за шагом.
Использование естественного языка
Большие языковые модели являются мощными многозадачными инструментами. Часто вы можете просто попросить Близнецов о том, чего вы хотите, и все будет в порядке.
Есть несколько вещей, на которые следует обратить внимание при создании структур данных таким способом:
- Иногда анализ не удается.
- Схема не может быть строго соблюдена.
Вы решите эти проблемы в следующем разделе. Сначала попробуйте использовать простую подсказку на естественном языке со схемой, записанной в виде текста. Это не было оптимизировано:
model = model = model = genai.GenerativeModel(
model_name='models/gemini-1.5-pro-latest')
response = model.generate_content(
textwrap.dedent("""\
Please return JSON describing the the people, places, things and relationships from this story using the following schema:
{"people": list[PERSON], "places":list[PLACE], "things":list[THING], "relationships": list[RELATIONSHIP]}
PERSON = {"name": str, "description": str, "start_place_name": str, "end_place_name": str}
PLACE = {"name": str, "description": str}
THING = {"name": str, "description": str, "start_place_name": str, "end_place_name": str}
RELATIONSHIP = {"person_1_name": str, "person_2_name": str, "relationship": str}
All fields are required.
Important: Only return a single piece of valid JSON text.
Here is the story:
""") + story,
generation_config={'response_mime_type':'application/json'}
)
response.text
'{"people": [\n {\n "name": "Anya",\n "description": "A young girl who lives in the town of Willow Creek with her parents, Elise and Edward. She possesses a magical backpack that was handed down to her from her grandmother.",\n "start_place_name": "Willow Creek",\n "end_place_name": "Willow Creek"\n },\n {\n "name": "Elise",\n "description": "Anya\'s kind-hearted mother",\n "start_place_name": "Willow Creek",\n "end_place_name": "Willow Creek"\n },\n {\n "name": "Edward",\n "description": "Anya\'s wise-bearded father",\n "start_place_name": "Willow Creek",\n "end_place_name": "Willow Creek"\n },\n {\n "name": "Samuel",\n "description": "Anya\'s best friend, a curious and adventurous boy with a mischievous grin.",\n "start_place_name": "Willow Creek",\n "end_place_name": "Willow Creek"\n },\n {\n "name": "Monster",\n "description": "A massive beast with sharp teeth, glowing red eyes, and claws that could crush a human with ease.",\n "start_place_name": "Forest",\n "end_place_name": "Forest"\n }\n], "places": [\n {\n "name": "Willow Creek",\n "description": "A quaint town nestled amidst rolling hills and whispering willows."\n },\n {\n "name": "Forest",\n "description": "A shadowy place with rustling undergrowth and whispering trees."\n },\n {\n "name": "Schoolhouse",\n "description": "The only school in the town of Willow Creek."\n },\n {\n "name": "Anya\'s home",\n "description": "A modest cottage with a creaky wooden door."\n }\n], "things": [\n {\n "name": "Magic backpack",\n "description": "A magical backpack that was handed down to Anya from her grandmother. Its soft, emerald-green fabric shimmered with an ethereal glow, and its leather straps held secrets that only Anya knew.",\n "start_place_name": "Anya\'s home",\n "end_place_name": "Forest"\n },\n {\n "name": "Shimmering sword",\n "description": "A sword that shimmered in the sunlight and could strike with blinding light.",\n "start_place_name": "Magic backpack",\n "end_place_name": "Forest"\n },\n {\n "name": "Book of ancient spells",\n "description": "A book that contained ancient spells.",\n "start_place_name": "Magic backpack",\n "end_place_name": "Forest"\n },\n {\n "name": "Tiny compass",\n "description": "A compass that always pointed north.",\n "start_place_name": "Magic backpack",\n "end_place_name": "Forest"\n },\n {\n "name": "Magical key",\n "description": "A key that could open any lock.",\n "start_place_name": "Magic backpack",\n "end_place_name": "Forest"\n },\n {\n "name": "Shattered crystals",\n "description": "The remains of the monster after it was defeated by Anya\'s magic backpack.",\n "start_place_name": "Forest",\n "end_place_name": "Forest"\n }\n], "relationships": [\n {\n "person_1_name": "Anya",\n "person_2_name": "Elise",\n "relationship": "mother-daughter"\n },\n {\n "person_1_name": "Anya",\n "person_2_name": "Edward",\n "relationship": "father-daughter"\n },\n {\n "person_1_name": "Anya",\n "person_2_name": "Samuel",\n "relationship": "best friends"\n }\n]}'
Это вернуло строку json. Попробуйте разобрать его:
import json
print(json.dumps(json.loads(response.text), indent=4))
{
"people": [
{
"name": "Anya",
"description": "A young girl who lives in the town of Willow Creek with her parents, Elise and Edward. She possesses a magical backpack that was handed down to her from her grandmother.",
"start_place_name": "Willow Creek",
"end_place_name": "Willow Creek"
},
{
"name": "Elise",
"description": "Anya's kind-hearted mother",
"start_place_name": "Willow Creek",
"end_place_name": "Willow Creek"
},
{
"name": "Edward",
"description": "Anya's wise-bearded father",
"start_place_name": "Willow Creek",
"end_place_name": "Willow Creek"
},
{
"name": "Samuel",
"description": "Anya's best friend, a curious and adventurous boy with a mischievous grin.",
"start_place_name": "Willow Creek",
"end_place_name": "Willow Creek"
},
{
"name": "Monster",
"description": "A massive beast with sharp teeth, glowing red eyes, and claws that could crush a human with ease.",
"start_place_name": "Forest",
"end_place_name": "Forest"
}
],
"places": [
{
"name": "Willow Creek",
"description": "A quaint town nestled amidst rolling hills and whispering willows."
},
{
"name": "Forest",
"description": "A shadowy place with rustling undergrowth and whispering trees."
},
{
"name": "Schoolhouse",
"description": "The only school in the town of Willow Creek."
},
{
"name": "Anya's home",
"description": "A modest cottage with a creaky wooden door."
}
],
"things": [
{
"name": "Magic backpack",
"description": "A magical backpack that was handed down to Anya from her grandmother. Its soft, emerald-green fabric shimmered with an ethereal glow, and its leather straps held secrets that only Anya knew.",
"start_place_name": "Anya's home",
"end_place_name": "Forest"
},
{
"name": "Shimmering sword",
"description": "A sword that shimmered in the sunlight and could strike with blinding light.",
"start_place_name": "Magic backpack",
"end_place_name": "Forest"
},
{
"name": "Book of ancient spells",
"description": "A book that contained ancient spells.",
"start_place_name": "Magic backpack",
"end_place_name": "Forest"
},
{
"name": "Tiny compass",
"description": "A compass that always pointed north.",
"start_place_name": "Magic backpack",
"end_place_name": "Forest"
},
{
"name": "Magical key",
"description": "A key that could open any lock.",
"start_place_name": "Magic backpack",
"end_place_name": "Forest"
},
{
"name": "Shattered crystals",
"description": "The remains of the monster after it was defeated by Anya's magic backpack.",
"start_place_name": "Forest",
"end_place_name": "Forest"
}
],
"relationships": [
{
"person_1_name": "Anya",
"person_2_name": "Elise",
"relationship": "mother-daughter"
},
{
"person_1_name": "Anya",
"person_2_name": "Edward",
"relationship": "father-daughter"
},
{
"person_1_name": "Anya",
"person_2_name": "Samuel",
"relationship": "best friends"
}
]
}
Это относительно просто и часто работает, но потенциально вы можете сделать это более строгим/надежным, определив схему с помощью функции вызова функций API.
Используйте вызов функции
Если вы еще не прошли обучение основам вызова функций , обязательно сделайте это в первую очередь.
При вызове функции ваша функция и ее параметры описываются API как glm.FunctionDeclaration . В базовых случаях SDK может построить FunctionDeclaration из функции и ее аннотаций. SDK в настоящее время не обрабатывает описание вложенных параметров OBJECT ( dict ). Поэтому на данный момент вам нужно определить их явно.
Определить схему
Начните с определения person как объекта со строковыми полями name , description , start_place_name , end_place_name .
person = glm.Schema(
type = glm.Type.OBJECT,
properties = {
'name': glm.Schema(type=glm.Type.STRING),
'description': glm.Schema(type=glm.Type.STRING),
'start_place_name': glm.Schema(type=glm.Type.STRING),
'end_place_name': glm.Schema(type=glm.Type.STRING)
},
required=['name', 'description', 'start_place_name', 'end_place_name']
)
Затем определите людей как ARRAY объектов person :
people = glm.Schema(
type=glm.Type.ARRAY,
items=person
)
Затем сделайте то же самое для каждого из объектов, которые вы пытаетесь извлечь:
place = glm.Schema(
type = glm.Type.OBJECT,
properties = {
'name': glm.Schema(type=glm.Type.STRING),
'description': glm.Schema(type=glm.Type.STRING),
}
)
places = glm.Schema(
type=glm.Type.ARRAY,
items=place
)
thing = glm.Schema(
type = glm.Type.OBJECT,
properties = {
'name': glm.Schema(type=glm.Type.STRING),
'description': glm.Schema(type=glm.Type.STRING),
}
)
things = glm.Schema(
type=glm.Type.ARRAY,
items=thing
)
relationship = glm.Schema(
type = glm.Type.OBJECT,
properties = {
'person_1_name': glm.Schema(type=glm.Type.STRING),
'person_2_name': glm.Schema(type=glm.Type.STRING),
'relationship': glm.Schema(type=glm.Type.STRING),
}
)
relationships = glm.Schema(
type=glm.Type.ARRAY,
items=relationship
)
Теперь создайте FunctionDeclaration :
add_to_database = glm.FunctionDeclaration(
name="add_to_database",
description=textwrap.dedent("""\
Adds entities to the database.
"""),
parameters=glm.Schema(
type=glm.Type.OBJECT,
properties = {
'people': people,
'places': places,
'things': things,
'relationships': relationships
}
)
)
Вызов API
Как вы видели в разделе «Основы вызова функций», теперь вы можете передать это FunctionDeclaration в аргумент tools конструктора genai.GenerativeModel (конструктор также будет принимать эквивалентное JSON-представление объявления функции):
model = model = genai.GenerativeModel(
model_name='models/gemini-1.5-pro-latest',
tools = [add_to_database])
Каждый раз, когда вы вызываете API, SDK отправляет инструменты вместе с вашим приглашением, и модель должна вызвать определенную вами функцию:
result = model.generate_content(f"""
Please add the people, places, things, and relationships from this story to the database:
{story}
""",
# Force a function call
tool_config={'function_calling_config':'ANY'})
Теперь нет текста для анализа. Результатом является структура данных.
'text' in result.candidates[0].content.parts[0]
False
'function_call' in result.candidates[0].content.parts[0]
True
fc = result.candidates[0].content.parts[0].function_call
print(type(fc))
<class 'google.ai.generativelanguage_v1beta.types.content.FunctionCall'>
Класс glm.FunctionCall основан на буферах протокола Google, преобразуйте его в более знакомый объект, совместимый с JSON:
print(json.dumps(type(fc).to_dict(fc), indent=4))
{
"name": "add_to_database",
"args": {
"things": [
{
"name": "Magical Backpack",
"description": "Anya's prized possession, the Magical Backpack, is no ordinary satchel. Its soft, emerald-green fabric shimmers with an ethereal glow, and its leather straps have secrets that only Anya knows. Within its capacious interior lay an enchanted world, filled with wonders that would ignite her imagination and change her life forever."
},
{
"name": "Shimmering Sword",
"description": "Among the wonders in Anya's Magical Backpack, lies a shimmering sword. With a determined gleam in her eye, she retrieved the shimmering sword and charged towards the monster."
},
{
"description": "Residing within the Magical Backpack, the Book of Ancient Spells holds secrets untold.",
"name": "Book of Ancient Spells"
},
{
"description": "Tucked away in the Magical Backpack is a tiny compass that always points north.",
"name": "Tiny Compass that Always Points North"
},
{
"description": "Hidden within the Magical Backpack is a magical key that can open any lock.",
"name": "Magical Key that Can Open Any Lock"
}
],
"relationships": [
{
"relationship": "Mother-Daughter",
"person_1_name": "Anya",
"person_2_name": "Elise"
},
{
"person_2_name": "Edward",
"relationship": "Father-Daughter",
"person_1_name": "Anya"
},
{
"person_2_name": "Samuel",
"person_1_name": "Anya",
"relationship": "Best Friends"
}
],
"people": [
{
"name": "Anya",
"description": "Anya, the main character of the story, is a young girl with a magical backpack.",
"start_place_name": "Willow Creek",
"end_place_name": "Unknown"
},
{
"name": "Elise",
"description": "Anya's mother, Elise is a kind-hearted woman.",
"end_place_name": "Unknown",
"start_place_name": "Willow Creek"
},
{
"start_place_name": "Willow Creek",
"end_place_name": "Unknown",
"name": "Edward",
"description": "Anya's father, Edward is a wise-bearded man."
},
{
"end_place_name": "Unknown",
"start_place_name": "Willow Creek",
"description": "Anya's best friend, Samuel is a curious and adventurous boy with a mischievous grin.",
"name": "Samuel"
}
],
"places": [
{
"description": "The quaint town of Willow Creek is nestled amidst rolling hills and whispering willows.",
"name": "Willow Creek"
},
{
"description": "The town's only schoolhouse.",
"name": "Schoolhouse"
},
{
"description": "A shadowy place filled with secrets and dangers, the Forest is home to a terrifying monster.",
"name": "Forest"
}
]
}
}
Заключение
Хотя API может решать проблемы извлечения структурированных данных с помощью простого текстового ввода и вывода, использование вызова функций, вероятно, более надежно, поскольку позволяет определить строгую схему и исключает потенциально подверженный ошибкам этап синтаксического анализа.