Teilen

16. Mai 2025

Harvey: Validating Gemini 2.5 Pro Preview’s Advanced Legal Reasoning with BigLaw Bench

Niko Grupen

Head of Applied AI

Vishal Dharmadhikari

AI DevRel

Hero-Image für Toonsutra

In der Rechtsbranche sind KI-Lösungen gefragt, die eine immense Menge komplexer Informationen präzise und differenziert verarbeiten können. Herkömmliche KI-Benchmarks werden den Anforderungen der Rechtspraxis oft nicht gerecht. Daher ist es schwierig, Modelle zu identifizieren, die wirklich in der Lage sind, hochwertige juristische Arbeit zu leisten. Harvey, ein dynamisches Startup, das sich der Transformation von rechtlichen Workflows durch KI verschrieben hat, hat dieses Problem angegangen, indem es BigLaw Bench entwickelt hat, sein umfassendes Framework zur Bewertung der Leistung von Large Language Models (LLMs) bei Aufgaben, die tatsächliche rechtliche Arbeit widerspiegeln. In den letzten strengen Tests hat sich Gemini 2.5 Pro Preview als herausragend erwiesen und ein außergewöhnliches Potenzial zur Steigerung der Effizienz in wichtigen Rechtsbereichen gezeigt.

Gemini 2.5 Pro-Vorabversion führt zu Benchmarking-Ergebnissen für BigLaw

Die jüngsten Bewertungen von Harvey mit dem BigLaw Bench-Framework haben deutlich gezeigt, dass Gemini 2.5 Pro Preview bemerkenswerte Fähigkeiten bei wichtigen Aufgaben im Bereich des rechtlichen Denkens aufweist, insbesondere bei Aufgaben, die logisches Schlussfolgern auf der Grundlage von langen rechtlichen Eingaben oder Ausgaben erfordern. Wie aus den öffentlich geteilten Ergebnissen von Harvey hervorgeht, die durch das Testen von Modellen wie Gemini 2.5 Pro Preview über die entsprechenden APIs erzielt wurden, erreichte Gemini 2.5 Pro Preview mit 85,02% die höchste Punktzahl bei BigLaw Bench und übertraf damit andere Modelle, die in dieser umfassenden Bewertung untersucht wurden.

Alt-Text: Balkendiagramm mit dem Titel

Diese führende Funktion ist für eine Vielzahl von hochwertigen rechtlichen Aktivitäten von entscheidender Bedeutung. Die wichtigsten Bewertungsaufgaben in BigLaw Bench haben die Stärken von Gemini 2.5 Pro (Vorabversion) gezeigt:

  • Transaktionsbezogene Due Diligence: Gemini 2.5 Pro Preview hat gezeigt, dass das Modell in der Lage ist, kritische Bestimmungen (z.B. Abtretungs-, Freistellungs- und Kündigungsklauseln) aus mehreren langen Dienstleistungsvereinbarungen zu extrahieren und zusammenzufassen. Das deutet auf ein erhebliches Potenzial hin, den zeitaufwendigen Prozess der manuellen Dokumentenprüfung zu optimieren.
  • Transaktionsstrukturierung: Das Modell hat umfassende, gut strukturierte Vergleichsanalysen komplexer finanzieller Optionen (z.B. PIPE, Underwritten Equity Offerings, Bond Offerings). Das Modell hat gezeigt, dass es diese Informationen klar und verständlich darstellen kann, auch für Personen ohne fundierte Finanzkenntnisse, und dass es potenzielle sofortige Maßnahmen vorschlagen kann.
  • Verfassen von Schriftsätzen: Bei Aufgaben im Zusammenhang mit Rechtsstreitigkeiten zeigte Gemini 2.5 Pro (Vorabversion) eine bemerkenswerte Fähigkeit, detaillierte Gliederungen für Schriftsätze auf der Grundlage umfangreicher Briefing-Dokumente zu erstellen. Diese Funktion weist auf eine Zukunft hin, in der KI die ersten Phasen der Entwicklung und Organisation von rechtlichen Argumenten erheblich unterstützen kann.
  • Dokumentprüfung und ‑analyse: Bei Tests, bei denen verschiedene Testdokumente (Anruflisten, E‑Mails, Vermerke) geprüft wurden, zeigte sich die Stärke von Gemini 2.5 Pro Preview bei der Erstellung kohärenter chronologischer Zusammenfassungen von Ereignissen. Außerdem zeigte das Modell Potenzial, kritische Inkonsistenzen und Unklarheiten in der Aufzeichnung zu erkennen, was ein wichtiger Aspekt einer gründlichen rechtlichen Analyse ist.


Bei diesen Tests hat Gemini 2.5 Pro Preview eine starke Fähigkeit zum logischen Schlussfolgern bei Eingaben gezeigt, die aus Hunderten von Seiten mit Material bestehen. Dies ist ein häufiges Szenario bei juristischen Arbeiten. Außerdem konnte das Modell diese Materialien verwenden, um längere und umfassende Ausgaben zu generieren, was tiefere Einblicke und Analysen ermöglichte. Diese Kernfunktionen verdeutlichen das Potenzial von Gemini 2.5 Pro Preview für komplexe juristische Aufgaben, die logisches Schlussfolgern anhand großer Dokumentmengen erfordern, um Anwendungsfälle für Due Diligence, Überprüfung und Verfassen zu unterstützen.

„Wir bei Harvey möchten juristischen Fachleuten die fortschrittlichsten Tools zur Verfügung stellen“, sagt Niko Grupen, Head of Applied AI bei Harvey. „Unsere Bewertung von Gemini 2.5 Pro Preview mit BigLaw Bench hat die bemerkenswerte Fähigkeit des Modells gezeigt, komplexe rechtliche Informationen zu synthetisieren. Diese Erkenntnis ist die Grundlage für unsere Vision für die zukünftige Produktentwicklung. Wir möchten diese Stärken nutzen, um eine beispiellose Effizienz zu erreichen und Anwälte in die Lage zu versetzen, sich auf strategische Aufgaben zu konzentrieren.“

Harvey legt großen Wert auf eine strenge Bewertung und bietet eine aufschlussreiche Analyse von hochmodernen KI-Modellen wie Gemini 2.5 Pro (Vorabversion). Das zeigt das transformative Potenzial von KI im Rechtsbereich. Ihre Ergebnisse ebnen den Weg für zukünftige Innovationen, die die Herangehensweise von Rechtsexperten an ihre anspruchsvollsten Aufgaben verändern werden.

Wenn Sie erfahren möchten, wie die erweiterten Funktionen für logisches Denken und Synthese von Gemini 2.5 Pro Preview Ihre eigenen Anwendungen unterstützen können, lesen Sie die Gemini API-Dokumentation oder legen Sie in Google AI Studio los.

Harvey ist Teilnehmer des AI Futures Fund von Google, der in ambitionierte Start-ups investiert und mit ihnen zusammenarbeitet, um die Zukunft der KI zu gestalten.