Jenseits von RAG: Warum Multi-Step-Agents das Unternehmensdaten-Dilemma lösen

Für viele Unternehmen stößt das Versprechen KI-gestützter Erkenntnisse an eine strukturelle Grenze. Während Retrieval-Augmented Generation (RAG) zum Standard für die Verbindung von Large Language Models (LLMs) mit privaten Daten geworden ist, erweist es sich für komplexe, reale Geschäftsfragen zunehmend als unzureichend.

Neue Forschungsergebnisse von Databricks legen nahe, dass die Einschränkung nicht in der Intelligenz der Modelle selbst liegt, sondern vielmehr in der Architektur, mit der sie abgefragt werden. Die Studie verdeutlicht einen entscheidenden Wandel: weg vom Single-Turn-Abruf hin zu mehrstufigen Agenten-Workflows.

Das Problem der „hybriden Daten“.

Die meisten Business Intelligence-Lösungen erfordern die Verbindung zweier unterschiedlicher Welten:
1. Strukturierte Daten: Präzise Zahlen, Verkaufszahlen und relationale Tabellen (SQL).
2. Unstrukturierte Daten: Kundenrezensionen, wissenschaftliche Arbeiten und unterstützende Dokumente.

Für Letzteres ist ein Standard-RAG-System konzipiert. Es ist hervorragend darin, Text zu finden, der „wie eine Abfrage klingt“, aber es hat Schwierigkeiten, präzise mathematische Filter durchzuführen oder Daten in verschiedenen Formaten zusammenzuführen.

„RAG funktioniert, lässt sich aber nicht skalieren“, sagt Michael Bendersky, Forschungsdirektor bei Databricks. „Wenn Sie verstehen wollen, warum Ihre Umsätze zurückgehen, müssen Sie dem Agenten helfen, die Tabellen zu sehen und sich die Verkaufsdaten anzusehen. Ihre RAG-Pipeline wird bei dieser Aufgabe inkompetent.“

Architektur vs. Intelligenz: Die 21 %-Lücke

Um zu beweisen, dass das Problem darin liegt, wie auf Daten zugegriffen wird und nicht darin, wie intelligent das Modell ist, führte Databricks eine Reihe von Tests mit dem STaRK-Benchmark durch (der Amazon-Produkte, Microsoft Academic Graph und biomedizinische Daten abdeckte).

Sie verglichen ein leistungsstarkes, hochmodernes Single-Turn-RAG-System mit einem mehrstufigen Agentenansatz. Selbst bei Verwendung eines deutlich stärkeren Fundamentmodells verlor das Single-Turn-RAG-System um:
* 21 % im akademischen Bereich.
* 38 % im biomedizinischen Bereich.

Diese Leistungslücke zeigt, dass selbst das „intelligenteste“ Modell eine Abrufarchitektur nicht kompensieren kann, die grundsätzlich nicht in der Lage ist, die Lücke zwischen einer Tabellenkalkulation und einem Textdokument zu schließen.

So funktioniert der „Supervisor Agent“.

Die Lösung von Databricks, der Supervisor Agent, weicht von der Idee des „hybriden Abrufs“ (dem Versuch, Einbettungen und Tabellen zusammenzuführen) ab und behandelt das Problem stattdessen als Tool-Orchestrierung. Der Agent verfügt über drei Kernfunktionen:

• Parallel Tool Decomposition: Anstelle einer massiven Suche löst der Agent gleichzeitig SQL-Abfragen nach Zahlen und Vektorsuchen nach Text aus. Anschließend werden die kombinierten Ergebnisse analysiert, um eine kohärente Antwort zu erhalten.
• Selbstkorrektur: Wenn eine erste Suche keine Ergebnisse liefert – etwa bei der Suche nach einem bestimmten Autor mit einer genauen Veröffentlichungszahl – gibt der Agent nicht auf. Es formuliert die Abfrage neu, führt einen SQL-JOIN durch und überprüft das Ergebnis durch eine zweite Suche.
• Deklarative Konfiguration: Im Gegensatz zu herkömmlichen Pipelines, bei denen Ingenieure Daten in Textblöcke „flachen“ oder normalisieren müssen, verwendet dieser Agent Beschreibungen in einfacher Sprache. Um eine neue Datenquelle hinzuzufügen, beschreibt ein Ingenieur einfach, um welche Daten es sich handelt. Der Agent lernt, damit umzugehen.

Der Wandel vom Engineering zur Konfiguration

Die Auswirkungen auf die Datentechnik sind erheblich. In einem herkömmlichen RAG-Setup erfordert jede neue Datenquelle eine enorme Menge an „Dateninstallation“ – JSON-Konvertierung, Normalisierung von Tabellen und Verwaltung von Einbettungen. Dadurch entsteht ein Engpass, der mit der Expansion eines Unternehmens zunimmt.

Der Agentenansatz dreht dieses Modell um: „Bringen Sie den Agenten einfach zu den Daten.“

Wichtige Erkenntnisse für die Implementierung:

• Skalierbarkeit: Das Agentenmodell ist für wachsende Datensätze nachhaltiger, da das Hinzufügen einer Quelle eine Konfigurationsaufgabe und keine Codierungsaufgabe ist.
• Komplexitätsgrenzen: Der Ansatz ist zwar leistungsstark, funktioniert aber am besten mit 5 bis 10 Datenquellen. Die gleichzeitige Verbindung zu vieler widersprüchlicher Quellen kann die Geschwindigkeit und Zuverlässigkeit beeinträchtigen.
• Datenintegrität: Während der Agent durch verschiedene Formate navigieren kann, kann er „Garbage in, Garbage out“ nicht beheben. Damit der Wirkstoff wirksam ist, müssen die Quelldaten sachlich korrekt sein.

Fazit

Der Übergang von RAG zu mehrstufigen Agenten stellt eine grundlegende Weiterentwicklung der Unternehmens-KI dar: den Übergang von Systemen, die lediglich Informationen finden, zu Systemen, die über verschiedene Datenökosysteme hinweg Schlussfolgerungen ziehen können. Indem Unternehmen Datenquellen als Werkzeuge und nicht nur als Textblöcke behandeln, können sie endlich damit beginnen, die komplexen, funktionsübergreifenden Fragen zu beantworten, die Geschäftsentscheidungen beeinflussen.