Voor veel ondernemingen stuit de belofte van AI-gedreven inzichten op een structurele muur. Hoewel Retrieval-Augmented Generation (RAG) de standaard is geworden voor het verbinden van Large Language Models (LLM’s) met privégegevens, blijkt deze in toenemende mate ontoereikend voor complexe, reële zakelijke vragen.
Nieuw onderzoek van Databricks suggereert dat de beperking niet de intelligentie van de modellen zelf is, maar eerder de architectuur die wordt gebruikt om ze te bevragen. Het onderzoek benadrukt een cruciale verschuiving: de verschuiving van het ophalen in één beurt naar meerstaps agentische workflows.
Het ‘hybride data’-probleem
De meeste business intelligence vereist het verbinden van twee verschillende werelden:
1. Gestructureerde gegevens: Precieze cijfers, verkoopcijfers en relationele tabellen (SQL).
2. Ongestructureerde gegevens: Klantrecensies, academische artikelen en ondersteunende documenten.
Voor dit laatste is een standaard RAG-systeem ontworpen. Het blinkt uit in het vinden van tekst die “klinkt als” een zoekopdracht, maar heeft moeite met het uitvoeren van nauwkeurige wiskundige filters of het samenvoegen van gegevens in verschillende formaten.
“RAG werkt, maar schaalt niet”, zegt Michael Bendersky, onderzoeksdirecteur bij Databricks. “Als je wilt begrijpen waarom je omzet daalt, moet je de agent helpen de tabellen te zien en de verkoopgegevens te bekijken. Je RAG-pijplijn zal incompetent worden voor die taak.”
Architectuur versus intelligentie: de kloof van 21%
Om te bewijzen dat het probleem ligt in de manier waarop gegevens worden benaderd en niet in hoe slim het model is, heeft Databricks een reeks tests uitgevoerd met behulp van de STaRK-benchmark (met betrekking tot Amazon-producten, Microsoft Academic Graph en biomedische gegevens).
Ze vergeleken een krachtig, geavanceerd single-turn RAG-systeem met een meerstaps-agentische aanpak. Zelfs bij gebruik van een aanzienlijk sterker funderingsmodel verloor het single-turn RAG-systeem door:
* 21% in het academische domein.
* 38% in het biomedische domein.
Deze prestatiekloof toont aan dat zelfs het meest ‘intelligente’ model een ophaalarchitectuur niet kan compenseren die fundamenteel niet in staat is de kloof tussen een spreadsheet en een tekstdocument te overbruggen.
Hoe de “Supervisor Agent” werkt
De oplossing van Databricks, de Supervisor Agent, wijkt af van het idee van ‘hybride ophalen’ (proberen insluitingen en tabellen samen te voegen) en behandelt het probleem in plaats daarvan als toolorkestratie. De agent functioneert via drie kernmogelijkheden:
- Parallel Tool Decomposition: In plaats van één grootschalige zoekopdracht activeert de agent tegelijkertijd SQL-query’s voor getallen en vectorzoekopdrachten voor tekst. Vervolgens analyseert het de gecombineerde resultaten om tot een samenhangend antwoord te komen.
- Zelfcorrectie: Als een eerste zoekopdracht geen resultaten oplevert (zoals het zoeken naar een specifieke auteur met een nauwkeurig aantal publicaties), geeft de agent niet op. Het herformuleert de zoekopdracht, voert een SQL
JOINuit en verifieert het resultaat via een tweede zoekopdracht. - Declaratieve configuratie: In tegenstelling tot traditionele pijplijnen waarbij technici gegevens moeten ‘afvlakken’ of normaliseren in tekstblokken, gebruikt deze agent beschrijvingen in eenvoudige taal. Om een nieuwe gegevensbron toe te voegen, beschrijft een ingenieur eenvoudigweg wat de gegevens zijn; de agent leert hoe hij deze moet gebruiken.
De verschuiving van engineering naar configuratie
De implicaties voor data-engineering zijn aanzienlijk. In een traditionele RAG-opstelling vereist elke nieuwe gegevensbron een enorme hoeveelheid ‘dataloodgieterswerk’: het converteren van JSON, het normaliseren van tabellen en het beheren van insluitingen. Hierdoor ontstaat een knelpunt dat groter wordt naarmate een onderneming groeit.
De agentische benadering draait dit model om: “Breng de agent gewoon naar de gegevens.”
Belangrijkste punten voor implementatie:
- Schaalbaarheid: Het agentic-model is duurzamer voor het uitbreiden van datasets, omdat het toevoegen van een bron een configuratietaak is en geen codeertaak.
- Complexiteitslimieten: Hoewel krachtig, werkt de aanpak het beste met 5 tot 10 gegevensbronnen. Als u te veel tegenstrijdige bronnen tegelijk aansluit, kan de snelheid en betrouwbaarheid afnemen.
- Gegevensintegriteit: Hoewel de agent door verschillende formaten kan navigeren, kan hij “garbage in, garbage out” niet oplossen. Om de agent effectief te laten zijn, moeten de brongegevens feitelijk accuraat zijn.
Conclusie
De transitie van RAG naar meerstapsagenten vertegenwoordigt een fundamentele evolutie in enterprise AI: de overgang van systemen die alleen maar informatie vinden naar systemen die kunnen redeneren over diverse data-ecosystemen. Door databronnen te behandelen als hulpmiddelen in plaats van alleen maar stukjes tekst, kunnen bedrijven eindelijk beginnen met het beantwoorden van de complexe, cross-functionele vragen die zakelijke beslissingen bepalen.
