Een diepgaande kijk op chunkingstrategieën

In de kern werkt RAG door relevante informatie uit uw kennisbank op te halen en deze als context aan een LLM te geven om een antwoord te genereren. Maar hoe vindt het die "relevante informatie"? Het zoekt in voorbewerkte stukken van uw documenten, oftewel "chunks".

De manier waarop u uw documenten opdeelt in deze chunks kan de prestaties van uw RAG-systeem drastisch beïnvloeden. Slechte chunking kan leiden tot irrelevante zoekresultaten, onvolledige context en uiteindelijk tot onnauwkeurige antwoorden van uw LLM.

Dit artikel is een diepgaande verkenning van de wereld van chunking. We zullen verschillende strategieën onderzoeken, van eenvoudig tot geavanceerd, om u te helpen uw RAG-systeem te optimaliseren voor maximale nauwkeurigheid en efficiëntie.

 

Wat is chunking?

Chunking is het proces waarbij grote documenten worden opgedeeld in kleinere, beheersbare stukken. Deze chunks worden vervolgens omgezet in numerieke representaties, embeddings genaamd, en opgeslagen in een vectordatabase. Wanneer een gebruiker een vraag stelt, zet het RAG-systeem de vraag om in een embedding en zoekt het in de database naar de chunks met de meest vergelijkbare embeddings. Deze chunks worden vervolgens aan de LLM gevoed.

Het doel van chunking is om stukken tekst te creëren die:

• Semantisch compleet zijn: Elke chunk moet idealiter een volledig, samenhangend idee bevatten.

• De juiste grootte hebben: Chunks moeten klein genoeg zijn om binnen het contextvenster van de LLM te passen, maar groot genoeg om betekenisvolle informatie te bevatten.

Laten we de meest voorkomende chunkingstrategieën bekijken.

 

1. Chunking met vaste grootte

Dit is de eenvoudigste en meest rechttoe rechtaan aanpak. U kiest een vaste grootte voor uw chunks (bv. 512 tekens of tokens) en, optioneel, een overlap ertussen. Het document wordt dan mechanisch opgedeeld volgens deze parameters.

• Hoe het werkt: U stelt een chunk_grootte en een chunk_overlap in. De overlap zorgt ervoor dat zinnen of ideeën die over twee chunks verdeeld zouden kunnen worden, toch in hun geheel in minstens één chunk worden vastgelegd.

• Voordelen:

  • Eenvoudig en snel te implementeren.

  • Werkt redelijk goed voor ongestructureerde of homogene documenten.

• Nadelen:

  • Kan gemakkelijk zinnen of alinea's in het midden afbreken, waardoor de semantische betekenis verloren gaat.

  • Negeert de logische structuur van het document (koppen, lijsten, tabellen).

• Voorbeeld: Een document van 2000 tekens dat wordt opgedeeld met een grootte van 500 en een overlap van 50, zou resulteren in vier chunks, waarbij de laatste 50 tekens van chunk 1 ook de eerste 50 tekens van chunk 2 zijn, enzovoort.

 

2. Contextbewuste chunking

Zoals de naam al doet vermoeden, houdt deze strategie rekening met de daadwerkelijke inhoud en structuur van het document. Het is geavanceerder en levert over het algemeen betere resultaten op.

 

a) Chunking per zin

Deze methode gebruikt zinsgrenzen om de tekst te splitsen. Bibliotheken zoals NLTK of spaCy kunnen worden gebruikt om het einde van zinnen nauwkeurig te detecteren.

• Hoe het werkt: Het document wordt na elke punt, vraagteken of uitroepteken gesplitst. U kunt vervolgens een bepaald aantal zinnen groeperen om één chunk te vormen.

• Voordelen:

  • Behoudt de semantische integriteit van individuele zinnen.

  • Logischer dan chunking met vaste grootte.

• Nadelen:

  • Een enkele zin biedt mogelijk niet voldoende context.

  • Complexe zinnen (bv. in juridische of wetenschappelijke documenten) kunnen erg lang zijn en de optimale chunk-grootte overschrijden.

 

b) Recursieve chunking

Recursieve chunking is een populaire en krachtige techniek. Het probeert tekst te splitsen op basis van een hiërarchische lijst van scheidingstekens. Het begint met het grootste logische scheidingsteken (bv. dubbele nieuwe regels voor alinea's) en, als een resulterende chunk nog steeds te groot is, past het recursief het volgende scheidingsteken in de lijst toe (bv. enkele nieuwe regels, dan spaties).

• Hoe het werkt: U definieert een lijst met scheidingstekens, bijvoorbeeld ["\n\n", "\n", " ", ""]. Het algoritme splitst de tekst met het eerste scheidingsteken. Als een resulterende chunk groter is dan uw gedefinieerde chunk_grootte, wordt die chunk genomen en gesplitst met het tweede scheidingsteken, enzovoort.

• Voordelen:

  • Behoudt de logische structuur van het document (alinea's, dan regels, dan woorden).

  • Zeer effectief en aanpasbaar voor veel documenttypes.

• Nadelen:

  • Vereist enige afstemming van de scheidingstekens en de chunk-grootte voor optimale prestaties.

 

3. Geavanceerde strategieën: De grenzen verleggen

Voor complexe use-cases moet u mogelijk verder gaan dan standaard tekstgebaseerde chunking.

 

a) Multimodale chunking

Uw kennisbank bestaat niet altijd alleen uit tekst. Het kan afbeeldingen, tabellen en diagrammen bevatten. Een echt geavanceerd RAG-systeem moet deze elementen begrijpen.

• Hoe het werkt: Speciale modellen worden gebruikt om niet-tekstuele elementen te verwerken. Een tabel kan bijvoorbeeld worden omgezet in een gestructureerd formaat zoals Markdown of JSON en als een aparte chunk worden opgeslagen. Een afbeelding kan worden beschreven door een beeldondertitelingsmodel, en die beschrijving wordt dan de chunk.

• Voordelen:

  • Ontsluit de informatie die vastzit in tabellen en afbeeldingen.

  • Biedt een veel rijkere context aan de LLM.

• Nadelen:

  • Aanzienlijk complexer om te implementeren en te beheren.

 

b) Agentic chunking

Dit is een baanbrekende aanpak waarbij een LLM-agent zelf beslist hoe een document moet worden opgedeeld. De agent analyseert de structuur en inhoud van het document en past de meest geschikte chunkingstrategie toe, waarbij mogelijk verschillende methoden worden gecombineerd voor verschillende delen van hetzelfde document.

• Hoe het werkt: U geeft een "agent" (een gespecialiseerde LLM-prompt) het document en een set beschikbare chunking-tools (vaste grootte, recursief, etc.). De agent analyseert het document en bepaalt bijvoorbeeld: "Dit gedeelte is een tabel, ik gebruik de tabel-chunker. Dit gedeelte is proza, ik gebruik recursieve chunking."

• Voordelen:

  • De meest flexibele en intelligente chunkingmethode.

  • Kan de hoogste kwaliteitsresultaten behalen door zich dynamisch aan te passen aan de data.

• Nadelen:

  • Computationeel duur en trager.

  • Nog steeds een opkomend onderzoeksgebied.

 

Conclusie: Chunking is geen detail, het is de basis

De kwaliteit van uw RAG-systeem is een directe weerspiegeling van de kwaliteit van de opgehaalde context. En die context is slechts zo goed als uw chunkingstrategie. Door verder te gaan dan eenvoudige methoden met een vaste grootte en door contextbewuste en zelfs agentic-benaderingen te omarmen, kunt u de prestaties van uw systeem aanzienlijk verbeteren, wat leidt tot nauwkeurigere, relevantere en nuttigere AI-toepassingen.

Het bouwen van een robuuste chunking-pipeline kan complex zijn. U moet verschillende bestandstypen parseren, experimenteren met meerdere strategieën en de resultaten evalueren - en dat allemaal nog voordat u aan de retrieval- en generatiestappen toekomt.