Hoe voorkom je dubbele data in Microsoft Fabric?

Ed Kisman · 23 okt 2026

Dubbele data in Microsoft Fabric voorkom je door een combinatie van slimme laadstrategieën, deduplicatielogica in Delta Lake, correcte Dataflow Gen2-instellingen en het gebruik van MERGE INTO-statements. De aanpak verschilt afhankelijk van waar in je Fabric-omgeving de data binnenkomt en hoe je data-architectuur is ingericht. In dit artikel beantwoorden we de meest gestelde vragen over het voorkomen van dubbele data in Microsoft Fabric, van oorzaken tot monitoring.

Wat zijn de meest voorkomende oorzaken van dubbele data in Microsoft Fabric?

Dubbele data in Microsoft Fabric ontstaat vrijwel altijd door herhaalde data-loads zonder deduplicatielogica, ontbrekende primaire sleutels in Delta-tabellen, of pipelines die bij een herstart opnieuw dezelfde records invoegen. Dit zijn de structurele oorzaken die je het vaakst tegenkomt in Fabric-omgevingen.

In de praktijk zijn er vier veelvoorkomende bronnen van dubbele data:

Herhaalde pipeline-runs: Wanneer een pipeline opnieuw wordt gestart na een fout, worden dezelfde bronrecords nogmaals geladen als er geen idempotentiecontrole aanwezig is.
Ontbrekende unieke sleutels: Delta Lake dwingt geen primaire sleutels af. Zonder expliciete controle op uniekheid kunnen identieke rijen gewoon worden toegevoegd.
Meerdere bronkoppelingen: Wanneer dezelfde entiteit vanuit meerdere bronsystemen wordt geladen, bijvoorbeeld klantdata uit zowel een CRM als een ERP, ontstaan er overlappende records.
Onjuiste incrementele laadlogica: Als een watermark of tijdstempelfilter niet correct is ingesteld, worden records die al eerder zijn geladen opnieuw meegenomen.

Goed data-integratiebeheer begint bij het identificeren van welke van deze oorzaken in jouw omgeving spelen, voordat je een technische oplossing kiest.

Hoe werkt deduplicatie in Delta Lake binnen Microsoft Fabric?

Deduplicatie in Delta Lake binnen Microsoft Fabric werkt door gebruik te maken van de ACID-transactiemogelijkheden van het Delta-formaat, gecombineerd met MERGE-operaties of het filteren van duplicaten tijdens het schrijven. Delta Lake slaat zelf geen duplicaten automatisch weg, maar biedt de bouwstenen om dit te implementeren.

Delta Lake ondersteunt twee hoofdstrategieën voor deduplicatie:

MERGE INTO: Hiermee vergelijk je inkomende data met bestaande records op basis van een sleutelkolom. Alleen nieuwe of gewijzigde rijen worden ingevoegd of bijgewerkt.
DISTINCT bij het schrijven: Door een dropDuplicates()-transformatie toe te passen in een Spark-notebook of Dataflow, verwijder je duplicaten al voordat ze in de Delta-tabel terechtkomen.

Een belangrijk voordeel van Delta Lake is de transactiegeschiedenis via de Delta Transaction Log. Hiermee kun je precies zien welke schrijfoperaties hebben plaatsgevonden, wat helpt bij het opsporen van momenten waarop duplicaten zijn ontstaan. Combineer dit met een goede partitioneringsstrategie zodat MERGE-operaties niet de volledige tabel hoeven te scannen, maar alleen het relevante partitiesegment.

Welke Dataflow Gen2-instellingen voorkomen dubbele records?

In Dataflow Gen2 voorkom je dubbele records door de juiste bestemmingsinstellingen te kiezen, met name de updatemethode en de sleutelkolommen die bepalen hoe bestaande data wordt vergeleken. De standaardinstelling voegt altijd nieuwe rijen toe, wat bij herhaalde runs direct leidt tot duplicaten.

De meest relevante instellingen zijn:

Update method op “Upsert”: Stel de bestemming in op upsert in plaats van append. Hierbij geef je aan welke kolom(men) als sleutel dienen. Fabric vergelijkt inkomende rijen met bestaande records en voert alleen een insert uit als de sleutel nog niet bestaat.
Replace: Bij kleinere referentietabellen kun je kiezen voor een volledige vervanging van de tabel bij elke run. Dit is eenvoudig maar alleen geschikt als de tabel niet te groot is.
Remove duplicates-stap in de Power Query-editor: Voeg een expliciete stap toe om duplicaten te verwijderen op basis van geselecteerde kolommen, voordat de data naar de bestemming wordt geschreven.

Voor complexere scenario’s, zoals het laden van transactiedata, is upsert met een samengestelde sleutel de meest robuuste keuze. Raadpleeg ook de Fabric pipelines en dataflows consultancy als je twijfelt welke instelling het beste past bij jouw datamodel.

Hoe gebruik je MERGE INTO om duplicaten in Fabric te vermijden?

Met MERGE INTO in Microsoft Fabric vergelijk je een bronset met een doeltabel op basis van een of meerdere sleutelkolommen, en voer je alleen een INSERT uit als de sleutel nog niet bestaat, of een UPDATE als de rij al aanwezig is maar gewijzigd is. Dit is de meest betrouwbare methode om duplicaten te voorkomen bij incrementele loads.

Een basisstructuur van een MERGE INTO-statement in Fabric SQL ziet er als volgt uit:

Definieer de doeltabel en de brontabel of subquery.
Geef de join-conditie op, bijvoorbeeld op een uniek ID-veld.
Specificeer wat er moet gebeuren bij een match: bijwerken van gewijzigde velden.
Specificeer wat er moet gebeuren bij geen match: een nieuwe rij invoegen.

In een Lakehouse gebruik je MERGE INTO via een Spark SQL-notebook. In een Warehouse gebruik je de T-SQL MERGE-syntax. Beide varianten ondersteunen samengestelde sleutels, wat handig is als er geen enkelvoudige unieke identificator beschikbaar is. Zorg er altijd voor dat de sleutelkolommen geïndexeerd of gepartitioneerd zijn, zodat de MERGE-operatie efficiënt blijft bij grote datasets. Meer achtergrond over data-engineering vind je op de pagina over het belang van data engineering.

Wat is het verschil tussen deduplicatie in Lakehouse en Warehouse binnen Fabric?

Deduplicatie in een Lakehouse binnen Microsoft Fabric verloopt via Spark-gebaseerde operaties zoals MERGE INTO in Spark SQL of dropDuplicates() in PySpark, terwijl je in een Warehouse gebruikmaakt van standaard T-SQL MERGE-statements met ondersteuning voor constraints. Het fundamentele verschil zit in de onderliggende engine en de mogelijkheid tot het afdwingen van sleutels.

Deduplicatie in het Lakehouse

In een Lakehouse zijn Delta-tabellen het fundament. Primaire sleutels bestaan hier als logisch concept, maar worden niet technisch afgedwongen. Deduplicatie moet je zelf implementeren via Spark-notebooks of Dataflows. Dit geeft veel flexibiliteit, maar vereist ook dat de logica consistent wordt toegepast in elke pipeline die naar de tabel schrijft. Voor grote datavolumes is dit de meest schaalbare aanpak.

Deduplicatie in het Warehouse

Het Fabric Warehouse biedt een meer traditionele SQL-omgeving met T-SQL-ondersteuning. Hoewel het Warehouse momenteel geen afdwingbare primary key constraints ondersteunt zoals een klassieke SQL Server, kun je wel MERGE-statements gebruiken en uniekheidscontroles inbouwen via stored procedures of views. Dit maakt de aanpak vertrouwder voor teams met een SQL Server-achtergrond.

De keuze tussen Lakehouse en Warehouse hangt af van je workload: gebruik een Lakehouse voor grote, gevarieerde datasets en streaming-scenario’s, en een Warehouse wanneer je sterk leunt op SQL-gebaseerde transformaties en rapportages.

Hoe monitor je op dubbele data in een Microsoft Fabric-omgeving?

Monitoring op dubbele data in Microsoft Fabric doe je door regelmatig geautomatiseerde kwaliteitscontroles uit te voeren op je Delta-tabellen, waarbij je telt op unieke sleutelcombinaties en afwijkingen signaleert. Zonder actieve monitoring ontdek je duplicaten vaak pas als ze al doorgesijpeld zijn naar rapporten of dashboards.

Effectieve monitoringstrategieën omvatten:

Kwaliteitsqueries plannen: Voer periodiek een query uit die het totale aantal rijen vergelijkt met het aantal distinct rijen op de primaire sleutel. Een verschil signaleert duplicaten.
Pipeline-logging: Log in elke pipeline hoeveel rijen worden ingevoegd, bijgewerkt en overgeslagen. Onverwachte pieken in het aantal inserts kunnen wijzen op een ontbrekende deduplicatiestap.
Data quality-regels in Dataflows: Voeg validatiestappen toe in Dataflow Gen2 die records markeren of weigeren als ze een bestaande sleutelwaarde bevatten.
Fabric Monitoring Hub: Gebruik de ingebouwde Monitoring Hub om pipeline-runs te bekijken en afwijkende patronen te signaleren, zoals onverwacht lange runtimes die kunnen duiden op het verwerken van grotere volumes dan verwacht.

Voor een structurele aanpak van beveiliging en governance in Fabric is het verstandig om datakwaliteitsmonitoring onderdeel te maken van je bredere databeheerbeleid, niet iets wat je achteraf toevoegt. Koppel alerts aan je monitoringqueries zodat het team automatisch wordt gewaarschuwd bij afwijkingen, in plaats van handmatig te controleren.

Hoe DBA helpt bij het voorkomen van dubbele data in Microsoft Fabric

Wij helpen organisaties bij het opzetten van een robuuste Microsoft Fabric-omgeving waarin dubbele data structureel wordt voorkomen. Onze aanpak is praktisch en afgestemd op jouw specifieke datalandschap. Concreet bieden wij:

Analyse van bestaande pipelines en dataflows op risico’s voor dubbele data
Implementatie van MERGE INTO-logica en upsert-strategieën in Lakehouse en Warehouse
Inrichten van Dataflow Gen2 met de juiste sleutelkolommen en updateinstellingen
Opzetten van geautomatiseerde datakwaliteitsmonitoring en alerting
Begeleiding en coaching van je eigen team via on-the-job coaching voor Microsoft Fabric

Of je nu net begint met Fabric of een bestaande omgeving wilt verbeteren, wij denken graag met je mee. Neem contact op en we kijken samen naar de beste aanpak voor jouw situatie.