Hoe bouw je pipelines met Data Factory in Microsoft Fabric?

Ed Kisman ·
Vertakkend netwerk van stalen industriële leidingen op betonnen serverruimtevloer, verlicht met amber accentverlichting en scherpe geometrische schaduwen.

Pipelines bouwen met Data Factory in Microsoft Fabric doe je door in de Fabric-werkruimte een nieuwe pipeline aan te maken, activiteiten zoals Copy Data toe te voegen, bronnen en doelen te configureren, en de pipeline te plannen via triggers. Het hele proces verloopt visueel via een drag-and-drop interface, zonder dat je code hoeft te schrijven. In dit artikel beantwoorden we de meest gestelde vragen over Data Factory-pipelines stap voor stap.

Wat is Data Factory in Microsoft Fabric en hoe verschilt het van Azure Data Factory?

Data Factory in Microsoft Fabric is een geïntegreerde data-integratieservice waarmee je ETL-pipelines (Extract, Transform, Load) kunt bouwen om gegevens te verplaatsen en te transformeren tussen uiteenlopende bronnen en bestemmingen. Het is volledig ingebouwd in het Microsoft Fabric-platform, wat betekent dat je geen aparte service hoeft te beheren of te betalen.

Het grote verschil met Azure Data Factory zit hem in de integratie. Azure Data Factory is een zelfstandige cloudservice die je apart inricht en beheert. Data Factory in Microsoft Fabric is daarentegen een native onderdeel van het Fabric-ecosysteem. Dat heeft een paar concrete voordelen:

  • Geen aparte resource-inrichting: je werkt direct vanuit je Fabric-werkruimte
  • Naadloze verbinding met Lakehouse en Warehouse: data stroomt rechtstreeks naar andere Fabric-componenten
  • Gecentraliseerde monitoring: alle activiteit is zichtbaar in één omgeving
  • Vereenvoudigd licentiemodel: kosten lopen mee met je Fabric-capaciteit

Voor organisaties die al werken met Microsoft Fabric is de ingebouwde Data Factory de logische keuze voor het bouwen van data pipelines, omdat je niet van context hoeft te wisselen tussen verschillende portals.

Welke componenten heeft een pipeline in Data Factory?

Een pipeline in Data Factory bestaat uit een geordende reeks activiteiten die samen een dataworkflow vormen. De drie kerncomponenten zijn activiteiten, datasets en linked services. Samen bepalen zij wat er met data gebeurt, waar die data vandaan komt en hoe de verbinding tot stand wordt gebracht.

Activiteiten

Activiteiten zijn de bouwstenen van een pipeline. Elke activiteit voert één taak uit, zoals het kopiëren van data, het uitvoeren van een script, of het aanroepen van een externe service. Veelgebruikte activiteiten zijn Copy Data, Dataflow Gen2, Script en Web-activiteiten. Je kunt activiteiten aan elkaar koppelen met succes- of faalcondities, zodat de pipeline logisch vertakt.

Linked services en datasets

Een linked service is de verbindingsdefinitie naar een externe bron of bestemming, zoals een SQL-database, een Azure Blob Storage-account of een REST API. Een dataset beschrijft de structuur van de data binnen die verbinding: welke tabel, welk bestandspad of welk schema je gebruikt. Samen vormen linked services en datasets de brug tussen je pipeline en de buitenwereld.

Hoe maak je een nieuwe pipeline aan in Microsoft Fabric?

Een nieuwe pipeline aanmaken in Microsoft Fabric doe je vanuit je werkruimte via het menu “Nieuw item”. Kies daar voor “Data pipeline” en geef de pipeline een beschrijvende naam. Je belandt direct in de visuele pipeline-editor, waar je activiteiten kunt toevoegen via het canvas.

De stappen op een rij:

  1. Open je Fabric-werkruimte en klik op Nieuw item
  2. Selecteer Data pipeline uit de lijst met itemtypen
  3. Geef de pipeline een naam die de functie beschrijft, bijvoorbeeld “Laad_verkoopcijfers_dagelijks”
  4. Klik in het canvas op Activiteit toevoegen om je eerste stap in te richten
  5. Sla de pipeline op met Ctrl+S of via het menu

De interface is bewust laagdrempelig gehouden. Zelfs zonder uitgebreide ontwikkelervaring kun je binnen enkele minuten een werkende pipeline opzetten. Voor complexere transformaties kun je Dataflow Gen2 als activiteit toevoegen, waarbij je de vertrouwde Power Query-editor gebruikt.

Hoe kopieer je data tussen bronnen met een Copy-activiteit?

Met de Copy Data-activiteit kopieer je gegevens van een bronlocatie naar een doellocatie, waarbij Data Factory de conversie en het transport volledig afhandelt. Je configureert de activiteit door een bron-linked service en een doel-linked service in te stellen, en vervolgens de bijbehorende datasets te koppelen.

Praktisch werkt het zo:

  1. Voeg een Copy Data-activiteit toe aan het canvas
  2. Ga naar het tabblad Bron en selecteer of maak een linked service aan voor je brondata (bijvoorbeeld SQL Server, SharePoint of een REST API)
  3. Definieer de brondataset: welke tabel of query wil je uitlezen?
  4. Ga naar het tabblad Bestemming en stel de doellocatie in, zoals een Fabric Lakehouse of een Azure SQL Database
  5. Configureer eventueel de kolomtoewijzing als bron en doel een afwijkende structuur hebben
  6. Gebruik de Kopieerinstellingen voor opties zoals upsert-gedrag of het overschrijven van bestaande data

De Copy Data-activiteit ondersteunt tientallen connectoren, van klassieke relationele databases tot cloudopslag en SaaS-applicaties. Voor organisaties die werken met overheidssystemen of gespecialiseerde bronsystemen is het de moeite waard om te controleren welke connectoren beschikbaar zijn via de Fabric-connector documentatie.

Hoe plan en automatiseer je een pipeline met triggers?

Je automatiseert een pipeline in Microsoft Fabric door een trigger in te stellen. Een trigger bepaalt wanneer de pipeline wordt uitgevoerd: op een vast tijdstip, op basis van een schema, of als reactie op een gebeurtenis. Zonder trigger moet je de pipeline handmatig starten.

Er zijn twee hoofdtypen triggers:

  • Geplande trigger: de pipeline draait op een vast tijdstip of interval, zoals elke nacht om 02:00 uur of elk uur op werkdagen
  • Gebeurtenistrigger: de pipeline start zodra er iets gebeurt, zoals het arriveren van een nieuw bestand in een opslaglocatie

Een geplande trigger stel je in via de knop Plannen in de toolbar van de pipeline-editor. Geef de startdatum, het herhalingsinterval en eventueel een einddatum op. De trigger wordt actief zodra je hem opslaat en inschakelt. Wil je een pipeline tijdelijk pauzeren, dan schakel je de trigger eenvoudig uit zonder hem te verwijderen.

Hoe debug en monitor je pipelines in Microsoft Fabric?

Je debugt een pipeline in Microsoft Fabric via de ingebouwde Debug-knop in de pipeline-editor. Hiermee voer je de pipeline uit in een testmodus, waarbij je de voortgang en eventuele fouten per activiteit in realtime kunt volgen. Na een productierun gebruik je de Monitor-sectie in Fabric voor gedetailleerde run-historie.

Debuggen tijdens ontwikkeling

Klik op Debug in de toolbar om de pipeline te starten zonder een trigger te activeren. Elke activiteit toont een statuskleur: groen voor geslaagd, rood voor mislukt. Klik op een activiteit om de invoer, uitvoer en foutmelding te bekijken. Dit maakt het eenvoudig om te zien waar een pipeline vastloopt en waarom.

Monitoren van productieruns

Via het Monitor-gedeelte van de Fabric-werkruimte zie je een overzicht van alle pipeline-runs, inclusief duur, status en het aantal verwerkte rijen. Je kunt filteren op tijdsperiode, pipeline-naam of status. Bij een mislukte run navigeer je direct naar de betreffende activiteit om de foutdetails te bekijken. Voor kritische pipelines is het verstandig om meldingen in te stellen via de ingebouwde alertingopties, zodat je bij een fout direct een notificatie ontvangt.

Hoe DBA helpt met Microsoft Fabric pipelines

Data Factory-pipelines opzetten klinkt overzichtelijk, maar in de praktijk stuit je al snel op vragen over architectuurkeuzes, connectorconfiguraties, beveiligingsinstellingen en prestatie-optimalisatie. Wij helpen organisaties bij het bouwen, beheren en optimaliseren van hun Microsoft Fabric-omgeving, inclusief data pipelines.

Wat wij concreet bieden:

  • Inrichting van Data Factory pipelines op maat, afgestemd op jouw bronsystemen en databehoefte
  • Migratie van bestaande Azure Data Factory-pipelines naar Microsoft Fabric
  • Proactief beheer en monitoring van pipeline-runs, inclusief foutafhandeling en alerting
  • Advies over ETL-architectuur, zodat je pipelines schaalbaar en onderhoudbaar blijven
  • 24/7 ondersteuning bij storingen of onverwachte fouten in productie-pipelines

Of je nu net begint met Microsoft Fabric of een bestaande omgeving wilt uitbreiden, wij denken graag met je mee. Neem contact met ons op voor een vrijblijvend gesprek over jouw situatie.

Gerelateerde artikelen