ETL transformiert vor dem Laden
ETL ist sinnvoll, wenn Daten vor dem Zielsystem bereinigt, reduziert oder in ein festes Zielmodell gebracht werden müssen.
Wissens-Begriff
ETL und ELT
ETL und ELT sind Muster, um Daten aus Quellen in ein nutzbares Datenmodell zu überführen. Sie beschreiben, wann Daten extrahiert, transformiert und geladen werden und wo die Transformation stattfindet.
Definition
ETL und ELT beschreiben den Weg von Rohdaten zum Datenmodell.
Extract bedeutet, Daten aus Quellen zu lesen. Transform bedeutet, Daten zu bereinigen, zu verbinden und fachlich zu ordnen. Load bedeutet, Daten in ein Zielsystem wie BigQuery oder ein anderes Data Warehouse zu schreiben.
Bei ETL geschieht die Transformation vor dem Laden. Bei ELT werden Rohdaten zuerst in das Warehouse geladen und dort modelliert. Moderne Cloud Data Warehouses machen ELT häufig naheliegend, weil Rohdaten historisiert und Transformationen wiederholbar ausgeführt werden können.
Extract, Transform, Load
Extract
Daten aus Quellen lesen
API-Daten, Shop-Daten, Marketingplattformen, Produktdaten, Bestelldaten und externe Datenquellen werden aus Ursprungssystemen geholt.
Transform
Daten fachlich und technisch ordnen
Felder, IDs, Zeiträume, Statuswerte, Währungen, Kanalregeln, Datenqualität und Business-Logik werden nachvollziehbar verarbeitet.
Load
Daten in das Zielsystem schreiben
Rohdaten, Zwischentabellen oder modellierte Tabellen werden in BigQuery, ein Data Warehouse oder ein anderes Ziel geladen.
Erklärung
ETL und ELT unterscheiden sich vor allem am Ort der Transformation.
Der Unterschied ist fachlich wichtig, weil er Rohdatenebene, Wiederholbarkeit, Fehlerbehandlung, Kosten und Governance beeinflusst.
ELT lädt Rohdaten zuerst
ELT passt zu modernen Cloud-Warehouses wie BigQuery, wenn Rohdaten historisiert und Transformationen anschließend im Warehouse ausgeführt werden.
Die Wahl hängt vom Systemkontext ab
Datenvolumen, Zielplattform, Governance, Fehlerbehandlung, Wiederholbarkeit und fachliches Mapping bestimmen, welches Muster tragfähig ist.
Praxisrelevanz
Warum Datenintegration im Data Warehouse wiederholbar sein muss.
ETL und ELT werden praktisch, wenn Quellen nicht nur einmal importiert, sondern laufend geprüft, historisiert und für Business Intelligence nutzbar gemacht werden.
01
API-Daten werden wiederholbar aufgenommen
Marketingplattformen, Shop-Systeme, Produktdaten, Bestellungen und externe Quellen brauchen reproduzierbare Abrufe statt manueller Exporte.
02
Eine Rohdatenebene hält Herkunft nachvollziehbar
Rohdaten speichern Eingangszustände, damit spätere Transformationen geprüft, neu berechnet und bei Fehlern zurückverfolgt werden können.
03
Kanalübergreifende Datenmodelle entstehen erst nach dem Laden
Kosten, Umsätze, Produkte, Kundenstatus, Kampagnenperformance und Trackingdaten werden über Mapping-Regeln zusammengeführt.
04
BI und Reporting hängen an stabilen Pipelines
Dashboards und Reports bleiben nur belastbar, wenn Datenläufe, Fehlermeldungen und Aktualisierungen kontrolliert werden.
Typische Fehler
Wo ETL- und ELT-Strecken instabil werden.
Viele Probleme entstehen, wenn Datenflüsse funktionieren, aber Herkunft, Dokumentation, Wiederholbarkeit und Fehlerbehandlung nicht sauber geplant sind.
Keine saubere Rohdatenebene
Wenn Eingangsdaten überschrieben oder nur transformiert gespeichert werden, fehlen Belege für Korrekturen und Neuverarbeitung.
Transformation ohne Dokumentation
Unklare Mapping-Regeln, Filter und Sonderfälle machen spätere KPI-Modellierung schwer nachvollziehbar.
Fehlende Wiederholbarkeit
Datenläufe müssen erneut ausgeführt werden können, ohne manuelle Zwischenschritte, versteckte Abhängigkeiten oder wechselnde Ergebnisse.
Keine Fehlerbehandlung
API-Limits, Authentifizierung, leere Antworten, Schemaänderungen und Teilabbrüche brauchen Alerts, Logs und klare Reaktionslogik.
KPI-Logik in Einzelskripten verstecken
Kennzahlen gehören in dokumentierte Modelle oder Business Layer, nicht verteilt in schwer prüfbare Transformationsskripte.
Grenzen
Was ETL und ELT nicht automatisch beantworten.
Datenintegration klärt den Datenfluss. Fachliche Ziele, Datenqualität, Monitoring, Rechte und Business Layer müssen separat geplant werden.
01
ETL/ELT ist Datenfluss, keine Kennzahlenstrategie
Extract, Transform und Load bewegen und formen Daten. Fachliche KPI-Definitionen, Zielwerte und Entscheidungslogik müssen zusätzlich geklärt werden.
02
Datenintegration braucht Betrieb
Monitoring, Rechte, Secrets, Datenqualität, Alerting und Verantwortlichkeiten entscheiden, ob Pipelines dauerhaft nutzbar bleiben.
03
ELT ist nicht automatisch besser
Rohdaten zuerst zu laden ist oft naheliegend, aber Datenschutz, Kosten, Zielsysteme, Volumen und Governance können andere Entscheidungen verlangen.
Verwandte Begriffe
Begriffe rund um Datenintegration und Business Layer.
Verwandte Services
Wo ETL und ELT in Umsetzung übergehen.
Datenintegration wird tragfähig, wenn Quellen, Rohdatenebene, Zielmodell, Monitoring, Fehlerbehandlung und BI-Anschluss zusammen geplant werden.
Marketing Data Warehouse
Datenquellen bündeln, historisieren, normalisieren und als neutrale Entscheidungsbasis für Marketing, E-Commerce und Controlling nutzbar machen.
Service ansehen
BigQuery Data Warehouse
BigQuery als Zielsystem für Rohdaten, Transformationen, Datenmodelle, BI und AI-Anschluss planen.
Service ansehen
Einordnung
ETL und ELT werden belastbar, wenn Rohdaten, Transformation und Fehlerfälle geplant sind.
Datenpipelines brauchen klare Quellen, eine nachvollziehbare Rohdatenebene, dokumentierte Transformationen, Monitoring und eine saubere Grenze zur KPI-Modellierung.
Für Extract, Transform, Load, Datenpipelines und Business Layer.