Datenherkunft

Was ist die Datenherkunft?

Warum ist die Datenherkunft wichtig?

Die Datenherkunft ist aus mehreren wichtigen Gründen besonders wichtig:

• Datenqualität: Die Datenherkunft verbessert die Datenqualität, indem sie offenlegt, wie Daten transformiert werden, und Fehler oder Inkonsistenzen erkennt.
• Vertrauenswürdigkeit der Daten: Das Verständnis der Datenherkunft fördert das Vertrauen in die Genauigkeit und stärkt die Zuversicht bei der Analyse und Entscheidungsfindung.
• Reproduzierbarkeit: Die Datenherkunft ermöglicht die Reproduktion jedes Ausgabedatensatzes, da sie die Eingabedaten und alle entsprechenden erforderlichen Transformationen erfasst
• Einhaltung gesetzlicher Vorschriften: Die Datenherkunft erfüllt strenge Vorschriften, indem sie eine nachvollziehbare Aufzeichnung der Datenverarbeitung und -nutzung ermöglicht.
• Daten-Governance: Die Datenherkunft unterstützt die Verwaltungsbemühungen durch die Verfolgung des Datenflusses und die Gewährleistung der Richtlinieneinhaltung.
• Fehlerbehebung: Identifizieren Sie Datenprobleme schnell anhand der Abstammung und beschleunigen Sie so die Problemlösung.
• Zusammenarbeit: Die gemeinsam genutzte Datenherkunft verbessert die teamübergreifende Zusammenarbeit, da sie ein gemeinsames Verständnis der Verschiebung der Daten ermöglicht.
• Lifecycle Management: Die Datenherkunft dient als Grundlage für das Daten-Lifecycle-Management, von der Erstellung bis zur Archivierung.
• Change Management: Die Datenherkunft steuert kontrollierte Änderungen am Datensystem und minimiert Unterbrechungen.
• Auditing: Die Datenherkunft ist eine historische Aufzeichnung, die bestätigt, dass die erforderlichen Verarbeitungen oder Transformationen abgeschlossen wurden.
• Auswirkungsanalyse: Die Datenherkunft sagt mögliche nachgelagerte Auswirkungen von Änderungen voraus und minimiert so Überraschungen während der Implementierung.

Welche verschiedenen Arten der Datenherkunft gibt es?

Die Datenherkunft kann je nach Schwerpunkt und Richtung der Verfolgung in verschiedene Typen eingeteilt werden. Die wichtigsten Formen der Datenherkunft sind:

• Forward Data Lineage: Dieser Verlauf verfolgt die Daten von der Quelle bis zum Ziel. Er erklärt, wie Daten in Ihrer Datenpipeline übersetzt und verarbeitet werden. Mithilfe der Forward Data Lineage können Datentransformationen und Qualitätsprobleme erkannt werden, und es wird deutlich, wie aus Daten Einblicke oder Berichte generiert werden.
• Backward Data Lineage: Bei der umgekehrten Datenherkunft fließen die Daten in die entgegengesetzte Richtung. Sie beginnt mit einem Bericht oder einer Visualisierung und kehrt zu den Datenquellen zurück. Dieser Verlauf hilft dabei, Datenpunkte in einem Bericht zu erklären und Ergebnisse zu validieren.
• Horizontal Data Lineage: Die horizontale Datenherkunft verfolgt die Datenmigration innerhalb eines Verarbeitungs- oder Transformationszyklus. Sie erklärt, wie Daten in einem Schritt geändert werden. Dieser Verlauf hilft beim Debugging und Erkennen von Schwierigkeiten bei der Datentransformation.
• Vertical Data Lineage: Die vertikale Datenherkunft verfolgt Daten von Quellsystemen bis zum Ziel in Ihrem Datenökosystem. Sie fasst zusammen, wie Daten durch Datenquellen, Integration, Transformation und Analyse fließen.
• End-to-End Data Lineage: Verfolgt Daten von der Erstellung bis zur Verwendung und deckt dabei ihren gesamten Weg durch Prozesse und Systeme ab.
• Partial Data Lineage: Konzentriert sich auf bestimmte Datenteilmengen oder Prozesse und ist hilfreich, um die Abstammung der Elemente zu verstehen.
• Cross-System Data Lineage: Verfolgt Daten über Systeme hinweg und trägt zum Verständnis des Datenaustauschs und der Datenintegration bei.
• Intra-System Data Lineage: Verfolgt den Datenfluss innerhalb eines Systems, was wertvoll für das Verständnis von Interaktionen und Abhängigkeiten ist.

• Die Datenherkunft verfolgt den Weg der Daten durch die Verarbeitungsphasen und zeigt, wie sie sich systemübergreifend verändern. Sie beginnt mit der Identifizierung von Datenquellen wie Datenbanken, Data Warehouses, Data Lakes oder Dateien.
• Einige moderne Systeme und Tools erfassen und dokumentieren die Datenherkunft automatisch, sodass die Notwendigkeit einer manuellen Verfolgung reduziert wird.
• Datenbewegungen, einschließlich Filterung und Berechnungen, werden als verarbeitet aufgezeichnet.
• Tools für die Datenherkunft stellen Beziehungen zwischen verschiedenen Datensätzen und Transformationen her und erstellen eine Karte, die den Datenfluss darstellt.
• Einige Datenherkunftslösungen bieten Visualisierungen durch Diagramme, die das Verständnis erleichtern.
• Mithilfe der Datenherkunft können Sie Abhängigkeiten zwischen verschiedenen Datenelementen, Prozessen und Systemen analysieren. Das ist wichtig für die Auswirkungsanalyse bei vorgenommenen Änderungen.
• Mithilfe der Datenherkunft können Sie Fehler oder Anomalien bis zu ihrer Quelle zurückverfolgen und so die Fehlerbehebung effizienter gestalten.
• Einige Datenherkunftslösungen bieten Versionierung und Tracking, sodass Sie sehen können, wie sich die Daten im Laufe der Zeit verändert haben.
• Durch die Zusammenarbeit zwischen Teams können diese den Lebenszyklus der Daten verstehen und daran mitwirken.
• Die Datenherkunft unterstützt die Daten-Governance, indem sie einen klaren Prüfpfad der Datenbewegungen und -transformationen bereitstellt, was für die Compliance von entscheidender Bedeutung ist.
• Bei der Folgenabschätzung wird die Abstammung verwendet, um die Auswirkungen von Änderungen auf nachgelagerte Prozesse vorherzusagen.

Das ultimative Ziel der Datenherkunft besteht darin, Transparenz zu schaffen, die Datenqualität zu verbessern und eine bessere Entscheidungsfindung auf der Grundlage eines klaren Verständnisses der Abstammung und Transformation der Daten zu gewährleisten.

• Finanzielle Compliance: Sicherstellung einer genauen Finanzberichterstattung und Einhaltung gesetzlicher Standards durch die Datenherkunft.
• Datenschutz im Gesundheitswesen: Verfolgung von Patientendaten, um die HIPAA-Vorschriften einzuhalten und die Privatsphäre zu wahren.
• Bestandskontrolle im Einzelhandel: Optimierung der Lagerverwaltung und Verringerung von Abfall durch Rückverfolgung von Bestandsdaten.
• Fertigungsqualität: Verbesserung der Produktqualität und Erkennung von Produktionsproblemen durch die Datenherkunft.
• Pharmazeutische Forschung: Sicherstellung zuverlässiger Forschungsdaten für die Arzneimittelentwicklung und medikamentöse Behandlung.
• Kundenerfahrung: Verbesserung der Kundeninteraktionen durch Einblicke in die datenorientierte Personalisierung.
• Transparenz der Regierung: Aufrechterhaltung der Datentransparenz und Rechenschaftspflicht für effiziente Services.
• Betrugsprävention: Erkennen und Verhindern von Betrug durch die Verfolgung von Transaktionsmustern.

Weitere Bereiche, in denen die Datenherkunft verwendet wird, sind HR-Analysen, zielgerichtetes Marketing, Energiemanagement, Risikobewertung, Lieferkettenoptimierung, Verteilung von Medieninhalten, Umweltüberwachung usw.

Hewlett Packard Enterprise (HPE) bietet aktiv Lösungen an, die es Unternehmen ermöglichen, das Potenzial von Daten zu nutzen und in wertvolle Einblicke umzuwandeln. Hier sind entsprechende HPE Informationen zur Datenherkunft:

HPE Machine Learning Data Management: Ein Datenversionierungs- und Daten-Pipelining-Softwaretool, das für Anwendungsfälle der Datenverarbeitung und des maschinellen Lernens verwendet werden kann. Die Software unterstützt die End-to-End Data Lineage durch Versionierung von Datenpipelines, Code und Datensätzen.

Zusätzlich zu seinen Produktangeboten bietet HPE Ressourcen und Einblicke in die umfassenderen Konzepte, die mit der Datenherkunft in Zusammenhang stehen:

Maschinelles Lernen: Das Mitwirken von HPE im Bereich des maschinellen Lernens unterstreicht das Engagement des Unternehmens, erweiterte Analysen zu ermöglichen, indem es Algorithmen trainiert, Muster in Daten zu erkennen. Es zeigt damit seinen Einsatz, Unternehmen durch transformative Einblick zu unterstützen.

Datamanagement: Das Engagement von HPE im Datamanagement zeigt, dass das Unternehmen Firmen dabei helfen möchte, ihre Datenbestände effizient zu nutzen. Dabei wird auf die Grundsätze der Datenherkunft geachtet, indem ein präziser Datenfluss und ein zuverlässiges Tracking im Vordergrund stehen.

Datenpipelines: Die Erforschung von Datenpipelines durch HPE spiegelt den Fokus des Unternehmens auf eine optimale Effizienz der Datenverarbeitung wider und verdeutlicht die Verbindung zum Verständnis der Datenherkunft hinsichtlich der Datenbewegung über Phasen und Systeme hinweg.