Modern Data Engineering 101: Von Data Warehouse bis Data Mesh

In der heutigen datengetriebenen Welt sind effiziente und skalierbare Datenarchitekturen der Schlüssel zu wertvollen Business Insights. Dieser Vortrag führt in die grundlegenden Konzepte und Architekturen der Datenanalyse ein, von traditionellen Data Warehouses bis hin zu modernen Ansätzen wie dem Data Mesh.
Wir erkunden dabei die unterschiedlichen Charakteristika und Anwendungsfälle von Data Warehouse, Data Lake, Data Lakehouse und Data Mesh, um Ihnen zu helfen, die passende Architektur für Ihre Datenstrategie zu finden.
Zusätzlich zu dieser theoretischen Grundlage bieten wir eine praktische Einführung in die ETL-Prozesse (Extract, Transform, Load) unter Verwendung von Apache Spark. Sie erfahren, wie Sie Daten effektiv aus operativen Systemen extrahieren, transformieren und in Strukturen überführen können, die für Analysezwecke optimiert sind. Im Rahmen einer Live-Demo zeigen wir, wie ein einfacher ETL-Prozess mit Apache Spark implementiert werden kann.
Dieser Vortrag eignet sich hervorragend für Softwareentwickler, Datenarchitekten und IT-Manager, die ihre Kenntnisse in modernen Datenarchitekturen und Apache Spark vertiefen möchten. Durch die Kombination von Theorie und Praxis bietet dieser Vortrag einen umfassenden Überblick und praktische Einblicke, die direkt in Ihre Projekte integriert werden können.