Data Engineer Databricks / Lakehouse (w/m/d)

Unser Kunde ist ein führendes Unternehmen im Bereich Telekommunikation in Deutschland, das mit über 3.100 Mitarbeitenden und fast 16 Millionen Kundenverträgen eine bedeutende Marktstellung einnimmt. In der Rolle als Data Engineer gestalten Sie aktiv die Transformation der Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Ihre Hauptaufgaben umfassen die Entwicklung und den Betrieb moderner ETL-/ELT-Pipelines unter Verwendung von Python, insbesondere PySpark. Sie sind verantwortlich für die Ablösung bestehender Data-Warehouse- und ETL-Strukturen durch innovative Lakehouse-Architekturen, während Sie differenzierte Pipeline-Logiken aufbauen, um Stabilität und Auditierbarkeit sicherzustellen. Zudem implementieren Sie Datenqualitätsprüfungen und gewährleisten die Konsistenz der Daten während der Migration bestehender Systeme. Ihre enge Zusammenarbeit mit BI-, Analytics- und Entwicklungsteams ermöglicht Ihnen, technische Dokumentationen zu erstellen und die Governance zu sichern. Das Arbeitsumfeld ist geprägt von einem starken Teamgeist und einem hohen Maß an Vertrauen, welches Ihnen flexible Arbeitszeiten und die Möglichkeit bietet, bis zu 40% mobil zu arbeiten. Sie haben die Chance, Ihre Kenntnisse in einem dynamischen Umfeld weiterzuentwickeln und aktiv zur Innovationskraft des Unternehmens beizutragen.

Der ideale Kandidat verfügt über ein abgeschlossenes Studium in Informatik, Data Engineering, Wirtschaftsinformatik oder einem vergleichbaren Bereich. Sie bringen mehrjährige Erfahrung von etwa 3-6 Jahren im Data Engineering mit und besitzen sehr gute Kenntnisse in Python, insbesondere in PySpark. Fundierte Erfahrungen mit Apache Spark und idealerweise mit Databricks sind ebenfalls erforderlich. Ein starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung ist notwendig, ebenso wie Kenntnisse im Umgang mit Microsoft SQL Server und sehr gute SQL-Kenntnisse. Eine analytische, strukturierte und lösungsorientierte Arbeitsweise zeichnet Sie aus. Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming sowie Kenntnisse in Orchestrierungstools wie Airflow sind von Vorteil. Zudem sollten Sie ein gutes Verständnis für Data Governance, Compliance und Metadatenmanagement mitbringen.