Senior Data Engineer (d/w/m)

Über die Position

Als Senior Data Engineer (d/w/m) bei SpotmyEnergy bist du Teil eines energiegeladenen Teams, das die Energiewende in die Haushalte bringt. Du verantwortest den Aufbau und Betrieb unseres Data Lakes und der BI‑Plattform auf Databricks sowie die Airflow‑Pipelines für Mess‑ und Energiedaten.

Hauptaufgaben

• Aufbau und Betrieb des Data Lakes und der BI‑Plattform auf Databricks.
• Entwurf, Implementierung und Wartung von Airflow‑Pipelines für Messwert‑ und Energiedaten.
• Modellierung und Optimierung von Postgres‑ und Zeitreihendatenbanken (z. B. TimescaleDB).
• Implementierung von Monitoring, Alerting und Incident‑Response‑Prozessen.
• Bereitstellung sauberer, gut dokumentierter Daten als Service für alle Squads.
• Technische Weiterentwicklung der Datenplattform inkl. Auswahl neuer Tools.
• Dokumentation und aktiver Wissenstransfer im Team.
• Enge Zusammenarbeit mit dem Data‑Science‑Team.

Anforderungsprofil

• Mehrjährige Erfahrung im Aufbau und Betrieb produktiver Datenplattformen oder Data Lakes.
• Fundierte Kenntnisse in Databricks/Spark und Airflow oder vergleichbaren Orchestrierungstools.
• Sehr gutes SQL, tiefe Erfahrung mit PostgreSQL und Zeitreihendatenbanken.
• Sicherer Umgang mit Python.
• Erfahrung mit AWS, idealerweise managed Airflow über Astronomer und Databricks als Hosted Service.
• Reliability‑Mindset mit Fokus auf Monitoring und Alerting.
• Teamplayer mit fließenden Deutschkenntnissen; Erfahrung im Energiesektor ist ein Plus.

Erforderliche Kenntnisse

• Databricks, Spark
• Airflow (oder vergleichbare Orchestrierung)
• SQL, PostgreSQL
• TimescaleDB oder andere Zeitreihendatenbanken
• Python
• AWS (inkl. Managed Services)
• Astronomer

Was wir bieten

• Wachstumsstarkes Scale‑up im Tech‑Sektor mit Fokus auf die Energiewende.
• Einflussreiche Rolle: Deine Arbeit bildet das Fundament für das gesamte Unternehmen.
• Motiviertes, wertschätzendes Team mit offener Kommunikation.
• Hybrid‑friendly Arbeitsumgebung mit viel Gestaltungsspielraum und Eigenverantwortung.