Candidature ouverte
Candidature fermée
Data Engineer Azure Databricks
Industrialisation des chaînes de traitement de données, de l'ingestion Spark jusqu'à la restitution Power BI, au sein d'un pôle Développement Data structuré, avec application de la gouvernance et des référentiels existants.
Description du client
Le client est un acteur majeur de la grande distribution en France, organisé en groupement. Ses activités couvrent un large réseau de points de vente ainsi que des fonctions support et logistiques centralisées, ce qui génère des volumes de données importants et hétérogènes.
La mission se déroule au sein de son pôle Développement Data, en région parisienne. Cette entité conçoit les architectures et les traitements qui permettent de valoriser les données métier, en lien avec les architectes d'entreprise data. L'enjeu : industrialiser les chaînes de traitement sur Azure et Databricks, garantir la qualité et la cohérence des données intégrées aux projets, et documenter leur gouvernance pour en fiabiliser les usages.
Détail & objectif de la mission
Intégré au pôle Développement Data, vous concevez et industrialisez les traitements de données sur un socle Azure Databricks, de l'ingestion jusqu'à la restitution Power BI.
- Concevoir l'architecture technique des chaînes de valorisation des données sur Azure et Databricks
- Développer les traitements d'ingestion et de transformation en Spark, Python et SQL
- Définir et réaliser les croisements de données, les contrôles de validation, de correction et de qualité
- Identifier les sources de données à mobiliser et garantir la cohérence de leur intégration dans les projets accompagnés
- Documenter et maintenir les référentiels et catalogues de données avec les Architectes d'Entreprise Data
- Appliquer la gouvernance des données, le cycle de vie et les exigences de traitement et de sécurité
- Apporter l'expertise technologique sur les cas d'usage métier, jusqu'à la restitution Power BI
Profil recherché
- 5 à 10 ans d'expérience en data engineering, dont une pratique régulière de Databricks et Spark en production (niveau expert attendu sur ces deux technologies)
- Maîtrise de l'écosystème Azure pour la mise en œuvre de pipelines et d'architectures de traitement de données
- Développement en Python et SQL : conception de traitements, croisements de données, contrôles de validation, correction et qualité
- Capacité à concevoir une architecture technique de valorisation des données et à documenter des référentiels et catalogues de données en lien avec des Architectes d'Entreprise Data
- Pratique de Power BI (niveau confirmé) pour la restitution des données
- Français courant (échanges et documentation), et disponibilité pour 3 jours de présence hebdomadaire sur site à Châtillon
Un plus : expérience de la gouvernance des données (gestion du cycle de vie, référencement et suivi des usages, exigences de sécurité).
