Data Engineer GCP Python, Spark, SQL Senior, Montfaucon

Contexte La mission se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs.

Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure.

Missions

Collecter et centraliser les différentes sources de données non homogènes

Assurer la conformité et la sécurité des données

Participer aux initiatives de gouvernance des données

En interaction avec les membres de l’équipe, la prestation consiste à :

Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe

Construire et maintenir de pipelines data robustes et scalables

Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données

Organiser et structurer le stockage des données

Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données

Construire et maintenir les workflows de la CI/CD

Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur

Assurer l’évolutivité, la sécurité, la stabilité des environnements

Participer aux différentes instances des data ingénieurs

Contribuer et veillerà la mise à jour de la documentation

Faire de la veille technologique active dans le domaine

Profil&Expertises Demandées

Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data

Compétences solides en data : structures de données, code, architecture

Expériences dans la conception et la réalisation de pipelines data

Expériences dans un environnement du cloud Google (GCP)

Expériences intégrant BigQuery et Dataplex Universal Catalog

Expériences intégrant les langages Python et SQL

Expériences intégrant Spark

Expériences intégrant Delta lake

Expériences intégrant Terraform et Terragrunt

Expériences intégrant Gitlab et Gitlab CI/CD

Expériences intégrant les méthodologies Agile : Scrum ou Kanban

Capacité à vulgariser et à communiquer sur des aspects purement techniques

Niveau D’expertise Attendu Sénior : plus de 5 ans d’expérience significative dans le type d’expertise demandé dans le type d’expertise demandé

#J-18808-Ljbffr