Beschreibung

Je suis un Data Engineer Senior absolument passionné par faire passer les données de leur état de "chaos" à un état plus "ordonné". Je maitrise les technologies de traitement de données telles que Spark, le modeling de données fonctionnelles avec Scala (Functional Data Modeling), et les traitements asynchrones (notamment avec ZIO, ou Rust).

Je maîtrise les languages de programmation suivants : Scala, Python, Rust, Golang.

J'ai une connaissance approfondie des plateformes et frameworks data modernes : Redshift, Databricks, Snowflake ou Spectrum, et une expertise dans les formats dits "Lake House": DeltaLake, Iceberg ou Hudi.

À côté de cela, je maîtrise bien les infrastructures cloud et les principes de CI/CD.

Je maîtrise également les outils d'Infra As Code, avec un penchant spécial pour Terraform.

Je suis également certifié CKA (Kubernetes Administrator).

Enfin, j'ai une grande expérience avec les outils d'orchestration, en production avec principalement Airflow et Dagster.

Sprachen

Französisch
Muttersprachlich oder zweisprachig
Englisch
Muttersprachlich oder zweisprachig

Arbeitsortpräferenzen

Vor Ort möglich

Paris 1er Arrondissement (bis zu 50 km)

Algolia
Senior Data Engineer
HIGHTECH
August 2023 - Februar 2026 (2 Jahre und 6 Monate)
•Membre de l’équipe Data Engineering et Data Platform, au coeur de l’organisation Algolia, avec l’ingestion et la mise à disposition de pétaoctets de données chaque mois.
•Conception et maintenance de pipelines d’ingestion à grande échelle utilisant Kafka et Kinesis, intégrant de multiples sources, y compris des fournisseurs cloud externes et des outils tiers tels que Salesforce.
•Pilotage de la migration de Stitch vers Meltano et création d’un framework réutilisable pour automatiser les ingestions via API et bases de données, orchestrées par Airflow et exécutées en tâches différées sur ECS.
•Développement et optimisation des traitements de données avec Spark sur EMR et AWS Glue.
•Mise en place d’un framework structurant pour les Analytics Engineers utilisant dbt, afin de standardiser les transformations et workflows analytiques.
•Conduite d’études de faisabilité et de PoC pour la migration de Redshift vers Databricks et Snowflake, en coordination directe avec les éditeurs.
•Contribution à la conception et à l’implémentation d’une architecture Lakehouse basée sur Delta Lake et Databricks.
• Migration de l'ensemble de plateforme de Redshift vers Databricks en production avec un uptime de 100%
Spark Python Terraform Airflow Databricks
Décathlon - SAS
Lead Data Engineer
SPORT
Februar 2022 - März 2024 (2 Jahre und 1 Monat)
Joined as a Lead Data Engineer part of the PerfECO project to move from Talend and Redshift to a Spark/Scala based Data Pipeline.
Data validation at scale (batch and streaming) using FP Techniques and Frameworks (Cats/ZIO) => POSLog.
Train team members to get up to speed with Functional Programming in Scala and Distributed Programming.
Work closely with the “Data Factory” team, to improve the overall quality of Decathlon's Data Pipelines and Data Architectures accross teams.
Implementation of an agent-based distributed streaming system for Data Ingestion.
Scala ZIO Spark Kubernetes EMR Airflow
HPE
Senior Data Engineer
HIGHTECH
Juli 2020 - Februar 2022 (1 Jahr und 7 Monate)
Boston, Vereinigte Staaten
Faisant partie de la core team de l'équipe "Harmony", mes missions étaient la mise en place de la plateforme de données globale de HPE (architecture événementielle complexe, basée sur Kubernetes et KNative), permettant aux équipes d'utiliser un framework unifié pour tous les jobs de data processing de la plateforme (Spark, Golang et Python)
Scala Spark AWS Kubernetes Knative Microservices Github Actions GitHub