Über Andre
Fort de 6 ans d'expérience, j'ai acquis une solide expertise dans la gestion et l'analyse des données. J'ai travaillé 3 ans en tant qu'architecte de bases de données relationnelles, concevant et optimisant des modèles de données. J'ai ensuite évolué vers le rôle de Data Engineer pendant 3 ans, où j'ai construit des pipelines de données à grande échelle.
En parallèle, j'ai participé à des projets de Data Science, appliquant mes compétences en modélisation statistique et apprentissage automatique. Mon expérience client m'a permis de développer des compétences en communication et gestion de projet.
Passionné par la data, je suis prêt à relever de nouveaux défis et à apporter une valeur ajoutée à votre organisation.
Französisch
Muttersprachlich oder zweisprachig
Englisch
Verhandlungssicher
Vor Ort möglich
Paris (bis zu 50 km)
Projekt- und Berufserfahrung
- AtosData EngineerHIGHTECHDezember 2023 - Januar 2025 (1 Jahr und 1 Monat)Bezons, FrankreichObjectifs de la mission chez SANOFI
- Déployer un pipeline CI/CD pour automatiser la gouvernance et le monitoring.
- Automatiser la gestion des accès et sécuriser l'utilisation des données.
- Mettre en place des pipelines d’archivage et suppression pour optimiser le stockage.
- Assurer le monitoring et le debugging des pipelines de données.
- Création et optimisation de Pipelines de transformations sur Snowflake
Réalisations1. Gestion des accès et gouvernance des données- Identification des besoins des utilisateurs et définition des rôles via AWS IAM.
- Déploiement automatisé des permissions avec CloudFormation et GitHub Actions.
- Mise en place d’une gestion des accès simplifiée et centralisée.
2. Création de pipelines d’archivage et suppression- Développement de fonctions Lambda pour déplacer et supprimer les fichiers obsolètes.
- Automatisation du processus avec AWS EventBridge pour exécuter les tâches périodiquement.
- Utilisation de CloudWatch pour suivre les exécutions et détecter les erreurs.
3. Monitoring et debugging des pipelines- Surveillance des taux d’extraction des fichiers avec Splunk.
- Analyse des logs sur CloudWatch pour détecter et classifier les erreurs.
- Collaboration avec les équipes Data pour optimiser les processus.
4. Data Loading & Pipeline Automation (S3 → Snowflake)- Chargement des données de S3 vers Snowflake via des stages externes avec détection automatique des nouveaux fichier
- Orchestration des tâches de transformation déclenchées après l'activation du CDC
Environnement Technique- Langages : Python, PySpark, SQL, YAML
- Cloud & Data Services : AWS (IAM, S3, Lambda, Glue, Athena, CloudFormation, Step Functions, EventBridge)
- Snowflake: Snowsite, Snowpipe, Snow Task, Snow SQL
- CI/CD & Monitoring : GitHub Actions, Splunk, CloudWatch, Terraform, Docker
- AtosData EngineerHIGHTECHOktober 2022 - September 2023 (11 Monate)Bezons, FrankreichObjectifs de la mission
- Automatiser la migration des données en gérant les différents formats et encodages.
- Mettre en place un système de réconciliation pour vérifier la cohérence entre les anciennes et nouvelles données.
- Garantir l'intégrité des données en assurant la qualité et la sécurité des transferts.
Réalisations1. Automatisation du pipeline de migration- Développement de scripts Python pour le fractionnement automatique des fichiers volumineux.
- Conversion et uniformisation des encodages en UTF-8 pour assurer la compatibilité.
- Implémentation d'un pipeline d’ingestion de données dans une base MySQL.
2. Optimisation et sécurisation de la base de données- Définition d’une architecture robuste avec intégrité référentielle et contraintes de validation.
- Mise en place d’un système de gestion des accès et permissions.
- Création de vues dynamiques pour limiter l’exposition des données sensibles.
3. Orchestration et automatisation avec Airflow- Conception et déploiement d’un pipeline Airflow pour la récupération périodique des fichiers depuis AWS S3.
- Implémentation de contrôles qualité automatisés (formats, intégrité) et de notifications en cas d’anomalies.
4. Valorisation analytique des données (BigQuery)- Préparation et exposition des données vers un Data Warehouse analytique (BigQuery) pour des usages reporting et BI
- Écriture de requêtes SQL analytiques (vues, agrégations) pour la consommation métier des données
- Modélisation des données analytiques et structuration orientée BI (tables, vues, indicateurs)
Environnement TechniqueLangages : Python, SQLBase de données : MySQLOutils et Frameworks : Web2Py (MVC), GitHub, Pandas, Airflow, AWS S3, Big Query - Horiba MedicalData EngineerHIGHTECHMai 2021 - Oktober 2021 (5 Monate)Montpellier, FrankreichObjectifs de la mission
- Automatiser la collecte et le traitement des données provenant des analyses hématologiques.
- Mettre en place une base de données robuste pour le stockage et l'analyse des cellules sanguines.
- Développer une interface utilisateur permettant la visualisation et la segmentation manuelle.
- Optimiser la qualité des données en appliquant des règles d'intégrité et de validation.
Réalisations1. Extraction et traitement des données XML- Développement de scripts Python pour parser et structurer les données à partir de milliers de fichiers XML.
- Nettoyage et standardisation des données pour garantir leur exploitation dans une base relationnelle.
- Implémentation d'une vérification automatique des fichiers pour détecter les anomalies.
2. Conception et optimisation de la base de données- Comparaison entre MongoDB et PostgreSQL pour déterminer la meilleure solution de stockage.
- Implémentation de PostgreSQL avec un modèle relationnel optimisé pour la segmentation des cellules.
- Définition des contraintes d'intégrité et des règles de validation des données biologiques.
3. Développement d'une interface utilisateur- Conception et développement du front-end et back-end avec PyQt5 pour permettre aux biologistes de visualiser et annoter les cellules sanguines.
- Mise en place d'un système d'interaction fluide entre la base de données et l'application.
- Tests utilisateurs pour optimiser l'ergonomie et les performances de l'interface.
4. Documentation et déploiement- Rédaction d'une documentation technique claire pour faciliter la maintenance et l'évolution du projet.
- Mise en place de tests unitaires et fonctionnels pour assurer la fiabilité de l'application.
- Déploiement de l'application sur l'intranet d'Horiba Medical.
5. Environnement Technique- Langages : Python, SQL
- Base de données : PostgreSQL
- Frameworks & Outils : PyQt5, Sphinx, GitLab
Empfehlungen
Sei die erste Person, die Andre empfiehlt
Teile Deine Erfahrung aus der Zusammenarbeit mit diesem Freelancer.
Diese Freelancer passen auch zu Ihren Kriterien
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Ausbildung und Abschlüsse
- Mastère Spécialisé en Big DataENSIMAG - Grenoble2022Au cours la formation de 2 ans nous avons été formés en Software Engineering, Machine learning, Data Engineering, Big Data, Maths, Data Mining, Data Visualisation, Statistiques et Probabilités
- Master 2 en InformatiqueUniversité de Yaoundé 12012Au cours de la formation de 2 ans nous avons été formés en Software Engineering, MySQL and PostGreSQL Data Base Architecture, Programmation HTML, CSS, SQL, C et PHP, Configuration de réseaux locaux (LAN)
Zertifizierungen
- Databricks Certified Data Engineer AssociateDatabricks
- Google Cloud Associate Cloud EngineerGoogle