Data Engineer Big Data - Delta Lake / Spark / Cloudera (IT) / Freelance

Nous recherchons un développeur Big Data avec un compétence sur l'environnement opensource Delta Lake pour une mission de longue durée à Vélizy. La Prestation s?effectuera au sein de l?équipe « IS Data Factory » du client qui est composée Data Engineer et de Data Architect. Les personnes sont basées entre Vélizy, Boston (USA) et Pune (Inde) Les données sont principalement gérées au sein - D?un datawarehouse d?entreprise organisé autour de plusieurs instances de base de données ORACLE - D?un Datalake s?appuyant sur l?offre cloudera on premise L?équipe est en charge des évolutions, du support et de la maintenance du datawarehouse. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l?administrateur du Data Lakehouse et à mettre en ?uvre et valider l?infrastructure de plateforme de données. Dans ce cadre, le Prestataire contribuera et aura la responsabilité de la conception et du développement d'un POC pour un Data Lakehouse ouvert en utilisant les dernières technologies (Delta Lake, Cloudera, NoSQL, NiFi, DBT, Superset, etc.) pour répondre aux exigences de l?entreprise, L?intégration des données : o Mise en ?uvre des pipelines d?ingestion et d?intégration de données à partir de diverses sources tout en s?assurant la qualité et la cohérence des données. o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d?analyse. o Analyse et optimisation de la performance des flux de données et des requêtes. o Création et maintenance de documents techniques sur les pipelines de données, o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données. Profil candidat: Environnement anglophone qui nécessite la maitrise de l?anglais à l?oral et à l?écrit Ø Expérience prouvée en ingénierie des données, avec un focus sur la conception et la construction de pipelines de données, Ø Expertise solide avec les outils et processus ETL/ELT, Ø Maîtrise des technologies big data telles que Hadoop, Spark et Hive, Ø Compréhension des architectures Data Lakehouse ouvertes, spécifiquement Delta Lake. Ø Compétences de programmation avec la maîtrise des langages de programmation tels que Python, SQL et Java/Scala. Ø Outils d?intégration de données avec expérience des outils d?intégration de données comme Apache NiFi, ou Kafka Ø Modélisation des données avec une compréhension solide des modélisations et de l?entreposage des données. Ø Optimisation de la performance avec l?expérience en optimisation et en amélioration de la performance des pipelines de données et des requêtes. Ø Excellentes compétences de collaboration pour travailler efficacement avec des équipes croisées, y compris des ingénieurs de données, des scientifiques des données et des administrateurs système. Ø ? Autonomie au travail: Capacité à travailler de manière autonome et à prendre possession des projets. Ø ? Compétences de documentation: Bonnes compétences de documentation pour assurer la clarté et la maintenabilité des flux de travail de données

Location: Vélizy-Villacoublay, FR

Posted Date: 11/25/2024