Data Engineer Spark / Scala - Projet Cloud AWS
Le besoin
Lieu : Nantes - présence sur site obligatoire 2 jours / semaine
Démarrage : ASAP
📆 Durée : Mission longue
🏦 Client : secteur bancaire
Contexte de la mission
Dans le cadre d’un projet de refonte et de fiabilisation des flux de données entre les systèmes bancaires d’un partenaire et une plateforme Cloud, vous intégrerez une équipe agile responsable de l’intégration, de la qualité et de la conformité des données dans un environnement AWS.
L’objectif est d’assurer à la fois la stabilité des flux existants et de développer des traitements robustes et scalables sur une stack moderne orientée Spark/Scala.
Vos missions
Traitements de données en Spark sur AWS (Glue, EMR, S3, etc.)
Développement de pipelines en Scala
Suivi de production des jobs Spark et analyse des anomalies
Mise en place de règles de qualité et de transformation de données
Participation aux projets liés à la Data Privacy (purge, conformité RGPD)
Collaboration avec l’équipe sur l’automatisation via GitLab CI
Stack technique
Scala , Apache Spark (Glue ou EMR)
AWS : S3, Glue, Lambda, Athena, IAM, CloudWatch
Git, GitLab CI/CD
Airflow (bonus)
Terraform, Python (en support)
Reporting : PowerBI (optionnel)
Profil recherché
+5 ans d’expérience dans la Data Engineering avec une expertise Spark / Scala
Idéalement, maîtrise des environnements Cloud AWS orientés Data
À l’aise dans des contextes agiles (Scrum)
Emplois Recommandés
Gestionnaire locatif (h/f)
À propos du poste Notre client, expert reconnu de la gestion locative, assure un service haut de gamme dans la prise en charge de toutes les tâches de la gestion quotidienne d’un bien. Il garantit un…
Coffreur Bancheur H/F
Le poste de Coffreur Bancheur H/F L'agence ABALONE intérim REZE recherche pour un de ces clients, un Coffreur Bancheur H/F. Vos missions seront les suivantes : - Implantation de zone de chantier…
Chef de projet « outils de pilotage et automatisation » F/H (2025-131070)
Description de l'offre Description de l'offre Prenez part au "défi " de la transition écologique en nous rejoignant ! Nous recherchons un Ingénieur en développement pour rejoindre notre équip…
Assistant chef de produit international en alternance H/F Assistant chef de produit international en alternance H/F
1/ Description MBWAY Nantes école internationale de management forme chaque année plus de 400 étudiants du Bac +3 au Bac +5 (10 MBA spécialisés), en alternance ou en formation initiale. L’Alte…
Rayonniste - Employé Polyvalent (H/F) en Pharmacie d'Officine - CDD Temps plein - France (44000)
Nous recherchons un candidat pour un poste de Rayonniste - employé polyvalent (H/F) en Pharmacie d'Officine sous un contrat CDD à Temps plein (35 h/semaine) sur NANTES (44000 , Pays de la Loire - Fran…
Développeur.euse Python/Django Confirmé.e (H/F) (IT)
? Quel sera ton poste ? ? Dans le cadre de l?évolution de son système d?information, notre client a identifié le besoin de s?adjoindre l?expertise d?un profil disposant de compétences avérées dans le…
Développeur Back-End / DevOps - (F/H)
Présentation LIKSI est une société de développement logiciel, basée à Rennes et Nantes fondée par 5 ingénieurs passionnés et offrant une haute qualité de service. LIKSI c'est : une forte exp…
Opérateur logistique H/F - Alternance
Responsable et engagé, IDEA est un prestataire indépendant de supply-chain industrielle. Depuis plus de 100 ans, le groupe IDEA déploie des solutions logistiques sur-mesure et globales pour les indust…
TECHNICIEN FIBRE (H/F)
Le groupe Domino RH se distingue depuis 26 ans sur le marché des solutions RH. Pour nous, RH signifie Richesses Humaines. Nous considérons chaque personnalité comme une valeur ajoutée que nous accom…
Senior Data Engineer
Lengow is a leader in intelligent e-commerce solutions that help brands and retailers drive profitable growth across the digital shelf. With powerful feed management, global price monitoring, and rob…