Expert Big Data / Apache Spark - Tech Lead H/F/X

Notre agence GESER-BEST Nantes recherche un Expert Big Data / Apache Spark - Tech Lead H/F pour accompagner l'un de nos clients dans un environnement Data à forte volumétrie. Vous rejoindrez une équipe technique engagée sur des sujets Big Data, avec notamment des enjeux de traitement et de migration de flux, dans un environnement distribué et industrialisé. Votre mission En tant qu'Expert Spark / Tech Lead, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données distribués. Vous serez notamment amené.e à :

• Concevoir et développer des pipelines ETL/ELT distribués avec Apache Spark
• Réaliser des traitements batch à forte volumétrie
• Concevoir et optimiser des jobs Spark complexes
• Participer à la modélisation des données et au choix des formats de stockage, notamment Parquet
• Intervenir sur des problématiques de migration de flux Big Data
• Développer en Scala et/ou PySpark
• Exploiter et optimiser des requêtes SQL
• Travailler dans l'écosystème Cloudera : CDP, Hadoop, HDP, Hive, Impala, YARN, Oozie et/ou Airflow
• Participer aux pratiques de revue de code et à l'industrialisation des développements avec Git
• Contribuer aux pipelines CI/CD via Jenkins ou GitLab CI
• Mettre en place et maintenir les tests automatisés ainsi que les stratégies de non-régression
• Assurer le monitoring, le logging, le troubleshooting et l'analyse des incidents
• Intervenir dans un environnement Linux et utiliser le scripting Shell
• Apporter votre expertise technique à l'équipe et jouer un rôle de référent / Tech Lead

Nos avantages

• Gestion à taille humaine
• Suivi de mission régulier
• Accompagnement pour une montée en compétence rapide
• Mobilité géographique possible
• Evènements afterwork / teambuilding /caritatifs
• Politique de cooptation
• Offres CSE
• Process d'intégration
• Formation continue

Vous disposez d'une réelle expérience significative en développement / ingénierie Big Data, dont au moins 2 ans minimum dans un rôle de Tech Lead ou de référent technique. Vous maîtrisez impérativement : - Apache Spark

- SQL

• Scala et/ou PySpark
• L'écosystème Cloudera / Hadoop

- Vous avez également une bonne connaissance de :

• Git et des pratiques de revue de code
• Jenkins et/ou GitLab CI
• Tests automatisés et non-régression
• Linux / Shell
• Monitoring et troubleshooting
• Méthodes Agile, Scrum ou SAFe

Une expérience significative sur un projet Big Data intégrant Spark, idéalement dans le cadre de migrations de flux, sera particulièrement appréciée. Des déplacements ponctuels au Mans sont à prévoir selon les besoins du projet.