Data Engineer Senior - CDI

Contexte

Intégration dans l’équipe Data Engineer (Spark/Scala/Python) pour participer au développement de projets DATA pour les clients internes d’un grand groupe de transport public. L’équipe est en charge de garantir la qualité et la robustesse des applications Data, ainsi que d’assurer le support Niveau 2 et 3 pour la résolution d’incidents en exploitation. Le poste inclut également l’animation de l’équipe et l’application des standards techniques, avec la possibilité d’endosser le rôle de Lead Tech pour des projets stratégiques.

Missions

En phase Build (Développement)

• S’approprier le périmètre fonctionnel et les exigences métiers.

• Participer aux ateliers de conception et aux cérémonies Agile (sprint planning, rétrospectives, affinage des spécifications).

• Décliner les besoins fonctionnels en composants techniques.

• Développer les applications (sur la base d’US/tickets Jira).

• Écrire des tests automatisés (unitaires, intégration).

• Assurer l’assistance technique lors des recettes.

• Mettre en place des attendus d’exploitabilité (robustesse, automatisation, supervision, documentation).

En phase Run (Exploitation)

• Prendre en charge les incidents de Niveau 2 et 3.

• Réaliser des analyses de causes racines (Root Cause Analysis).

• Mettre en œuvre des actions correctives et préventives.

• Automatiser les tâches récurrentes d’exploitation.

• Améliorer les processus CI/CD.

• Maintenir les scripts d’administration et d’automatisation.

• Contribuer à l’observabilité (logs, métriques, monitoring via Datadog).

• Maintenir à jour la documentation technique (architectures, flux, dépendances, procédures d’exploitation).

• Rédiger les comptes-rendus d’incidents majeurs (post-mortem).

Livrables

Build :

• Spécifications détaillées, code source (Python, Scala, TypeScript/JavaScript), tests automatisés, chaînes d’automatisation CI/CD (pipelines Jenkins), moniteurs et tableaux de bord (Datadog), documentation technique, supports d’avancement (tickets Jira).

Run :

• Résolution d’incidents documentée, scripts d’automatisation, améliorations CI/CD, procédures d’exploitation, comptes-rendus d’incidents.

Environnement Technique

Compétences requises :

• Python, TypeScript/JavaScript, SQL/NoSQL, Jenkins, Ansible, Git/GitLab, Usine Logicielle.

Compétences souhaitées :

• Spark/Scala, Databricks, Databricks Unity Catalog, Azure (Datalake, Synapse).

Méthodologies :

• Agile/Scrum, DevOps.

Conditions de travail

• Localisation : Nantes