Consultant.e Senior Test et Recette Agent IA - H/F

Description de l'entreprise

Devoteam Nantes, avec ses 160 collaborateurs, est un acteur clé de la transformation digitale dans la région nantaise. Notre équipe de consultants experts accompagne les entreprises dans la réalisation de leurs projets technologiques les plus audacieux, en s’appuyant sur notre expertise en cloud & DevOps, cybersécurité, data / IA, gestion de projet et développement agile.

Devoteam Creative Tech est l’équipe spécialisée dans la conception de produits et services digitaux performants et durables à forte valeur ajoutée. Notre objectif est de simplifier le quotidien des utilisateurs et générer une valeur tangible pour nos clients grands comptes , dans différents secteurs (banque, assurance, e-commerce, énergie, industrie, finance de marché, luxe et retail). Nous sommes 1 100 creative technologists , dont 800 experts en France, répartis dans 5 tribus d’expertises .

Description du poste

Dans le cadre d’un projet stratégique, notre client développe une application destinée à ses équipes métiers. L'application intégrera 10 à 15 agents IA pour enrichir les usages : préparation automatique de rendez-vous, comptes rendus, planification, Q&A sur les procédures et produits, rédaction d’emails, etc. Des prototypes IA existent déjà et doivent désormais être industrialisés.

Nous recherchons un.e Consultant.e QA IA Senior capable de prendre en autonomie la responsabilité de la recette du projet, en lien étroit avec les Product Owners, développeurs, équipes IA/Data et métiers.

Vos missions :

• Définir la stratégie de tests globale du projet.

• Construire la stratégie spécifique d’évaluation et de recette des agents IA.

• Rédiger les scénarios et cas de tests.

• Réaliser les tests des IHM, API et agents IA.

• Tester notamment la pertinence et la robustesse des réponses IA : cohérence, hallucinations, reproductibilité, performance, cas limites…

• Créer ou compléter les jeux de données de test nécessaires.

• Identifier, documenter et suivre les anomalies.

• Piloter et coordonner la recette métier.

• Travailler quotidiennement avec les équipes PO, DEV, IA, Data et métiers.

Qualifications

Vos atouts pour nous rejoindre :

• Solide expérience en  QA / recette fonctionnelle et technique .

• Expérience significative sur les  tests API .

• Maîtrise de  JIRA / Xray .

• Capable de construire une stratégie de tests de bout en bout.

• À l’aise dans un environnement Agile avec de nombreux interlocuteurs.

• Capable de challenger les équipes et de structurer la recette.

Une expérience concrète de  recette / évaluation de solutions GenAI, LLM ou agents IA  est  obligatoire .
Nous privilégierons les profils ayant déjà travaillé sur des sujets tels que :

• définition de critères d'évaluation de réponses LLM ;

• hallucinations et pertinence des réponses ;

• tests de RAG / agents IA ;

• jeux de données / golden datasets ;

• robustesse et cas limites ;

• comparaison et qualification des réponses IA.

Environnement technique :

• Front :  ReactJS

• Back :  Java

• API

• Test management / anomalies :  JIRA, Xray

• Tests API :  Bruno

• Outils de tests automatisés déjà présents

• Technologies IA / LLM :  les technologies sont en cours de décision

Informations supplémentaires

‍♂️ Pourquoi nous rejoindre ?

Nous sommes une AI-Driven Company, partenaire des plus grands partenaires technologiques (Google, AWS, Microsoft, ServiceNow,…) et composée d'un important collectif d'experts (50 tribus d'expertise). 

Avec 75% de nos collaborateurs certifiés dont 100 % sur la GenAI, Devoteam s'impose comme une Learning Company, où l’apprentissage continu est au cœur de notre ADN.

Comment se déroule le processus de recrutement chez Devoteam ?

 Il comporte 2 à 3 entretiens :

- Talent Acquisition Interview : l'objectif est de faire le point sur vos compétences, votre niveau d'anglais et de valider vos éléments de motivation
- Tech & Business Interview : cet entretien vise à approfondir vos compétences techniques et à vérifier leur adéquation avec nos besoins lors d'un échange avec un expert métier
- Leadership Interview : il permet d'évaluer votre potentiel, vos ambitions et d'envisager votre évolution au sein de Devoteam.

Nous privilégions au moins un entretien en présentiel. Une prise de référence est demandée et, selon votre profil, des tests (techniques, anglais, personnalité...) peuvent vous être adressés.
Si votre candidature est retenue, nous vous faisons parvenir une proposition présentant les conditions d'embauche. En cas d'acceptation, le contrat de travail est formalisé.

Le Groupe Devoteam oeuvre pour l'égalité des chances, pour la promotion de ses collaboratrices et de ses collaborateurs au mérite et lutte activement contre toute forme de discrimination. Nous sommes convaincus que la diversité contribue à la créativité, au dynamisme et à l'excellence de notre organisation. Chaque candidature est donc considérée indépendamment de tout critère discriminatoire.