Consultant.e Senior Test et Recette Agent IA - H/F

Le poste de Consultant.e Senior Test et Recette Agent IA - H/F

Dans le cadre d’un projet stratégique, notre client développe une application destinée à ses équipes métiers. L'application intégrera 10 à 15 agents IA pour enrichir les usages : préparation automatique de rendez-vous, comptes rendus, planification, Q&A sur les procédures et produits, rédaction d’emails, etc. Des prototypes IA existent déjà et doivent désormais être industrialisés.

Nous recherchons un.e Consultant.e QA IA Senior capable de prendre en autonomie la responsabilité de la recette du projet, en lien étroit avec les Product Owners, développeurs, équipes IA/Data et métiers.

? Vos missions :

• Définir la stratégie de tests globale du projet.

• Construire la stratégie spécifique d’évaluation et de recette des agents IA.

• Rédiger les scénarios et cas de tests.

• Réaliser les tests des IHM, API et agents IA.

• Tester notamment la pertinence et la robustesse des réponses IA : cohérence, hallucinations, reproductibilité, performance, cas limites…

• Créer ou compléter les jeux de données de test nécessaires.

• Identifier, documenter et suivre les anomalies.

• Piloter et coordonner la recette métier.

• Travailler quotidiennement avec les équipes PO, DEV, IA, Data et métiers.

Le profil recherché

? Vos atouts pour nous rejoindre :

• Solide expérience en  QA / recette fonctionnelle et technique .

• Expérience significative sur les  tests API .

• Maîtrise de  JIRA / Xray .

• Capable de construire une stratégie de tests de bout en bout.

• À l’aise dans un environnement Agile avec de nombreux interlocuteurs.

• Capable de challenger les équipes et de structurer la recette.

Une expérience concrète de  recette / évaluation de solutions GenAI, LLM ou agents IA  est  obligatoire .
Nous privilégierons les profils ayant déjà travaillé sur des sujets tels que :

• définition de critères d'évaluation de réponses LLM ;

• hallucinations et pertinence des réponses ;

• tests de RAG / agents IA ;

• jeux de données / golden datasets ;

• robustesse et cas limites ;

• comparaison et qualification des réponses IA.

Environnement technique :

• Front :  ReactJS

• Back :  Java

• API

• Test management / anomalies :  JIRA, Xray

• Tests API :  Bruno

• Outils de tests automatisés déjà présents

• Technologies IA / LLM :  les technologies sont en cours de décision

L'entreprise

Depuis 30 ans, nous avons toujours été à la pointe de la prochaine vague technologique. Devoteam a guidé les organisations à travers Internet et le cloud. La prochaine révolution ? L’IA. Avec 11 000 experts technologiques présents dans plus de 25 pays, nous vous apportons des talents IT hautement qualifiés à travers l’Europe. Rejoignez nos équipes multidisciplinaires de spécialistes Data, UX Designers, Business consultants, experts en cybersécurité, ingénieurs, développeurs et tous nos autres talents d’exception, répartis dans plus de 20 pays de la région EMEA. Bénéficiez de l’opportunité unique de travailler aux côtés de nos partenaires stratégiques, leaders mondiaux en Cloud et de la Tech : AWS, Google Cloud, Microsoft, Salesforce et ServiceNow

? Vos atouts pour nous rejoindre :

• Solide expérience en QA / recette fonctionnelle et technique .

• Expérience significative sur les tests API .

• Maîtrise de JIRA / Xray .

• Capable de construire une stratégie de tests de bout en bout.

• À l’aise dans un environnement Agile avec de nombreux interlocuteurs.

• Capable de challenger les équipes et de structurer la recette.

Une expérience concrète de recette / évaluation de solutions GenAI, LLM ou agents IA est obligatoire .
Nous privilégierons les profils ayant déjà travaillé sur des sujets tels que :

• définition de critères d'évaluation de réponses LLM ;

• hallucinations et pertinence des réponses ;

• tests de RAG / agents IA ;

• jeux de données / golden datasets ;

• robustesse et cas limites ;

• comparaison et qualification des réponses IA.

Environnement technique :

• Front : ReactJS

• Back : Java

• API

• Test management / anomalies : JIRA, Xray

• Tests API : Bruno

• Outils de tests automatisés déjà présents

• Technologies IA / LLM : les technologies sont en cours de décision