AI Evaluation Engineer (Remote)
About the Project
Outlier helps the world’s most innovative companies improve their AI agents by providing human feedback. Do you want to shape the future of autonomous agents like OpenClaw?
We collaborate with leading AI organizations to train Large Language Models (LLMs) to function as proactive, multi-step agents. Our projects focus on teaching these systems how to design, coordinate, and optimize complex, real-world architectural workflows.
Whether you are a passionate orchestration guru or experienced software developer — we want you to help us train the world's most advanced generative systems.
Ideal Qualifications
- 2+ years of experience in backend engineering, AI automation, or complex systems integration.
- Proven ability to build and maintain production-grade software with modular separation (e.g., distinct services for data parsing, logic processing, and reporting).
- Strong command of at least two major languages (e.g., Python, JavaScript, Go, or Java) and experience working with SQL databases.
- Practical experience building for live, non-mocked environments and handling multi-turn system interactions.
- Outstanding attention to detail and the ability to provide clear, high-density technical feedback on complex system behaviors.
Nice to have
- Expertise building multi-stage coordination tasks where data acquisition leads to reasoned output.
- Hands-on experience integrating agents with live tools such as Supabase, Gmail, and various APIs to solve real-world problems.
- High level of comfort implementing persistent state and session discovery using MEMORY.md to track agent progress.
- Experience identifying subtle failures like privacy leaks, authority escalation, or indirect prompt injections.
Emplois Recommandés
Nounou h/f
Que vous soyez étudiant, salarié à temps partiel ou professionnel de la petite enfance, découvrez pourquoi Kinougarde est fait pour vous : Un salaire assuré chaque mois ! Chez Kinougarde, tout es…
Directeur commercial indépendant H/F
A propos de PROSPACTIVE: Le tissu économique français est composé de plus de 400 000 TPE/PME dans notre coeur de cible, représentant 99,8% des entreprises en France. Ces PME sont le moteur de la croi…
Préparateur d'échantillons (H/F)
Description de l'entreprise Avec un chiffre d’affaires annuel de plus de 7.296 milliards d’euros en 2025 et un effectif de 65 000 collaborateurs présents dans 950 laboratoires à travers 59 pays, …
Conseiller en immobilier H/F
Vos missions : Le négociateur immobilier intervient lors de la vente d'un bien immobilier en mettant en relation vendeurs et acquéreurs. Véritable commercial(e), son activité l'amène également…
Ingénieur applicatif Java React F/H
Le poste : MISSIONS : Intégré(e) aux équipes d'un de nos clients grand compte, vous participerez activement à la conception et au développement des évolutions des socles techniques des solutions…
RESPONSABLE DU POLE ADMINISTRATION GENERALE - QUALITE DE SERVICE ET RELATION A L'USAGER
Détails de l'offre Famille de métiers Citoyenneté, population, affaires administratives et vie associative …
Développeur Python / Django H/F
Quel sera ton poste ? Lieu : Loire-Atlantique Télétravail : Non Contrat : CDI / Freelance Contexte client : Dans le cadre d’un projet de refonte d’une solution d’implantation graphique dé…
OUVRIER D'EXÉCUTION BATIMENT (F/H)
Poste ouvert aux personnes en situation de handicap.Notre client, situé à NANTES, se consacre à offrir des services complets liés à l'aménagement paysager et à l'entretien, la rénovation et la réhabil…
Ingénieur réseaux et sécurité (F/H)
Description de la mission Envie de relever des défis techniques de haut niveau dans le domaine des réseaux et de la sécurité, au sein d’un environnement critique et stimulant ? Cette opportunité e…
AJUSTEUR MONTEUR (F/H)
Poste ouvert aux personnes en situation de handicap.Votre agence Randstad de Nantes recherche pour son client un mécanicien monteur (H/F). Notre client, spécialisée dans la production des pièces compl…