Talent.com
No se aceptan más aplicaciones
AI Evaluation Data Scientist - AI / ML / LLM - (Hybrid) - Madrid

AI Evaluation Data Scientist - AI / ML / LLM - (Hybrid) - Madrid

European Tech RecruitVitoria-Gasteiz, Araba, España
Hace 15 horas
Descripción del trabajo

AI Evaluation Data Scientist

A fantastic opportunity for a driven AI Data Scientist to join a leading Quantum AI company, who work on cutting-edge solutions that make AI faster, greener, and more accessible. You’ll be working alongside world-leading experts in quantum computing and AI, with the opportunity to work on challenging projects and shape the future of Generative AI systems.

This is initially a 9 Month Fixed Term Contract, with scope to extend -

  • Hybrid working from sites in Madrid or Barcelona.

Responsibilities :

  • Design and lead the evaluation strategy for our Agentic AI and RAG systems, turning customer workflows and business needs into measurable metrics and clear success criteria.
  • Contribute to the end-to-end design of Agentic AI and RAG systems, injecting a data-and-evaluation perspective into retrieval strategies, orchestration policies, tool usage, and memory to solve complex, real-world problems across industries.
  • Develop task-based, multi-step evaluations that reflect how the different components of our systems (retrieval, planning, tool use, memory) perform in real-world scenarios across cloud and edge deployments.
  • Develop and refine rigorous evaluation frameworks that reflect real-world performance, going beyond model benchmarks to assess task success, reasoning capabilities, factual consistency, reliability, and user success metrics across diverse problem domains.
  • Build and maintain a reproducible evaluation pipeline, including datasets, scenarios, configs, test suites, versioned assets, and automated runs to track regressions and improvements over time.
  • Curate and generate high-quality datasets for evaluation, including synthetic and adversarial data, to strengthen coverage and robustness.
  • Implement and calibrate LLM-as-a-judge evaluations, aligning automated scoring with human feedback and ensuring fairness, robustness, and representativeness.
  • Perform deep error analyses and ablations to uncover failure patterns, maintain a taxonomy of failure modes (reasoning, grounding, hallucinations, tool failures), and provide actionable insights to engineers to improve model and system performance.
  • Partner with ML specialists to create a data flywheel, where evaluation continuously informs new dataset creation, improvements on prompts, tool usage, model training, and system refinements, quantifying improvements over time.
  • Define and monitor operational metrics (latency, cost, reliability) to ensure evaluations align with production and customer expectations.
  • Maintain high engineering standards, including clear documentation, reproducible experiments, robust version control, and well-structured ML pipelines.
  • Contribute to team learning and mentorship, guiding junior engineers and sharing expertise in LLM development, evaluation, and deployment best practices.
  • Participate in code reviews, offering thoughtful, constructive feedback to maintain code quality, readability, and consistency.

    • Required minimum Qualifications

  • Master's or Ph.D. in Computer Science, Machine Learning, Data Science, Physics, Engineering, or related technical fields, with relevant industry experience.
  • Solid hands-on experience (3+ years for mid-level, 5+ years for senior) working as a Data Scientist, ML Engineer, or Research Scientist in applied AI / ML projects deployed in production environments.
  • Strong background in evaluation of machine learning systems, ideally with experience in LLMs, RAG pipelines, or multi-agent systems.
  • Proven ability to design and implement evaluation methodologies that go beyond static benchmarks, capturing real-world task success, reasoning, and robustness.
  • Hands-on experience with dataset creation and curation (including synthetic data generation) for training and evaluation.
  • Proven experience with agent-based architectures (task decomposition, tool use, reasoning workflows), RAG architectures (retrievers, vector databases, rerankers), and orchestration frameworks (LangGraph, LlamaIndex).
  • Strong problem-solving skills, with the ability to navigate ambiguity and design practical solutions to open-ended user or business needs.
  • Strong software engineering skills, with proficiency in Python, Docker, Git, and experience building robust, modular, and scalable ML codebases.
  • Familiarity with common ML and data libraries and frameworks (e.g., PyTorch, HuggingFace, LangGraph, LlamaIndex, Pandas, etc.).
  • Experience with cloud platforms (ideally AWS).
  • Fluent in English.

    • By applying to this role, you understand that we may collect your personal data & store & process it on our systems. For more information please see our Privacy Notice (

    Crear una alerta de empleo para esta búsqueda

    Data Scientist • Vitoria-Gasteiz, Araba, España

    Ofertas relacionadas
    • Oferta promocionada
    • Nueva oferta
    AI Evaluation Data Scientist - AI / ML / LLM - (Hybrid) - Barcelona

    AI Evaluation Data Scientist - AI / ML / LLM - (Hybrid) - Barcelona

    European Tech RecruitVitoria-Gasteiz, Araba / Álava, Spain
    A fantastic opportunity for a driven AI Data Scientist to join a leading Quantum AI company, who work on cutting-edge solutions that make AI faster, greener, and more accessible.You’ll be working a...Mostrar másÚltima actualización: hace 10 horas
    • Oferta promocionada
    AI / MLOps Engineer

    AI / MLOps Engineer

    Logicalis SpainVitoria, SPAIN
    En Logicalis Spain estamos buscando 1 perfil de AI / MLOps Engineer para integrarse en nuestra BU de Data & Analytics.El equipo de Data & Analytics de Logicalis trabaja con clientes naciona...Mostrar másÚltima actualización: hace 4 días
    • Oferta promocionada
    AI / ML Scientist ( GenAi is a plus) - debe residir en España

    AI / ML Scientist ( GenAi is a plus) - debe residir en España

    office people HoldingVitoria-Gasteiz, Araba / Álava, Spain
    Oportunidad de unirte a una gran consultora internacional y trabajar en un proyecto de un gran banco.Excelentes condiciones, beneficios, y plan de carrera!. AI / ML Scientist / GenAI Engineer - España...Mostrar másÚltima actualización: hace 3 días
    • Oferta promocionada
    • Nueva oferta
    AI Evaluation Data Scientist - AI / ML / LLM - (Hybrid) - Madrid

    AI Evaluation Data Scientist - AI / ML / LLM - (Hybrid) - Madrid

    European Tech RecruitVitoria-Gasteiz, Araba / Álava, Spain
    A fantastic opportunity for a driven AI Data Scientist to join a leading Quantum AI company, who work on cutting-edge solutions that make AI faster, greener, and more accessible.You’ll be working a...Mostrar másÚltima actualización: hace 10 horas
    • Oferta promocionada
    • Nueva oferta
    AI / ML Engineer Lead

    AI / ML Engineer Lead

    MIGx AGVitoria-Gasteiz, Araba / Álava, Spain
    MIGx is a global consulting company with an exclusive focus on the healthcare and life science industries, with their particularly demanding requirements on quality and regulatory aspects.We have b...Mostrar másÚltima actualización: hace 10 horas
    • Oferta promocionada
    Adjunto / a al Head of AI

    Adjunto / a al Head of AI

    LognextÁlava, España, España
    En Lognext llevamos más de 18 años identificando e implementando soluciones tecnológicas prácticas que nos permitan seguir avanzando y optimicen nuestras operaciones, acompañando a los equipos con ...Mostrar másÚltima actualización: hace 3 días
    • Oferta promocionada
    Beca remunerada Tech AI Strategy

    Beca remunerada Tech AI Strategy

    NTT DATA Europe & LatamBilbao, Basque Country, España
    En NTT DATA, ¡tenemos todo preparado para acompañarte en tu salto al mundo profesional!.Somos Global Top Employer, un reconocimiento único por las buenas prácticas hacia nuestras personas, prioriza...Mostrar másÚltima actualización: hace más de 30 días
    • Oferta promocionada
    AI Engineer

    AI Engineer

    NEXT DIGITALbilbao, España
    Te apasiona la Inteligencia Artificial y quieres formar parte de proyectos que están cambiando la forma de trabajar?.No te vamos a aburrir con nuestra historia. Llevamos más de 7 años acompañando a ...Mostrar másÚltima actualización: hace 4 días
    • Oferta promocionada
    MLOps Engineer|Databricks| MLflow | Remoto 100%

    MLOps Engineer|Databricks| MLflow | Remoto 100%

    Cobser ConsultingVitoria-Gasteiz, Araba / Álava, Spain
    A en función de experiencia aportada.En Cobser Consulting, tenemos la necesidad de cubrir para cliente bancario el siguiente rol : . Apoyo en la implementación y operación de pipelines de ML.Diseño y ...Mostrar másÚltima actualización: hace 1 día
    • Oferta promocionada
    Data Science & IA

    Data Science & IA

    GfK - An NIQ CompanyBilbao, Basque Country, Spain
    Con más de 90 años de experiencia, GfK - A NielsenIQ Company, lidera el análisis del comportamiento del consumidor y el retail con soluciones de última generación. En España, somos la segunda empres...Mostrar másÚltima actualización: hace 2 días
    • Oferta promocionada
    AI Technical Expert- international project

    AI Technical Expert- international project

    ALTEN Delivery Centre SpainBilbao, Basque Country, Spain
    Are you looking for the next challenge in your career? Would you like to be part of an exciting, highly qualified team of professionals in an international environment? We are currently looking fo...Mostrar másÚltima actualización: hace 2 días
    • Oferta promocionada
    Data Scientist / IA / MLOps

    Data Scientist / IA / MLOps

    Logicalis SpainVitoria, SPAIN
    En Logicalis Spain estamos buscando un equipo de Data Scientist / IA / ML / MLOps formado por perfiles juniors, middles y seniors para integrarse en nuestra BU de Data & Analytics.El equipo de ...Mostrar másÚltima actualización: hace 4 días
    • Oferta promocionada
    Data Scientist - Machine Learning & AI

    Data Scientist - Machine Learning & AI

    agap2 EspañaVitoria, SPAIN
    En Agap2, estamos incorporando un Data Scientist con sólida experiencia en Machine Learning y gestión de proyectos con negocio para un importante cliente del sector retail.Esta persona participará ...Mostrar másÚltima actualización: hace 4 días
    • Oferta promocionada
    Senior Data Scientist ( AWS / MLOps)

    Senior Data Scientist ( AWS / MLOps)

    PSS Tecnologías de la Informaciónbilbao, España
    Te gustaría impulsar tu carrera en el sector IT con un proyecto sólido y un equipo de profesionales excepcionales?.Si valoras la estabilidad y el crecimiento profesional, este es el momento de inco...Mostrar másÚltima actualización: hace 1 día
    • Oferta promocionada
    • Nueva oferta
    AI Technical Lead

    AI Technical Lead

    Future Space S.A.Bilbao, Basque Country, Spain
    Te apasiona el mundo de la inteligencia artificial y quieres liderar proyectos tecnológicos de alto impacto? En Future Space buscamos un / a Líder Técnico en la disciplina de Inteligencia Artific...Mostrar másÚltima actualización: hace 22 horas
    • Oferta promocionada
    • Nueva oferta
    AI Engineer

    AI Engineer

    The Adecco GroupBilbao, Basque Country, Spain
    Te apasiona la Inteligencia Artificial y quieres trabajar en proyectos innovadores? Buscamos un AI Engineer – Especialista en IA para liderar el diseño e implementación de soluciones inteligente...Mostrar másÚltima actualización: hace 22 horas
    • Oferta promocionada
    Manager – LLM / Generative AI

    Manager – LLM / Generative AI

    European Tech Recruitbilbao, España
    We are partnered with a fast-growing, well-funded deep-tech company at the forefront of quantum computing and artificial intelligence, recognized globally as one of the most innovative AI organizat...Mostrar másÚltima actualización: hace 18 días
    • Oferta promocionada
    AI Engineer

    AI Engineer

    DomynVitoria-Gasteiz, Araba / Álava, Spain
    We're looking for a talented Al Engineer to join our team in Madrid, a talent focused on implementing and scaling large language models (LLMs) and generative Al systems. In this role, you will bridg...Mostrar másÚltima actualización: hace 3 días