AI Evaluation Data Scientist - AI / ML / LLM - (Hybrid) - Barcelona
European Tech RecruitCastro e Marzán, Galicia, EspañaHace 6 horas
Descripción del trabajoDesign and lead the evaluation strategy for our Agentic AI and RAG systems, turning customer workflows and business needs into measurable metrics and clear success criteria. Contribute to the end-to-end design of Agentic AI and RAG systems, injecting a data-and-evaluation perspective into retrieval strategies, orchestration policies, tool usage, and memory to solve complex, real-world problems across industries. Develop task-based, multi-step evaluations that reflect how the different components of our systems (retrieval, planning, tool use, memory) perform in real-world scenarios across cloud and edge deployments. Develop and refine rigorous evaluation frameworks that reflect real-world performance, going beyond model benchmarks to assess task success, reasoning capabilities, factual consistency, reliability, and user success metrics across diverse problem domains. Build and maintain a reproducible evaluation pipeline, including datasets, scenarios, configs, test suites, versioned assets, and automated runs to track regressions and improvements over time. Curate and generate high-quality datasets for evaluation, including synthetic and adversarial data, to strengthen coverage and robustness. Implement and calibrate LLM-as-a-judge evaluations, aligning automated scoring with human feedback and ensuring fairness, robustness, and representativeness. Perform deep error analyses and ablations to uncover failure patterns, maintain a taxonomy of failure modes (reasoning, grounding, hallucinations, tool failures), and provide actionable insights to engineers to improve model and system performance. Partner with ML specialists to create a data flywheel, where evaluation continuously informs new dataset creation, improvements on prompts, tool usage, model training, and system refinements, quantifying improvements over time. Define and monitor operational metrics (latency, cost, reliability) to ensure evaluations align with production and customer expectations. Maintain high engineering standards, including clear documentation, reproducible experiments, robust version control, and well-structured ML pipelines. Contribute to team learning and mentorship, guiding junior engineers and sharing expertise in LLM development, evaluation, and deployment best practices. Participate in code reviews, offering thoughtful, constructive feedback to maintain code quality, readability, and consistency. Master's or Ph.D. in Computer Science, Machine Learning, Data Science, Physics, Engineering, or related technical fields, with relevant industry experience. Solid hands-on experience (3+ years for mid-level, 5+ years for senior) working as a Data Scientist, ML Engineer, or Research Scientist in applied AI / ML projects deployed in production environments. Strong background in evaluation of machine learning systems, ideally with experience in LLMs, RAG pipelines, or multi-agent systems. Proven ability to design and implement evaluation methodologies that go beyond static benchmarks, capturing real-world task success, reasoning, and robustness. Hands-on experience with dataset creation and curation (including synthetic data generation) for training and evaluation. Proven experience with agent-based architectures (task decomposition, tool use, reasoning workflows), RAG architectures (retrievers, vector databases, rerankers), and orchestration frameworks (LangGraph, LlamaIndex). Strong problem-solving skills, with the ability to navigate ambiguity and design practical solutions to open-ended user or business needs. Strong software engineering skills, with proficiency in Python, Docker, Git, and experience building robust, modular, and scalable ML codebases. Familiarity with common ML and data libraries and frameworks (e.g., PyTorch, HuggingFace, LangGraph, LlamaIndex, Pandas, etc.). Experience with cloud platforms (ideally AWS). Fluent in English.
AI Evaluation Data Scientist
A fantastic opportunity for a driven AI Data Scientist to join a leading Quantum AI company, who work on cutting-edge solutions that make AI faster, greener, and more accessible. You’ll be working alongside world-leading experts in quantum computing and AI, with the opportunity to work on challenging projects and shape the future of Generative AI systems.
This is initially a 9 Month Fixed Term Contract, with scope to extend -
- Hybrid working from sites in Madrid or Barcelona.
Responsibilities :
Required minimum Qualifications
By applying to this role, you understand that we may collect your personal data & store & process it on our systems. For more information please see our Privacy Notice (
Crear una alerta de empleo para esta búsqueda
Data Scientist • Castro e Marzán, Galicia, España
Ofertas relacionadas
- Oferta promocionada
AI / MLOps Engineer
Logicalis SpainChazo, Galicia, SPAIN En Logicalis Spain estamos buscando 1 perfil de AI / MLOps Engineer para integrarse en nuestra BU de Data & Analytics.El equipo de Data & Analytics de Logicalis trabaja con clientes naciona...Mostrar másÚltima actualización: hace 3 días
- Oferta promocionada
Adjunto / a al Head of AI
LognextChazo, Galicia, España En Lognext llevamos más de 18 años identificando e implementando soluciones tecnológicas prácticas que nos permitan seguir avanzando y optimicen nuestras operaciones, acompañando a los equipos con ...Mostrar másÚltima actualización: hace 2 días
- Oferta promocionada
Data Scientist - Machine Learning
FujitsuChazo, Galicia, SPAIN En Fujitsu buscamos personas con talento!.Fujitsu es la compañía líder japonesa en tecnología digital, de la información y comunicaciones, y uno de los cinco principales proveedores de estos servic...Mostrar másÚltima actualización: hace 3 días
- Oferta promocionada
AI / ML Scientist ( GenAi is a plus) - debe residir en España
office people HoldingChazo, Galicia, España Oportunidad de unirte a una gran consultora internacional y trabajar en un proyecto de un gran banco.Excelentes condiciones, beneficios, y plan de carrera!.
AI / ML Scientist / GenAI Engineer - España...Mostrar másÚltima actualización: hace 2 días
- Oferta promocionada
AI Engineer
DomynCastro e Marzán, Galicia, España We're looking for a talented Al Engineer to join our team in Madrid, a talent focused on implementing and scaling large language models (LLMs) and generative Al systems.
In this role, you will bridg...Mostrar másÚltima actualización: hace 2 días
- Oferta promocionada
Data Scientist / IA / MLOps
Logicalis SpainChazo, Galicia, SPAIN En Logicalis Spain estamos buscando un equipo de Data Scientist / IA / ML / MLOps formado por perfiles juniors, middles y seniors para integrarse en nuestra BU de Data & Analytics.El equipo de ...Mostrar másÚltima actualización: hace 3 días
- Oferta promocionada
AI Technical Expert- international project
ALTEN Delivery Centre SpainChazo, Galicia, SPAIN Are you looking for the next challenge in your career?.Would you like to be part of an exciting, highly qualified team of professionals in an international environment?.
We are currently looking for...Mostrar másÚltima actualización: hace 2 días
- Oferta promocionada
Data Science & IA
GfK - An NIQ CompanyCastro e Marzán, Galicia, España Con más de 90 años de experiencia, GfK - A NielsenIQ Company, lidera el análisis del comportamiento del consumidor y el retail con soluciones de última generación.
En España, somos la segunda empres...Mostrar másÚltima actualización: hace 2 días
- Oferta promocionada
- Nueva oferta
Data Scientist ML
IZERTISChazo, Galicia, España We are seeking a skilled and strategic Data Scientist to take ownership of our machine learning projects on the Google Cloud Platform (GCP).
The ideal candidate is a hands-on expert in data science ...Mostrar másÚltima actualización: hace 6 horas
- Oferta promocionada
- Nueva oferta
AI / ML Engineer Lead
MIGx AGCastro e Marzán, Galicia, España MIGx is a global consulting company with an exclusive focus on the healthcare and life science industries, with their particularly demanding requirements on quality and regulatory aspects.We have b...Mostrar másÚltima actualización: hace 6 horas
- Oferta promocionada
- Nueva oferta
AI Technical Lead
Future Space S.A.Chazo, Galicia, España Te apasiona el mundo de la inteligencia artificial y quieres liderar proyectos tecnológicos de alto impacto? En.Inteligencia Artificial IA para liderar a un equipo de IA / Data dentro de Future Space...Mostrar másÚltima actualización: hace 6 horas
- Oferta promocionada
Data Scientist - Machine Learning & AI
agap2 EspañaChazo, Galicia, SPAIN En Agap2, estamos incorporando un Data Scientist con sólida experiencia en Machine Learning y gestión de proyectos con negocio para un importante cliente del sector retail.Esta persona participará ...Mostrar másÚltima actualización: hace 3 días
- Oferta promocionada
AI & Data Science
GfK - An NIQ CompanyChazo, Galicia, SPAIN Con más de 90 años de experiencia, GfK - A NielsenIQ Company, lidera el análisis del comportamiento del consumidor y el retail con soluciones de última generación.
En España, somos la segunda empres...Mostrar másÚltima actualización: hace más de 30 días
- Oferta promocionada
AI Engineer
NEXT DIGITALChazo, Galicia, SPAIN Te apasiona la Inteligencia Artificial y quieres formar parte de proyectos que están cambiando la forma de trabajar?.En Next Digital te estamos buscando 👀.
No te vamos a aburrir con nuestra histori...Mostrar másÚltima actualización: hace 3 días
- Oferta promocionada
Senior Data Scientist ( AWS / MLOps)
PSS Tecnologías de la Informaciónvigo, España Te gustaría impulsar tu carrera en el sector IT con un proyecto sólido y un equipo de profesionales excepcionales?.Si valoras la estabilidad y el crecimiento profesional, este es el momento de inco...Mostrar másÚltima actualización: hace 1 día
- Oferta promocionada
- Nueva oferta
MLOps Engineer|Databricks| MLflow | Remoto 100%
Cobser ConsultingCastro e Marzán, Galicia, España A en función de experiencia aportada.En Cobser Consulting, tenemos la necesidad de cubrir para cliente bancario el siguiente rol : .
Apoyo en la implementación y operación de pipelines de ML.Diseño y ...Mostrar másÚltima actualización: hace 6 horas
- Oferta promocionada
Data Scientist IA
eXalt EspañaChazo, Galicia, SPAIN Crear una cultura de empresa basada en la agilidad y valorar la experiencia de nuestros empleados" es lo que te ofrecemos al unirte a la aventura #eXalt.
Actualmente en pleno crecimiento y con 7 año...Mostrar másÚltima actualización: hace 3 días
- Oferta promocionada
- Nueva oferta
AI Evaluation Data Scientist - AI / ML / LLM - (Hybrid) - Madrid
European Tech RecruitCastro e Marzán, Galicia, España A fantastic opportunity for a driven AI Data Scientist to join a leading Quantum AI company, who work on cutting-edge solutions that make AI faster, greener, and more accessible.You’ll be working a...Mostrar másÚltima actualización: hace 6 horas