Data Engineer - Big Data
En AKKODIS buscamos dos Data Engineers especializados en Big Data para unirse a nuestro equipo. Ambos perfiles trabajarán en un entorno de teletrabajo 100 y estarán involucrados en la migración y optimización de soluciones de procesamiento de datos.
La incorporación es inmediata y el periodo de cobertura del servicio será de alrededor de 6 meses, por lo que si eres autónomo / freelance y buscas un nuevo proyecto, esta es tu oportunidad!!
Requisitos Generales para Ambos Perfiles :
- Experiencia mínima de 2 años en ingeniería de datos.
- Capacidad para trabajar de manera efectiva en entornos ágiles, con un enfoque en entregas continuas y rápidas.
- Habilidades de comunicación efectiva para interactuar con stakeholders técnicos y no técnicos.
- Capacidad de resolución de problemas y optimización de procesos en entornos distribuidos.
- Dominio de herramientas y frameworks relacionados con el procesamiento de datos.
- Experiencia con herramientas de integración continua (CI / CD) y manejo de versiones (Git).
- Disponibilidad para trabajar de lunes a viernes, 8 horas diarias.
Perfil 1 : Data Engineer - Big Data (Migración a Databricks)
Responsabilidades :
Migración de jobs y workflows de Cloudera a Databricks, asegurando su funcionalidad, rendimiento y eficiencia.
Análisis y optimización de procesos de datos existentes.Colaboración con los responsables de las distintas iniciativas a migrar para comprender el estado actual (As Is) y las necesidades del futuro (To Be).Revisión, refactorización y reestructuración de scripts de procesamiento de datos, si fuera necesario.Requisitos Específicos :
Experiencia demostrable en Databricks, especialmente en optimización de procesos.Conocimiento avanzado de Apache Spark y Scala sobre Databricks.Experiencia previa en la migración de jobs de Cloudera a plataformas basadas en Spark, preferiblemente a Databricks.Perfil 2 : Data Engineer - Big Data (Procesamiento en Tiempo Real)
Responsabilidades :
Construcción de arquitecturas escalables y robustas que gestionen grandes volúmenes de datos a través de flujos de eventos y plataformas de procesamiento en tiempo real.Requisitos Específicos :
Mínimo 2 años de experiencia en ingeniería de datos, con un fuerte enfoque en Java y soluciones de procesamiento de eventos.Profunda experiencia trabajando con Confluent Kafka, idealmente en entornos productivos a gran escala.Conocimiento profundo de arquitecturas de microservicios y patrones de integración con Kafka.Experiencia en el desarrollo de pipelines de datos (streaming y batch processing).Buen entendimiento de las mejores prácticas de diseño, pruebas y optimización de código en Java.Ambos perfiles son fundamentales para el éxito de nuestras iniciativas de Big Data y se espera que contribuyan de manera significativa al desarrollo y optimización de nuestras soluciones de procesamiento de datos.
Business Industry
Digital
Profile
Position location
Job location
Europe, Spain
Location
Remoto
Telework
Full-time
Candidate criteria
Level of experience
All levels of experience
Databricks, Spark, Scala