Big Data Engineer, Madrid

Big Data Engineer

Ubicación : Preferencia por ciudades con sede (flexible para candidatos deslocalizados si el perfil encaja)

Modalidad : A convenir

Tarifa : Acorde a experiencia y conocimientos del perfil

Nivel de inglés : B2

Descripción del puesto

Buscamos un profesional para participar en la creación de un nuevo dashboard en Kibana, incluyendo tareas de preprocesamiento Big Data en el Data Lake (SCIB). Formará parte de un equipo de trabajo especializado en Market Risk, colaborando tanto en el desarrollo de procesos en tecnologías Big Data (Spark, Scala) como en tareas comunes del área.

El rol implica trabajar con tecnologías del ecosistema ELK (Kibana, Elasticsearch, Logstash), procesamiento de datos en entornos distribuidos (Hadoop, Spark), y contribuir a la construcción de soluciones analíticas que ayuden a la gestión de riesgos del mercado.

Responsabilidades

Desarrollo y mantenimiento de procesos de ingesta y transformación de datos en Spark (Scala).

Diseño y construcción de dashboards en Kibana para la visualización de datos de Market Risk.

Preprocesamiento y gestión de datos en el Data Lake (SCIB).

Colaboración con el equipo para tareas comunes del área de Big Data.

Aplicación de buenas prácticas de desarrollo y documentación de procesos.

Requisitos OBLIGATORIOS

Experiencia previa en proyectos tecnológicos, preferentemente de datos o analítica.

Conocimiento técnico y experiencia en Scala y Apache Spark.

Conocimiento de Hadoop.

Manejo de sentencias SQL.

Conocimiento básico de Shell scripting.

Conocimiento básico de Kibana y del entorno ELK (Elasticsearch, Logstash, Kibana).

Requisitos DESEABLES (no obligatorios)

Conocimiento técnico de Azure Databricks.

Experiencia previa en sector bancario o en Riesgos de Mercado.

Conocimiento de Airflow como gestor de workflows / pipelines.

Condiciones

Ubicación : Preferencia por ciudades donde tengamos sedes posibilidad de valorar perfiles deslocalizados.

Tarifa : Se definirá según experiencia y conocimientos.

Inglés : Nivel B2 requerido.

Kibana, Elasticsearch, Logstash, Hadoop, Spark, Scala