Data Engineer, Madrid

Data EngineerEn WayOps buscamos un perfil Data Engineer que quiera desarrollar su carrera profesional formando parte de un equipo Data AI de primer nivel y trabajando en proyectos cloud con las últimas tecnologías. CONTEXTO RESPONSABILIDADES La persona seleccionada se incorporará dentro de nuestro equipo Data AI core, participando en múltiples proyectos de Analítica Avanzada para clientes nacionales e internacionales. Junto al Technical Lead y otros perfiles como Data Architects, Data Scientists o Data Visualizers, el Data Engineer deberá desarrollar código PySpark que permita la transformación de los datos siguiendo el paradigma medallion. Además, será responsable de la ingesta de datos, orquestación de procesos y garantizará la calidad del dato. EXPERIENCIA CONOCIMIENTOS El perfil a incorporar deberá contar con 3-4 años de experiencia como Ingeniero de Datos desarrollando pipelines de transformación de datos con tecnología PySpark, 1-2 años de experiencia en entornos Cloud preferentemente Azure y 1-2 años de experiencia en modelado de datos con herramientas como Lucidchart, orquestación de datos con herramientas como Data Factory y colaboración en el desarrollo de cuadros de mandos con herramientas como Power BI. Se valorará experiencia previa en proyectos orientados a calidad del dato, así como experiencia en resolución y gestión de incidencias en entornos productivos, conocimientos y experiencia con CI / CD en Azure DevOps y conocimientos en Machine Learning, Será necesario tener experiencia previa con tecnologías : - Databricks (PySpark, Dataframes, Delta Tables, Unity Catalog, Databricks Connect) - Azure (Data Factory, Databricks, Storage, SQL Databases) - ETL (ER, Relational-model, Star-model, MDM) - Azure DevOps (Boards) - Analytics (PowerBI) - Ecosistema Hadoop (HDFS, Map / Reduce, Spark, Hive) - Herramientas (Visual Studio Code, Git) Además se valorará positivamente contar con experiencia o conocimientos en : - Azure (Event Hubs, IoTHub, CosmosDB, Application Insights) - Azure DevOps (Pipelines, Repos, Test Plans, Artifacts) - Machine Learning (sklearn, mllib, h2o, tensorflow, keras) - Spark (GraphX GraphFrames, Structured Streaming, Scala, Optimización) - Property Graphs (Neo4j+Cypher, Tinkerpop+Gremlin) CONTRATACIÓN UBICACIÓN La contratación será mediante contrato anual prorrogable como autónomo en jornada completa. El trabajo se desarrollará en remoto preferentemente dentro del horario de oficina del cliente para facilitar la coordinación con el resto del equipo. Banda salarial negociable en función de la experiencia aportada. Incorporación inmediata. PySpark, azure, ETL,