12 sep
|
Importante empresa del sector
|
San Bernardo
12 sep
Importante empresa del sector
San Bernardo
Habilitar y gobernar los datos requeridos por el proyecto, construyendo y ajustando pipelines de ingesta e integrándolos al Data Lake corporativo bajo los lineamientos y estándares de arquitectura vigentes.
Alcances / responsabilidades
• Evaluar las fuentes de datos del proyecto en calidad, completitud y consistencia.
• Construir y ajustar pipelines de ingesta, e integrar los datos al Data Lake corporativo bajo los estándares de arquitectura vigentes.
• Apoyar la gobernanza de datos (linaje, data agreements, diccionario de datos).
• Desplegar pipelines a producción y ejecutar el traspaso técnico a continuidad operacional.
Requisitos mínimos (obligatorios)
• Mínimo 4 años de experiencia práctica real en proyectos con Databricks y tecnologías cloud.
• Dominio de Databricks, SQL y Python; PySpark para procesamiento distribuido de datos.
• Delta Lake y Unity Catalog: modelamiento por capas (bronze / silver / gold), gestión de permisos y linaje.
• Creación, orquestación y monitoreo de pipelines productivos con Databricks Workflows, Delta Live Tables (DLT) o equivalentes (al menos 2 años).
• Azure Data Factory y Azure Data Lake Storage (integración, transformación y gestión de flujos de datos).
• Databricks Asset Bundles (DAB) para despliegue y productivización.
• Buenas prácticas de ingeniería de software (código modular, mantenible, con testing y documentación) y control de versiones con Git: ramas, pull requests y code review.
• Metodologías ágiles y Azure DevOps; buenas prácticas de calidad de datos (validaciones de completitud, duplicidad, rangos válidos y consistencia).
• Deseable: Databricks Certified Data Engineer Associate (valorada / diferenciador en postulación).
• Deseable: Databricks Certified Associate Developer for Apache Spark (valorada / diferenciador en postulación).
• Deseable: DP-750 — Azure Databricks Data Engineer Associate.
• Experiencia con fuentes de datos de entornos industriales: historiadores de proceso (PI System o equivalentes), LIMS, sistemas de despacho o ERP (suma como diferenciador).
• Deseable experiencia previa en proyectos de datos en la industria minera
📌 Ingeniero de datos (San Bernardo)
🏢 Importante empresa del sector
📍 San Bernardo