27 oct
|
Importante grupo
|
San Bernardo
27 oct
Importante grupo
San Bernardo
Habilitar y gobernar los datos requeridos por el proyecto, construyendo y ajustando pipelines de ingesta e integrándolos al Data Lake corporativo bajo los lineamientos y estándares de arquitectura vigentes.
Alcances / responsabilidades
- Evaluar las fuentes de datos del proyecto en calidad, completitud y consistencia.
- Construir y ajustar pipelines de ingesta, e integrar los datos al Data Lake corporativo bajo los estándares de arquitectura vigentes.
- Apoyar la gobernanza de datos (linaje, data agreements, diccionario de datos).
- Desplegar pipelines a producción y ejecutar el traspaso técnico a continuidad operacional.
Requisitos mínimos (obligatorios)
- Mínimo 4 años de experiencia práctica real en proyectos con Databricks y tecnologías cloud.
- Dominio de Databricks, SQL y Python; PySpark para procesamiento distribuido de datos.
- Delta Lake y Unity Catalog: modelamiento por capas (bronze / silver / gold), gestión de permisos y linaje.
- Creación, orquestación y monitoreo de pipelines productivos con Databricks Workflows, Delta Live Tables (DLT) o equivalentes (al menos 2 años).
- Azure Data Factory y Azure Data Lake Storage (integración, transformación y gestión de flujos de datos).
- Databricks Asset Bundles (DAB) para despliegue y productivización.
- Buenas prácticas de ingeniería de software (código modular, mantenible, con testing y documentación) y control de versiones con Git: ramas, pull requests y code review.
- Metodologías ágiles y Azure DevOps; buenas prácticas de calidad de datos (validaciones de completitud, duplicidad, rangos válidos y consistencia).
- Deseable: Databricks Certified Data Engineer Associate (valorada / diferenciador en postulación).
- Deseable: Databricks Certified Associate Developer for Apache Spark (valorada / diferenciador en postulación).
- Deseable: DP-750 — Azure Databricks Data Engineer Associate.
- Experiencia con fuentes de datos de entornos industriales: historiadores de proceso (PI System o equivalentes), LIMS, sistemas de despacho o ERP (suma como diferenciador).
- Deseable experiencia previa en proyectos de datos en la industria minera
📌 Ingeniero de datos (San Bernardo)
🏢 Importante grupo
📍 San Bernardo