05 sep
|
EMPRESA CONFIDENCIAL
|
Santiago
05 sep
EMPRESA CONFIDENCIAL
Santiago
Significativo empresa del sector alimentario con presencia a nivel mundial se encuentra en búsqueda de: DATA ENGINEER para integrar a su equipo.
Misión: Construir, mantener y optimizar los pipelines de datos del Datalake corporativo en AWS, integrando la información de los sistemas agrícolas, comerciales, de calidad y de soporte, de acuerdo con los estándares de arquitectura, seguridad y gobierno de datos definidos por el área, con el fin de que las áreas de negocio dispongan de información confiable, oportuna y trazable para la toma de decisiones.
- Participar en el levantamiento de requerimientos de datos con las áreas de negocio y traducirlos a soluciones técnicas.
- Desarrollar y mantener las ingestas hacia el Datalake (S3) desde bases de datos relacionales y no relacionales, APIs, OData/SAP, webhooks, colas y archivos, utilizando AWS Glue, AppFlow, Transfer for SFTP, API Gateway y Lambda.
- Desarrollar Glue Jobs en PySpark para el flujo Raw → Staging → Analytics: tipificación de datos, homologación de catálogos, limpieza, deduplicación y aplicación de reglas de negocio.
- Construir y mantener los modelos de la capa Analytics y las cargas hacia Amazon Redshift para su consumo en Tableau y Athena.
- Orquestar los procesos mediante AWS Step Functions y Amazon EventBridge, monitorear su ejecución diaria, atender fallas y ejecutar reprocesos.
- Optimizar el desempeño y el costo de los procesos (Glue, S3, Athena y Redshift), aplicando particionamiento,
formatos columnares y buenas prácticas de consulta.
- Asegurar el cumplimiento de los estándares de desarrollo definidos por el área, por parte de las células, proyectos y equipo interno, e implementar validaciones de calidad de datos y alertas.
- Documentar cada requerimiento y la solución desarrollada utilizando JIRA, y mantener actualizado el catálogo, el linaje y el diccionario de datos en OpenMetadata.
Excluyentes: SQL avanzado (window functions, CTEs, optimización de consultas). Python aplicado a datos con PySpark. AWS Glue (Jobs y Data Catalog) y Amazon S3 (arquitectura por capas, formatos columnares, particionado). Amazon Athena. Formatos Parquet, JSON y CSV. Modelamiento de datos (modelo estrella, hechos y dimensiones, cargas incrementales). Bases de datos relacionales y no relacionales. Git. Amazon Redshift, AWS Step Functions, EventBridge, Lambda, DynamoDB, AppFlow, Transfer for SFTP, Lake Formation y Secrets Manager. Extracción desde SAP (OData, SAP BW) y consumo de APIs REST/SOAP. Infraestructura como código (Terraform o CloudFormation) y CI/CD. Herramientas de catálogo y gobierno de datos (OpenMetadata).
Deseables: Tableau. Metodologías ágiles y JIRA.
Certificaciones deseables: AWS Certified Data Engineer – Associate o AWS Certified Solutions Architect – Associate.
Entre 2 y 4 años en cargos similares, con al menos 1,5 años construyendo pipelines de datos en AWS.
#J-18808-Ljbffr
📌 DATA ENGINEER (Santiago)
🏢 EMPRESA CONFIDENCIAL
📍 Santiago