07 may
|
Empresas Humannet - Chile
|
Santiago
07 may
Empresas Humannet - Chile
Santiago
Empresa de tecnología busca un Data Engineer para trabajar de manera remota en un proyecto.
Condiciones:
1.Renta: a convenir.
2.Horario: lunes a viernes, jornada de 44 horas.
3.Lugar de trabajo: remoto.
4.Funciones:
Revisión de documentación y fuentes
- Analizar los archivos de ejemplo de hasta 6 fuentes de datos (brokers/vehículos, JSON de assets, etc.) y su metadata disponible.
- Identificar campos principal, llaves de negocio y necesidades de normalización/anonimización.
Diseño técnico de la solución ETL
- Definir el modelo de datos común para las 6 fuentes (esquemas, tipos, particiones y naming en S3).
- Diseñar el flujo ETL
Configuración de la plataforma en AWS
- Crear y/o ajustar buckets S3, estructuras de carpetas y permisos básicos para el data lake.
- Configurar Glue Catalog (tablas y bases) y recursos básicos de Glue para la orquestación.
Desarrollo de pipelines ETL para hasta 6 fuentes
- Implementar jobs de ingestión: lectura de archivos, tipificación de campos, gestión de errores.
- Implementar jobs de normalización: mapping de columnas a modelo estándar, enriquecimientos básicos, generación de datasets curados listos para cálculo.
- Incorporar reglas mínimas de calidad de datos (campos obligatorios, tipos,
rangos) y logging de registros rechazados.
Tets y afinamiento
- Ejecutar test con datos reales/de ejemplo para las 6 fuentes, documentar incidentes y ajustar transformaciones.
- Medir tiempos de proceso y revisar estructura de particionado para optimizar consultas posteriores.
Documentación y traspaso
- Documentar los flujos ETL (diagramas sencillos, descripción de jobs/tablas, rutas de S3, reglas por fuente).
- Realizar una sesión de handover con el equipo del cliente para explicar cómo operar y extender los pipelines.
5.Requisitos:
- Experiencia mínima: 3 años como Ingeniero de Datos / Data Engineer trabajando con procesos ETL.
Experiencia en:
- Diseño e implementación de pipelines ETL/ELT (idealmente en proyectos de consolidación de múltiples fuentes).
- Manejo de datos en AWS:
- Obligatorio: S3, IAM, servicios de cómputo orientados a datos (AWS Glue, AWS Lambda o similar).
- Deseable: Athena y/o Redshift para pruebas/validación de datos.
- Uso de SQL para consultas y validaciones; deseable Python para scripts de transformación.
- Trabajo con formatos de datos como CSV, Excel, JSON
📌 Data Engineer Remoto (Santiago)
🏢 Empresas Humannet - Chile
📍 Santiago