22 oct
|
BC Tecnología
|
Las Condes
22 oct
BC Tecnología
Las Condes
En BC Tecnología buscamos un a Ingeniero a de Datos Data Engineer GCP para integrarse a un relevante proyecto tecnológico, participando en el diseño, construcción y optimización de arquitecturas de datos y procesos de integración sobre Google Cloud Platform GCP.
Buscamos profesionales con sólidos conocimientos en ingeniería de datos, procesamiento de grandes volúmenes de información, desarrollo de pipelines ETL ELT y arquitecturas escalables en la nube.
Objetivo del cargo
Diseñar, construir y optimizar arquitecturas de datos y flujos de integración ETL ELT sobre el ecosistema de Google Cloud Platform, implementando soluciones escalables de ingeniería y modelos de datos eficientes que garanticen la disponibilidad, calidad y gobernanza de la información.
El objetivo es facilitar la toma de decisiones estratégicas y el desarrollo de soluciones de analítica avanzada dentro de la organización.
Principales funciones y responsabilidades
Diseñar, desarrollar e implementar integraciones de datos para la construcción y administración de un Data Lake en Google Cloud Platform.
Gestionar y procesar grandes volúmenes de datos mediante BigQuery, asegurando disponibilidad, rendimiento y eficiencia en las consultas.
Desarrollar y administrar flujos de procesamiento de eventos en tiempo real y near real time utilizando Pub Sub y Dataflow.
Diseñar, desarrollar y optimizar procesos de ingesta, transformación y carga de datos mediante técnicas ETL ELT.
Implementar y optimizar modelos de datos en entornos Data Warehouse, facilitando las consultas y el autoservicio de analítica.
Colaborar con equipos de Data Governance en la definición de catálogos de datos, linaje de información, trazabilidad y cumplimiento de estándares de seguridad.
Automatizar el monitoreo y la generación de alertas de pipelines de datos mediante prácticas de Data Observability.
Identificar oportunamente errores y fallos en los procesos de integración, asegurando la continuidad operacional.
Implementar soluciones de procesamiento distribuido de datos.
Participar en la automatización, orquestación y despliegue de soluciones de ingeniería de datos en Google Cloud.
Requisitos y conocimientos técnicos
Experiencia en ingeniería de datos y desarrollo de soluciones sobre Google Cloud Platform GCP.
Dominio de BigQuery, incluyendo diseño, construcción, optimización y consultas sobre arquitecturas MPP Massively Parallel Processing.
Experiencia con Google Cloud Pub Sub y Dataflow, para procesamiento de eventos y flujos de datos en tiempo real.
Experiencia en diseño, construcción y mantenimiento de pipelines ETL ELT.
Conocimientos en diseño y optimización de modelos de datos para Data Warehouse y Data Lake.
Dominio avanzado de Python y SQL, incluyendo desarrollo de scripts complejos y optimización de consultas.
Conocimientos de procesamiento distribuido de datos mediante herramientas como Apache Spark.
Experiencia utilizando Terraform para la implementación y administración de infraestructura como código IaC en GCP.
Experiencia en orquestación de procesos y workflows mediante Cloud Composer Apache Airflow.
Manejo avanzado de Git y GitHub, aplicando buenas prácticas de control de versiones.
Conocimientos y experiencia en metodologías CI CD para automatización e implementación de soluciones de datos.
Conocimientos de gobernanza, calidad, seguridad, trazabilidad y linaje de datos.
Experiencia en monitoreo, observabilidad y gestión de alertas de procesos de datos.
Tecnologías principales
Cloud Google Cloud Platform GCP.
Procesamiento y almacenamiento BigQuery, Data Lake, Data Warehouse, Apache Spark.
Procesamiento en tiempo real Pub Sub, Dataflow.
Integración de datos ETL ELT.
Programación Python avanzado, SQL avanzado.
Orquestación Cloud Composer, Apache Airflow.
Infraestructura como código Terraform.
Control de versiones y despliegues Git, GitHub, CI CD.
Gobernanza y monitoreo Data Governance, Data Lineage, Data Observability.
📌 Data Engineer GCP (Las Condes)
🏢 BC Tecnología
📍 Las Condes