Sobre

.Responsabilidades e atribuiçõesCriar pipeline de dados para obtenção dos dados com airflow/spark;Implementar controles de acesso e auditoria para proteger dados sensíveis e garantir conformidade com regulamentações;Migrar e integrar dados existentes na nova plataforma, assegurando a continuidade das operações e a integridade dos dados;Otimizar o desempenho de pipelines de dados, ajustando parâmetros e configurando corretamente os recursos;Monitorar e depurar pipelines para identificar e resolver gargalos e problemas de desempenho.Requisitos e qualificaçõesApache Spark, Apache AirFlow, Apache Iceberg;Cloud AWS: Glue, S3, EMR, Lake Formation, Lambda;Python e Scala;Criação e gerenciamento de pipelines de dados, agendando e monitorando tarefas de ETL.Não possui todos os requisitos para a vaga?Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.Informações adicionais#remote"remote"