Engenheiro de Dados Sênior

Engenheiro de Dados Sênior

Engenheiro de Dados Sênior

Catho

Catho

São Paulo - SP

2 dias atrás

Nenhuma candidatura

Sobre

· Migrar dados e processos de sistemas legados e transacionais para o Databricks Lakehouse. · Desenvolver e otimizar pipelines de dados em Databricks (PySpark e SQL). · Estruturar e manter a arquitetura em camadas (medalhão). · Criar e configurar schemas, jobs e integrações do ambiente. · Aplicar CI/CD e versionamento em Databricks (Repos/Git). · Garantir governança e segurança de dados com Unity Catalog. · Atuar de forma consultiva junto ao cliente, entendendo necessidades e propondo soluções. · Experiência prática em Databricks (clusters, jobs, workflows, notebooks). · Conhecimento em PySpark e SQL para pipelines de dados. · Vivência na implementação da arquitetura medalhão (bronze/silver/gold). · Uso de Unity Catalog para governança e segurança. · Experiência com CI/CD e versionamento de código no Databricks. · Experiência em projetos de migração de dados legados (on-premise ou cloud) para data lakes/lakehouse. · Alguma experiência em cloud (AWS, Azure ou GCP). Diferenciais: Ž · Otimização e boas práticas com Delta Lake (Z-Ordering, Optimize, Time Travel). · Experiência com integrações (CRM, DMS, ferramentas de BI). · Vivência em ambiente de consultoria com contato direto com cliente.