
ANALISTA DE ENGENHARIA DE DADOS SR – Híbrido
Vagas Inmetrics
São Paulo São Paulo Brasil
•12 horas atrás
•Nenhuma candidatura
Sobre
Na Inmetrics, a inovação e a excelência operam lado a lado em um ambiente de trabalho colaborativo, saudável e dinâmico. Nossa cultura valoriza o aprendizado constante, a transparência na comunicação e a flexibilidade, criando um espaço onde cada profissional pode se desenvolver e alcançar o seu máximo potencial.Nosso time é apaixonado por tecnologia e comprometido com entregas de valor real para os nossos clientes. Nosso diferencial é a eficiência digital. Pessoas são o nosso maior ativo, por isso, investimos em oportunidades que vão além de um salário competitivo, proporcionamos benefícios diferenciados em relação ao mercado e um ambiente de trabalho saudável e reconhecido por nossos colaboradores.#VemparainmetricsResponsabilidades e atribuiçõesA pessoa engenheira de dados irá trabalhar junto ao time de engenharia de Dados do time de Cartões na criação de Pipelines de Dados para ingestão e disponibilização de dados do domínio de cartões no data Lake Corporativo do Santander Brasil. A pessoa trabalhará com um time ágil, em projeto estratégico da área e deve possuir conhecimento em Databricks e PySpark.Requisitos e qualificaçõesConhecimentos Obrigatórios Habilidade em Databricks: Experiência em trabalhar com Apache Spark em Databricks, incluindo a criação e otimização de pipelines de dados. Experiência em Pyspark e Python e Kedro: Fortes habilidades de programação em Pyspark e Python e Kedro para desenvolver, depurar e manter códigos de transformação de dados. Processamento Batch e Streaming de Dados: Conhecimento em processamento de dados em lotes e em streaming (mensageria), com a capacidade de projetar, implementar e manter pipelines de processamento de dados. Conhecimento em DevOps: Familiaridade com o uso do Jenkins para integração e entrega contínua (CI/CD), além de automação de tarefas de implantação e gerenciamento de pipelines. Git: Proficiência em Git para controle de versão de código-fonte e colaboração eficaz em equipes de desenvolvimento. Métodos Ágeis: Compreensão dos princípios e práticas de métodos ágeis, como Kanban e Scrum, para colaboração eficaz e gerenciamento de projetos. Orquestração (por exemplo, Control-M ou outros): Conhecimento em ferramentas de orquestração de processos, o que é importante para o agendamento e controle de fluxos de trabalho. Conhecimento em Microsoft Azure: Experiência com os principais serviços da Microsoft Azure para Dados, incluindo o Azure Databricks, Azure Data Factory e Azure StorageAccounts . Conhecimentos Desejáveis Conhecimento em Azure: Experiência nos principais serviços como Aurora PostgreSQL, CloudWatch, Lambda, S3 Vivência em Ambientes On-Premises (Cloudera): Desejável Experiência anterior com a plataforma Cloudera ou outras soluções on-premises para big data, incluindo Hadoop, HBase e Hive. Conhecimento em desenvolvimento orientado a objeto: Familiaridade com linguagem JAVA é de bastante ajuda (não é necessário codar, sim interpretar). Certificações opcionais: Certificações AZ-900 (Microsoft Azure Fundamentals) e DP-900 (Microsoft Azure Data Fundamentals) são preferenciais e demonstram um conhecimento sólido da plataforma Azure e em dados.Informações adicionaisAzure-Prática, PySpark-Prática, AWS-Prática