Sobre

 🔎 #Conheça um pouco sobre a área: Buscamos uma pessoa experiente para liderar a fronteira de ingestão de dados na Cortex. O desafio central é construir e escalar motores de coleta (crawlers/bots) que alimentem nosso ecossistema de dados com precisão e eficiência. Você será responsável por arquitetar fluxos que transformam a web em dados estruturados prontos para análise, utilizando o que há de mais moderno em nuvem e processamento distribuído.Responsabilidades e atribuições 🎯#Desafios que você vai encontrar:Arquitetura de Coleta: Desenvolver e manter crawlers/bots de alta performance e resilientes para extração de dados em larga escala.Engenharia de Dados: Projetar e implementar pipelines de dados complexos utilizando Databricks (Spark) para processamento em lote e streaming.Orquestração: Garantir a saúde e a dependência dos fluxos de dados através de ferramentas de orquestração avançadas.Otimização em Nuvem: Gerenciar e otimizar recursos dentro do ecossistema AWS, garantindo escalabilidade e custo-benefício.Qualidade e Governança: Implementar técnicas de tratamento de erros, contorno de bloqueios (proxies, captchas) e validação de qualidade dos dados coletados.Requisitos e qualificações✔️ #Conhecimentos importantes para a posição:Linguagens: Domínio profundo de Python (focado em bibliotecas de scraping como Scrapy, Playwright, Selenium ou Beautiful Soup).Big Data: Experiência sólida com Databricks e Apache Spark (PySpark).Cloud (AWS): Experiência com serviços como S3, Lambda, Glue, Athena, EC2 e EKS.Orquestração: Conhecimento avançado em ferramentas como Airflow, Dagster ou Prefect.Bancos de Dados: Experiência com bancos SQL e NoSQL, além de entendimento de Data Lakehouses (Delta Lake).DevOps Mindset: Familiaridade com Docker, Kubernetes e pipelines de CI/CD.⭐ #Diferencial para a posição:Conhecimento em técnicas de evasão de bot-detection e gestão de redes de Proxy.Experiência com ferramentas de monitoramento (Prometheus, Grafana ou ELK).Contribuições para projetos Open Source ou comunidades de dados.Informações adicionais💜 #PraVocê Nossos Beneficios:PraVocê no dia a dia 🌞:Vale Refeição e Alimentação; Gympass/TotalPass;Vittude; Auxílio home-office; PraVocê & Família👩‍👩‍👧‍👦:Plano de Saúde e Plano Odontológico (odonto é opcional); Auxílio creche (até os 6 anos completos da criança):Licença-Maternidade, Paternidade e Adotante Estendidas (#todasasfamíliasimportam); Seguro de Vida;Day Off de Aniversário (Um dia de folga para tirar no dia ou durante o mês do seu aniversário.);Dia da Família (Um dia de folga para mamães e papais tirarem entre os meses de maio e agosto e aproveitar como quiserem.);Pausa Mental (Uma semana corrida de folga em dezembro para que descansem e recarreguem as baterias. *Benefícios de acordo com a política vigente*PraVocê AINDA MAIS🔝:● Senso de propósito ao fazer parte de um time que está construindo algo que será perene e trará frutos para a sociedade, seja a Cortex em si enquanto "startup" em rápido crescimento que gerará cada vez mais empregos, seja o produto Plataforma Cortex, que será usado por cada vez mais usuários no Brasil e exterior. ● Ambiente de trabalho descontraído, jovem, empreendedor e meritocrático, sem espaço para política.. 😉 ● Oportunidade de desenvolvimento de carreira e crescimento numa empresa que não para de crescer. Valorizamos, cultivamos e respeitamos as diferenças, por isso proporcionamos um ambiente aberto e inclusivo. Todas as nossas posições são elegíveis para pessoas com deficiência.