Engenheiro de Dados Pl
Descrição da vaga
Buscamos profissionais que tenham vontade de crescer, colocar a mão na massa e fazer acontecer. Vivemos um momento único, recheado de desafios e oportunidades para agregar ainda mais valor aos nossos clientes. Se você tem esse perfil e essa ambição, inscreva-se nesta vaga e junte-se a nós para construir o futuro do mercado financeiro.
#VemSerGenial
Responsabilidades e atribuições
- Desenvolver e evoluir pipelines de dados batch e streaming utilizando Python, Spark e Databricks.
- Construir integrações com bancos de dados, APIs e serviços AWS.
- Modelar e transformar dados seguindo os padrões de arquitetura e qualidade da plataforma.
- Monitorar pipelines em produção, atuando na investigação de falhas, performance e causa raiz.
- Participar de code reviews e contribuir para a evolução dos padrões de engenharia do time.
- Trabalhar próximo às áreas de negócio para entender requisitos e transformar necessidades em soluções de dados.
- Garantir boas práticas de qualidade, segurança, governança e observabilidade dos dados.
Requisitos e qualificações
- Python sólido para engenharia de dados, com boas práticas de desenvolvimento, testes e tratamento de erros.
- SQL, incluindo CTEs, window functions e otimização de queries.
- Apache Spark / PySpark, com entendimento de particionamento, shuffle, joins, cache e planos de execução.
- Delta Lake, incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento.
- Databricks, com experiência em Jobs/Workflows e conhecimentos de Unity Catalog.
- AWS para dados, principalmente S3, IAM e serviços de integração/mensageria.
- Modelagem dimensional e arquitetura em camadas, incluindo SCD tipos 1 e 2.
- Git e desenvolvimento via pull request.
- Experiência com ingestão de bancos relacionais e APIs REST.
- Experiência no mercado financeiro.
- Structured Streaming.
- Databricks Asset Bundles e Terraform.
- CI/CD para pipelines de dados.
- Delta Lake, incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento.
Informações adicionais
Assistência Médica
Assistência Odontológica
Vale Refeição
Vale Alimentação
Seguro de Vida
Total Pass
GymPass
Aux. Creche
PPR
São Paulo, modelo Remoto
Etapas do processo
- Etapa 1: Cadastro
- Etapa 2: Triagem
- Etapa 3: Validação Talent Attraction
- Etapa 4: Validação Gestor
- Etapa 5: Validação Area Parceira 1
- Etapa 6: Validação Area Parceira 2
- Etapa 7: Validação Area Parceira 3
- Etapa 8: Proposta
- Etapa 9: Contratação
Venha ser Genial você também!
O que é ser Genial?
É buscar a excelência, é fazer acontecer. É ser talentoso, inteligente, curioso e aceitar qualquer desafio. É se apresentar e defender as suas ideias. É colocar o cliente em primeiro lugar e ser apaixonado pelo que faz.
Por que a Genial?
Porque somos digitais, mas também somos humanos. Se você, assim como nós, acredita que investimento não é sinônimo de terno e gravata, queremos conhecer você!
Sobre Nós
A empresa que investe em você! Descomplicamos o mercado financeiro para que nossos clientes consigam tomar boas decisões na hora de investir.
Nossos Valores
Buscar os melhores resultados para os clientes;
Colocar excelência em tudo que fazemos;
Ser uma empresa responsável, transparente e sustentável;
Inovar para inspirar;
Ser apaixonado pelo que faz;
Aprender e melhorar sempre.
Conheça mais sobre nós