Descrição:
Publicada: 27/06/2025
Junte-se à Digiage e ajude a construir e manter pipelines de dados de alta performance em escala!
Estamos em busca de um(a) Engenheiro(a) de Dados para atuar em projetos desafiadores com foco em transformação, modelagem e arquitetura de dados na nuvem.
Esse(a) profissional será parte de um time técnico responsável por soluções robustas em ambientes distribuídos e com tecnologias modernas como Apache Spark, Delta Lake e serviços da AWS.
Responsabilidades
- Desenvolver e manter pipelines de dados para aquisição, transformação e disponibilização de dados em larga escala (batch e streaming);
- Criar e otimizar processos ETL utilizando Apache Spark e Delta Lake;
- Atuar na modelagem de dados e construção de estruturas escaláveis e resilientes;
- Integrar soluções com serviços AWS como Glue, DynamoDB, Athena, Lambda, EMR e SQS;
- Monitorar e manter a saúde dos pipelines utilizando CloudWatch;
- Automatizar a infraestrutura de dados com CloudFormation ou ferramentas similares;
- Colaborar com os times de engenharia, análise e produto para garantir a disponibilidade e confiabilidade dos dados.
Habilidades
- Apache Spark
- ETL
- SQL
Requisitos
- Experiência prática com Apache Spark (incluindo Spark SQL);
- Sólidos conhecimentos de SQL para manipulação e consulta de dados;
- Vivência com pipelines ETL batch e streaming;
- Conhecimento de bancos de dados NoSQL (ex: DynamoDB, MongoDB, Cassandra);
- Experiência com Delta Lake (delta.io);
- Noções práticas dos principais serviços da AWS: Cola, DynamoDB, Athena, Lambda, EMR, SQS, CloudWatch, CloudFormation (ou similar)
Diferenciais
- Conhecimento em Databricks;
- Experiência com Spark Structured Streaming;
- Familiaridade com boas práticas de versionamento, testes e CI/CD em pipelines de dados.
Benefícios
- Day off na semana do aniversário
- Reembolso de certificações
APIs e tecnologia de dados para acelerar a competitividade
Descrição:
Publicada: 27/06/2025
Junte-se à Digiage e ajude a construir e manter pipelines de dados de alta performance em escala!
Estamos em busca de um(a) Engenheiro(a) de Dados para atuar em projetos desafiadores com foco em transformação, modelagem e arquitetura de dados na nuvem.
Esse(a) profissional será parte de um time técnico responsável por soluções robustas em ambientes distribuídos e com tecnologias modernas como Apache Spark, Delta Lake e serviços da AWS.
Responsabilidades
- Desenvolver e manter pipelines de dados para aquisição, transformação e disponibilização de dados em larga escala (batch e streaming);
- Criar e otimizar processos ETL utilizando Apache Spark e Delta Lake;
- Atuar na modelagem de dados e construção de estruturas escaláveis e resilientes;
- Integrar soluções com serviços AWS como Glue, DynamoDB, Athena, Lambda, EMR e SQS;
- Monitorar e manter a saúde dos pipelines utilizando CloudWatch;
- Automatizar a infraestrutura de dados com CloudFormation ou ferramentas similares;
- Colaborar com os times de engenharia, análise e produto para garantir a disponibilidade e confiabilidade dos dados.
Habilidades
- Apache Spark
- ETL
- SQL
Requisitos
- Experiência prática com Apache Spark (incluindo Spark SQL);
- Sólidos conhecimentos de SQL para manipulação e consulta de dados;
- Vivência com pipelines ETL batch e streaming;
- Conhecimento de bancos de dados NoSQL (ex: DynamoDB, MongoDB, Cassandra);
- Experiência com Delta Lake (delta.io);
- Noções práticas dos principais serviços da AWS: Cola, DynamoDB, Athena, Lambda, EMR, SQS, CloudWatch, CloudFormation (ou similar)
Diferenciais
- Conhecimento em Databricks;
- Experiência com Spark Structured Streaming;
- Familiaridade com boas práticas de versionamento, testes e CI/CD em pipelines de dados.
Benefícios
- Day off na semana do aniversário
- Reembolso de certificações
APIs e tecnologia de dados para acelerar a competitividade