Description:
Published: 11/08/2025
Junte-se à Digiage e ajude a construir a base de dados que impulsiona a inteligência e a inovação
Estamos em busca de um(a) Engenheiro(a) de Dados – Big Data & AWS para atuar em um projeto no cliente Prudential.
Esse(a) profissional será responsável por desenvolver, otimizar e manter pipelines de dados eficientes e escaláveis (batch e streaming), integrando múltiplas fontes de informação e garantindo a qualidade, a governança e a disponibilidade dos dados para análises avançadas e modelos de inteligência artificial.
Responsabilidades:
Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados em larga escala, utilizando o padrão Medallion (bronze, silver, gold).
Criar e otimizar processos ETL com Apache Spark e Delta Lake.
Integrar soluções de dados com serviços AWS como Glue, DynamoDB, Athena, Lambda e SQS.
Monitorar e manter a performance e a saúde dos pipelines com CloudWatch.
Automatizar infraestrutura de dados usando CloudFormation.
Requirements
- Experiência prática com Apache Spark (incluindo Spark SQL).
- Domínio de SQL para manipulação e consulta de dados.
- Vivência com pipelines ETL em batch e streaming.
- Conhecimento em bancos de dados NoSQL (ex.: DynamoDB).
- Experiência com Delta Lake (delta.io).
- Conhecimento prático em serviços AWS: Glue, DynamoDB, Athena, Lambda, SQS, CloudWatch e CloudFormation.
Perks
- Reembolso de certificações
- Day off de aniversário
APIs e tecnologia de dados para acelerar a competitividade
Description:
Published: 11/08/2025
Junte-se à Digiage e ajude a construir a base de dados que impulsiona a inteligência e a inovação
Estamos em busca de um(a) Engenheiro(a) de Dados – Big Data & AWS para atuar em um projeto no cliente Prudential.
Esse(a) profissional será responsável por desenvolver, otimizar e manter pipelines de dados eficientes e escaláveis (batch e streaming), integrando múltiplas fontes de informação e garantindo a qualidade, a governança e a disponibilidade dos dados para análises avançadas e modelos de inteligência artificial.
Responsabilidades:
Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados em larga escala, utilizando o padrão Medallion (bronze, silver, gold).
Criar e otimizar processos ETL com Apache Spark e Delta Lake.
Integrar soluções de dados com serviços AWS como Glue, DynamoDB, Athena, Lambda e SQS.
Monitorar e manter a performance e a saúde dos pipelines com CloudWatch.
Automatizar infraestrutura de dados usando CloudFormation.
Requirements
- Experiência prática com Apache Spark (incluindo Spark SQL).
- Domínio de SQL para manipulação e consulta de dados.
- Vivência com pipelines ETL em batch e streaming.
- Conhecimento em bancos de dados NoSQL (ex.: DynamoDB).
- Experiência com Delta Lake (delta.io).
- Conhecimento prático em serviços AWS: Glue, DynamoDB, Athena, Lambda, SQS, CloudWatch e CloudFormation.
Perks
- Reembolso de certificações
- Day off de aniversário
APIs e tecnologia de dados para acelerar a competitividade