Sobre a empresa
Há quase 40 anos, o Grupo Stefanini transforma desafios em oportunidades por meio da tecnologia, da inovação e das pessoas. Somos um ecossistema global de tecnologia, presente em mais de 40 países e formado por mais de 35 mil pessoas, conectadas pelo propósito de cocriar soluções para um futuro melhor.
Nossa cultura é construída todos os dias pelas pessoas que fazem parte dessa história. Valorizamos relações éticas, o protagonismo, o aprendizado contínuo e a capacidade de transformar ideias em resultados. Esse jeito de ser se traduz nas nossas 5 Atitudes Empreendedoras: Comprometimento com o cliente, Liderança pela atitude, Respeito pelas pessoas, Coragem para inovar e Humildade para aprender.
Acreditamos que tecnologia só gera transformação quando existe uma verdadeira parceria entre pessoas, negócios e inovação. Por isso, buscamos fazer a diferença para nossos clientes, nossos talentos e para a sociedade, construindo soluções que gerem valor e contribuam para um futuro melhor.
É assim que seguimos evoluindo: com coragem para inovar, humildade para aprender, respeito para construir juntos e comprometimento para fazer acontecer.
Sobre a vaga
Na Stefanini, você fará parte de uma jornada de transformação que combina tecnologia, inteligência artificial e criatividade humana para gerar impacto real. Como Engenheiro(a) de Dados Pleno, atuará na migração de tabelas e pipelines do Cloudera Hadoop para a AWS, acompanhando o trabalho desde o levantamento inicial até a estabilização em produção.
Responsabilidades
- Mapear jobs, pipelines, consultas em HQL e rotinas de orquestração em Shell Script no ambiente Cloudera.
- Converter consultas HQL para Amazon Athena, AWS Glue ou Amazon EMR, selecionando a solução conforme o caso de uso, considerando custo, desempenho e padrão de acesso.
- Redesenhar rotinas em Shell Script utilizando serviços gerenciados da AWS, como Step Functions, Lambda, EventBridge e MWAA/Airflow.
- Modelar o data lake de destino no Amazon S3, organizando as zonas raw, trusted e refined, e utilizar Amazon Redshift quando aplicável.
Requisitos obrigatórios
- Experiência com Cloudera Hadoop, HQL e Shell Script.
- Conhecimento de Amazon Athena, AWS Glue e Amazon EMR.
- Conhecimento de AWS Step Functions, AWS Lambda, Amazon EventBridge e Amazon MWAA/Airflow.
- Conhecimento de Amazon S3 e Amazon Redshift.
Diferenciais
- Experiência com migração de dados e pipelines entre diferentes ambientes.
- Conhecimento de outras tecnologias de Big Data e cloud.
O que esperamos
Buscamos uma pessoa com experiência em engenharia de dados, capaz de contribuir em diferentes etapas de uma migração e de avaliar soluções considerando custo, desempenho e padrões de uso. Sua pretensão salarial também será considerada no processo.