Engenheiro de Dados Pleno GCP/DBTCompartilheReportar vaga.css-1o4ltq8{display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-box-flex-wrap:wrap;-webkit-flex-wrap:wrap;-ms-flex-wrap:wrap;flex-wrap:wrap;-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;gap:6px;}.css-1o4ltq8 >a{-webkit-text-decoration:none;text-decoration:none;}.css-1o4ltq8[data-collapsed]>div:not(:nth-of-type(-n+NaN)){display:none;}.css-1o4ltq8 .toggle-collapse{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;padding:5px 12px;font-weight:500;font-size:14px;border-radius:25px;font-weight:700;cursor:pointer;color:var(--color-text-1);background-color:var(--color-surface-5);}.css-lq967y{display:-webkit-inline-box;display:-webkit-inline-flex;display:-ms-inline-flexbox;display:inline-flex;-webkit-box-pack:center;-ms-flex-pack:center;-webkit-justify-content:center;justify-content:center;-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;padding:6px 10px;line-height:100%;font-weight:500;font-size:14px;border-radius:25px;-webkit-transition:200ms;transition:200ms;border:1px solid;}.css-lq967y:hover{-webkit-filter:contrast(.8);filter:contrast(.8);}💼 CLT😎 Pleno🌍 100% Remoto

Via Gupy

Sobre

Responsabilidades:

Análise e Planejamento de Cargas/Pipelines:

• Avaliar a arquitetura e os requisitos do DW.

Mapear os dados, transformações e processos os serviços GCP (Cloud Storage, BigQuery, Dataproc).

• Definir a estratégia de migração de dados (full load, incremental, CDC).
• Elaborar um plano de arquitetura de dados no GCP.

Design e Modelagem de Dados no GCP:

• Projetar esquemas de tabelas no BigQuery, considerando performance, custo e escalabilidade.
• Definir estratégias de particionamento e clustering para BigQuery.
• Modelar as zonas de dados no Cloud Storage (Bronze, Silver e Gold).

Desenvolvimento de Pipelines de ELT/ETL:

• Criar rotinas de transformação de dados usando Dataproc (Spark) ou Dataflow para carregar dados para o BigQuery.
• Traduzir a lógica de negócios e as transformações existentes no GCP.
• Implementar mecanismos de validação e qualidade de dados.

Otimização de Performance e Custo:

• Otimizar consultas no BigQuery para reduzir custos e melhorar o desempenho.
• Ajustar e otimizar jobs Spark no Dataproc.
• Monitorar e otimizar o uso de recursos GCP para controlar custos.

Segurança e Governança de Dados:

• Implementar e garantir a segurança dos dados em trânsito e em repouso.
• Definir e aplicar políticas de IAM para controlar o acesso aos dados e recursos.
• Garantir a conformidade com as políticas de governança de dados.

Monitoramento e Suporte:

• Solucionar problemas de desempenho e funcionalidade dos pipelines de dados e recursos GCP.

Requisitos:

• Conhecimento comprovado em DBT no minimo de 3 anos;
• Domínio de:
• models (staging, intermediate, marts)
• ref() e source()
• macros (Jinja)
• seeds e snapshots
• tests (not null, unique, custom)
• Organização em camadas:
• Staging → Transform → Mart (Data Warehouse
• Google Cloud Platform (GCP):
• BigQuery: Profundo conhecimento em modelagem de dados, otimização de consultas, particionamento, clustering, carga de dados (streaming e batch), segurança e governança de dados.
• Cloud Storage: Experiência em gerenciamento de buckets, classes de armazenamento, políticas de ciclo de vida, controle de acesso (IAM) e segurança de dados.
• Dataproc: Habilidade em provisionamento, configuração e gerenciamento de clusters Spark/Hadoop, otimização de jobs, e integração com outros serviços GCP.
• Dataflow/Composer/DBT: Conhecimento em ferramentas de orquestração e processamento de dados para pipelines ELT/ETL.
• Cloud IAM (Identity and Access Management): Implementação de políticas de segurança e controle de acesso granular.
• VPC, Networking e Security: Entendimento de redes, sub-redes, regras de firewall e melhores práticas de segurança na nuvem.
• Linguagens de Programação:
• Python e PySpark: Essencial para scripts de automação, desenvolvimento de pipelines de dados e integração com APIs GCP.
• SQL (avançado): Para BigQuery, DBT e transformações de dados.
• Shell Scripting: Para automação de tarefas.
• Controle de Versão:
• Git/GitHub/Bitbucket.

Outras Informações

Na nossa empresa, você encontrará um ambiente colaborativo e um pacote de benefícios que visa o seu crescimento, saúde e qualidade de vida. Confira abaixo os benefícios que oferecemos:

Convênio Médico Porto Seguro

Cuidado completo para você e sua família, com possibilidade de incluir cônjuge e filhos.

Convênio Odontológico Porto Seguro

Proteção odontológica para você e seus dependentes.

Participação nos Lucros e Resultados (PLR)

Reconhecimento pelo seu trabalho e contribuição para o sucesso da empresa.

Auxílio Creche

Suporte financeiro para que pais e mães cuidem dos pequenos com tranquilidade.

Vale Alimentação e Refeição Alelo

Garantindo refeições práticas e confortáveis no seu dia a dia.

Auxílio Home Office

Incentivo para que você tenha um espaço de trabalho confortável em casa.

Parcerias com Instituições de Ensino

Educação ao seu alcance, com descontos e incentivos em cursos e graduações.

Incentivo para Certificações, inclusive em Cloud

Avance sua carreira com certificações nas principais tecnologias como: GCP, Azure, AWS entre outras.

Pontos Livelo

Acumule pontos e use como preferir, com total liberdade de escolha.

TotalPass

Incentivo à saúde com planos de academia com desconto para colaboradores e familiares.

Mindself

Incentivo à melhorar a qualidade de vida através de meditação e o Mindfulness.

.css-oodivh{border-radius:16px;}.css-oodivh .tile-content{padding:24px;color:var(--color-text-1);display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;}.css-oodivh .tile-content .icon{font-size:32px;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;margin-right:16px;}.css-oodivh .tile-content .info{width:100%;}.css-oodivh .tile-content .info >p{margin:0;font-weight:500;font-size:16px;line-height:140%;margin-bottom:8px;}.css-oodivh .tile-content .info >p:last-of-type{margin-bottom:0;}@media screen and (max-width: 760px){.css-oodivh .tile-content .icon{display:none;}}.css-oodivh.success{background-color:rgba(46, 123, 50, .5);}.css-oodivh.info{background-color:rgba(253, 203, 213, .5);}.css-oodivh.warning{background-color:rgba(224, 183, 0, .5);}.css-oodivh.danger{background-color:rgba(211, 47, 47, .5);}.css-oodivh.info-purple{background-color:#730ACE;}.css-oodivh.info-purple p,.css-oodivh.info-purple a,.css-oodivh.info-purple svg{color:#fff;}.css-oodivh.light-purple{background-color:var(--color-surface-5);}.css-oodivh.hover-light{background-color:var(--color-hover-light);}.css-oodivh.blue{background-color:#1E014C;}.css-oodivh.blue .tile-content,.css-oodivh.blue p{color:#fff;}.css-oodivh:not(:last-child){margin-bottom:16px;}

Hey!

Cadastre-se na Remotar para ter acesso a todos os recursos da plataforma, inclusive inscrever-se em vagas exclusivas e selecionadas!

Acessar