Arquiteto de Dados Especialista
Descrição da Vaga
Requisitos:
* Sólida experiência com integração híbrida: on-premises, AWS, GCP e Azure.* Experiência prática com conectividade corporativa.* Experiência em criação de desenho de arquiteturas multi-cloud com padronização e interoperabilidade.* Profundo conhecimento em pipelines de dados multi-cloud:AWS (Kinesis, Glue, S3, Lake Formation, Redshift, EMR, lambda)GCP (BigQuery, Dataflow/Beam, Pub/Sub, Composer)Azure (Data Factory, Synapse, ADLS, Databricks, Event Hub)* Terraform;* Esteira de deploy;* Experiência com ingestion patterns: CDC, streaming, batch, API ingestion, file ingestion.* Modelagem de dados: conceitual, lógica, física, canonical models, padrões corporativos.* Big Data e processamento distribuído (Spark, EMR, Databricksdesejável).* Governança, metadados, qualidade, catálogo e lineage.* Segurança e IAM.* Ferramentas de orquestração: Step Functions, Airflow, MuleSoft, > > > >* DatabricksJobs.* Governança de dados, metadados, Data Quality, lineage e Catálogo corporativo.* Experiência com DW/BI (Power BI (Necessário), Looker(Desejável), Tableau (Desejável), QuickSight (Desejável)).* Experiência com Big Data e processamento distribuído (Spark, Databricks, EMR).* Conhecimento sólido em mensageria (Kafka, Pub/Sub, Event Hub, Kinesis).* Experiência com BI e Self-Service (Power BI, Tableau, Looker).* Experiência com CI/CD, Infra as Code (Terraformpreferencial), GitOps.* Segurança em cloud.* Perfil "Hands-on" para apoiar no desenvolvimento da extração e ingestão de dados;
Desejáveis:
* ODI
* Conceito de Datawarehouse
* Conceito de DataMesh
* Fabric
Responsabilidades principais:* Projetar e evoluir a arquitetura corporativa de dados da C&A em um ambiente híbrido e multi-cloud(on-premises↔ AWS ↔ Azure ↔ GCP).* Desenvolver as extrações, ingestão e transformação de dados nas camadas do lake a ser construído;* Desenhar integrações entre sistemas legados e camadas de ingestão e processamento cloud.* Definir padrões de integração entre data centers locais, sistemas on-premisese soluções cloud* Garantir que a arquitetura seja resiliente, segura, performática e com custo otimizado.* Estruturar pipelines em larga escala, distribuídos entre AWS, Azure e GCP.* Definir e manter Lifecyclede dados nas camadas Bronze, Silver e Gold.* Implementar políticas de Governança de Dados, Data Quality e catálogo unificado (Lake Formation,GlueCatalog,DataHub,Collibraou equivalente).* Atuar junto às áreas de Produto, Cliente, Fornecedor na definição de domínios e modelos corporativos.* Integrar ambientes de consumo analítico e ciência de dados entre clouds* Construir arquiteturas para consumo real time e batch.* Orientar squadsde engenharia, analytics e sistemas na adoção de padrões de arquitetura unificados para o ecossistema multi-cloud.* Conduzir POCs possivelmente comparativas entre AWS, GCP e Azure.* Apoiar no desenvolvimento das extrações e ingestão de dados.