Databricks Data Engineer | Senior

. Atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados utilizando o ecossistema Databricks; Definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold); Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake; Implementar soluções de ingestão, processamento e integração de dados, incluindo CDC e Structured Streaming; Atuar na orquestração de pipelines e integração de sistemas por meio do Azure Data Factory (ADF); Desenvolver APIs REST, microsserviços e automações utilizando Python; Garantir a governança, segurança, linhagem e controle de acesso aos dados; Realizar otimizações de performance, escalabilidade e custos de processamento; Atuar na observabilidade, monitoramento e sustentação de pipelines em produção; Ser referência técnica para o time, orientando profissionais e estabelecendo boas práticas de Engenharia de Dados. Experiência sólida e avançada em projetos produtivos com Databricks; Domínio de PySpark, Spark SQL, Delta Lake e Apache Spark; Experiência com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming; Experiência com Liquid Clustering, Auto Loader e otimização de tabelas Delta; Conhecimento avançado em Unity Catalog, governança, segurança, linhagem e controle de acesso; Experiência na definição de arquiteturas de dados, modelo Lakehouse e arquitetura Medallion; Experiência com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados; Domínio de Python para desenvolvimento de APIs REST, microsserviços e automações; Experiência com Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução; Conhecimento em Databricks Workflows, CI/CD, Git e Declarative Automation Bundles; Experiência com otimização de workloads, dimensionamento de recursos computacionais e redução de custos; Vivência com observabilidade, monitoramento e sustentação de pipelines em produção; Autonomia na resolução de problemas técnicos complexos e capacidade de tomada de decisão arquitetural; Experiência como referência técnica, apoiando e orientando outros profissionais. Certificações: Fortemente desejável:Databricks Certified Data Engineer Associate.Databricks Certified Data Engineer Professional.Diferencial: Databricks Certified Associate Developer for Apache Spark. Desejável: certificações AWS, Azure ou GCP relacionadas à Engenharia de Dados e Arquitetura de Soluções. Informações adicionais Benefícios Vale-alimentação e/ou vale-refeição; Plano de saúde e plano odontológico; Plano de saúde para o seu pet; Auxílio home office (para vagas remotas); Kit de boas-vindas no onboarding; Seguro de vida; Zenklub, com acompanhamento psicológico e nutricional; TotalPass; Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce); Parcerias e descontos para o seu desenvolvimento; Acesso ao conteúdo UOL; Kit maternidade; Licença maternidade e paternidade estendidas; Programa de indicações. Originally posted on Himalayas