informações da vaga
Estamos construindo o Common Data Backbone (CDB) - a plataforma estratégica de dados da Fugro, que possibilita a descoberta, governança e integração em todo o nosso ecossistema global de dados geoespaciais. O CDB conecta vários serviços em nuvem e aplicações de usuários finais através do Apache Kafka, servindo como a solução de integração dentro do CDB para orquestração de eventos e serviços de integração.
...
Para desenvolver e implantar ainda mais nosso CDB, queremos fortalecer a equipe com um Engenheiro de Plataforma de Dados ( Data Platform Engineer ) experiente, que irá expandir e amadurecer a infraestrutura Kafka e a implementação do Databricks na AWS. Esta função tem foco na configuração segura de clusters, gerenciamento do ciclo de vida, ajuste de desempenho ( performance tuning ), gerenciamento de pipelines do Databricks e engenharia de confiabilidade ( reliability engineering ) para garantir que a plataforma de dados funcione com padrões de nível corporativo ( enterprise-grade ).
O Que Você Fará
Projetar, implantar e manter clusters Kafka seguros e de alta disponibilidade na AWS (MSK ou autogerenciados).
Realizar planejamento de capacidade, ajuste de desempenho e dimensionamento proativo ( proactive scaling ).
Automatizar a infraestrutura e a configuração utilizando os princípios do Terraform e GitOps.
Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS.
Implementar observabilidade: métricas, dashboards no Grafana, alarmes no CloudWatch.
Desenvolver runbooks para resposta a incidentes, recuperação de desastres ( disaster recovery ) e atualizações contínuas ( rolling upgrades ).
Garantir a conformidade com requisitos de segurança e auditoria (ISO27001).
Colaborar com as equipes de desenvolvimento para fornecer as melhores práticas do Kafka para microsserviços .NET e jobs de streaming do Databricks.
Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO.
Impulsionar a melhoria contínua na otimização de custos, confiabilidade e maturidade operacional.
O Que Estamos Procurando
Mais de 5 anos de experiência em funções de plataforma de dados, plataforma em nuvem, SRE, DevOps ou engenharia de infraestrutura, incluindo pelo menos 3 anos de experiência prática operando Kafka em ambientes de produção.
Forte conhecimento dos componentes internos do Kafka: partições, replicação, ISR, quorum do controlador, KRaft.
Experiência (Expertise) em serviços AWS: VPC, EC2, MSK, IAM, Secrets Manager, redes.
Familiaridade com Databricks Structured Streaming e Kafka Connect.
Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs e design seguro de clusters.
Proficiência em Infraestrutura como Código (preferencialmente Terraform).
Familiaridade com pipelines CI/CD para configuração de clusters e tópicos.
Monitoramento e alertas usando Grafana, CloudWatch e agregação de logs.
Estratégias de recuperação de desastres.
Fortes habilidades de script (Bash, Python) para automação e ferramentas.
Excelentes habilidades de documentação e comunicação.
Inglês falado e escrito em nível, no mínimo, Intermediário-Avançado ( Upper-Intermediate ).
Pontos Bônus (Diferenciais)
Conhecimento em Schema Registry (Protobuf) e governança de schemas.
Experiência anterior trabalhando com dados geoespaciais.
Como Trabalhamos Na Fugro, acreditamos no alinhamento, autonomia e responsabilidade pessoal em todo o ciclo de vida do produto. Nosso ambiente de trabalho colaborativo combina a flexibilidade do trabalho remoto com a colaboração presencial no escritório, promovendo uma cultura construída na base da confiança.
Sobre a Fugro A Fugro é a líder mundial independente no fornecimento de soluções de geo-inteligência e integridade de ativos para grandes construções, infraestrutura e recursos naturais. Coletamos e analisamos dados sobre a Terra e as estruturas construídas sobre ela, fornecendo informações abrangentes e consultoria aos nossos clientes para ajudá-los a tomar melhores decisões sobre seus ativos e projetos. Contamos com a inovação para impulsionar a transição para emissões líquidas zero de carbono, infraestrutura segura e resiliência climática para cumprir nossa promessa de criar um mundo seguro e habitável.
ver mais
Estamos construindo o Common Data Backbone (CDB) - a plataforma estratégica de dados da Fugro, que possibilita a descoberta, governança e integração em todo o nosso ecossistema global de dados geoespaciais. O CDB conecta vários serviços em nuvem e aplicações de usuários finais através do Apache Kafka, servindo como a solução de integração dentro do CDB para orquestração de eventos e serviços de integração.
Para desenvolver e implantar ainda mais nosso CDB, queremos fortalecer a equipe com um Engenheiro de Plataforma de Dados ( Data Platform Engineer ) experiente, que irá expandir e amadurecer a infraestrutura Kafka e a implementação do Databricks na AWS. Esta função tem foco na configuração segura de clusters, gerenciamento do ciclo de vida, ajuste de desempenho ( performance tuning ), gerenciamento de pipelines do Databricks e engenharia de confiabilidade ( reliability engineering ) para garantir que a plataforma de dados funcione com padrões de nível corporativo ( enterprise-grade ).
O Que Você Fará
Projetar, implantar e manter clusters Kafka seguros e de alta disponibilidade na AWS (MSK ou autogerenciados).
...
Realizar planejamento de capacidade, ajuste de desempenho e dimensionamento proativo ( proactive scaling ).
Automatizar a infraestrutura e a configuração utilizando os princípios do Terraform e GitOps.
Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS.
Implementar observabilidade: métricas, dashboards no Grafana, alarmes no CloudWatch.
Desenvolver runbooks para resposta a incidentes, recuperação de desastres ( disaster recovery ) e atualizações contínuas ( rolling upgrades ).
Garantir a conformidade com requisitos de segurança e auditoria (ISO27001).
Colaborar com as equipes de desenvolvimento para fornecer as melhores práticas do Kafka para microsserviços .NET e jobs de streaming do Databricks.
Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO.
Impulsionar a melhoria contínua na otimização de custos, confiabilidade e maturidade operacional.
O Que Estamos Procurando
Mais de 5 anos de experiência em funções de plataforma de dados, plataforma em nuvem, SRE, DevOps ou engenharia de infraestrutura, incluindo pelo menos 3 anos de experiência prática operando Kafka em ambientes de produção.
Forte conhecimento dos componentes internos do Kafka: partições, replicação, ISR, quorum do controlador, KRaft.
Experiência (Expertise) em serviços AWS: VPC, EC2, MSK, IAM, Secrets Manager, redes.
Familiaridade com Databricks Structured Streaming e Kafka Connect.
Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs e design seguro de clusters.
Proficiência em Infraestrutura como Código (preferencialmente Terraform).
Familiaridade com pipelines CI/CD para configuração de clusters e tópicos.
Monitoramento e alertas usando Grafana, CloudWatch e agregação de logs.
Estratégias de recuperação de desastres.
Fortes habilidades de script (Bash, Python) para automação e ferramentas.
Excelentes habilidades de documentação e comunicação.
Inglês falado e escrito em nível, no mínimo, Intermediário-Avançado ( Upper-Intermediate ).
Pontos Bônus (Diferenciais)
Conhecimento em Schema Registry (Protobuf) e governança de schemas.
Experiência anterior trabalhando com dados geoespaciais.
Como Trabalhamos Na Fugro, acreditamos no alinhamento, autonomia e responsabilidade pessoal em todo o ciclo de vida do produto. Nosso ambiente de trabalho colaborativo combina a flexibilidade do trabalho remoto com a colaboração presencial no escritório, promovendo uma cultura construída na base da confiança.
Sobre a Fugro A Fugro é a líder mundial independente no fornecimento de soluções de geo-inteligência e integridade de ativos para grandes construções, infraestrutura e recursos naturais. Coletamos e analisamos dados sobre a Terra e as estruturas construídas sobre ela, fornecendo informações abrangentes e consultoria aos nossos clientes para ajudá-los a tomar melhores decisões sobre seus ativos e projetos. Contamos com a inovação para impulsionar a transição para emissões líquidas zero de carbono, infraestrutura segura e resiliência climática para cumprir nossa promessa de criar um mundo seguro e habitável.
ver maispartilhar vaga de emprego.