Wellington BarbosaEngenharia de dados & software

Pipeline ETL que trouxe os dados de volta para dentro da casa

O fim da dependência de um sistema legado terceirizado.

O problema

Uma operadora de saúde pagava mensalidades altas a um fornecedor para manter acesso a informações que eram dela. O único meio de obter os dados era exportar relatórios em planilha, um a um: mais de 100 tipos de relatório, gerados manualmente todo mês.

Visão geral

  1. Origens

    • Sistema legado terceirizadoMais de 100 tipos de relatório
    • Sistema de gestão (ERP)Cadastros de referência
  2. Extração

    • Extração automáticaSubstitui a geração manual todo mês
  3. Transformação

    • Limpeza e tratamentoCorrige, recupera o ilegível
    • Cruzamento com o ERPCompleta o que faltava
  4. Validação

    • Conferência com a origemTotais e amostras antes de liberar
  5. Destino

    • Banco de dados da empresaOracle e PostgreSQL
    • Relatórios e painéisPower BI

OrquestraçãoAgendador com registro de cada execução, rodando fora do horário de pico. Uma regra de negócio que muda é ajustada em um lugar só.

Do relatório manual ao dado dentro da casa: cada etapa do pipeline, da origem ao destino.

O que construí

  • Fui responsável pelo projeto de ponta a ponta, da análise dos dados de origem até a carga no ambiente da empresa.
  • Extração automática: substituiu a geração manual dos mais de 100 relatórios mensais e tornou o processo repetível, sem depender de esforço humano.
  • Tratamento e limpeza: cruzava os dados do legado com o sistema de gestão para corrigir informações incorretas, recuperar registros ilegíveis e enriquecer o que estava incompleto antes da carga.

Por dentro

Dado conferido antes de ser liberado

Cada carga nova é validada comparando totais e amostras com a origem. Só depois de bater é que o dado chega a quem vai usá-lo.

Sem pesar no sistema de produção

As consultas de extração passam por análise de desempenho e rodam fora do horário de pico, para que ninguém perceba o pipeline funcionando.

Um processo que se repete sozinho

A orquestração fica por conta de um agendador, com registro de cada execução. Se a regra de negócio muda, o ajuste é feito em um lugar só.

O resultado

  • Os dados passaram a estar sob controle da empresa, e a dependência do fornecedor acabou.
  • Economia estimada de R$ 2 milhões em mensalidades contratuais.

Tem um problema parecido?

Conte o cenário e eu digo, sem compromisso, por onde eu começaria.

Falar comigo

Veja também

Voltar aos projetos