15.1 Os Processos de Transformação#

O ideal é que as diversas transformações necessárias para limpar e processar os dados para o uso nas diversas ferramentas posteriores no pipeline (como relatórios, BI, modelos de IA etc.) sejam centralizadas nesta etapa para garantir uma visão única dos dados em toda a organização:

  • Selecionar os campos relevantes de negócio

  • Filtrar dados incorretos ou incompletos

  • Desduplicar dados

  • Separar colunas em mais colunas (ex. separar uma coluna com dados separados por “,”)

  • Juntar dados de fontes de dados e/ou tabelas distintas

  • Renomear colunas

  • Criar novos campos e métricas calculadas

  • Ordenar dados por um ou mais campos

  • Remodelar os dados para um modelo de fatos e dimensões

  • Criar novas chaves surrogate

  • Transpor ou pivotar tabelas