Capítulo 14 - Ingestão de dados

A etapa de Ingestão de Dados compreende os processos de acessar os dados onde estão armazenados e enviá-los para um outro local para processamento. Também pode incluir ferramentas que coletam dados diretamente de eventos. Nosso objetivo nesta etapa é obter os dados na sua forma mais bruta para realizar a transformação dentro do DW.

Na próxima seção falamos brevemento sobre o processo de acessar os dados das fontes transacionais. Em seguida, passamos de forma introdutória sobre os tipos de ingestão ou processamento de dados (full ou incremental). Por fim, mostramos um exemplo prático de ingestão utilizando uma ferramenta do Modern Data Stack, o Airbyte.