Capítulo 1 - Introdução

Este livro apresenta as técnicas e os conceitos necessários para que um profissional de dados moderno domine um processo de analytics de ponta a ponta. Contrário ao que tradicionalmente encontramos nas organizações tradicionais, a nossa visão é a de que esse profissional deva vir das áreas de negócio, não de TI como de costume. Para isso, é preciso entender o processo de analytics do início ao fim, e não somente se concentrar na ponta final da visualização de dados e modelagem. Caso contrário, corremos o risco de construir estruturas complexas em cima de pilares extremamente frágeis, dificultando a geração de valor dos projetos de dados e aumentando o estresse e a rotatividade nas equipes de dados.

Para essa nova profissão de dados deve-se combinar as capacidades analíticas, intimamente ligadas ao negócio da empresa, com um conhecimento mais geral sobre todo o processo de analytics, incluindo a capacidade de criar pipelines de dados utilizando boas práticas de engenharia de software, que raramente são aplicadas nas equipes de dados atuais.

Para muitos leitores, termos como “pipeline de dados”, “infraestrutura de dados” e “processo de analytics” podem parecer muito distantes do seu dia a dia. Afinal, qual é a relação disso com os painéis e relatórios elaborados todo final do mês?

Uma boa analogia, emprestada da visão de DataOps é o entendimento do processo de analytics como uma linha de montagem que se inicia com a obtenção dos dados (a matéria-prima), transforma esses dados através de diferentes etapas e ferramentas (a linha de montagem), para chegar aos produtos finais de dados, como relatórios, BIs e modelos (os produtos). Durante todo esse processo, testes automatizados são aplicados para garantir que os dados finais estejam nos padrões esperados. Falhas em qualquer etapa do processo são monitoradas, ferramentas específicas e alertas são automatizados.

Esse novo profissional vem sendo chamado de engenheiro(a) de analytics e é quem complementa e organiza as equipes de dados modernas.

Mas por que essa profissão é necessária em primeiro lugar? Analistas, cientistas, engenheiros e engenheiras de dados já não fazem exatamente isso?

É o que discutiremos na próxima seção.