1.2 Redefinindo equipes de Dados

Um segundo problema nos projetos de analytics é o foco excessivo na modelagem preditiva sem passar pelas demais etapas da Jornada Data driven nas empresas. Ainda que, em alguns casos, seja possível gerar valor imediato em projetos pontuais de machine learning, o mais natural é que, primeiro, seja necessário desenhar uma infraestrutura moderna de analytics a partir de suas bases de coleta, transformação e armazenamento eficiente dos dados. Caso contrário, corremos o risco de investir recursos em tarefas redundantes ou de transformar os modelos de ciência de dados em um Excel modernizado, que só funciona após duas semanas de trabalho do único analista que o entende e que, em questão de dias, se tornará algo desatualizado.

Na prática, os engenheiros e engenheiras de dados se preocupam com a parte técnica e manutenção de fluxos de dados complexos e raramente fazem considerações sobre os objetivos de negócio. Cientistas de dados, por outro lado, criam modelos preditivos sem se preocuparem com a forma como eles serão utilizados em produção (pelo usuário final). Por fim, analistas de dados continuam com dificuldades em confiar nos dados que utilizam em seus relatórios e análises.

A estrutura tradicional de equipes de dados pode ter sido importante na evolução dos processos e das tecnologias necessárias para processar e transformar grandes volumes de dados na era do big data, mas o seu custo e complexidade acabaram por limitar esses projetos a grandes empresas com alta capacidade técnica e de investimento.

No entanto, com o surgimento de novas tecnologias de armazenamento escalável na nuvem (os cloud data warehouses), do processamento de dados como serviço e das ferramentas de BI self-service, já é possível que equipes pequenas ou mesmo profissionais individuais possam controlar todo o processo.

Mas, para isso, é necessário um novo tipo de profissional, que combine um conhecimento técnico suficiente de todas as etapas de projetos de analytics com noções estratégicas de negócio a fim de modelar dados brutos em informações consistentes para os tomadores de decisão. Esse profissional de dados multitarefa, o Engenheiro de Analytics, permite que empresas de todos os portes tenham acesso à infraestruturas modernas e já é uma realidade em empresas inovadoras, como Nubank, Spotify, XP Inc. entre outras.

A responsabilidade do Engenheiro de Analytics é garantir que a infraestrutura de dados da empresa permita acessar e analisar os dados-chave para a tomada de decisão e ao mesmo tempo siga um processo tecnicamente bem definido e eficiente. O analytics engineer serve ainda como uma ponte entre profissionais mais especializados que ainda realizam tarefas mais complexas ou que necessitam de tecnologias específicas.