Evoluir significa passar de algo mais simples para algo mais complexo, desenvolvido, aperfeiçoado. Foi justamente o que aconteceu com ferramentas e sistemas para business intelligence (BI) nos últimos anos, não é mesmo?
Tanto que, agora, estamos presenciando a necessidade latente de um novo cargo em data science: o de engenheira e engenheiro de analytics.
Esses novos profissionais são responsáveis pelas novas funções, como o passo a passo na construção de um projeto de BI de sucesso. E é isso que mostraremos para você neste artigo.
E se você quiser saber ainda mais, aproveite os conteúdos da
Indicium Academy: tudo o que sabemos e fazemos de ponta a ponta em data science em um só lugar.
Boa leitura!
A estrada para um BI de sucesso é composta por técnicas e boas práticas de engenharia de analytics. Para ajudar você, a Indicium Academy organizou esse percurso em 6 passos:
- mapeamento do passado
- integração das fontes de dados
- transformação dos dados
- testes
- documentação
- visualização
Seguindo esse caminho, você será capaz de elaborar projetos de BI legíveis para clientes que não são da área de data science tomarem melhores decisões com base em dados.
Tudo pronto? Então, vamos lá!
Seu ponto de partida é o passado, ou seja, todo o histórico até o momento da análise. Ao mapear dados para extração, engenheiras e engenheiros de analytics já definem as fontes de informação, além das tabelas e datasets necessários para o projeto de BI.
Usando um banco de dados, é feita a modelagem das informações. Dessa forma, garante-se a integridade dos dados e diminui a redundância. A modelagem de dados serve também para que analistas saibam onde e como estão armazenadas as informações que serão observadas.
Os
modelos de dados definem como essas informações serão organizadas e quais as relações estabelecidas entre elas. Para isso, temos alguns
tipos de modelagem, que são principalmente estes:
- modelagem conceitual: preocupa-se com a criação de um modelo do mundo real e cria um vocabulário comum para todos os usuários de dados;
- modelagem lógica: acrescenta detalhes de implementação com dados consistentes e sem redundância;
- e modelagem física: demonstra como os dados são fisicamente armazenados.
Depois, com os dados mapeados, coletados e modelados, é chegada a hora de integrar as fontes dessas informações.
Esse passo serve para integrar, organizar e centralizar dados de diferentes fontes em um único local, como um
data warehouse, por exemplo. Para isso, a
Indicium Academy ensina a utilizar as aplicações de ELT, que são divididas pelas seguintes etapas:
- extrair dados brutos de uma ou mais fontes e salvá-los em um repositório de dados único;
- carregar os dados para um data warehouse para a utilização em uma ferramenta de BI;
- transformar os dados através da estruturação, do enriquecimento, da limpeza e da conversão para uso.
As etapas de
extração e de carregamento (EL) são fundamentais para a integração. Há também fatores importantes que devem ser levados em consideração durante esse processo, como:
- tipos de fonte (banco de dados SQL, NoSQL, API SaaS etc.)
- tipos de acesso (espelho do banco de dados, API, relatório etc.)
- ambiente (cloud, on premises etc.)
- periodicidade
- volume de dados
- tipos de processamento (full, incremental)
Para quem atua na área de engenharia de analytics, é necessário entender que dados são dinâmicos e que mudam constantemente. Por isso, cópias de segurança são essenciais como forma de prevenção, assim como teste e documentação, como veremos mais à frente.
Com os
dados brutos extraídos para um data warehouse (DW),
é feita a transformação para deixá-los prontos para uso. O próximo passo é
normalizar os dados em colunas (atributos) e tabelas (relações), garantindo que as restrições de integridade sejam seguidas.
Durante o processo de transformação, selecionam-se
dados que fazem sentido para a análise, separando atributos que geram valor. Para esse processo, na
Indicium Academy, sugerimos o uso de ferramentas de
orquestração de dados, como o
DBT.
Esse tipo de ferramenta ajuda a realizar todas as transformações mais comuns necessárias para o seu BI. É em parceria com o DBT, inclusive, que a Indicium realiza projetos mais completos.
Após a transformação dos dados,
é preciso testá-los para garantir que as informações indesejadas não foram selecionadas. O teste é parte fundamental do projeto, não podendo ficar de fora.
No processo de teste, é configurado um modelo staging, responsável por aplicar todas as alterações nos demais modelos. Na sequência, especialistas em engenharia de analytics configuram as tabelas de dimensão e de fato, armazenando dados de um único item e dados históricos respectivamente.
Só então são feitos os testes de dados propriamente ditos.
A fim de facilitar a consulta de dados no futuro, engenheiras e engenheiros de analytics precisam
documentar o projeto. Um detalhe importante é adicionar a
descrição completa de cada arquivo deixando a procura mais simples.
Criando uma página de documentação, esses profissionais auxiliam a busca de
informações essenciais como:
- fonte dos dados;
- tabelas e suas descrições;
- tamanho e número de linhas;
- colunas e seus testes.
Após os testes e a documentação dos dados, tem-se o
núcleo de desenvolvimento do projeto de BI.
Agora que você tem os dados mapeados, integrados, transformados, testados e documentados, finalmente chegou a
hora de construir o seu BI.
Pessoas que trabalham com
engenharia de analytics devem saber como
contar uma história através de seus relatórios de business intelligence, geralmente respondendo a perguntas como:
- qual o status atual da empresa?
- como chegamos até tal situação?
- como resolver tais problemas?
- qual será o futuro do negócio?
Para isso, seguem-se as etapas de
DataViz, começando pelo
contexto, quando é definido o público-alvo, o tipo de análise e os indicadores. Tendo isso estabelecido, escolhe-se o
formato da apresentação, levando em consideração a flexibilidade e complexibilidade do projeto.
Existem
boas práticas de DataViz que devem ser utilizadas para auxiliar na construção e apresentação do relatório, dando mais
clareza para deixar o gráfico o mais legível possível pelo usuário final que, por exemplo, pode não ser da área de dados.
A
coesão do projeto é outro elemento fundamental para ajudar na leitura dos gráficos. Uma forma de garanti-la é estabelecer a
função e ordem de cada item do BI e
mantê-las até o fim da apresentação.
Os
elementos visuais devem ser selecionados de acordo com o gênero dos dados analisados. Há vários tipos e categorias de gráficos disponíveis, como
coluna, barras, pizza, linhas e rede, e todos com funcionalidades específicas.
Por último, tenha atenção com a
hierarquia e o posicionamento de elementos, pois são as práticas que direcionam a leitura do dashboard.
Mas claro que isso não é tudo. Você pode ver mais
dicas sobre visualização de dados neste
tutorial prático da Indicium Academy, além de outros tutoriais disponíveis no nosso canal no
YouTube.
O universo de data science vive em
constante evolução, por isso é importante sempre se atualizar. A
Indicium Academy oferece uma
excelente oportunidade para você que busca aprendizado na área de dados.
Continue acompanhando e aprendendo com os nossos conteúdos e aproveite para se inscrever
nova turma da Formação em Engenharia de Analytics.Aproveite para
assinar a nossa newsletter e ficar por dentro das
principais novidades e de tudo o que acontece no mundo da
ciência de dados.
Se curtiu o conteúdo, deixe o seu feedback nos comentários e compartilhe!
