O que é BIG DATA?

Você vai entender o que é big data, conhecer sua história e aprender como ele funciona na prática. Acompanhe!

Todos os dias são gerados 2,5 quintilhões de bytes em dados, e são as soluções modernas de big data que permitem a análise e a interpretação disso tudo.

Hoje, temos diversas ferramentas de big data disponíveis para o mercado, que são de grande importância na definição de estratégias de negócio. Com elas, as empresas modernas têm a oportunidade de melhorar seus resultados em escalas nunca antes imaginadas, a partir:

• da otimização de processos;
• do aumento na produtividade;
• da maior taxa de crescimento;
• da redução de diversos custos;
• e da tomada de decisão mais inteligente.

Esses e outros benefícios tornaram o dia a dia dos negócios mais seguro e eficiente.

Mas como surgiu o big data?

Inclusive, alguns dos primeiros registros da aplicação de dados para analisar e controlar atividades de negócios vêm de mais de sete mil anos atrás.

É isso mesmo!

Tudo já começou nos tempos da Mesopotâmia quando, na intenção de facilitar o registro do crescimento da colheita e do pastoreio, a contabilidade passou a ser introduzida no dia a dia dos negociantes.

Muito tempo depois, em 1663, tivemos a primeira análise estatística de dados já registrada. Com o intuito de aumentar a conscientização sobre os efeitos da peste bubônica que estava em andamento na época, John Graunt registrou e analisou a taxa de mortalidade em Londres e, por esses motivos, é considerado um pioneiro no campo da estatística.

Após a contribuição de Graunt, os princípios de utilização de dados continuaram a desenvolver-se. Por exemplo, em 1889, numa tentativa de organizar os dados do censo, Herman Hollerith criou um sistema de computação.

Mas, depois disso, nada muito extraordinário aconteceu na área até o século 20, quando iniciou o que chamamos de a era da informação.

Portanto, o ponto de partida dos dados como nós os conhecemos começa em 1937, quando o congresso dos EUA aprovou a Lei da Previdência Social e contratou a IBM para desenvolver um sistema para esse amplo projeto de dados.

Em seguida, para decifrar os códigos nazistas na Segunda Guerra Mundial, em 1943, a primeira máquina de processamento de dados, Colossus, foi desenvolvida pelos britânicos.

E, a partir desse desenvolvimento, o uso de dados e das máquinas só evoluiu.

Com objetivos militares, contábeis ou outros, essas tecnologias facilitavam consideravelmente a vida e os negócios coletando e processando informações de forma independente e automática.

E assim começou o século 21.

Dez anos após a construção do primeiro supercomputador, em 1995, o mundo foi apresentado pela primeira vez ao termo big data, por Roger Mougalas, diretor de pesquisa de mercado da O'Reilly Media.

E foi também nesse mesmo ano (2005) que a empresa Yahoo criou o (agora) open source Hadoop com a intenção de indexar toda a World Wide Web (www).

Atualmente, o Hadoop é usado por milhões de empresas para analisar quantidades imensas de dados. Daí para frente, a quantidade e variedade de dados aumentaram rapidamente, principalmente com o crescimento das redes sociais.

Hoje, empresas e governos passaram a estabelecer projetos de big data constantes para tomar suas decisões, e até pessoas utilizam esse recurso poderoso em seu dia a dia.

A análise de big data é o processo de localização de padrões, tendências e relacionamentos em grandes conjuntos de dados, compilando-os, processando-os e analisando-os para auxiliar na tomada de decisão.

O objetivo principal é sempre gerar valor para a organização e, para isso, são utilizadas ferramentas e técnicas específicas para cada negócio.

E como isso acontece na prática?

1) Como a Indicium ajudou uma empresa de consultoria de negócios a visualizar dados de mais de 40 milhões de empresas de forma interativa e eficiente

Uma vez, um cliente nos procurou querendo realizar consultas analíticas de big data e tomar decisões com base em informações sobre seu segmento no mercado brasileiro.

Para isso, nosso time foi desafiado a coletar todos os dados estatísticos do IBGE e informações públicas de mais de 40 milhões de empresas brasileiras disponibilizadas em diversos portais e sites do governo federal.

Sabe quais foram os resultados?

Com isso, economizou muito tempo que antes era dedicado as pesquisas e pode focar em melhorar seu serviço e aumentar suas vendas.

Com o objetivo de tomar melhores decisões na área de marketing, uma grande imobiliária nos procurou com o propósito de conseguir visualizar, em um só lugar, seu big data interno.

Nesse projeto, fomos desafiados a criar uma estratégia de business intelligence robusta e totalmente personalizada, utilizando dados da área do marketing, CRM e ERP, com auxílio da ferramenta Power BI.

Começamos realizando a importação dos dados das diversas fontes à disposição e, em seguida, desenvolvemos um data warehouse e um data lake, para termos uma estrutura sólida de banco de dados na nuvem. Depois, criamos um painel totalmente personalizado e atualizado com o Power BI.

Com isso, o cliente está sendo capaz de criar estratégias de captação de imóveis e tomar decisões financeiras orientadas por dados.