Big Data tornou-se rapidamente uma buzzword. Segundo o Gartner, o Big Data faz parte do “Nexus das 4 forças”, ao lado de Cloud, Social e Mobile. Juntas, estas quatro forças se potencializariam para transformar os negócios nas quais estão inseridas – com social e mobile sendo os grandes responsáveis pela geração de uma massa descomunal de dados, suportados pelo modelo escalável de cloud computing. O Big Data seria então o elo final da cadeia, fornecendo o poder computacional capaz de transformar este volume colossal de dados em informação relevante para a tomada de decisão no âmbito corporativo ou individual.

Áreas como Marketing, RH e Operações já debate o Big Data internamente, e até mesmo os grandes veículos de comunicação de massa já divulgam a sua utilização para a população em geral (o vazamento dos documentos da NSA tiveram uma grande contribuição nesse sentido). Com toda essa propaganda, o Big Data vem sendo tratado por muitas pessoas como a bala de prata para solução de todos os problemas corporativos de acesso à informação.

Conceitualmente, o Big Data vem para tratar dados que possuem três características principais, os chamados “3 V’s”: Volume, Velocidade e Variedade. Ou seja, os dados têm que ter um volume gigantesco, precisam ser tratados com grande velocidade e terem formatos e tipos variados. Um exemplo bastante típico desse tipo de aplicação seria a área de serviço ao cliente de uma empresa de locação de veículos: monitorando os dados de redes sociais, a empresa poderia monitorar seus clientes e, cruzando com a base de histórico de consumo, identificar um post insatisfeito de um cliente com grande lucratividade quando este estivesse aguardando na fila para locação num aeroporto e atuar imediatamente mandando alguém para fazer um atendimento personalizado. Nessa aplicação, os 3V’s estão claramente presentes: tratamento de um grande volume de dados (posts em redes sociais), de formato variado (cruzando os dados não estruturados de redes sociais com o cadastro corporativo de clientes) e numa grande velocidade (para realizar o atendimento enquanto o cliente ainda estiver na fila).

Esse caso de uso é tão específico que atualmente os autores já “relaxaram” o conceito, de forma que aplicações que apresentem dois dos três V’s já são consideradas também Big Data. Mesmo assim, o que muitas empresas precisam ainda é muito mais simples do que isso. Em muitos casos, elas precisam apenas analisar dados pequenos (da ordem de centenas de milhares de registros), minimamente estruturados (dados de sistemas ou planilhas ou até mesmo páginas web bem comportadas) e com pouca necessidade de velocidade (os dados estão lá por dias, meses ou até anos) para fazer uma análise histórica ou uma projeção estatística.

Muitos profissionais de TI perguntariam a esta altura: qual a dificuldade então? A tecnologia de Business Intelligence para tratar informações deste tipo já é madura há pelo menos 15 anos…

Em grande parte dos casos, a resposta é a mesma para Big e Small Data: os dados.

As novas tecnologias de Big Data proporcionaram a capacidade de processar um volume descomunal de dados, através de um cluster de máquinas comuns, de um appliance onde todos os dados ficam em memória ou até mesmo de uma dessas opções sendo utilizadas na nuvem. Porém, quando falamos em capacidade de processamento, estamos falando basicamente em performance. Não qualidade. E muito menos cultura. E ambas as coisas pesam muito quando se fala de suporte à decisão, qualquer que seja o tamanho dos dados. E ambas devem estar presentes na formulação da estratégia de BI.

Traduzindo: processos e pessoas são tão importantes na formulação de uma estratégia de BI quanto tecnologia. E não apenas o cliché de “envolver os usuários no projeto para facilitar a gestão da mudança”. Estes dois pilares devem ser pensados de forma ampla durante o planejamento de um projeto, sob o risco de acontecer o que vemos em muitos casos: usuários buscando parte das informações do BI, parte do ERP, parte de planilhas internas da área para gerar um relatório em powerpoint para uma reunião mensal de performance. Se você nunca viu nada parecido, pode parar de ler este artigo aqui.

Isso acontece justamente porque o processo e as pessoas são apenas supostamente tratados no projeto. Alguns dos principais aspectos que levam a este cenário são:

Governança dos dados: quando o processo de geração e atualização dos dados não é maduro, tampouco são os dados oriundos dele. Por isso, várias vezes a área de negócio extrai uma informação do BI e se apoia numa planilha de controle interna, preenchida manualmente, para filtrar / tratar os dados de forma a remover estas inconsistências antes de gerar um relatório final.

Governança do BI / falta de agilidade para mudança: a criatividade dos gestores para a geração de relatórios é infinita – o que, ao contrário do que muitas áreas de TI pensam, é uma coisa boa, dado que isso leva a uma maior riqueza de informações para suportar a tomada de decisão e a inovação. Por isso, muitas vezes o analista de uma área se vê em uma situação onde precisa cruzar os dados do BI com dados que não estão nele, ou que algumas vezes até estão mas que ele não tem acesso. Assim, a solução trivial para seu problema é ir diretamente até a fonte dos dados, extrair um relatório manualmente e cruzar com os dados do BI (em geral usando uma planilha Excel). Isso porque criar um novo cubo ou adicionar as informações necessárias ao cubo existente geralmente envolve um longo e caro projeto

Formato da publicação: esse ponto tem a ver com a resistência à mudança. Muitas vezes, gestores com pouca intimidade com ferramentas analíticas querem que os relatórios continuem sendo enviados como sempre foram: um arquivo powerpoint ou, mais simples ainda, um email com um gráfico e uma explicação. E não adianta querer passar um link para que ele acesse um dashboard interativo com gráficos em 3D…

Velocidade de atualização: a utilização do BI, por conta do processo desenhado, às vezes é descasada da periodicidade do processo de carga dos dados. Com isso, as informações não estão atualizadas quando são necessárias para tomada de decisão, o que faz com que tenham que continuar a ser geradas manualmente

Estes pontos, quando não são bem tratados desde o início, fazem com que o BI seja subutilizado e o processo de geração dos relatórios e indicadores continue com alto grau de esforço manual, o que acarreta em baixa produtividade da equipe, baixa confiabilidade das informações (dado que o processo manual de geração é mais sujeito a erros) e atraso na geração das informações. E é exatamente este cenário que os gestores esperam resolver com o Big Data. Assim, provavelmente o único “big” será a desilusão ao final do processo…

Para solucionar os problemas descritos, a estratégia de BI deve endereçar não só os cenários típicos, onde os dados são extraídos de uma fonte confiável (ERP ou outros sistemas da companhia) num processo maduro e estável. Ela deve endereçar também, na evolução do processo, a extensão rumo à flexibilidade para o tratamento de distintas fontes de dados, geralmente mutáveis ao longo do tempo, ou para publicação dos resultados em formatos também distintos, que acompanhem os anseios dos usuários que querem receber apenas seu e-mail resumo.

A abordagem tradicional para essa flexibilização, o chamado “Self-Service BI”, está longe de atender a todos esses requisitos. Embora seja uma grande evolução dos modelos mais engessados de disponibilização de informações, ele ainda exige um grande esforço e conhecimento das áreas quando é preciso mais do que fazer uma agregação ou filtro diferente para a geração de um relatório. Quando colocam-se estes pontos em um ambiente corporativo complexo, com milhares de pessoas de níveis distintos, o que se vê é que as pessoas buscam a solução mais simples e conveniente – que neste caso é voltar para o Excel e tratar manualmente os dados das diversas fontes.

Uma solução para este cenário, já testada e implantada em alguns clientes da Visagio, é o BI as a service. O conceito do BIaaS é manter uma célula especialista em tratamento e geração de dados, munida de ferramentas flexíveis de coleta e tratamento de dados. Esta célula atua então na absorção de novos indicadores / relatórios para automatização e na gestão da rotina de geração das análises. Dessa forma, alteração no formato de insumos, problemas na qualidade dos dados ou solicitações de divulgações personalizadas não “travam” o processo de suporte à decisão, pois há a célula para acompanhar o processo de tratamento e garantir a qualidade dos resultados finais.

SMALL-DATA

Nessa estratégia, as soluções já estabelecidas de BI convivem com a célula de BIaaS (que podem inclusive usar o BI “oficial” como canal de publicação dos resultados). As fontes e processos maduros seriam automatizados normalmente pelas ferramentas de ETL responsáveis pela consolidação dos dados, enquanto que a célula de BIaaS gerenciaria a qualidade dos processos menos maduros, com fontes de dados não tão confiáveis e/ou mutáveis (sendo que o próprio BI pode ser fonte de informação para a célula). A figura a seguir ilustra essa arquitetura.

SMALL-DATA-2

Essa estratégia híbrida de BI permite a geração de informações precisas em todas as esferas, disponibilizadas no tempo correto. Ela endereça não só um cenário específico definido em função da arquitetura de TI da companhia, mas também cenários de maturidade tecnológica e processual bastante variados, definidos em função das necessidades do negócio. Por sua facilidade de implantação em relação a um BI tradicional, a célula pode ser usada até mesmo como solução intermediária, de forma a atender às demandas do negócio até que a maturidade ideal seja alcançada para todas as fonte de informação e resultados esperados – quando então o BI tradicional pode incorporar estes processos de forma gradual, usando o processo já testado e operando como ponto de partida.

Conclusão

Com decisões cada vez mais complexas, as áreas de negócio precisam de informações confiáveis e no momento certo. Estas informações muitas vezes não podem se limitar àquelas tecnologicamente maduras e estáveis, dada a diversidade entre os diferentes processos e áreas da empresa. Na maior parte das vezes as informações existem na corporação, porém em fontes não confiáveis. Além disso, os processos de análise / tratamento dessas informações devem ser flexíveis para acompanhar a criatividade dos gestores.

Os processos de BI têm amadurecido bastante ao longo do tempo. Atualmente não precisamos nem mesmo do tradicional processo de ETL para a geração de um DW otimizado para consultas agregadas – os bancos de dados in-memory prometem uma arquitetura de DW onde a base transacional é a mesma base do BI. Porém, para dados que não vêm necessariamente de sistemas transacionais, ainda precisamos de um processo para coleta e tratamento.

O tratamento manual das diversas fontes de dados para a geração de análises customizadas é, além de caro, demorado e altamente propenso a erros. Portanto, a estratégia de BI da companhia deve prover flexibilidade suficiente para tratar estes cenários de forma ágil, barata e segura. Uma forma bastante eficaz de atingir este objetivo é o desenho de uma arquitetura de BI híbrida, considerando não só o BI “tradicional”, mas também o BIaaS, de forma a atender aos diferentes requisitos do negócio.

Izaías Miguel, sócio-diretor da Visagio, é formado em Ciência da Computação pela UFRJ e pós-graduado em Gerenciamento de Projetos também pela UFRJ.