O fim da ganância por dados: princípios para renovar sua estratégia de dados

Quando se trata de dados nos negócios, as analogias parecem sair do controle. Quem nunca ouviu que dados são o "novo petróleo"? A nova moeda, ou vantagem competitiva? Talvez a nova superpotência do mundo dos negócios? Ou a própria força vital do capitalismo?

As comparações podem variar, mas as implicações são as mesmas. Os dados são valiosos. Essenciais. As empresas que não absorvem e usam dados de maneira grandiosa estão fadadas a ficar para trás. Talvez até se tornarem obsoletas.

Aí vem o pânico corporativo. As empresas se veem torturadas por perguntas difíceis, como: nossos dados podem classificados como big data? Estamos fazendo a coisa certa? Como armazená-los? Quem deve ter acesso? Quem deve ser responsável? De quantas contratações de cientistas de dados ou soluções de inteligência artificial vou precisar?

A resposta natural ao aumento do interesse nos dados (veja o gráfico) é tentar capturar todos os fragmentos deles. E assim entramos na era da ganância por dados. Mais é mais. Quanto maior o volume de dados, melhor. O aumento exponencial de empresas com modelos de negócios baseados em dados — Amazon, Uber, Airbnb — adiciona combustível ao frenesi.

Interesse em dados ao longo do tempo

Conhecemos as histórias de sucesso. O mecanismo de recomendação da Netflix, alimentado por big data, economizou para a empresa cerca de US$ 1 bilhão em retenção de clientes desde que foi lançado, em 2009. Mesmo a pesada UPS adotou análises de dados para aprimorar sua rede de logística, com o objetivo de economizar até US$ 300 milhões anualmente. Uma pesquisa da PwC descobriu que mais da metade (54%) das pessoas em posições executivas observou melhorias na produtividade ao adotar soluções de IA.

No entanto, apesar de todo o entusiamo, as iniciativas de dados nem sempre dão certo. Um número significativo de empresas dedica recursos massivos à coleta e armazenamento de dados, implementação de análises e construção de vastos lagos de dados, mas sem muitas mudanças. Segundo algumas estimativas, 85% dos projetos de big data falham. As organizações se dão conta que são ricas em dados, mas pobres em insights.

Por que isso acontece? Em parte, porque a moda de dados criou mitos que precisam ser derrubados. Os dados de pesquisa do Google mostram que o interesse pelo termo "big data" diminuiu, enquanto o interesse por "cientistas de dados" e "inteligência artificial" está aumentando. Isso sugere que as empresas estão procurando maneiras de entender o hype dos dados. Não há dúvida de que a maioria das organizações precisa de uma estratégia de dados, mas agora, mais do que nunca, essa estratégia deve se basear em princípios fundamentados na realidade. Perguntamos a especialistas em dados, dentro e fora da Thoughtworks, quais deveriam ser esses princípios e usamos suas idéias para desenvolver um guia de perguntas para ajudar as organizações a avaliar se estão no caminho certo.

Princípio 1: A estratégia de dados precisa se conectar diretamente aos objetivos do negócio

"Nunca, jamais, faça um projeto de infraestrutura pura — sem valor comercial imediato, é quase certo que falhará", diz Christoph Windheuser, diretor global de inteligência artificial na Thoughtworks. "As perguntas mais importantes que uma liderança de negócios deve se fazer antes de iniciar um projeto de dados são: 'o que estou fazendo aqui?' e 'qual é o valor que estou criando para minha empresa?'"

Que as empresas combinem dados e valor comercial parece óbvio, mas as organizações estão tão preocupadas em "acompanhar a tendência" que esquecem de fazer a pergunta mais importante de todas — por que se preocupar? É importante fazer a distinção entre dados — uma coleção de valores ou parâmetros — e informações — valores que endereçam incertezas ou podem ser úteis para quem as recebe.

As melhores informações resultam em insights, ensinando coisas novas e servindo como base para a ação. Porém, como as empresas geralmente produzem e armazenam avalanches de dados como resultado das operações cotidianas mais mundanas, encontrar e gerar informações requer saber onde procurar e quais dados priorizar, reunir e processar. Isso não pode ser feito sem uma boa compreensão das perguntas que a empresa precisa responder ou do problema que ela está tentando resolver.

A necessidade de vincular projetos de dados a objetivos de negócio concretos é um argumento evidente para o envolvimento de líderes empresariais seniores nos estágios iniciais — e significa que esses projetos nunca devem ser empreendimentos estritamente "tecnológicos".

Princípio 2: Mais nem sempre é melhor (ou, as startups podem ensinar uma ou duas coisas)

Se ter mais dados é realmente melhor, muitas empresas estabelecidas estão na pole position, pois geralmente têm mais dados históricos à sua disposição do que uma startup. É verdade que empresas maiores se destacam em termos de volume, mas isso geralmente ocorre em detrimento da visibilidade. Como Rachael Hadaway, vice-presidente sênior de produto da 84,51°, do grupo Kroger, apontou no evento executivo da Thoughtworks, o ParadigmShift:

"Ter muitos dados não é um ativo; é um passivo. É complicado e caro. O ativo é saber o que fazer com o dados."

Parsons diz que "a maioria das empresas têm muito mais dados à sua disposição apenas pelos anos de atividade. Mas esses dados estão bloqueados em sistemas que não são necessariamente bem integrados, principalmente considerando toda a atividade de M&A. Você tem dados provenientes de diferentes origens que precisam ser conciliadas e, portanto, o escopo dos problemas com os quais você precisa lidar, do ponto de vista da implementação, é completamente diferente."

Da mesma forma, empresas estabelecidas podem ter pessoas com potencial para promover novas abordagens de dados, mas Mark Brand, diretor de estratégia de dados da Thoughtworks, acredita que elas tendem a ser negligenciadas. "Elas estão perdidas em um mar de outros papéis generalistas e pessoas que não adotam a tomada de decisão baseada em dados", afirma ele.

Uma startup jovem e faminta, por outro lado, pode incorporar dados na cultura e adotar uma arquitetura muito mais ágil. Nessas empresas, praticamente todo mundo está "expressando coisas em termos de métricas e planilhas, escrevendo seus próprios algoritmos ou regras e pedindo às pessoas técnicas para implantá-las", afirma Brand. "Mesmo as pessoas que lidam com funções como branding são orientadas por dados. Elas estão sempre coletando dados e todas falam em números sobre os resultados da empresa. É assim que funciona um negócio orientado a dados — não necessariamente usando IA ou tendo um produto de ponta,"

Tecnologia por trás de negócios legados vs. empresas orientadas a dados

"O que as startups orientadas a dados bem-sucedidas realmente têm em comum é uma mentalidade que passa por toda a organização", concorda Windheuser. "Quando elas desenham um processo, ele é orientado por dados por definição. A governança de dados faz parte da cultura e não é algo que a empresa precisa trabalhar ou definir em um processo complicado. Todos os sistemas e arquitetura de TI são construídos com o fluxo livre de dados como um requisito importante. Nas grandes empresas tradicionais, esse não é o caso. Elas precisam mudar sua cultura e seus sistemas de TI."

Princípio 3: os lagos de dados não salvarão você (e nem a IA)

O hype que frequentemente acompanha novas abordagens baseadas em dados promoveu uma mentalidade de "seguir tendências" em alguns setores. As soluções variam de "lagos" de dados que agrupam dados de toda a empresa a sistemas de IA que prometem sinalizar anomalias ou prever tendências de clientes. As organizações correm para adotá-las antes de entender o que elas implicam, ou considerar como — ou se — essas soluções se encaixam nos objetivos de negócio.

Há uma tendência de ver essas inovações como "soluções mágicas" que resolvem todos os problemas relacionados a dados de uma só vez, o que é equivocado, observa Windheuser. No entanto, também é errado vê-las apenas como modismos sem nenhuma substância. Lagos de dados, aprendizado de máquina e IA devem ser vistos pelo que realmente são — "ferramentas técnicas" a serem aplicadas taticamente onde necessário para gerar resultados e com pleno reconhecimento de suas demandas e limitações.

"É comum que as pessoas digam 'eu quero um data lake' ou uma 'arquitetura de dados moderna' ', mas elas não sabem bem para quê", diz Brand. "É comum porque essas pessoas geralmente têm duas características: possuem dados e arquitetura de dados, mas não possuem nenhuma decisão ou resultado. O resultado mais comum são pessoas tentando construir lagos de dados como se constrói um data warehouse. No início, tentam colocar tudo lá e classificar, e depois desistem porque isso é um pouco difícil. Então, tentam colocar tudo dentro de um de seus sistemas críticos monolíticos e capturar todos os estados. Portanto, se a qualidade de um data point mudar a cada 60 segundos, tentam capturar e classificar isso de alguma forma, antes mesmo de descobrir por que precisam armazenar essas informações ".

Da mesma forma, enquanto muitas empresas desejam adotar o aprendizado de máquina, Ken Collier, autor do livro Agile Analytics, observa "nem todo problema precisa de uma solução de aprendizado de máquina. Algumas são mais adequadas para escrever apenas um software padrão ou outro código".

"A IA por si só é um enorme subcampo na ciência da computação que possui várias disciplinas diferentes", afirma Collier. "Fico incomodado quando ouço líderes de negócios usando o aprendizado de máquina como uma espécie de palavra da moda, quando o que eles realmente querem dizer é 'queremos fazer as coisas de maneiras mais avançadas'".

Os riscos imediatos das empresas que aplicam soluções orientadas a dados são nítidos o suficiente, incluindo projetos com desempenho insatisfatório e desperdício de recursos, mas Collier acredita que o impacto pode ser ainda mais amplo: "O que temo é que estejamos caminhando para um inverno na IA. Depois que todo o hype desaparece, e apenas algumas coisas vingam ou têm seu valor comprovado, a IA poderá ser prejudicada por não corresponder a expectativas irreais."

Quando confrontadas com o fracasso, a tendência é culpar a ferramenta em questão. "A maioria dos projetos de dados não falha por causa da tecnologia, mas por fatores humanos", diz Windheuser. "Pode haver a necessidade de um novo método de organização, ou resistência à mudança, ou nenhum processo de dados definido". O que nos leva ao nosso próximo princípio.

O hype de dados leva muitas empresas a uma corrida para contratar cientistas de dados e criar departamentos que se concentram única e exclusivamente em dados. Isso criou uma escassez aguda de cientistas de dados em mercados-chave, à medida que as habilidades avançadas de IA e aprendizado de máquina são cada vez mais procuradas em todos os setores — o LinkedIn estima um déficit de mais de 150.000 somente nos Estados Unidos.

Déficit de cientistas de dados por cidade nos EUA 

Dada a necessidade de iniciativas de dados surgirem e manterem o alinhamento com o negócio, um departamento dedicado a cientistas de dados pode não ser a melhor abordagem. Como Hadaway ressalta, "a contratação de cientistas de dados não fará seu negócio ser bem-sucedido. O restante da organização também precisa saber como usar os dados".

"As pessoas contratam cientistas de dados descontroladamente, mas realmente não sabem onde essas pessoas se encaixam na organização, então as colocam em um time de serviços compartilhados, ou talvez como parte do departamento de marketing ou finanças", diz Collier. "Dessa forma, cientistas de dados permanecem em seus silos, não interagindo muito com o restante da empresa para entender o que é importante e com quais problemas terão que lidar".

A ativação dessas interações e a geração de insights prontos para o negócio exigem não apenas uma arquitetura de dados aberta, mas também equipes coesas. Para trabalhar bem com os dados, as equipes precisam incluir tecnologistas e líderes do negócio, sendo orientadas por uma estratégia compartilhada e resultados definidos.

"Você precisa quebrar essas barreiras entre TI negócios e estruturar equipes multifuncionais desenhadas para criar produtos", diz Collier. "Você precisa, então, colocar as pessoas certas nessas equipes, não apenas para fazer aprendizado de máquina avançado, mas também para ter especialistas em negócios que podem dizer 'sim, aprendizado de máquina é importante, e esse modelo de aprendizado de máquina realmente faz algo útil e significativo'".

Esse processo funciona nos dois sentidos. Assim como cientistas de dados precisam entender as metas do negócio, outras partes da empresa precisam reconhecer que os dados são um recurso e uma responsabilidade compartilhados. Elementos básicos de governança de dados, como definir quem detém a propriedade e o acesso aos dados, geralmente são estabelecidos e gerenciados de cima para baixo. Mas as pessoas em todas as linhas do negócio devem examinar os dados gerados no decorrer das operações diárias, para determinar o papel que podem desempenhar na tomada de decisões e garantir a manutenção de padrões consistentes.

"É o que chamamos de democratização dos dados", diz Windheuser. "Todo mundo é capaz de utilizar os dados, mas todo mundo também é responsável ​​por limpá-los, cuidar deles, para que a qualidade esteja lá e atualizada. É como uma família vivendo em uma casa."

Essa filosofia deve se estender à organização dos dados, para que eles sejam adequados a fins comerciais. Essa é uma tarefa definitivamente não-atraente, geralmente chamada de "munging" e normalmente reservada para tecnologistas.

"Os usuários corporativos precisam se envolver no processo, porque são eles que entendem por que um dado está 'sujo'", diz Parsons. "Você também precisa de tecnologistas, preferencialmente com uma longa história na organização, porque particularmente para dados que existem há vários anos, existem todos os tipos de armadilhas. Portanto, você precisa de alguém que entenda a história dos sistemas, mas também de alguém que entenda o que os dados realmente significam, no contexto comercial para resolver os problemas que surgem."

Conforme destacado na última edição do Technology Radar, novas ferramentas e inovações de dados são apenas mais palavras da moda quando vistas isoladamente. O que estimula o progresso é descobrir como combinar essas inovações de dados com práticas de engenharia pe em equipes bem definidas.

Princípio 5: Comece pequeno, aprenda, repita...

O big data pode estar alimentando o apetite por grandes projetos e soluções, mas investir tudo em uma única implementação massiva ou em uma ampla iniciativa de transformação acarreta um risco correspondentemente grande de falha — até porque, quando se trata de disciplinas como a IA, as organizações têm pouco a oferecer em termos de experiência anterior ou referências para guiá-las.

É importante ver o direcionamento de dados como um processo ou jornada que envolve etapas incrementais, em vez de um destino ou algo "pronto". "Pense grande", como coloca Windheuser, "mas comece pequeno e com algo que seja viável".

Obviamente, os passos devem ser os corretos. Para muitas empresas que estão lidando com aprendizado de máquina ou ciência de dados, a tentação pode ser começar com uma prova de conceito (POC), mas elas não são projetadas para produção e raramente avançam além do estágio de POC. "No final, nunca será provado que uma POC tem uma vantagem para a empresa e ela nunca será realmente aceita", disse Windheuser.

Melhor começar com um produto mínimo viável. Crie um "pequeno caso de uso" que tenha utilidade imediata para uma cliente ou usuário final e implemente-o com uma aplicação ou projeto maior em mente.

As iniciativas de dados têm a melhor chance de prosperar quando combinadas com práticas de desenvolvimento ágil, como entrega e integração contínuas. Algo que pode ser implantado rapidamente de forma produtiva "gerará valor e será realmente convincente para toda a organização", afirmou Windheuser. "Tudo o que você precisa fazer é continuar a jornada."

A escolha das etapas corretas exige saber onde o negócio estava, aproveitar seus sucessos (e falhas) anteriores com dados e saber para onde está indo.

Em uma empresa orientada a dados "a maneira de trabalhar se torna extremamente importante para alcançar resultados", observa Brand. "Queremos que as coisas sejam sempre versionadas e salvas, para que possamos revisar as decisões que tomamos. Mesmo que seja em um pedaço de papel e as decisões sejam feitas uma vez por mês, queremos saber quais foram os dados capturados, como foram transformados, para onde estão indo, que ação foi tomada e qual o impacto a ser entendido."

Dessa maneira, o processo de se tornar uma empresa mais orientada a dados é, ele próprio, orientado por dados que informaram as decisões de iterações anteriores.

… e não pare

Em vez de algoritmos ou plataformas de análise de ponta, é essa disciplina de criar e testar constantemente, além de coletar, analisar e agir sobre os resultados que caracteriza a empresa orientada por dados.

Ao incorporar insights de uma iteração para a próxima, os produtos ou soluções estão em um estado de melhoria constante. Em outras palavras, a inteligência contínua inclui princípios de entrega contínua para minimizar o ciclo de dados-informações-ações. O Ágil assumiu todos os tipos de significados nos últimos anos, mas é melhor definido como a capacidade de concluir esse ciclo de maneira rápida e de maneira suave. Esta é uma área em que muitas empresas ainda encontram dificuldades.

Ciclo de Inteligência

Combinando entrega contínua e ágil com ciência de dados



"Esse ciclo de obter dados, extrair informações, obter insights e conhecimento, e depois transformá-los em decisões e ações, em muitas organizações leva meses ou anos", afirmou Brand. "Isso não é ágil. Em muitos casos, isso se deve a uma equipe isolada de ciência de dados que trabalha em um ambiente isolado nos dados e nos modelos de dados. Elas estão começando do zero para desenvolver uma aplicação escalável e produtiva, que é fornecido às operações para integrar e executar no ambiente de TI. A entrega contínua permite reduzir todo o ciclo para dias, tornando-o mais ou menos automatizado".

O papel dos dados nesse processo (e na agilidade) deve ser reconhecido e comemorado. Os dados e as tecnologias de rápido desenvolvimento que os utilizam estão mais próximos dos elementos básicos do que uma commodity que vale a pena acumular.

Por Daniel Pallozzi