Estratégias de dados para criar valor de negócio em escala

Quando se trata de dados, muitas empresas ainda sofrem uma desconexão: a consciência do valor potencial dos dados nunca foi tão alta, mas os negócios ainda lutam para aproveitá-los ao máximo. As empresas têm à sua disposição mais ferramentas e recursos do que nunca, mas não conseguem necessariamente traduzir as informações em inteligência para o negócio. Os dados são vistos como um recurso estratégico, mas muitas organizações ainda precisam definir uma estratégia de dados.

Um estudo recente da Harvard Business Review descobriu que apenas um quarto das empresas se consideram capazes de medir e reportar com eficiência o valor de seus investimentos em dados e análises de dados – apesar de 80% concordarem que é importante fazer isso. Uma pesquisa da PwC sobre problemas enfrentados por CEOs também aponta para uma lacuna significativa entre líderes que sabem que os dados são necessários para decisões críticas e a adequação dos dados obtidos na prática.

A desconexão dos dados

E a cada ano, ao que parece, as apostas aumentam. “Há um ímpeto muito mais forte rumo à digitalização e aos recursos de autoatendimento, provocado pela pandemia”, afirma Emily Gorcenski, cientista e head de dados na Thoughtworks Alemanha. “Antes, muitas análises de dados eram feitas nos corredores dos escritórios e em reuniões matinais. Então, era muito mais fácil obter feedbacks sobre ideias e conceitos.”

Ao mesmo tempo, acrescenta Gorcenski, “os modelos convencionais de engenharia e arquitetura de dados falharam em cumprir as promessas feitas quando aconteceu a revolução do Big Data. Em parte, o motivo é que essas estruturas centralizadas simplesmente não se adaptam ao número de casos de uso. Nossa imaginação não nos limita. Nossa capacidade de buscar informações não nos limita. O que nos limita é nossa capacidade de encontrar dados de alta qualidade em que possamos confiar.”

“Quer você esteja olhando para o governo ou outros serviços, as demandas que as pessoas estão colocando em seus canais digitais e a infraestrutura de dados que as suportam têm aumentado exponencialmente”, concorda Prasanna Pendse, head de tecnologia da Thoughtworks na Índia. “Tudo começou antes mesmo da pandemia no setor de serviços financeiros, com mais minúcia na governança de dados e na rastreabilidade das informações pelos órgãos reguladores. As pessoas estão vendo que os recursos de dados não vêm sendo dimensionados para o que precisam e percebendo que algo precisa ser consertado.”

Uma nova safra de demandas de dados também está sendo impulsionada por uma das mudanças tecnológicas mais fundamentais de nosso tempo – o aumento da ‘coopetição’, com as plataformas de negócios sendo atraídas (prontas ou não) para ecossistemas mais amplos.

“Estamos observando essa hiperconvergência, com o rápido surgimento de ecossistemas em setores como saúde – nos quais a Covid-19 deu início a colaborações estreitas entre fornecedoras, clientes e tecnologias virtuais de saúde”, afirma Zhamak Dehghani, diretora de tecnologias emergentes, da Thoughtworks na América do Norte. “À medida que as organizações são atraídas para esses ecossistemas, o compartilhamento de dados se torna mais importante e mais desafiador, porque precisa ultrapassar os limites da confiança. Até mesmo gerenciar seus próprios dados é um desafio, e agora você precisa de soluções que vão além dos limites de uma organização específica.”

Essas pressões tornam crucial a capacidade de acessar e explorar rapidamente um volume crítico de dados relevantes e confiáveis ​​– capacidade que a maioria das empresas ainda não possui.

“Durante meio século, as organizações ficaram estagnadas na fase inicial do processo de se tornarem negócios orientados por dados em escala – ou seja, obter acesso a dados em escala em primeiro lugar para construir soluções dependentes de dados”, observa Dehghani. “Eu vejo isso o tempo todo em conferências – cientistas de dados, que são os principais usuários dos dados, falando sobre este ou aquele modelo e, então, encerrando suas apresentações afirmando que não têm de fato acesso aos dados em escala.”

As empresas estão aprendendo, em muitos casos da maneira mais difícil, que “os dados em si não têm valor além daquilo que você pode fazer com eles e das ações você pode realizar a partir deles”, diz Gorcenski. “Essas decisões exigem pessoas. Antes da pandemia, era fácil transferir esse papel para que analistas de dados chegassem a essas conclusões para você. Mas agora há uma necessidade muito maior de ter esses insights ao seu alcance com um recurso de autoatendimento.”

Existe um caminho óbvio para capturar todo o potencial dos dados. Mas ele requer um certo grau de mudança tecnológica e organizacional – e também, observa Gorcenski, disposição para seguir o percurso indicado pelos dados.

“Os dados devem desafiar nossas suposições e instintos de vez em quando”, ela afirma. “E se isso não acontecer, então há algo errado. Por que estamos nos preocupando em coletar todos esses dados se vamos simplesmente seguir nosso instinto? Precisamos dar aos dados um pouco de controle sobre nossos destinos, o que pode ser assustador – e se você não confiar nos seus dados, nunca o fará. Para confiar nos seus dados, você precisa de uma cadeia de responsabilidade estruturada, mostrando quem os gera, quem os processa, de onde vêm, o que significam historicamente e no contexto atual. Tudo isso é necessário para chegar a um ponto em que você permita que os dados façam recomendações e conduzam a tomada de decisões.”

I. Data lakes em todos os lugares (mas sem uma gota de água potável)  

O fracasso em atingir esse estado de confiança está enraizado na trajetória histórica dos dados.

“Precisamos desafiar essa suposição de que para extrair resultados significativos de uma iniciativa de experimentação orientada por dados, uma empresa ou unidade de negócio precisa necessariamente acessar dados centralizados”, diz Dehghani. “Esse paradigma tornou-se um obstáculo para qualquer tentativa de escala significativa, o que impacta a maneira como construímos organizações e times e resulta na forma como a tecnologia têm sido desenvolvida, de baixo para cima.”

A tendência rumo à centralização, na forma de data warehouses e posteriormente data lakes, significa que times que não estão intimamente familiarizados com os dados, sua origem ou sua utilização, são criados e responsabilizados de forma centralizada. Isso resulta em bloqueios e parte da fidelidade dos dados sendo perdida.

Estrutura organizacional/data lake típica

A centralização, na verdade, separa os dados das unidades operacionais que geralmente os geram e mais precisam deles. “A estrutura organizacional deixa o time de dados isolado em um canto”, diz Pendse. “Sim, tudo pode fluir através dele, mas do ponto de vista organizacional, os times não estão particularmente bem alinhados com as prioridades de crescimento. Parte disso também passa pela forma como esses times são definidos, como grupos de inteligência de negócio ou algo semelhante. Essa é a mentalidade da análise descritiva, ou seja, ‘diga-me o que está acontecendo’. É difícil mudar para a forma preditiva e, eventualmente, prescritiva de fazer as coisas.”

Este modelo operacional também é inerentemente inflexível. “Se você tem um monólito de dados central e massivo, qualquer mudança na forma como você trabalha com ele se torna um grande projeto por si só”, diz Gorcenski. “Os dados têm a ver com reagir ao que está acontecendo no mundo. Seus dados vão mudar, e você quer que eles mudem, você quer novos clientes e novos mercados, então você precisa construir uma estrutura que seja responsiva e adaptável a mudanças. Se você tiver novos controles, deve considerar uma quantidade mínima de trabalho para implementá-los.”

Para fazer a transição entre ter dados e de fato usá-los como base para produtos, personalização e melhor experiência de cliente, liberdade para experimentar é essencial. A arquitetura de dados monolítica pode tornar esta uma tarefa monumental, ampliando a lacuna entre a teoria e a ação. “Há um aspecto de ferramenta que dita o tempo de ciclo necessário para tomar decisões”, explica Pendse. “Em muitas empresas tradicionais, um único experimento leva seis meses para ser executado e, provavelmente, será executado apenas dentro de uma determinada área limitada, e não em paralelo com outros experimentos.”

II. Caminhando em direção a um modelo de Data Mesh (ou malha de dados) 

O caso de negócio é claro: em vez de criar lagos, ou silos, as organizações devem buscar uma abordagem mais ágil para os dados, trazendo-os mais perto de partes do negócio nas quais eles são diretamente relevantes.

Isso pode ser alcançado aplicando-se dois princípios básicos: dados orientados por domínio e dados como produto. A propriedade e a distribuição orientadas por domínio quebram a arquitetura de dados em torno de funções individuais, mantendo a conexão e a integridade. Utilizar dados como um produto, e não apenas um recurso, torna-se algo prazeroso de consumir e usar. Essas práticas são a base de uma arquitetura de dados projetada para um negócio digital resiliente que age rápido: Data Mesh (ou malha de dados).

Data Mesh: a malha de dados

“A arquitetura de Data Mesh analisa a causa raiz da incapacidade de usar dados em grande escala, e tenta resolvê-la”, explica Dehghani. “Por muitos anos, decidimos decompor esse grande problema de dados em soluções e times monolíticos, dentro de certos limites técnicos, mas não fomos capazes de crescer mais rapidamente ou dimensionar a experimentação com mais rapidez. A malha de dados aprende com o mundo operacional, no qual as empresas digitais decompõem seus negócios em domínios, e continua essa jornada com os dados, dando o controle e a soberania às pessoas que estão melhor posicionadas para gerá-los e compartilhá-los. É uma progressão natural.”

Isso não significa necessariamente que os repositórios de dados centralizados irão desaparecer, observa Gorcenski. “Data lakes e data warehouses provavelmente nunca desaparecerão de verdade”, diz ela. “O que vai acontecer, e sobre o que trata o conceito de malha de dados, é separar essas preocupações em domínios. Cabe ao domínio desacoplar o produto e a infraestrutura de uma forma que elimine gargalos, mas que permita criar os produtos de dados que façam sentido. Não se trata de um modelo que define como você acessa os dados. É sobre o princípio de facilitar o acesso aos dados, onde quer que eles residam e, em seguida, construir sua infraestrutura para dar suporte a isso.”

Uma abordagem distribuída tem várias vantagens integradas. Uma delas é reduzir o risco de manter todos os seus dados em um só lugar, o que pode rapidamente se tornar um ponto de falha sempre que ele for inundado com solicitações ou sujeito a um ataque.

“Se você analisar sob um ponto de vista defensivo o fato de seus servidores serem derrubados por muita demanda, seu próprio sucesso se torna uma má notícia”, destaca Pendse. “Você não apenas perde dinheiro, que não entra porque a porta está fechada, como também dá margem a vulnerabilidades de segurança, que criam outros riscos.”

A distribuição também torna os dados mais acessíveis, canalizando-os diretamente para os times, e “dando propriedade às pessoas que entendem os dados e estão melhor posicionadas para controlá-los”, explica Dehghani. “Naturalmente, você também precisa que essas pessoas conversem entre si sob algum tipo de construção federada, porque você não obterá valor apenas de um único domínio de dados. A inteligência de ordem superior é criada juntando e correlacionando dados de diferentes domínios.”

Aplicar o pensamento do produto aos dados é fundamental para garantir que os times de domínio permaneçam conectados e sejam incentivados a compartilhar. “Os dados como produto são muito diferentes dos dados como ativo”, diz Dehghani. “O que você faz com um ativo? Você o coleta e acumula. Com um produto é o contrário. Você o compartilha e torna a experiência desses dados mais agradável.”

“No modelo típico, qualquer pessoa que constrói um produto de tecnologia está gerando dados como um subproduto”, acrescenta Gorcenski. “Queremos mudar isso e realmente pensar nos dados como um produto em cada estágio do caminho. Quando estamos gerando insights mais profundos e melhores dados para nossos produtos, não podemos simplesmente ver os dados como um acúmulo de vários pequenos bits transacionais. Os dados não são mais apenas o seu sistema funcionando ao receber entradas e emitir saídas, mas sim quando o sistema faz isso e gera conjuntos de dados que refletem a realidade que você está vendo – e que você pode usar para gerar ciclos de feedback dentro da organização e para responder a perguntas como: estamos vendendo as coisas certas? Estamos alcançando os consumidores certos? Estamos fabricando o produto certo com os níveis certos de eficiência?”

Dehghani observa que isso requer o desenvolvimento de uma infraestrutura de dados de autoatendimento como uma plataforma, que transfere autonomia para times por domínio e permite que diferentes ‘pools’ de dados sejam acessados ​​e compartilhados conforme necessário, de forma segura, compatível e distribuída.

III. Construindo as estruturas de tecnologia 

Uma plataforma de autoatendimento posiciona os dados para serem disponibilizados para uso imediato, em vez de armazenados e acessados passivamente antes de passar por outros processos, como em um lago de dados. “As arquiteturas de plataforma modernas são muito boas para se livrar de muitos processos e ruídos que acontecem com a engenharia de dados, o que nos permite chegar mais perto dos dados e obter essas percepções com muito mais rapidez”, explica Gorcenski. Essas arquiteturas provaram ser habilitadoras poderosas para empresas que posicionam times para acessar recursos de dados padronizados, que podem ser juntados para criar produtos diferentes.

Ao desenvolver uma plataforma de dados, as empresas nem sempre começarão do zero. Dehghani observa que as tecnologias de nuvem existentes podem atuar como uma “camada utilitária”, fornecendo recursos e padrões de armazenamento e fluxo sobre os quais camadas mais maduras da plataforma serão construídas para suportar interações com arquitetura distribuída e times descentralizados.

Na maioria das organizações, "a camada utilitária está lá, mas foi criada para assumir que os dados serão centralizados e que há uma camada de tecnologia ausente em torno da orquestração da distribuição de dados", explica ela. “Se você decidir colocar a propriedade dos dados nas mãos de diferentes domínios, e não de um grupo central e hiperespecializado de profissionais de engenharia de dados, você precisa elevar a abstração da plataforma a um nível em que uma pessoa desenvolvedora generalista também possa obter os dados analíticos necessários para criar um microsserviço ou aplicação. Essa mudança de poder, de profissionais especialistas para generalistas capazes de gerar dados úteis e significativos, requer o compromisso da engenharia.”

Modelo de plataforma de dados

Em uma malha "a tecnologia não é muito diferente, mas a forma como você gerencia e vê os dados certamente mudará", diz Pendse.

Muitas organizações ainda estão presas à percepção de que o armazenamento é um recurso caro e limitado, que a duplicação deve ser evitada a todo custo e que a criação de um novo repositório de dados provavelmente será um esforço de dois ou três anos. Mas os avanços na infraestrutura e na prática significam que, na tomada de decisões sobre infraestrutura de dados, essas não devem mais ser as principais preocupações da empresa.

“A mentalidade precisa mudar para questionar: qual é o mecanismo adequado para atingir meu objetivo e como posso criá-lo de forma dissociada para otimizar nossa velocidade? Com a aceleração dos recursos de infraestrutura, ferramentas e automação disponíveis, você é capaz de criar um novo domínio de dados, torná-lo autônomo e até adicionar controles de acesso e afins rapidamente”, diz Pendse. "A primeira vez pode levar alguns meses, mas as próximas podem levar apenas alguns minutos."

IV. Alinhando estratégia e pessoas

A arquitetura de dados pode ser complexa, mas os maiores gargalos no caminho para se tornar uma organização mais orientada a dados têm menos a ver com tecnologia ou engenharia do que com cultura e pessoas.

“A verdade é quando as pessoas olham para os dados e, particularmente, para a governança dos dados, sua reação geralmente é reclamar”, diz Pendse. “É algo visto como enfadonho, que precisa ser gerenciado, um fardo. As lideranças podem apostar nisso, mas não conseguem a adesão de seus times. Essas percepções precisam mudar, para que as pessoas se interessem, queiram usar e consumir os dados e fiquem entusiasmadas com as possibilidades.”

Para isso, “uma estratégia de dados bem comunicada e abrangente é a primeira coisa que você precisa colocar em prática”, diz Gorcenski. “Isso precisa vir por meio de uma cultura de evangelização do significado dos dados e das razões por trás de seu valor para a organização, sejam elas regulatórias, relacionadas à controle de processo, ou até aspiracionais, para criar mais insights ou construir mais produtos. Pode vir da liderança executiva, mas essa mentalidade deve ser adotada por todos as principais partes interessadas da organização, até mesmo as pessoas que escrevem o código.”

Definir o propósito estratégico dos dados também facilita a decisão de quais dados e soluções relacionadas priorizar. “Sempre recomendamos trabalhar no sentido inverso – comece com suas apostas, seus objetivos estratégicos como empresa, transforme-os em casos de uso e projetos reais e, em seguida, identifique os produtos e conjuntos de dados de que você precisa para desbloquear esses casos de uso – de onde eles vêm e quais times os possuem”, explica Dehghani.

Para incentivar esses times a trabalhar com os dados da maneira certa, as estruturas de incentivo também podem precisar mudar para refletir o foco nos dados como produto, medindo o valor que estão gerando ou com que frequência são consumidos pelos usuários finais, em vez da quantidade de dados processados ​​ou gerados. Mudanças como essas e a perda de controle podem causar desconforto entre as pessoas que foram guardiões ou "proprietárias" dos dados historicamente – mas Dehghani acredita que elas podem ser conquistadas rapidamente.

“As pessoas que tradicionalmente foram responsáveis ​​por plataformas de dados muitas vezes enfrentaram muitas dificuldades”, explica ela. “Elas ficam presas a um modelo que exige esforço para satisfazer clientes ou conceder acesso aos dados, consumindo dados de fontes que podem não estar motivadas a torná-los significativos ou confiáveis. Você pode fornecer a elas ferramentas para mostrar que elas não precisam desbravar o caminho sozinhas, e que serão recompensadas ​​pelo número de pessoas que usarem os produtos de dados. Existem incentivos intrínsecos quando essas pessoas percebem o poder dos dados de otimizar um negócio, produto ou aplicação, para realmente incorporar inteligência em toda a organização. É quando elas se tornam parte da solução.”

“Você precisa realmente demonstrar benefícios para as pessoas – não pode ser apenas uma abordagem forçada”, concorda Pendse. “Por exemplo, em um banco no qual instalamos um sistema de controle de acesso, havia a preocupação de que as pessoas ficariam irritadas por não terem mais tanto acesso aos dados ou por precisarem de uma solicitação para obtê-los. Mas este acabou não sendo o caso, porque o novo sistema fornecia dados consistentes, além de ser mais ágil e estável que o antigo. As pessoas adotaram o sistema porque ele funcionava.”

Gorcenski recomenda testar novos modelos de dados em departamentos ou domínios individuais que possam ajustar a abordagem e, eventualmente, atuar como "embaixadores" para o resto da empresa.

“Você precisa começar bem pequeno, escolher os aprendizados e ter ciclos de feedback realmente próximos para descobrir o que funciona e o que precisa ser ajustado”, explica ela. “Dê a esses times autonomia para construir e contornar as políticas de gestão de mudança que estão em vigor. Em seguida, você precisa olhar para as metas que estão cumprindo, se estão alcançando-as de acordo com sua estratégia e gerando benefícios. Encontre as pessoas certas para serem referências e capacite-as, dando-lhes tempo e espaço para fazer acontecer essa mudança e, em seguida, promovê-la dentro da organização.”

V. Incorporando segurança e governança

Permitir toda essa liberdade pode parecer problemático, uma vez que as lideranças geralmente se preocupam muito – e com razão – com qualquer fraqueza potencial na segurança e governança de dados. A descentralização pode ser considerada arriscada, pois remove um gateway ou ponto de controle único.

Principais preocupações com segurança de dados de CIOs/líderes de TI

Mas, de acordo com o time de especialistas da Thoughtworks, distribuir dados tem impactos positivos na governança. “Na abordagem tradicional, as ferramentas de governança de dados, devido à sua natureza centralizada, têm problemas com o desempenho dos dados e a duração dos processos”, observa Pendse. “Com uma malha, isso vai embora e as pessoas se sentem mais produtivas. Ela melhora a qualidade do lado da produção, dando um controle mais granular às pessoas que estão realmente criando os dados, que os conhecem melhor, de forma que a precisão na identificação desses dados aumenta do ponto de vista da conformidade. Também melhora a qualidade para quem consome os dados, dando-lhes controle sobre como desejam consumi-los, e sem ter que questionar se são o que afirmam ser ou não.”

Dehghani vê paralelos óbvios com as abordagens de segurança e governança adotadas ao mover a computação de data centers para a nuvem, nas quais há uma transição de perímetros e limites para uma arquitetura de confiança zero em que tudo é essencialmente aberto, mas todos os terminais são construídos com segurança incorporada, e a identidade de cada ator é constantemente verificada.

“A mesma coisa se aplica aqui”, diz ela. “No passado, havia um órgão único e centralizado responsável pela segurança, disponibilidade e modelagem dos dados, e isso se torna uma unidade burocrática e disfuncional que atrapalha a inovação e também não é capaz de proteger os dados. O modelo invertido disso é que a função de governança se torna uma federação, porque uma vez que você descentraliza a propriedade, as partes proprietárias têm responsabilidade tanto na execução das políticas de gerenciamento de dados quanto na contribuição para a definição dessas políticas. Ao mesmo tempo, é importante que você também tenha elementos de plataforma e automação muito, muito poderosos.”

“A governança deve ser uma força habilitadora, não restritiva”, observa Gorcenski. “Muitas empresas veem privacidade, conformidade e segurança como centros de custo, não motivadores de valor. E nos concentramos tanto em garantir que os dados sejam compatíveis e seguros que não pensamos no impacto que estão causando e no que impedimos as pessoas de fazer. Precisamos partir da ideia de que sim, a conformidade é um desafio, mas existem boas ferramentas por aí, e podemos arquitetar nossos sistemas para serem compatíveis e construir confiança, o que dará aos nossos times autonomia para construir produtos melhores. Você precisa treinar não apenas as pessoas que são especialistas em dados, mas todas aquelas que trabalham com dados, para serem capazes de identificar esses problemas e criar um fórum no qual possam levantar questões e obter respostas. Construir uma cultura de privacidade de dados dentro da organização é crucial.”

“Se sua estratégia de gerenciamento de risco é simplesmente nunca assumir riscos, com certeza você pode escapar impune”, acrescenta ela. “Mas você não vai inovar e não vai reconhecer o valor de seus dados.”

VI. Lidando com a escassez de talentos em dados  

Ao implementar segurança e outras políticas relacionadas aos dados, as empresas costumam se preocupar com a falta de experiência – e, de fato, estudos mostram que a demanda por habilidades em dados continua a superar a oferta.

No entanto, como Gorcenski aponta, as empresas muitas vezes "não se dão conta dos talentos em dados que possuem" – pessoas que podem ter um forte interesse em dados, mas que foram impedidas de interagir com sistemas ou trabalhar com desenvolvimento porque essas tarefas não não se enquadram em seu papel formal.

Escassez de competências em tecnologia nas empresas

“O conceito de malha de dados é sobre federar mais responsabilidades nos times por domínio, permitindo que as pessoas atuem nesses ambientes de sandbox, dando-lhes acesso”, diz ela. “Você se surpreenderá com o que eles podem criar. Precisamos apenas dar às pessoas mais experiência prática com sistemas de dados, desmistificá-los, torná-los menos assustadores e menos controlados. É fácil criar novos ambientes agora – vamos apenas fazer isso e deixar as pessoas explorarem. Não há problema em quebrar ambientes de teste. É para isso que servem.”

Pendse observa que os esforços para treinar ou requalificar talentos existentes podem frequentemente produzir mais retorno sobre o investimento do que recrutar mais especialistas em dados. “A engenharia de dados é uma mentalidade diferente do desenvolvimento de aplicações, mas não é impenetrável”, explica ele. “Você só precisa de algumas pessoas mentoras para mostrar a você o que fazer, passar por algum treinamento, cometer alguns erros e, eventualmente, você vai evoluir nisso. O treinamento de algumas das pessoas que atuam como desenvolvedoras no espaço de engenharia de dados tem funcionado bem.”

Da mesma forma, a ciência de dados “não é ciência espacial”, acrescenta. “Costumávamos procurar pessoas que tinham doutorados, mas os fundamentos do que você precisa fazer em termos de conjunto de habilidades, na verdade, vêm da matemática de nível universitário, então estamos procurando uma forma de aproveitar pessoas recém-formadas para ir um pouco além."

Em última análise, Dehghani se diz confiante de que o desenvolvimento de plataformas de dados disfarçará a complexidade a ponto de reduzir a necessidade de habilidades específicas em dados, enquanto os avanços na ciência de dados reduzirão a quantidade de modelagem que as empresas precisam fazer do zero.

“Haverá muitos modelos reutilizáveis ​​que só precisam ser customizados e adaptados para entender os dados no seu negócio. E se você tiver recursos de plataforma que permitem treinar rapidamente esses modelos com diferentes conjuntos de dados e observar seu comportamento, isso se torna uma prática geral de engenharia, resolvida como qualquer outro problema de engenharia”, diz ela. “Isso permitirá avanços na mobilização de um número maior de profissionais, em vez de tentar criar mais cientistas de dados especialistas. Sem insultar especialistas, espero que até mesmo o rótulo de profissionais de engenharia de dados desapareça à medida que mais pessoas desenvolvem competências de dados, com a abstração da complexidade acidental, permitindo a qualificação multidisciplinar de uma seção mais ampla da força de trabalho. Esse é o paradigma da plataforma de dados, com dados ricos.”

VII. Prepare-se para novas abordagens corajosas

O paradigma emergente de plataforma está longe de ser o único motivo para otimismo em relação à forma como as empresas enfrentarão o desafio dos dados no futuro.

“Haverá, naturalmente, uma pequena disputa entre as pessoas que desejam avançar em direção a uma disponibilidade mais democratizada de tecnologia e dados e as pessoas que detêm o poder agora”, diz Dehghani. “Mas já tenho visto movimentos técnicos, conversando com diferentes fornecedoras de hardware sobre o próximo modelo de computação para se adequar a grandes conjuntos de dados que estão dispersos. Estou muito esperançosa de que teremos uma próxima geração de tecnologias que realmente consiga virar o problema de dados de cabeça para baixo e o resolver de forma muito diferente do que fizemos no passado. A resposta da indústria tem sido extremamente positiva em termos de malha de dados e como as empresas podem aplicá-la.”

De acordo com Pendse, embora o foco frequentemente esteja em software e serviços, muitos dos desenvolvimentos recentes mais interessantes ocorreram no lado do hardware. “Todo o tecido da computação está mudando, com design de chip se adequando a cada finalidade”, diz ele. “Em seguida, há desenvolvimentos como a memória persistente, que basicamente significa que se você desligar o computador, a RAM não vai embora. O que acontece com a ideia de um banco de dados se uma aplicação for persistente mesmo quando o servidor for encerrado?”

Gorcenski, por sua vez, vê enorme potencial nas vastas quantidades de dados inexplorados no espaço da Internet das Coisas (IoT) – e nas empresas que se esforçam para fazer coisas genuinamente novas com os dados, em vez de emular as abordagens de luminaries como Google ou Facebook.

“Precisamos olhar para como usamos os dados para provocar disrupção em nossos próprios setores, não para fazer o que o Google está fazendo, mas para fazer o que ninguém fez antes”, diz ela. “Precisamos parar de olhar para outras empresas como se fossem de outros planetas e começar a vê-las como parceiras em potencial, encontrando maneiras de evoluir umas às outras por meio dos dados. A colaboração cria um ecossistema de negócios melhor do que a concorrência em muitos casos. Reconhecer esses benefícios requer lideranças corajosas que estejam dispostas a investir em coisas desafiadoras e complexas. Não vai acontecer em um trimestre ou um ano, mas certamente é possível. Existem mais problemas de dados não resolvidos do que resolvidos.”