Refletindo sobre o valor das plataformas de dados e IA
Infraestrutura para crescimento e inovação
O acesso confiável a dados fundamentais e atualizados tornou-se crítico para praticamente tudo o que as empresas precisam fazer, impulsionado pelo rápido crescimento da inteligência artificial (IA) – incluindo a IA generativa (GenAI) – nas operações e na tomada de decisões empresariais. Mesmo que a construção de aplicações com IA generativa não esteja no planejamento de curto prazo das organizações, a disponibilidade de dados de alta qualidade é um pré-requisito para o sucesso de outras iniciativas e serviços digitais.
Entretanto, apesar das oportunidades inéditas que os dados proporcionam, os desafios que os acompanham costumam ser grandes demais para serem ignorados. Muitas empresas permanecem presas a silos internos e plataformas de dados isoladas, deixando informações valiosas trancadas e difíceis de utilizar.
Transformar dados em ativos estratégicos exige foco para torná-los localizáveis, acessíveis, confiáveis, interoperáveis e reutilizáveis, tudo isso de forma segura e preservando a privacidade. As plataformas de dados são a única estrutura viável para essa abordagem.
O termo "plataforma" tem diversos significados, mas para todos os casos recomendamos uma mentalidade de produto. Ao integrar vários recursos de dados e garantir que sejam acessados e aplicados de forma integrada, elas fornecem os diferentes blocos de construção, agora necessários para formar uma estratégia digital abrangente.
Com a plataforma de dados implementada, você poderá extrair insights valiosos, criar sistemas de IA confiáveis, controlar riscos e muito mais. Além disso, sua plataforma de dados pode ser uma peça fundamental na criação, gerenciamento e aplicação da governança de dados, um dos maiores desafios enfrentados por muitas organizações.
Possuir uma plataforma de dados robusta, que facilita o compartilhamento aberto, preservando a privacidade, permite que as empresas participem com outras organizações de ecossistemas de dados avançados para gerar grandes impactos na indústria e até mesmo na sociedade. Essa é uma tendência chave que irá se expandir nos próximos anos, com potencial para impulsionar a inovação digital e criar uma mudança radical na forma como os dados são armazenados e trocados – mas apenas se houver uma mudança em direção à padronização e as empresas aprenderem a proteger seus ativos de dados com menos reserva.
Dados, por si só, não têm valor intrínseco. Seu valor depende de você ter um propósito - e um processo - para eles.
Dados, por si só, não têm valor intrínseco. Seu valor depende de você ter um propósito - e um processo - para eles.
Sinais
Ascensão de plataformas integradas de dados e IA: Esses sistemas priorizam a análise, com os dados aparecendo como recurso secundário para atingir esse objetivo. Isso representa uma mudança fundamental na mentalidade em relação a essas soluções.
Ecossistemas de dados superando o entusiasmo inicial e gerando resultados tangíveis. A consultoria Gartner prevê que os ecossistemas de dados ultrapassarão o pico do "entusiasmo" e se tornarão padrões na próxima década. Nossa experiência confirma essa tendência, com uma crescente demanda por compartilhamento e agrupamento de recursos de dados – as empresas, hoje, estão mais abertas a esse tipo de iniciativa.
Data ‘clean rooms’ estão se tornando cada vez mais populares. Empresas como Infosum, AWS, Google e Snowflake estão criando soluções para compartilhar dados confidenciais e protegidos, dentro e fora das organizações.
A criação de padrões e infraestrutura para o compartilhamento aberto de dados está ganhando força. Iniciativas como o "Open Data Standard for the Apparel Sector" (Padronização de Dados Abertos para a Indústria Têxtil, em Português) e o "OSDU™ Forum" demonstram que algumas organizações estão lutando contra os desafios de interoperabilidade perpetuados por fornecedores tradicionais. Elas defendem protocolos abertos para a troca segura de dados valiosos em cadeias de suprimentos e outras funções críticas do setor.
Mecanismos para compartilhamento responsável de dados das pessoas usuárias. A preocupação com a privacidade de dados está crescendo entre as usuárias. É por isso que desenvolvemos o Anonymesh, uma solução para ajudar a enfrentar esse desafio. Organizações também estão construindo lojas de dados pessoais, como os Solid Pods, que centralizam o armazenamento de dados em torno das clientes, e não mais nas empresas que os coletam.
Governos ao redor do mundo estão abraçando a onda dos dados abertos, promovendo o acesso gratuito e o uso de informações coletadas para aprimorar serviços públicos e gerar oportunidades econômicas. O governo do Reino Unido, por exemplo, está construindo o "Integrated Data Service" (Serviço de dados integrados, em Português - IDS) para facilitar a troca de dados entre departamentos. Já Singapura permite que as pessoas desenvolvedoras utilizem conjuntos de dados em tempo real de agências governamentais para a criação de aplicativos.
Tendências para monitorar
Adote
-
Técnicas para extrair relações de causa e efeito entre os dados de entrada e os resultados de um modelo de aprendizado de máquina, tornando-o mais genérico e exigindo menos dados de treinamento para ter um bom desempenho.
-
Acordo formal entre duas partes – produtora e consumidora – que estabelece os termos e condições para a utilização de um conjunto ou produto de dados.
-
Identidade descentralizada (DiD), também conhecida como identidade auto-soberana, é uma arquitetura de identidade baseada em padrões abertos que utiliza IDs digitais independentes e credenciais verificáveis para transmitir dados confiáveis. Embora não seja dependente de blockchains, muitos exemplos atuais são implementados nelas, bem como em outras formas de tecnologia de registro distribuído e criptografia de chave privada/pública, com o objetivo de proteger a privacidade e garantir a segurança das interações online.
-
Controle de acesso a dados finamente granular (FGAC), incluindo modelos baseados em políticas (PBAC) e baseados em atributos (ABAC), que permitem a consideração de uma gama mais ampla de elementos contextuais na determinação de permissões de acesso, além de papéis e privilégios tradicionais.
-
Sistemas, humanos e computacionais, originalmente concebidos para serem descentralizados, tornaram-se mais centralizados ao longo do tempo. A re-descentralização refere-se ao esforço consciente de voltar a um modelo descentralizado.
Analise
-
Tecnologias que viabilizam a interação e o compartilhamento automático de informações entre dispositivos, possibilitando a tomada de decisões e ações com mínima ou nenhuma intervenção humana.
-
Tecnologias emergentes que permitem certificar a proveniência de dados e governar seu uso em toda a organização. Isso pode ser transformador no esforço para rastrear e aprimorar o progresso em direção às metas de sustentabilidade.
Antecipe
-
Ferramentas e técnicas que estão surgindo para que auxiliar a integração de tecnologia responsável aos processos de desenvolvimento de software, com foco principal na busca ativa pela incorporação de perspectivas sub-representadas. Alguns exemplos incluem Cartas de Tarot da Tecnologia, Varredura de Consequências e Modelagem Ágil de Ameaças.
Adote
-
Uma descrição técnica e precisa de um produto de dados, que possibilita seu provisionamento, configuração e governança.
Analise
Antecipe
-
Uma abordagem para arquitetura de dados onde o controle dos dados pessoais reside com os indivíduos, possibilitando a concessão de acesso por finalidade específica e controlada (exemplificado pelos Pods Solid).
Oportunidades
Ao antecipar essas tendências, as organizações podem
Impulsionar iniciativas de IA e GenAI. Dados de alta qualidade são o combustível para qualquer iniciativa de inteligência artificial. A Forbes chamou a qualidade dos dados de "o verdadeiro gargalo para a adoção de IA".
Aprimorar a conformidade e reduzir riscos. Com políticas de governança incorporadas e automatizadas pela plataforma de dados, você preenche a lacuna entre o que é escrito e o que realmente acontece na prática.
Reduzir custos ao eliminar a redundância. Melhorar o compartilhamento de dados e criar uma plataforma centralizada de acesso permite desativar infraestrutura tecnológica duplicada em diferentes áreas da empresa, reduzindo significativamente os custos de manutenção e aquisição.
Alcançar vantagem competitiva por meio de informações avançadas. Integrar dados de qualidade em toda a empresa pode revelar ineficiências e atritos antes ocultos, além de fornecer uma visão holística de processos complexos, como a cadeia de suprimentos ou a jornada do cliente. Contexto e descobertas resultantes podem ajudar a entender melhor o funcionamento interno e a base de clientes, dando à organização uma vantagem sobre concorrentes com dados fragmentados e isolados.
Desenvolver novas fontes de valor. Conforme as capacidades para interoperabilidade amadurecem e os padrões abertos ganham espaço, novas oportunidades surgirão para capitalizar ativos de dados na forma de marketplaces e redes de dados. Enquanto grandes empresas e setores já criaram seus próprios ecossistemas de dados – como os do Open Banking e compartilhamento de dados em seguros –, ainda há espaço para expansão em outros setores e à comunidade em geral.
Reduzir o tempo de introdução ao mercado. A disponibilidade de dados de alta qualidade, especialmente como base para a IA generativa, promete acelerar e aprimorar vários aspectos complexos do processo de desenvolvimento de produtos. Um exemplo é como a capacidade de filtrar e resumir grandes volumes de informações e criar dados sintéticos de clientes ajuda a reduzir substancialmente o tempo necessário para pesquisas de mercado. Acreditamos que grandes empresas terão vantagem sobre as startups na conquista dessas oportunidades se utilizarem seus extensos reservatórios de dados de forma efetiva.
O que fizemos
Como ajudamos a ITV a impulsionar os dados com uma plataforma de data mesh
Em resposta à mudança de paradigma provocada pelo streaming digital, a ITV estabeleceu uma nova visão: se tornar uma empresa líder em mídia e entretenimento digital, que cria e entrega conteúdos excepcionais a sua audiência, onde, quando e como quiser. Uma equipe especializada da Thoughtworks começou a co-desenvolver uma plataforma de data mesh em nuvem baseada em AWS e Databricks. Esse processo permitiria à ITV dar vida à sua nova estratégia de dados e incorporar formas ágeis de trabalho em suas diversas unidades de negócios.
A plataforma de data mesh da ITV permite que as equipes integrem seus dados rapidamente e os tornem acessíveis e facilmente descobríveis em toda a empresa. O tempo necessário para abastecer produtos de dados usando a plataforma passou de três semanas para apenas algumas horas, impulsionando a adoção e expansão da mesh nas operações da ITV.
Recomendações práticas
O que fazer (Adote)
Implemente tecnologias para o aprimoramento de privacidade (privacy-enhancing technologies - PET, em inglês). Essas tecnologias aumentam a privacidade e sigilo de pessoas cujos dados são processados, armazenados e/ou coletados por softwares e sistemas. Muitas vezes usadas durante o processamento, elas modificam como normalmente lidamos (e frequentemente acumulamos) dados brutos ou em texto simples, diretamente de pessoas usuárias e participantes internas, como funcionárias. Ao aumentar a privacidade, você reduz riscos internos e oferece as pessoas usuárias mais controle sobre como seus dados são tratados.
Intensifique a governança de dados e políticas de privacidade. Se os dados não estiverem suficientemente protegidos e governados internamente, com princípios claros sobre privacidade e consentimento, será muito arriscado expor quaisquer informações externamente. Antes de considerar um compartilhamento e colaboração mais amplos, as empresas precisam definir claramente o escopo de acesso e influência sobre os dados que vários cargos possuem, além de incorporar a conformidade com políticas por código em suas plataformas de dados.
Agilize os processos de dados e o caminho para produção. Práticas como DataOps e MLOps oferecem técnicas para acelerar aspectos-chave do ciclo de produção e melhorar a experiência da pessoa desenvolvedora, com loops de feedback menores e limites que garantem a mitigação de riscos.
- Adote a Data Mesh para entregar insights em escala. Experimentar com a arquitetura de data mesh pode fornecer a integração e acessibilidade necessárias para que várias equipes aproveitem ao máximo os dados em seus domínios. Isso irá permitir melhorias na visibilidade dos processos e dará às equipes a capacidade de direcionar rapidamente o desenvolvimento para atender às necessidades de negócios, ajudando a preparar a empresa para o futuro.
O que considerar (Analise)
Alternativas para o armazenamento de dados. Tendências emergentes como data clean rooms e privacidade diferencial, que protegem a anonimidade de elementos individuais em conjuntos de dados adicionando "ruído" controlado, permitem que as empresas armazenem dados com confiança e em conformidade, extraindo insights valiosos sem comprometer a privacidade.
Participação em marketplaces de dados. A medida que mercados abertos de dados compartilhados surgem, como o proposto pelo governo do Reino Unido, as organizações devem avaliar a necessidade de participação e qual é expectativa ao envolver-se nessas iniciativas. É importante questionar: onde esses ecossistemas permitiriam à sua empresa criar mais valor? Qual é, e se existe, capacidade para monetizar dados sem sacrificar segurança e privacidade do cliente?
- Utilizando especificações para produtos de dados e contratos de dados. Especificações abertas que regulamentam e padronizam como os dados são compartilhados e consumidos por diferentes partes estão ganhando força, e por isso, é pode ser necessário integrá-las a plataforma de dados e estratégia geral da organização.
O que observar (Antecipe)
Dados alinhados às práticas de tecnologia responsável. Os princípios da tecnologia responsável oferecem um mapa valioso para empresas que buscam expandir e otimizar o uso de seus dados de forma ética.
- Marketplaces descentralizados de dados pessoais que permitem aos consumidores mais controle sobre seus dados pessoais estão impulsionando a economia da informação pessoal. Isso impactará significativamente a forma como empresas armazenam, analisam e utilizam informações das clientes, e o desenvolvimento de ecossistemas empresariais.