Para medir o desempenho da entrega de software, cada vez mais organizações vêm adotando as quatro métricas fundamentais, definidas pelo programa DORA research: lead time, frequência de implantação, tempo médio de restauração (MTTR) e porcentagem de falha de alteração. A pesquisa e sua análise estatística mostram uma ligação nítida entre alta performance de entrega e essas métricas, que fornecem um ótimo indicador de desempenho para um time, ou até mesmo uma organização inteira.
Ainda defendemos fortemente o uso dessas métricas, mas aprendemos algumas lições. Ainda temos observado o uso cada vez mais frequente de abordagens de medição equivocadas, com ferramentas que ajudam os times a obter essas métricas baseando-se somente em seus canais de entrega contínua (CD). Particularmente, quando se trata de métricas de estabilidade (MTTR e porcentagem de falha de alteração), os dados do pipeline de CD por si só não fornecem informações suficientes para determinar o que é uma falha de implantação com impacto real para os usuários. As métricas de estabilidade só fazem sentido se incluírem dados sobre incidentes reais que prejudicam a experiência de uso do serviço.
Recomendamos sempre ter em mente a intenção final por trás de uma métrica, usando-a para refletir e aprender. Por exemplo, antes de passar semanas desenvolvendo ferramentas sofisticadas de dashboard, considere incluir a verificação rápida do DORA regularmente em retrospectivas do time. Isso dá ao time oportunidade de refletir sobre quais recursos podem ser trabalhados para melhorar suas métricas, o que pode ser muito mais efetivo do que usar ferramentas prontas para uso excessivamente detalhadas. Tenha em mente que essas quatro métricas principais se originaram de pesquisas de nível organizacional com times de alto desempenho, e o uso dessas métricas no nível do time deve ser uma maneira de refletir sobre os comportamentos do time, e não apenas mais um conjunto de métricas para adicionar ao dashboard.
Para avaliar o desempenho da entrega de software, cada vez mais organizações estão recorrendo às quatro métricas fundamentais , definidas pelo programa DORA research: lead time, frequência de deployment, tempo médio de restauração (MTTR) e porcentagem de falha de alteração. A pesquisa e sua análise estatística mostram uma ligação nítida entre alta performance de entrega e essas métricas, que fornecem um ótimo indicador de desempenho para um time, ou até mesmo uma organização inteira.
Ainda defendemos fortemente o uso dessas métricas, mas aprendemos algumas lições desde que começamos a monitorá-las. E temos observado o uso cada vez mais frequente de abordagens de medição equivocadas, com ferramentas que ajudam os times a obter essas métricas baseando-se somente em seus canais de entrega contínua (CD). Particularmente, quando se trata de métricas de estabilidade (MTTR e porcentagem de falha de alteração), os dados do pipeline de CD por si só não fornecem informações suficientes para determinar o que é uma falha de implantação com impacto real para os usuários. As métricas de estabilidade só fazem sentido se incluírem dados sobre incidentes reais que prejudicam a experiência de uso do serviço.
E como qualquer métrica, recomendamos sempre ter em mente a intenção final por trás, usando-as para refletir e aprender. Por exemplo, antes de passar semanas desenvolvendo ferramentas sofisticadas de dashboard, considere incluir a verificação rápida do DORA regularmente em retrospectivas do time. Isso dá ao time oportunidade de refletir sobre quais recursos podem ser trabalhados para melhorar suas métricas, o que pode ser muito mais efetivo do que usar ferramentas prontas para uso excessivamente detalhadas.
O minucioso relatório State of DevOps tem como foco uma análise estatística e orientada por dados de organizações de alta performance. O resultado dessa pesquisa de vários anos, publicado no Accelerate, mostra uma ligação direta entre a performance organizacional e a performance de entrega do software. Os pesquisadores determinaram que apenas quatro métricas fundamentais diferenciam as organizações de baixo, médio e alto desempenho: lead time, frequência de deployment, tempo médio de restauração (MTTR) e porcentagem de falha de alteração. Realmente, achamos que essas quatro métricas fundamentais são um recurso simples, porém poderoso para ajudar líderes e times a focar em medir e melhorar o que é importante. Um bom ponto de partida é equipar as pipelines de compilação para extrair essas quatro métricas fundamentais e tornar o fluxo de valor da entrega de software visível. Pipelines GoCD, por exemplo, possibilitam medir essas quatro métricas fundamentais como uma entidade de primeira classe do GoCD analytics.
The State of DevOps report, first published in 2014, states that high-performing teams create high-performing organizations. Recently, the team behind the report released Accelerate, which describes the scientific method they've used in the report. A key takeaway of both are the four key metrics to support software delivery performance: lead time, deployment frequency, mean time to restore (MTTR), and change fail percentage. As a consultancy that has helped many organizations transform, these metrics have come up time and time again as a way to help organizations determine whether they're improving the overall performance. Each metric creates a virtuous cycle and focuses the teams on continuous improvement: to reduce lead time, you reduce wasteful activities which, in turn, lets you deploy more frequently; deployment frequency forces your teams to improve their practices and automation; your speed to recover from failure is improved by better practices, automation and monitoring which reduces the frequency of failures.
