בַּמִּדָּה שֶׁאָדָם מוֹדֵד בָּהּ מוֹדְדִין לוֹ bamidah she'adam moded · com a medida que se mede, medem-te · Sotah 1:7

Blog/Artigos · Cloud e Plataforma

Métricas DORA: com a medida que se mede a entrega, ela é medida

As quatro métricas, velocidade e estabilidade que não se opõem, os clusters de desempenho e a armadilha de virar a métrica em meta.

Por Juliano Vince de Campos · · 8 min de leitura · 5 seções · 5 figuras

מִדָּה BAMIDAH · SOTAH 1:7

A Mishná ensina que com a medida com que a pessoa mede, medem-na de volta: a régua que se escolhe para julgar é a régua pela qual se é julgado. A frase carrega duas verdades sobre métrica. A primeira, que medir importa, porque a medida molda o comportamento. A segunda, escondida, que a medida errada volta contra você, porque o que você escolhe medir é o que o time vai otimizar, para o bem ou para o mal. As métricas DORA são a melhor régua que a indústria achou para a saúde da entrega de software, respaldadas por anos de pesquisa. Mas a mesma Mishná avisa: escolha a medida com cuidado, porque é por ela que você será medido, e é ela que vai moldar o que o time faz.

Medir a entrega, e não a atividade

Times de tecnologia sempre foram medidos por réguas ruins: linhas de código, número de commits, horas trabalhadas, story points entregues. Todas medem atividade, não resultado, e todas são fáceis de inflar sem entregar nada de valor. O trabalho da DORA, o grupo de pesquisa DevOps Research and Assessment, hoje parte do Google, foi encontrar as poucas métricas que de fato correlacionam com desempenho de negócio, medindo o resultado da engenharia, e não o suor dela. O resultado saiu no livro Accelerate, de Nicole Forsgren, Jez Humble e Gene Kim, baseado em anos de pesquisa com milhares de organizações.

São quatro métricas, e a elegância está em serem poucas e complementares. Duas medem velocidade, a rapidez com que o valor chega ao usuário: com que frequência se faz deploy, e quanto tempo uma mudança leva do commit à produção. Duas medem estabilidade, a qualidade com que ele chega: que percentual das mudanças causa falha, e quanto tempo se leva para restaurar quando algo quebra. Juntas, elas contam a história inteira: entregar rápido sem quebrar, ou entregar rápido quebrando tudo, ou entregar devagar e ainda assim quebrar. Quatro números, e o time inteiro sabe onde está.

Figura 1As quatro métricas DORA
  • FREQFrequência de deploycom que frequência se entrega à produção (velocidade)
  • LEADLead time para mudançatempo do commit até rodar em produção (velocidade)
  • CFRTaxa de falha de mudançapercentual de deploys que causam falha (estabilidade)
  • MTTRTempo para restaurarquanto se leva para recuperar de uma falha (estabilidade)
  • VELEixo velocidadefrequência e lead time: a rapidez com que o valor chega
  • ESTEixo estabilidadetaxa de falha e tempo de restaurar: a qualidade com que chega
Quatro métricas, do livro Accelerate. Duas de velocidade, duas de estabilidade. Elas medem o resultado da engenharia, não o suor dela, ao contrário de linhas de código ou story points, que medem atividade e se inflam sem entregar valor.

A descoberta que quebrou o mito: velocidade e estabilidade andam juntas

Por décadas, a indústria acreditou num trade-off: ou você entrega rápido, ou você entrega estável, escolha um. A pressa quebra, a cautela atrasa. A pesquisa da DORA demoliu esse mito com dado: as organizações de elite são melhores nas quatro métricas ao mesmo tempo. Elas entregam mais rápido e quebram menos, e se recuperam mais rápido quando quebram. Velocidade e estabilidade não se opõem; se reforçam. Quem entrega em lotes pequenos e frequentes quebra menos, porque a mudança pequena é fácil de revisar e de reverter, e quando quebra, o estrago é menor e a causa é óbvia.

Essa descoberta muda a conversa de gestão. Deixa de ser aceitável dizer vamos mais devagar para ter mais qualidade, porque a pesquisa mostra que os melhores fazem o contrário: vão mais rápido justamente porque têm mais qualidade. Lote pequeno, automação de teste, entrega contínua e capacidade de reverter rápido são o que dá as duas coisas juntas. As quatro métricas, lidas em conjunto, revelam onde o time está no mapa: alto nos dois eixos é elite; rápido mas instável é o cowboy que vai colher incidente; estável mas lento é o burocrata que perde mercado. Ler as quatro juntas é o que impede otimizar uma às custas da outra.

Figura 2Velocidade e estabilidade: o mapa das quatro métricas juntas
Estabilidade (baixa falha, recuperação rápida)
Eliterápido e estável: a pesquisa mostra que os melhores são bons nos dois ao mesmo tempo.
Cowboyrápido e instável: entrega muito e quebra muito, colhe incidente.
Burocrataestável e lento: quebra pouco, mas perde mercado pela lentidão.
Em apuroslento e instável: o pior dos mundos, devagar e quebrando.
Velocidade (deploy frequente, lead time curto)
A pesquisa da DORA demoliu o mito do trade-off: velocidade e estabilidade se reforçam, não se opõem. Lote pequeno e frequente quebra menos e recupera mais rápido. Ler as quatro juntas impede otimizar uma às custas da outra.

Os clusters: elite, alto, médio e baixo

A DORA agrupa as organizações em clusters de desempenho, historicamente elite, alto, médio e baixo, com faixas de referência para cada métrica. Um time de elite faz deploy sob demanda, várias vezes por dia; leva menos de um dia do commit à produção; tem taxa de falha baixa; e restaura em menos de uma hora. Um time de baixo desempenho faz deploy uma vez a cada meses; leva meses do commit à produção; e leva semanas para restaurar. A distância entre os extremos é de ordens de grandeza, não de percentuais, e ela explica por que algumas empresas parecem correr enquanto outras se arrastam.

O valor dos clusters não é o troféu de ser elite; é o benchmark honesto de onde você está e o mapa de para onde ir. Medir as próprias quatro métricas e compará-las com as faixas mostra, sem política e sem opinião, se o time é rápido, se é estável, e o que precisa melhorar primeiro. E a comparação mais útil não é com a elite global, é com você mesmo ao longo do tempo: as quatro métricas subindo trimestre a trimestre são a prova de que a melhoria de processo, a automação, a plataforma, estão dando retorno. Sem essa régua, melhoria de engenharia é sensação; com ela, é uma linha que sobe ou não.

Figura 3Os clusters de desempenho da DORA
  1. 1Baixodeploy a cada meses, lead time de meses, recuperação em semanas
  2. 2Médiodeploy semanal a mensal, lead time de semanas, recuperação em um dia
  3. 3Altodeploy diário a semanal, lead time de dias, recuperação em horas
  4. 4Elitedeploy sob demanda, lead time de horas, recuperação em minutos
A distância entre baixo e elite é de ordens de grandeza, não de percentuais. O valor não é o troféu de ser elite, é o benchmark honesto de onde se está, e a comparação mais útil é com você mesmo ao longo do tempo.

A armadilha: quando a medida vira meta

Aqui está o aviso escondido na Mishná, e a lei de Goodhart o formula: quando uma medida vira meta, ela deixa de ser uma boa medida. No instante em que a gestão diz quero deploy diário até dezembro e amarra bônus a isso, o time entrega deploys diários vazios, fatia uma mudança em dez para inflar a frequência, ou esconde falha para não subir a taxa. A régua boa vira gaming, e as métricas passam a mentir com precisão. As métricas DORA são resultados a observar, não metas a perseguir; elas medem a saúde do sistema de entrega, e mexer no termômetro não cura a febre.

A defesa é dupla. Primeira: usar as quatro sempre juntas, porque otimizar uma isolada quebra a outra, e é difícil enganar as quatro ao mesmo tempo sem de fato melhorar. Segunda: complementar a régua de resultado com a régua de gente, e o framework SPACE, dos mesmos pesquisadores, faz isso, olhando satisfação, desempenho, atividade, comunicação e eficiência, para que a busca por número não esconda um time exausto e infeliz produzindo métrica bonita. A medida certa, lida com honestidade e no conjunto certo, molda o comportamento certo. A medida transformada em meta, perseguida isolada, molda a trapaça. E como avisa a Mishná, é pela medida que você escolhe que você será medido de volta.

Figura 4A métrica como resultado a observar e como meta a perseguir
AspectoMétrica como resultadoMétrica virada em meta
O que medea saúde real do sistema de entregao número, que passa a ser gamed
Comportamento que induzmelhorar o processo de verdadeinflar a frequência, esconder a falha
Como se protegeler as quatro juntas, difícil de enganaramarrar bônus a uma isolada quebra tudo
ComplementoSPACE olha a gente por trás do númerosem SPACE, esconde time exausto
Resultado finala medida molda o comportamento certoa medida mente com precisão
A lei de Goodhart: quando a medida vira meta, deixa de ser boa medida. As DORA são resultados a observar, não metas a perseguir. Mexer no termômetro não cura a febre, e a Mishná avisa: pela medida que se escolhe, mede-se de volta.

A maturidade da medição, e onde as métricas se ligam

A medição de entrega amadurece da régua ruim ao retorno medido. No começo se mede atividade, linhas e commits, que não dizem nada de valor. Depois vêm as quatro métricas DORA, calculadas ainda à mão. No meio elas são automáticas, extraídas do pipeline e dos incidentes. No topo são lidas em conjunto, comparadas com você mesmo ao longo do tempo, protegidas do gaming e complementadas pelo SPACE, virando o retorno medido de cada investimento em engenharia. Cada degrau troca a sensação de estar melhorando pela prova de estar.

As métricas DORA não vivem sozinhas. O tempo de restaurar é primo do MTTR da gestão de incidentes; a taxa de falha conversa com o error budget do SLO; a frequência de deploy é o que a entrega progressiva e o GitOps aceleram com segurança. Elas são o painel que mede se toda a maquinaria deste eixo, a plataforma, o IaC, o progressive delivery, está de fato entregando mais rápido e mais estável, ou só parecendo. Medir a entrega com a régua certa é o que fecha o ciclo: sem ela, cada melhoria é ato de fé; com ela, é uma linha que sobe, e a Mishná se cumpre no melhor sentido, a medida certa molda o time certo.

Figura 5Maturidade da medição de entrega
  1. 0Atividademede linhas, commits, horas: número que não diz nada
  2. 1DORA à mãoas quatro métricas calculadas em planilha, e abandonadas
  3. 2Automáticaextraídas do pipeline e dos incidentes, sempre atuais
  4. 3Lidas juntasas quatro em conjunto, comparadas consigo ao longo do tempo
  5. 4Protegidasresistentes ao gaming, complementadas pelo SPACE
  6. 5Retorno medidocada melhoria de processo aparece como agulha que se moveu
Cada degrau troca a sensação de melhorar pela prova de melhorar. As métricas DORA são o painel que mede se a plataforma, o IaC e o progressive delivery entregam de fato mais rápido e estável, ou só parecem.

Para levar

As métricas DORA são a melhor régua da saúde da entrega: frequência e lead time medem velocidade, taxa de falha e tempo de restaurar medem estabilidade, e o Accelerate provou que as duas andam juntas, demolindo o mito do trade-off. Os clusters dão o benchmark honesto, e a comparação mais útil é com você mesmo no tempo. Mas a Mishná avisa: quando a medida vira meta, mente, e a defesa é ler as quatro juntas e complementar com o SPACE. A IA calcula, correlaciona e denuncia o gaming. Escolher a medida com cuidado, porém, continua sendo decisão de quem entende que a régua molda o time.

Tags

  • #julianovincedecampos
  • #DORA
  • #CloudEPlataforma
  • #Métricas
  • #DevOps
  • #Engenharia
  • #SRE

Onde eu estudei, me certifiquei e trabalhei

  • University of Cambridge
  • PUC Minas
  • PUC-RS
  • PUC Goiás
  • Pontificia Universidad Católica del Perú
  • Amazon Web Services
  • Google
  • IBM
  • Oracle
  • COBIT 5 Foundation
  • ITIL v3 Foundation
  • Exemplar Global
  • Red Team Leaders
  • Infosec
  • Salesforce
  • Flowgrammers
  • ISO/IEC 27001
  • NIST Cybersecurity Framework
  • Compass UOL
  • Luby
  • Creditas
  • PicPay
  • PagoNxt, Santander
  • Mercado Pago
  • Itaú Unibanco
  • Foursys
  • Soluti Certificação Digital