לְהַעֲלֹת נֵר תָּמִיד leha'alot ner tamid · para fazer subir uma luz contínua · Shemot 27:20

Blog/Artigos · Operações

Operações de tecnologia com IA: a luz contínua tem orçamento

SLO, error budget e burn rate como base, e a IA correlacionando, diagnosticando e propondo mitigação em cima deles.

Por Juliano Vince de Campos · · 5 min de leitura · 5 seções · 5 figuras

נֵר תָּמִיד LEHA'ALOT · SHEMOT 27:20

A luz do Mishkan precisava ficar acesa sempre, e mesmo assim alguém tinha de preparar o azeite, limpar o pavio e acender de novo todas as tardes. Disponibilidade contínua funciona do mesmo jeito: é um resultado mantido por rotina. Quando cheguei na operação atual, o monitoramento olhava só infraestrutura e produzia centenas de falsos positivos por mês. Trocar isso por 9 SLOs com error budget foi o que deu base para qualquer IA ajudar depois.

Disponibilidade é um número com preço

Um SLO de 99,9% num mês de 30 dias permite 43,2 minutos de indisponibilidade. Cada nove a mais divide esse orçamento por dez, e custa bem mais que dez vezes em redundância, processo e plantão. Por isso a primeira conversa com o negócio é sobre quanto de falha a jornada suporta, antes de falar de ferramenta.

O SLO precisa medir o que o usuário sente: requisição que deu certo, dentro do tempo, na jornada que importa. CPU alta com cliente satisfeito é informação, e fica fora da página. Cliente sem conseguir pagar com a CPU tranquila é incidente. Um SLI bem escolhido separa esses dois casos sem discussão.

Figura 1Orçamento de indisponibilidade por mês, conforme a meta de SLO
  • 99%432 min
  • 99,5%216 min
  • 99,9%43,2 min
  • 99,95%21,6 min
  • 99,99%4,32 min
Mês de 30 dias, ou 43.200 minutos. Escala linear: a barra de 99,99% quase some, e é isso mesmo que ela deveria comunicar. Quatro minutos por mês não cabem num processo de resposta humano.

Burn rate: alertar pelo ritmo de consumo do orçamento

Burn rate é a velocidade com que o orçamento está sendo gasto. Burn 1 consome exatamente o orçamento no fim da janela de 30 dias. Burn 14,4 consome 2% do orçamento mensal em uma hora, e isso justifica acordar alguém. Burn 1 sustentado por três dias consome 10%, e isso justifica um ticket para o horário comercial.

A combinação de janela longa com janela curta resolve os dois defeitos clássicos do alerta por limiar. A longa garante que o problema é real e relevante. A curta garante que ele ainda está acontecendo, então o alerta para sozinho quando a mitigação funciona.

Figura 2Alertas de burn rate em múltiplas janelas, para SLO de 30 dias
Burn rateJanela longaJanela curtaOrçamento consumidoAção
14,41 hora5 minutos2%página para o plantão
66 horas30 minutos5%página para o plantão
13 dias6 horas10%ticket no horário comercial
Valores do modelo de alerta em múltiplas janelas descrito no SRE Workbook do Google. O alerta dispara só quando as duas janelas passam do limite ao mesmo tempo.

O orçamento visto como curva

A curva de orçamento restante mostra o que o número isolado esconde. Consumo em ritmo 1 termina o mês em zero, exatamente como planejado. Ritmo 2 esgota o orçamento na metade do mês e deixa quinze dias sem margem nenhuma. Um incidente grande no dia 10 cria um degrau, e o ritmo normal depois dele termina o orçamento dez dias antes do fim.

É essa curva que sustenta a política de error budget. Com orçamento sobrando, o time tem licença para arriscar mudança. Com orçamento acabando, mudança de risco congela e o esforço vai para confiabilidade. A decisão deixa de ser opinião de quem grita mais alto na reunião.

Figura 3Orçamento restante ao longo de um mês, em três cenários
0255075100051015202530dia do mêsorçamento restante (%)política: congelar mudança de risco
  • consumo em ritmo 1
  • consumo em ritmo 2
  • ritmo 1 com incidente de 30% no dia 10
Ver os dados da figura
dia do mêsconsumo em ritmo 1consumo em ritmo 2ritmo 1 com incidente de 30% no dia 10
0100100100
1066,7
10,236,7
150
21,20
30000
Curvas calculadas, sem dado de produção: ritmo 1 consome 3,33 pontos percentuais por dia. O limiar de 10% é um exemplo de política, e cada serviço define o seu.

Onde a IA entra na operação

AIOps costuma ser vendido como detecção mágica. Na minha experiência o ganho real está depois do alerta: juntar os sinais que pertencem ao mesmo problema, levantar hipóteses de causa com base no que já aconteceu antes e preparar a mitigação para quem está de plantão.

Para o diagnóstico funcionar, o modelo precisa de memória institucional. Runbook, postmortem, histórico de mudança e topologia de dependência entram numa base consultada por RAG, com cada resposta citando o documento de origem. Sem citação, o plantonista não consegue verificar em dois minutos, e hipótese que não se verifica em dois minutos não serve às 3h da manhã.

Figura 4Ciclo de resposta com IA, do sinal ao aprendizado
  1. 01Detectarburn rate do SLO dispara, anomalia chega como contexto
  2. 02IACorrelacionaragrupa alertas, mudanças e dependências do mesmo problema
  3. 03IADiagnosticarhipóteses com citação de runbook e postmortem
  4. 04IAMitigarrollback ou failover preparado, executado com aprovação
  5. 05Aprenderpostmortem sem culpado vira ação, teste e documento na base

cada postmortem entra na base consultada pelo diagnóstico do próximo incidente.

A detecção continua determinística, ancorada no SLO. A IA atua nos três elos em que o gargalo é leitura e síntese humana.

O humano no circuito, pelo critério certo

A pergunta sobre o que automatizar costuma ser feita em termos de confiança no modelo. Eu prefiro dois critérios mais objetivos: o tamanho do estrago se a ação estiver errada e a facilidade de desfazer. Reiniciar um pod sem estado é barato e reversível. Apagar dado, mexer em DNS de produção ou alterar permissão exigem gente.

Essa matriz vira política escrita, revisada em GMUD, e cada automação declara em qual quadrante está. Quando alguém quer mover uma ação de quadrante, a mudança passa pelo mesmo rito de qualquer outra mudança em produção.

Figura 5Quanto a IA pode fazer sozinha, conforme impacto e reversibilidade
Impacto se a ação estiver errada
Só humanoalto impacto e difícil de desfazer: apagar dado, alterar DNS, mudar permissão. A IA prepara o contexto.
IA propõe, humano aprovaalto impacto e fácil de desfazer: rollback de deploy, failover ensaiado.
IA sugere com evidênciabaixo impacto e difícil de desfazer: limpeza de recurso, rotação fora de hora.
Automatizarbaixo impacto e fácil de desfazer: reiniciar réplica sem estado, escalar horizontalmente.
Facilidade de desfazer
Linhas: impacto alto (em cima) e baixo (embaixo). Colunas: difícil de desfazer (à esquerda) e fácil (à direita).

Para levar

IA em operação funciona quando a operação já tem estrutura: SLO medindo o que o usuário sente, alerta por burn rate, runbook e postmortem escritos e uma política clara de quem pode fazer o quê. Com essa base, o modelo correlaciona, diagnostica e prepara a mitigação. Sem ela, ele só acelera o ruído que já existia.

Tags

  • #julianovincedecampos
  • #SRE
  • #AIOps
  • #SLO
  • #ErrorBudget
  • #Observabilidade
  • #IncidentResponse

Onde eu estudei, me certifiquei e trabalhei

  • University of Cambridge
  • PUC Minas
  • PUC-RS
  • PUC Goiás
  • Pontificia Universidad Católica del Perú
  • Amazon Web Services
  • Google
  • IBM
  • Oracle
  • COBIT 5 Foundation
  • ITIL v3 Foundation
  • Exemplar Global
  • Red Team Leaders
  • Infosec
  • Salesforce
  • Flowgrammers
  • ISO/IEC 27001
  • NIST Cybersecurity Framework
  • Compass UOL
  • Luby
  • Creditas
  • PicPay
  • PagoNxt, Santander
  • Mercado Pago
  • Itaú Unibanco
  • Foursys
  • Soluti Certificação Digital