Instabilidade no Serviço de Integração IdTrust

Update timeline

1. identified Mar 26, 2026, 08:14 PM UTC

   Atualização de Incidente: Identificado e Corrigido Status: Identificado Informamos que identificamos um incidente técnico com impacto na disponibilidade e latência do fluxo Create Process, com reflexos na jornada idtrust. Detalhamento e Resolução: A causa raiz foi mapeada como uma instabilidade de performance que gerou uma degradação temporária entre 16:30 e 16:45. Durante esse intervalo, registramos picos de latência e intermitências no processamento das solicitações. Nossa equipe de engenharia atuou com prioridade máxima e as medidas corretivas já foram implementadas com sucesso. No momento, os serviços operam dentro dos padrões de normalidade e os indicadores de disponibilidade foram restabelecidos. Status Atual Situação: Incidente corrigido. Ação: Monitoramento preventivo das métricas para garantir a estabilidade contínua da operação. Equipe Unico.

2. identified Mar 26, 2026, 08:16 PM UTC

   Atualização de Incidente: Identificado e Corrigido Status: Identificado Informamos que identificamos um incidente técnico com impacto na disponibilidade e latência do fluxo Create Process, com reflexos na jornada idtrust. Detalhamento e Resolução: A causa raiz foi mapeada como uma instabilidade de performance que gerou uma degradação temporária entre 16:30 e 16:45. Durante esse intervalo, registramos picos de latência e intermitências no processamento das solicitações. Nossa equipe de engenharia atuou com prioridade máxima e as medidas corretivas já foram implementadas com sucesso. No momento, os serviços operam dentro dos padrões de normalidade e os indicadores de disponibilidade foram restabelecidos. Status Atual Situação: Incidente corrigido. Ação: Monitoramento preventivo das métricas para garantir a estabilidade contínua da operação. Equipe Unico.

3. identified Mar 26, 2026, 08:16 PM UTC

   Atualização de Incidente: Identificado e Corrigido Status: Identificado Informamos que identificamos um incidente técnico com impacto na disponibilidade e latência do fluxo Create Process, com reflexos na jornada idtrust. Detalhamento e Resolução: A causa raiz foi mapeada como uma instabilidade de performance que gerou uma degradação temporária entre 16:30 e 16:45. Durante esse intervalo, registramos picos de latência e intermitências no processamento das solicitações. Nossa equipe de engenharia atuou com prioridade máxima e as medidas corretivas já foram implementadas com sucesso. No momento, os serviços operam dentro dos padrões de normalidade e os indicadores de disponibilidade foram restabelecidos. Status Atual Situação: Incidente corrigido. Ação: Monitoramento preventivo das métricas para garantir a estabilidade contínua da operação. Equipe Unico.

4. resolved Mar 26, 2026, 08:41 PM UTC

   1. Resumo Executivo e Impacto Informamos que o incidente que afetou o fluxo Create Process na jornada idtrust foi totalmente resolvido. Entre 16:30 e 16:45, identificamos uma degradação na disponibilidade de alguns endpoints, que operaram momentaneamente entre 60% e 70%, além de um aumento atípico na latência para patamares de até 11 segundos. 2. Causa Raiz e Resolução A instabilidade foi provocada por eventos de interrupção na nossa infraestrutura de processamento. Esse comportamento causou o desligamento abrupto de instâncias, impactando o tempo de resposta e a taxa de sucesso das requisições. Como medida imediata para resolução e mitigação, o time de engenharia realizou a migração da carga de trabalho para nós de disponibilidade garantida (on-demand), eliminando a volatilidade do ambiente. Adicionalmente, implementamos melhorias no ciclo de vida dos serviços para garantir que futuros desligamentos de infraestrutura ocorram de forma graciosa, sem interromper as transações em curso. 3. Compromisso e Próximos Passos A Unico trata a resiliência de seus sistemas como prioridade inegociável. Para prevenir recorrências, estamos priorizando as seguintes ações: Migração definitiva de serviços críticos para pools de recursos dedicados. Expansão da capacidade de rede e ajustes de configuração para maior tolerância a falhas. Um Postmortem detalhado será elaborado e compartilhado em breve, contendo a análise técnica profunda e o plano de ação de longo prazo. Lamentamos sinceramente o impacto causado em sua operação e reafirmamos nosso compromisso com a excelência técnica e a transparência. Equipe Unico.

5. postmortem Apr 01, 2026, 12:45 PM UTC

   # Postmortem: Instabilidade no Serviço de Integração IdTrust ## Resumo No dia **26 de março de 2026**, entre **16:30 e 16:52 \(BRT\)**, observamos uma degradação significativa na performance de componentes críticos de nossa infraestrutura de biometria. O incidente resultou em um aumento súbito de latência e erros de conexão, impactando a taxa de sucesso de integração de novos processos. A situação foi normalizada automaticamente após a estabilização da infraestrutura de nuvem, sem necessidade de intervenção manual direta para a recuperação dos serviços. ‌ ## Impacto O incidente teve uma duração aproximada de **22 minutos**, com o período de maior instabilidade concentrado em uma janela de **5 minutos**. ‌ * **Disponibilidade:** Alguns endpoints apresentaram queda de disponibilidade para níveis entre **60% e 70%** durante o pico do evento. * **Latência:** O tempo de resposta para processamentos críticos \(p99\) saltou de uma média de 900ms para picos superiores a **10 segundos**. * **Clientes:** O impacto foi sentido por pelo menos **10 clientes corporativos** que utilizam nossas jornadas de verificação de identidade. ## Causa Raiz A instabilidade foi desencadeada por eventos de **preempção de nós \(Spot Nodes\)** em nosso cluster de processamento principal. Devido à natureza dessas instâncias de custo otimizado, o provedor de nuvem pode solicitar o desligamento imediato das máquinas para recuperar capacidade. ‌ A severidade do impacto ocorreu devido a dois fatores técnicos principais: 1. **Ausência de Desligamento Gracioso:** Os serviços afetados não possuíam uma configuração de _preStop hook_, o que impediu que as conexões em andamento fossem finalizadas corretamente antes do encerramento do contêiner, causando erros de rede imediatos. 2. **Configuração de Timeouts Internos:** A comunicação entre os componentes internos não possuía limites de tempo \(_timeouts_\) otimizados, fazendo com que as requisições ficassem "presas" aguardando resposta de nós que já haviam sido removidos, o que gerou o efeito cascata de latência. ## Resolução O sistema recuperou a estabilidade de forma orgânica assim que novos nós foram provisionados pelo orquestrador de contêineres e as cargas de trabalho foram redistribuídas. A equipe de engenharia confirmou a normalização dos indicadores de saúde \(liveness\) e latência às **16:52**. ‌ ## Lições Aprendidas Este incidente destacou vulnerabilidades em nossa estratégia de resiliência para cargas de trabalho críticas: * **Priorização de Infraestrutura:** Identificamos que serviços vitais para a jornada do cliente não devem depender exclusivamente de instâncias passíveis de interrupção imediata sem mecanismos robustos de tolerância a falhas. * **Padronização de Ciclo de Vida:** A configuração de encerramento gracioso deve ser um requisito padrão para qualquer serviço que processe tráfego síncrono. * **Gestão de Capacidade de Rede:** Gargalos de infraestrutura \(como exaustão de IPs no cluster\) podem atuar como bloqueadores ocultos para a execução de melhorias preventivas, devendo ser monitorados proativamente. ‌ Estamos comprometidos com a estabilidade de nossos ambientes e atuaremos nas ações preventivas, mitigando impactos similares no futuro. Agradecemos a compreensão e estamos à disposição para esclarecer quaisquer dúvidas.‌ Atenciosamente, Equipe Unico.