Hiper incident
Aumento de erros no faturamento e sincronização de operações do Hiper Gestão
Hiper experienced a major incident on November 27, 2024 affecting Hiper Gestão and Serviço de Sincronização, lasting 2h 44m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Nov 27, 2024, 11:29 AM UTC
Identificamos um aumento de erros relacionados ao faturamento e sincronização de operações no Hiper Gestão. Os erros estão sendo gerados devido à um aumento de consumo do banco de dados principal que está sendo motivado por bloqueios em sessões entre a aplicação e o banco. Nossos times estão neste momento atuando com foco total em mitigar os impactos do incidente.
- monitoring Nov 27, 2024, 11:47 AM UTC
Nossos times identificaram a causa raiz do incidente e aplicaram uma correção. À partir das 06h50 da manhã de hoje, foi identificado um aumento no bloqueio de sessões do banco de dados principal. Após alguns minutos, a taxa de erros e o tempo de resposta do serviço responsável pelo faturamento aumentaram significativamente, culminando em falhas no faturamento do Hiper Gestão e na sincronização de operações do Hiper Caixa e Hiper Loja. Os bloqueios foram motivados pela ativação de um processo de auditoria habilitado no banco de dados. A auditoria foi habilitada à fim de identificarmos a causa raiz de uma issue relacionada à operações não concluídas que está sendo tratada com prioridade. Às 08h30 da manhã, conseguimos desabilitar completamente o processo de auditoria. Após isso, todas as sessões bloqueadas no banco de dados foram liberadas, o tempo de resposta e a taxa de erros do serviço responsável pelo faturamento normalizaram e o funcionamento da aplicação foi completamente restabelecido. Nossos times seguem monitorando a saúde do produto e acompanhando o cenário junto ao time de Atendimento à fim de garantir que o incidente foi completamente resolvido.
- resolved Nov 27, 2024, 01:54 PM UTC
Após o acompanhamento assíduo dos indicadores de saúde do produto e das filas junto ao time de Atendimento, não identificamos mais nenhum impacto decorrente do incidente relatado. Dessa forma, encerramos a tratativa deste caso. A causa raiz do incidente foi identificada e corrigida. O impacto pode ter sido percebido pelos usuários entre 06h50 e 08h30 (horário de Brasília) de hoje (27/11/2024). Seguiremos atuando com foco em melhorar o processo de gerenciamento de incidentes e a eficácia das ações de confiabilidade do produto, à fim de minimizar o risco de ocorrência de novos incidentes.