Hiper experienced a minor incident on March 31, 2023 affecting Hiper Gestão and Serviço de Sincronização, lasting 6h 20m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Mar 30, 2023, 12:24 PM UTC
Descrição: nossos times identificaram uma degradação de performance no Hiper Gestão, impactando principalmente as operações relacionadas ao faturamento. A causa da degradação de performance está sendo investigada com prioridade máxima. Impacto: lentidão no acesso e uso do Hiper Gestão e serviço de sincronização. Previsão de solução: em análise.
- investigating Mar 30, 2023, 01:07 PM UTC
Atualização do caso: nosso time segue atuando na investigando da causa raiz da degradação de performance do Hiper Gestão. Todas as medidas de contenção estão sendo aplicadas para mitigar o mais rápido possível o impacto na usabilidade do produto.
- identified Mar 30, 2023, 04:08 PM UTC
Atualização do caso: a causa raiz foi identificada. Neste momento, nossos times estão analisando as possíveis correções que podem ser aplicadas para a degradação de performance do Hiper Gestão. As correções estão sendo analisadas com máxima prioridade para garantir o restabelecimento da estabilidade do produto no menor tempo possível.
- identified Mar 30, 2023, 05:23 PM UTC
Atualização do caso: nossos times desenvolveram uma correção para o problema de performance do Hiper Gestão. Neste momento, a correção está em fase de testes. Assim que os testes forem finalizados com sucesso, a correção será liberada definitivamente. Previsão de solução: a correção deve ser liberada até às 17h de hoje (30/03), após a conclusão das validações internas.
- identified Mar 30, 2023, 08:16 PM UTC
Atualização do caso: a correção desenvolvida pelo time passou por todos os testes internos com êxito. Neste momento, a mesma correção está sendo liberada para o ambiente de produção, à fim de mitigar os impactos decorrentes do incidente. Previsão de solução: a correção deve estar disponível até às 18h de hoje (30/03).
- monitoring Mar 31, 2023, 12:19 AM UTC
Atualização do caso: a liberação da correção foi concluída às 19h20, após isso, imediatamente foi possível constatar uma redução na quantidade de operações que estavam impactando na performance do Hiper Gestão, o tempo de resposta dos serviços normalizou na sequência restabelecendo completamente a usabilidade da aplicação. Realizamos também uma revalidação de todo o ambiente para aferir a efetividade da correção liberada, na qual constatamos que todos os indicadores estabilizaram. Ainda assim, este comunicado será mantido em aberto durante o dia de amanhã (31/03) para eventuais atualizações. Nosso time estará 100% dedicado à monitorar, avaliar e atuar sob qualquer indício de instabilidade. No momento, o acesso ao Hiper Gestão foi completamente restabelecido.
- monitoring Mar 31, 2023, 11:33 AM UTC
Atualização do caso: nossos times identificaram uma nova degradação de performance no Hiper Gestão. Uma análise esta sendo feita neste momento para identificar a causa raiz.
- monitoring Mar 31, 2023, 04:03 PM UTC
Atualização do caso: após algumas ações executadas pelo time, foi possível estabilizar o ambiente na manhã de hoje. Isso só foi possível, pois a liberação da correção feita na noite de ontem (30/03), possibilitou otimizar a operação que estava impactando na performance do Hiper Gestão. O incidente todo se originou devido à uma consulta em banco de dados que consumia todos os recursos disponíveis no servidor, impedindo que outra operações fossem executadas. Consequentemente, o Hiper Gestão era impactado com uma degradação de performance. Hoje, às 09h50 da manhã, foi feita realizada uma ação de fixação do plano de execução da consulta que impactava a performance do banco de dados principal. Com isso, o tempo de resposta de todas as aplicações e serviços do Hiper Gestão gradativamente normalizou, atingindo um cenário de estabilidade por volta das 11h25.
- monitoring Mar 31, 2023, 04:03 PM UTC
Atualização do caso: todos os indicadores seguem saudáveis e nenhum impacto na experiência de uso do Hiper Gestão deve ser sentido. Nossos times estão 100% dedicados à monitorar, acompanhar e agir frente à qualquer indício de instabilidade.
- resolved Mar 31, 2023, 09:36 PM UTC
Atualização do caso: após realizar o monitoramento ativo de todos os indicadores na tarde de hoje, foi possível constatar que a instabilidade foi completamente resolvida. Portanto, este incidente será encerrado. Nas próximas semanas, compartilharemos nesta mesma página, o relatório de postmortem detalhando o caso.