Hiper experienced a major incident on April 22, 2023 affecting Hiper Gestão and Serviço de Sincronização and 1 more component, lasting 23h 38m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Apr 22, 2023, 12:32 PM UTC
Descrição: nossos times identificaram uma degradação de performance no Hiper Gestão, impactando o uso da aplicação no geral. A causa da degradação de performance está sendo investigada com prioridade máxima. Impacto: lentidão no acesso e uso do Hiper Gestão e serviço de sincronização. Previsão de solução: em análise.
- identified Apr 22, 2023, 01:55 PM UTC
Atualização do caso: nossos times identificaram a causa do problema de performance que está impactando o uso do Hiper Gestão. A causa raiz está relacionada à performance do gateway das aplicações. Neste momento, estão sendo implementados novos ajustes de capacidade para atender ao volume de requisições do produto. Previsão de solução: 3 horas.
- identified Apr 22, 2023, 03:23 PM UTC
Atualização do caso: a causa raiz do problema está relacionada ao serviço de balanceamento de carga e controle de tráfego utilizado pelo Hiper Gestão e Portal do Hiperador, denominado gateway de aplicação. O gateway de aplicação está tendo dificuldades para processar o volume de requisições que chega até ele. Neste momento nossos times estão trabalhando com prioridade máxima para aumentar a capacidade de processamento e restabelecer o acesso aos produtos.
- identified Apr 22, 2023, 05:49 PM UTC
Atualização do caso: através do aumento de capacidade do gateway de aplicação foi possível restabelecer o acesso ao Hiper Gestão e Portal do Hiperador, no entanto, o serviço de sincronização não foi restabelecido. Para restabelecer o funcionamento do serviço de sincronização será necessário realizar uma nova manutenção no gateway de aplicação, a manutenção deixará o Hiper Gestão e Portal do Hiperador temporariamente indisponíveis. Previsão de solução: 1 hora.
- identified Apr 22, 2023, 10:12 PM UTC
Atualização do caso: nossos times seguem trabalhando na implementação de uma correção definitiva para o problema de capacidade do gateway de aplicação com prioridade máxima para restabelecer o acesso completo ao Hiper Gestão no menor tempo possível.
- identified Apr 23, 2023, 12:36 AM UTC
Atualização do caso: após aplicar alguns ajustes de capacidade no gateway de aplicação, foi possível restabelecer o acesso ao Hiper Gestão e Portal do Hiperador. Neste momento, nossos times estão trabalhando para restabelecer o serviço de sincronização.
- resolved Apr 23, 2023, 12:10 PM UTC
Durante a madrugada foi possível finalizar os ajustes no Application Gateway e realizar a devida calibração deste recurso para comportar a quantidade de requisição que o ambiente antes não suportou. Além disso, foi necessário realizar algumas manutenções em rotas específicas da API para que o sistema pudesse voltar a processar a sincronização. As 03:48, após estes ajustes, validamos com sucesso que o Hiper Gestão voltou a funcionar corretamente junto com o serviço da sincronização, tornando a aplicação 100% disponível novamente.