Is Hiper down?

Neste momento estamos passando por uma instabilidade nas maquinas virtuais que hospedam uma das aplicações, inicialmente causando lentidão e posteriormente indisponibilidade na aplicação. A investigação da causa raiz já está em andamento e em breve traremos novas informações.

Após uma ação emergencial, o grupo de maquinas que apresentou instabilidade e posterior indisponibilidade foi restabelecido. Estamos acompanhando e buscando informações sobre a causa raiz do incidente.

Após realizar todas as ações de contenção e remediação, foi possível restabelecer o funcionamento do Hiper Gestão e seus serviços. Coletamos amostras das instancias problematicas e seguiremos na analise da causa raiz para evitar que este problema ocorra novamente no futuro.

Esta publicação tem por objetivo detalhar os eventos que envolveram o incidente do dia 17/09/2026 afetando a experiência de uso e ocasionando indisponibilidade no acesso ao Hiper Gestão. No decorrer do relatório serão apresentadas informações gerais do incidente, causas, ações de remediação e próximos passos. ‌ **Código:** 2026091701 **Data:** 17/09/2026, quinta-feira **Horário de início:** 17h26 \(horário de Brasília\) **Horário de resolução:** 17h50 \(horário de Brasília\) **Tempo total de impacto:** 24 minutos **Impacto:** degradação de performance seguido de intermitência no acesso ao Hiper Gestão ‌ **Detalhamento do incidente** Foi identificado um aumento abrupto e simultâneo no consumo de CPU em todas as instâncias do _cluster_ principal responsável pela hospedagem do Hiper Gestão. Durante o incidente, o elevado consumo de CPU fez com que todas as instâncias do _cluster_ ficassem indisponíveis, ocasionando a interrupção do acesso ao Hiper Gestão. Imediatamente após a identificação do incidente, nosso time iniciou o provisionamento de novas instâncias com o objetivo de reduzir a janela de impacto. No entanto, a indisponibilidade persistiu até que as novas instâncias estivessem prontas para receber o tráfego. Uma possível causa raiz para o elevado consumo de CPU foi identificada por meio da coleta de um _dump_ de memória, realizada automaticamente por uma automação. A análise do _dump_ permitiu identificar um comportamento anômalo relacionado a um fluxo de MDF-e, que apresentou fortes indícios de ter gerado \(ou contribuído fortemente\) para o elevado consumo de CPU observado durante o incidente. Como próximos passos, o cenário identificado será tratado pelo time de Engenharia e Produto, que realizará a análise detalhada e implementará a devida correção, com o objetivo de evitar a recorrência desse tipo de situação.

Neste momento estamos passando por uma instabilidade no sistema causando lentidão em parte dos fluxos. A investigação da causa raiz já está em andamento e em breve traremos novas informações.

Após a instabilidade na infraestrutura ser mitigada com upscale da carga, validamos que o ambiente normalizou. Estamos acompanhando e monitorando o ambiente para garantir a estabilidade do mesmo

Continuamos monitorando após a normalização do ambiente e não identificamos mais nenhum impacto proveniente do incidente. Dessa forma, estamos encerrando a tratativa deste incidente.

Esta publicação tem por objetivo detalhar os eventos que envolveram o incidente do dia 02/09/2026 afetando a experiência de uso e ocasionando intermitência no acesso ao Hiper Gestão. No decorrer do relatório serão apresentadas informações gerais do incidente, causas, ações de remediação e próximos passos. ‌ **Código:** 2026090201 **Data:** 02/09/2026, quarta-feira **Horário de início:** 16h02 \(horário de Brasília\) **Horário de resolução:** 16h37 \(horário de Brasília\) **Tempo total de impacto:** 35 minutos **Impacto:** degradação de performance seguido de intermitência no acesso ao Hiper Gestão ‌ **Detalhamento do incidente** Foi identificado um aumento no consumo de CPU em todas as instâncias do _cluster_ principal de hospedagem do Hiper Gestão simultaneamente. Durante o incidente todas as instâncias do _cluster_ principal apresentaram alto consumo de CPU, reduzindo a performance das requisições processadas por estas instâncias e causando intermitência no acesso ao Hiper Gestão. Pelo fato de todas as instâncias apresentarem alto consumo de CPU simultaneamente, nosso time atuou de forma proativa para reduzir a janela de impacto, provisionando novas instâncias e desativando as instâncias problemáticas. A tentativa inicial buscou provisionar as novas instâncias no _cluster_ principal, no entanto, foi identificada uma falha na alocação de recursos na Azure, aumentando drasticamente o tempo para que as instâncias estivessem prontas. Para mitigar o impacto, nosso time realizou o provisionamento das instâncias em um _cluster_ secundário, redirecionando o tráfego conforme as instâncias estivessem prontas. Enquanto o processo de provisionamento ocorria, houve intermitência no acesso ao Hiper Gestão.  A causa raiz do alto consumo de CPU não foi identificada, pois o consumo abrupto de CPU impossibilitou a coleta de dados dos processos em execução. Analisando os _logs_ de aplicação também não foi possível identificar a causa raiz do incidente. Como próximos passos, nosso time implantou uma automação para coleta do _dump_ de memória RAM, logo após o incidente, possibilitando que em ocorrências futuras sejam coletadas informações que contribuam para a análise da causa raiz. Outra ação tomada pelo time foi o aumento de seis para oito servidores em execução durante o horário comercial no _cluster_ principal do Hiper Gestão. Esta ação tem como objetivo mitigar o risco de o incidente ocorrer devido à saturação geral do _cluster_ em momentos de alto consumo, bem como melhorar a distribuição de carga até que a causa raiz seja identificada e corrigida.

Neste momento estamos passando por uma instabilidade no sistema causando lentidão em parte dos fluxos. A investigação da causa raiz já está em andamento e em breve traremos novas informações.

A instabilidade ocorreu devido a uma oscilação com a infraestrutura dos servidores. Foram aplicadas ações para mitigar o incidente e no momento o acesso está normalizado. Seguiremos monitorando e acompanhando para garantir a estabilidade das aplicações.

Após o monitoramento ostensivo ao longo da tarde, não identificamos mais nenhum impacto proveniente do incidente evidenciado durante o período da manhã, dessa forma, consideramos estamos encerrando a tratativa deste incidente.

Esta publicação tem por objetivo detalhar os eventos que envolveram o incidente do dia 18/08/2026 afetando a experiência de uso e ocasionando intermitência no acesso ao Hiper Gestão. No decorrer do relatório serão apresentadas informações gerais do incidente, causas, ações de remediação e próximos passos. ‌ **Código:** 2026081801 **Data:** 18/08/2026, terça-feira **Horário de início:** 08h37 \(horário de Brasília\) **Horário de resolução:** 09h06 \(horário de Brasília\) **Tempo total de impacto:** 29 minutos **Impacto:** degradação de performance no acesso ao Hiper Gestão ‌ **Detalhamento do incidente** Foi identificado um aumento no consumo de CPU em todas as instâncias do _cluster_ principal de hospedagem do Hiper Gestão simultaneamente. Durante o incidente todas as instâncias do _cluster_ principal apresentaram alto consumo de CPU, reduzindo a performance das requisições processadas por estas instâncias e causando intermitência no acesso ao Hiper Gestão. Pelo fato de todas as instâncias apresentarem alto consumo de CPU simultaneamente, nosso time atuou de forma proativa para reduzir a janela de impacto, provisionando novas instâncias e desativando as instâncias problemáticas. Enquanto o processo de provisionamento ocorria, houve intermitência no acesso ao Hiper Gestão.  A causa raiz do alto consumo de CPU não foi identificada, pois o consumo abrupto de CPU impossibilitou a coleta de dados dos processos em execução. Analisando os _logs_ de aplicação também não foi possível identificar a causa raiz do incidente. Como próximos passos, nosso time está desenvolvendo uma automação que realiza o _dump_ de memória RAM de forma automatizada todas as vezes que um pico de CPU é evidenciado de forma preditiva, permitindo a análise de causa raiz de futuros incidentes que ocasionam o mesmo efeito.

Descrição do caso: identificamos um aumento de consumo das instâncias do banco de dados de leitura do cadastro de produto que está ocasionando lentidão em operações relacionadas ao cadastro de produto, como: pesquisa de produtos, listagem de produtos, pesquisa de produtos no faturamento do Hiper Gestão e sincronização. O problema foi identificado às 09h33, nossos times estão atuando para normalizar o problema.

Atualização do caso: identificamos a causa do problema e estamos implementando um ajuste nos índices do banco de dados para normalizar a performance do ambiente.

Atualização do caso: identificamos a causa do incidente como sendo um problema na escolha do plano de execução do banco de dados, após a criação do novo índice, o tempo para escolha do plano de execução aumentou drasticamente, ocasionando lentidão na execução de algumas consultas. O índice problemático já foi desativado, estamos atuando para limpar o cache das coleções do banco de dados e restabelecer a performance do ambiente.

Atualização do caso: até o momento, duas instâncias já limparam o cache e os indicadores de CPU e tempo de resposta normalizaram. As demais instâncias do banco de dados estão em processo de limpeza de cache. Em paralelo, estamos realizando um upgrade de capacidade do cluster para garantir que as estatísticas sejam compiladas adequadamente, melhorando a performance das consultas. Neste momento, o acesso ao cadastro de produto do Hiper Gestão está normalizado. Nossos times seguem acompanhando o ambiente para garantir que nenhum impacto adicional seja evidenciado.

Atualização do caso: após o monitoramento ostensivo do ambiente durante a tarde de hoje, não identificamos mais nenhum impacto proveniente do incidente evidenciado durante o período da manhã, dessa forma, consideramos estamos encerrando a tratativa deste incidente. Nos próximos dias, o artigo de revisão do incidente será publicado aqui na página de status com o detalhamento do ocorrido.

Esta publicação tem por objetivo detalhar os eventos que envolveram o incidente do dia 13/08/2026 afetando a performance e operações de leitura no cadastro de produto do Hiper Gestão. No decorrer do relatório serão apresentadas informações gerais do incidente, causas, ações de remediação e próximos passos. ‌ **Código:** 2026081301 **Data:** 13/08/2026, quinta-feira **Horário de início:** 09h33 \(horário de Brasília\) **Horário de resolução:** 11h50 \(horário de Brasília\) **Tempo total de impacto:** 02 horas e 17 minutos **Impacto:** degradação de performance em operações de leitura no cadastro de produto do Hiper Gestão e na sincronização de produtos para o Hiper Caixa, Hiper Loja e Hiper Vendas. ‌ **Detalhamento do incidente** Foi identificado um aumento no consumo de CPU do _cluster_ de hospedagem do banco de dados do cadastro de produto do Hiper Gestão. O _cluster_ de banco de dados é composto por servidores de escrita e servidores de leitura. Durante o incidente foi identificado que os servidores de leitura apresentaram alto consumo de CPU. Durante o incidente, os sintomas do alto consumo de CPU apontavam para consultas que utilizam expressões regulares, utilizadas principalmente na pesquisa pelo nome de produtos no Hiper Gestão. Não ficou claro naquele momento o motivo de o consumo subir abruptamente, levando em consideração que estas consultas não sofreram alteração recente. Após diversas análises, a causa raiz identificada é decorrente da soma de ao menos dois fatores, sendo eles: * Grande quantidade de índices nas coleções consultadas \(~34 índices\), onerando a escolha do plano de execução pelo _multi-planner;_ * Utilização de expressão regular para pesquisa de texto parcial em qualquer lugar da _string._ Na noite anterior ao incidente foi realizada a criação de um índice na coleção envolvida no incidente, corroborando para que a causa esteja associada à degradação da performance do _multi-planner_, associada à consultas não performáticas que utilizam expressão regular. Para conter o incidente, a ação efetiva foi a realização de um _upgrade_ de capacidade do _cluster_. O _cluster_ utilizado permite que o _upgrade_ seja realizado sem _downtime_, mitigando totalmente o impacto após o _upgrade_ ser concluído. As ações para resolução do incidente não eram possíveis de serem aplicadas durante o incidente, pois exigiam a redução da quantidade de índices das coleções afetadas, bem como uma refatoração nas consultas que utilizam expressão regular, ações estas que não são possíveis de serem tomadas no decorrer do incidente. Como próximos passos, nossos times irão realizar uma análise dos índices utilizados, permitindo a redução da quantidade total de índices das coleções, resultando na redução do tempo para escolha do plano de execução das consultas. Além disso, será feita uma análise para refatoração das consultas que utilizam expressão regular para utilizarem o mecanismo de consulta Atlas Search. Somente após a aplicação destas ações é que será avaliado um possível _downgrade_ de capacidade do _cluster_ para o tamanho normal.