Hiper Outage History

Started Sep 17, 2026, 08:38 PM UTC· resolved Sep 17, 2026, 09:13 PM UTC

1. investigating Sep 17, 2026, 08:38 PM UTC

   Neste momento estamos passando por uma instabilidade nas maquinas virtuais que hospedam uma das aplicações, inicialmente causando lentidão e posteriormente indisponibilidade na aplicação. A investigação da causa raiz já está em andamento e em breve traremos novas informações.

2. monitoring Sep 17, 2026, 09:00 PM UTC

   Após uma ação emergencial, o grupo de maquinas que apresentou instabilidade e posterior indisponibilidade foi restabelecido. Estamos acompanhando e buscando informações sobre a causa raiz do incidente.

3. resolved Sep 17, 2026, 09:13 PM UTC

   Após realizar todas as ações de contenção e remediação, foi possível restabelecer o funcionamento do Hiper Gestão e seus serviços. Coletamos amostras das instancias problematicas e seguiremos na analise da causa raiz para evitar que este problema ocorra novamente no futuro.

4. postmortem Sep 24, 2026, 01:44 PM UTC

   Esta publicação tem por objetivo detalhar os eventos que envolveram o incidente do dia 17/09/2026 afetando a experiência de uso e ocasionando indisponibilidade no acesso ao Hiper Gestão. No decorrer do relatório serão apresentadas informações gerais do incidente, causas, ações de remediação e próximos passos. ‌ **Código:** 2026091701 **Data:** 17/09/2026, quinta-feira **Horário de início:** 17h26 \(horário de Brasília\) **Horário de resolução:** 17h50 \(horário de Brasília\) **Tempo total de impacto:** 24 minutos **Impacto:** degradação de performance seguido de intermitência no acesso ao Hiper Gestão ‌ **Detalhamento do incidente** Foi identificado um aumento abrupto e simultâneo no consumo de CPU em todas as instâncias do _cluster_ principal responsável pela hospedagem do Hiper Gestão. Durante o incidente, o elevado consumo de CPU fez com que todas as instâncias do _cluster_ ficassem indisponíveis, ocasionando a interrupção do acesso ao Hiper Gestão. Imediatamente após a identificação do incidente, nosso time iniciou o provisionamento de novas instâncias com o objetivo de reduzir a janela de impacto. No entanto, a indisponibilidade persistiu até que as novas instâncias estivessem prontas para receber o tráfego. Uma possível causa raiz para o elevado consumo de CPU foi identificada por meio da coleta de um _dump_ de memória, realizada automaticamente por uma automação. A análise do _dump_ permitiu identificar um comportamento anômalo relacionado a um fluxo de MDF-e, que apresentou fortes indícios de ter gerado \(ou contribuído fortemente\) para o elevado consumo de CPU observado durante o incidente. Como próximos passos, o cenário identificado será tratado pelo time de Engenharia e Produto, que realizará a análise detalhada e implementará a devida correção, com o objetivo de evitar a recorrência desse tipo de situação.

Read the full incident report →

Started Aug 13, 2026, 12:33 PM UTC· resolved Aug 13, 2026, 09:00 PM UTC

1. identified Aug 13, 2026, 01:05 PM UTC

   Descrição do caso: identificamos um aumento de consumo das instâncias do banco de dados de leitura do cadastro de produto que está ocasionando lentidão em operações relacionadas ao cadastro de produto, como: pesquisa de produtos, listagem de produtos, pesquisa de produtos no faturamento do Hiper Gestão e sincronização. O problema foi identificado às 09h33, nossos times estão atuando para normalizar o problema.

2. identified Aug 13, 2026, 01:37 PM UTC

   Atualização do caso: identificamos a causa do problema e estamos implementando um ajuste nos índices do banco de dados para normalizar a performance do ambiente.

3. identified Aug 13, 2026, 02:32 PM UTC

   Atualização do caso: identificamos a causa do incidente como sendo um problema na escolha do plano de execução do banco de dados, após a criação do novo índice, o tempo para escolha do plano de execução aumentou drasticamente, ocasionando lentidão na execução de algumas consultas. O índice problemático já foi desativado, estamos atuando para limpar o cache das coleções do banco de dados e restabelecer a performance do ambiente.

4. identified Aug 13, 2026, 03:01 PM UTC

   Atualização do caso: até o momento, duas instâncias já limparam o cache e os indicadores de CPU e tempo de resposta normalizaram. As demais instâncias do banco de dados estão em processo de limpeza de cache. Em paralelo, estamos realizando um upgrade de capacidade do cluster para garantir que as estatísticas sejam compiladas adequadamente, melhorando a performance das consultas. Neste momento, o acesso ao cadastro de produto do Hiper Gestão está normalizado. Nossos times seguem acompanhando o ambiente para garantir que nenhum impacto adicional seja evidenciado.

5. resolved Aug 14, 2026, 09:51 AM UTC

   Atualização do caso: após o monitoramento ostensivo do ambiente durante a tarde de hoje, não identificamos mais nenhum impacto proveniente do incidente evidenciado durante o período da manhã, dessa forma, consideramos estamos encerrando a tratativa deste incidente. Nos próximos dias, o artigo de revisão do incidente será publicado aqui na página de status com o detalhamento do ocorrido.

6. postmortem Sep 18, 2026, 03:03 PM UTC

   Esta publicação tem por objetivo detalhar os eventos que envolveram o incidente do dia 13/08/2026 afetando a performance e operações de leitura no cadastro de produto do Hiper Gestão. No decorrer do relatório serão apresentadas informações gerais do incidente, causas, ações de remediação e próximos passos. ‌ **Código:** 2026081301 **Data:** 13/08/2026, quinta-feira **Horário de início:** 09h33 \(horário de Brasília\) **Horário de resolução:** 11h50 \(horário de Brasília\) **Tempo total de impacto:** 02 horas e 17 minutos **Impacto:** degradação de performance em operações de leitura no cadastro de produto do Hiper Gestão e na sincronização de produtos para o Hiper Caixa, Hiper Loja e Hiper Vendas. ‌ **Detalhamento do incidente** Foi identificado um aumento no consumo de CPU do _cluster_ de hospedagem do banco de dados do cadastro de produto do Hiper Gestão. O _cluster_ de banco de dados é composto por servidores de escrita e servidores de leitura. Durante o incidente foi identificado que os servidores de leitura apresentaram alto consumo de CPU. Durante o incidente, os sintomas do alto consumo de CPU apontavam para consultas que utilizam expressões regulares, utilizadas principalmente na pesquisa pelo nome de produtos no Hiper Gestão. Não ficou claro naquele momento o motivo de o consumo subir abruptamente, levando em consideração que estas consultas não sofreram alteração recente. Após diversas análises, a causa raiz identificada é decorrente da soma de ao menos dois fatores, sendo eles: * Grande quantidade de índices nas coleções consultadas \(~34 índices\), onerando a escolha do plano de execução pelo _multi-planner;_ * Utilização de expressão regular para pesquisa de texto parcial em qualquer lugar da _string._ Na noite anterior ao incidente foi realizada a criação de um índice na coleção envolvida no incidente, corroborando para que a causa esteja associada à degradação da performance do _multi-planner_, associada à consultas não performáticas que utilizam expressão regular. Para conter o incidente, a ação efetiva foi a realização de um _upgrade_ de capacidade do _cluster_. O _cluster_ utilizado permite que o _upgrade_ seja realizado sem _downtime_, mitigando totalmente o impacto após o _upgrade_ ser concluído. As ações para resolução do incidente não eram possíveis de serem aplicadas durante o incidente, pois exigiam a redução da quantidade de índices das coleções afetadas, bem como uma refatoração nas consultas que utilizam expressão regular, ações estas que não são possíveis de serem tomadas no decorrer do incidente. Como próximos passos, nossos times irão realizar uma análise dos índices utilizados, permitindo a redução da quantidade total de índices das coleções, resultando na redução do tempo para escolha do plano de execução das consultas. Além disso, será feita uma análise para refatoração das consultas que utilizam expressão regular para utilizarem o mecanismo de consulta Atlas Search. Somente após a aplicação destas ações é que será avaliado um possível _downgrade_ de capacidade do _cluster_ para o tamanho normal.

Read the full incident report →

Started Jul 01, 2026, 05:39 PM UTC· resolved Jul 01, 2026, 07:46 PM UTC

1. identified Jul 01, 2026, 05:56 PM UTC

   Identificamos um aumento no tempo de resposta do Hiper Gestão, ocasionado por dois servidores que apresentaram aumento abrupto de consumo de CPU. Nossos times estão atuando neste momento para normalizar a situação.

2. monitoring Jul 01, 2026, 06:01 PM UTC

   Após implementar as ações de correção, os indicadores normalizaram por volta das 14h55 e o acesso foi completamente restabelecido. Neste momento, seguimos monitorando o ambiente para mitigar qualquer impacto adicional.

3. resolved Jul 01, 2026, 07:46 PM UTC

   Após o monitoramento contínuo do ambiente, identificamos que nenhum impacto adicional foi evidenciado. Como próximos passos, nossos times devem concluir a elaboração do relatório do incidente, mapeando ações de mitigação que serão implementadas para evitar a recorrência deste problema.

Read the full incident report →

Started Jun 29, 2026, 02:06 PM UTC· resolved Jun 29, 2026, 04:37 PM UTC

1. investigating Jun 29, 2026, 02:06 PM UTC

   Identificamos que a fila de sincronização está apresentando um tempo maior que o habitual para processar as informações. Neste momento, nossos times estão atuando para identificar o motivo da degradação com o objetivo restabelecer a performance do serviço de sincronização. Em breve traremos novas informações a respeito desta instabilidade.

2. monitoring Jun 29, 2026, 03:16 PM UTC

   A fix has been implemented and we are monitoring the results.

3. resolved Jun 29, 2026, 04:37 PM UTC

   Identificamos a causa raiz do incidente, aplicamos uma correção (a qual demorou um tempo acima do esperado para surtir efeito) mas por volta de 13:00 o sistema estava normalizado. A sincronização processou toda a fila, os microserviços afetados voltaram a responder rapidamente e o banco de dados (que apresentou um alto processamento agora de meio dia também) também normalizou.

Read the full incident report →

Started Jun 22, 2026, 08:02 PM UTC· resolved Jun 22, 2026, 09:48 PM UTC

1. investigating Jun 22, 2026, 08:02 PM UTC

   Identificamos uma alta carga de processamento em um dos bancos de dados das nossas aplicações que está impactando a performance do sistema. Neste momento, nossos times estão atuando para mitigar os impactos deste incidente e em breve traremos novas informações.

2. resolved Jun 22, 2026, 09:48 PM UTC

   Realizamos uma manutenção no parque de maquinas e algumas ações pontuais de manutenção no banco de dados. Após isso, fizemos o acompanhamento e validamos com sucesso a solução do caso. Com isso, todas as aplicações voltaram a responder normalmente e o serviço de sincronização processou toda a fila de protocolos.

Read the full incident report →

Started Jun 03, 2026, 06:39 PM UTC· resolved Jun 03, 2026, 06:57 PM UTC

1. investigating Jun 03, 2026, 06:39 PM UTC

   No momento, identificamos uma instabilidade no banco de dados que está afetando o funcionamento do Hiper Gestão. Nossa equipe técnica já está atuando na análise e mitigação do problema, e publicaremos novas atualizações assim que houver avanço relevante.

2. resolved Jun 03, 2026, 06:57 PM UTC

   O incidente no banco de dados foi resolvido e as aplicações afetadas operam normalmente neste momento. Seguimos monitorando o ambiente para garantir estabilidade.

Read the full incident report →

Started May 11, 2026, 08:25 PM UTC· resolved May 11, 2026, 09:14 PM UTC

1. identified May 11, 2026, 08:25 PM UTC

   Descrição do caso: nossos times identificaram um aumento abrupto no consumo de CPU do cluster principal de hospedagem do Hiper Gestão. Neste momento, estamos atuando para mitigar os impactos do incidente. Impacto: instabilidade no acesso ao Hiper Gestão.

2. resolved May 11, 2026, 09:14 PM UTC

   Informamos que o incidente foi resolvido. Permanecemos monitorando o sistema para garantir a continuidade e estabilidade das operações.

Read the full incident report →

Started Apr 09, 2026, 01:22 PM UTC· resolved Apr 09, 2026, 02:16 PM UTC

1. investigating Apr 09, 2026, 01:22 PM UTC

   Estamos enfrentando instabilidade na sincronização de dados entre o Hiper Caixa e o Hiper Gestão. Nossa equipe já está investigando ativamente o incidente.

2. identified Apr 09, 2026, 01:44 PM UTC

   Identificamos a causa raiz da instabilidade na sincronização entre Hiper Caixa e Hiper Gestão. Nossa equipe está trabalhando ativamente na implementação da correção.

3. resolved Apr 09, 2026, 04:53 PM UTC

   A causa raiz foi identificada e corrigida com sucesso. A sincronização entre Hiper Caixa e Hiper Gestão está funcionando normalmente em todos os ambientes.

Read the full incident report →

Started Mar 25, 2026, 08:01 PM UTC· resolved Mar 25, 2026, 08:44 PM UTC

1. investigating Mar 25, 2026, 08:01 PM UTC

   Estamos investigando uma degradação de performance que afeta alguns componentes de nossa infraestrutura. Durante o incidente, observamos momentos de indisponibilidade temporária, e atualmente alguns serviços podem apresentar lentidão intermitente. Nossa equipe técnica está analisando a causa do problema e trabalhando para restaurar a performance normal o mais rápido possível. Próxima atualização: Assim que tivermos novas informações ou uma estimativa de normalização.

2. monitoring Mar 25, 2026, 08:29 PM UTC

   Atualização: Os tempos de resposta das aplicações voltaram aos níveis normais e todos os serviços estão operando normalmente. Nossa equipe continuará monitorando o desempenho para garantir a estabilidade do ambiente.

3. resolved Mar 25, 2026, 08:44 PM UTC

   Encerramento do incidente: O incidente foi resolvido e todos os componentes da infraestrutura estão operando normalmente. O desempenho das aplicações permanece estável e seguimos monitorando para garantir a continuidade dos serviços.

Read the full incident report →

Started Mar 20, 2026, 01:37 PM UTC· resolved Mar 20, 2026, 02:33 PM UTC

1. monitoring Mar 20, 2026, 01:37 PM UTC

   Identificamos um aumento atípico no consumo de CPU do servidor de banco de dados. Nossa equipe está analisando o comportamento do ambiente e ajustando os recursos necessários para garantir que o desempenho permaneça estável.

2. monitoring Mar 20, 2026, 02:09 PM UTC

   Nossa equipe segue analisando o aumento atípico de consumo de CPU no servidor de banco de dados. Ainda não identificamos a causa raiz, porém o ambiente permanece estável e sem impacto relevante para os usuários finais. Continuaremos monitorando de perto e publicaremos novas atualizações assim que tivermos mais informações ou mudanças de cenário.

3. resolved Mar 20, 2026, 02:33 PM UTC

   Identificamos a causa raiz do aumento atípico de consumo de CPU no servidor de banco de dados e aplicamos as correções necessárias no ambiente. Após a implementação, o comportamento do servidor retornou à normalidade e as métricas de desempenho seguem estáveis sob monitoramento. Não há mais impacto para as aplicações e o incidente é considerado encerrado. A análise apontou que o problema estava relacionado a uma condição específica de execução de consultas/processos no banco de dados, que gerava uso excessivo de CPU. Foram realizados ajustes de configuração/otimização e revisadas as rotinas envolvidas para evitar recorrência. Agradecemos a compreensão de todos durante o período de investigação e correção do incidente.

Read the full incident report →

Started Mar 17, 2026, 08:29 PM UTC· resolved Mar 19, 2026, 12:11 PM UTC

1. investigating Mar 17, 2026, 08:29 PM UTC

   Identificamos uma instabilidade no módulo de edição múltipla de produtos, que pode impactar a alteração de dados dos produtos. Nossa equipe técnica já está investigando a causa raiz e trabalhando para restabelecer o serviço o mais rápido possível. Manteremos você informado assim que houver novos avanços na resolução do problema.

2. identified Mar 18, 2026, 01:34 PM UTC

   Corrigimos o problema na realização de edições múltiplas de produtos, e os dados já podem ser alterados normalmente. No entanto, seguimos investigando uma falha relacionada à exclusão de dados de produtos, que ainda permanece indisponível. Nossa equipe técnica está analisando a causa raiz e trabalhando para restabelecer o serviço o mais rápido possível.

3. monitoring Mar 18, 2026, 06:46 PM UTC

   Identificamos uma falha relacionada à exclusão de dados de produtos, que no momento permanece indisponível. Nossa equipe técnica já analisou a causa raiz e está trabalhando na correção, que tem previsão para ser aplicada amanhã pela manhã. Seguiremos monitorando o cenário e atualizaremos caso haja qualquer novidade.

4. resolved Mar 19, 2026, 12:11 PM UTC

   Concluímos a correção do problema. O serviço já foi restabelecido.

Read the full incident report →

Started Mar 16, 2026, 07:27 PM UTC· resolved Mar 16, 2026, 08:01 PM UTC

1. investigating Mar 16, 2026, 07:27 PM UTC

   Estamos identificando uma degradação de performance no Hiper Gestão, que pode impactar o tempo de resposta de algumas funcionalidades do sistema. Nossa equipe técnica já está investigando a causa raiz e trabalhando para restabelecer a performance normal o mais rápido possível. Novas atualizações serão publicadas assim que houver progresso. Agradecemos pela compreensão.

2. identified Mar 16, 2026, 07:48 PM UTC

   Identificamos uma possível causa relacionada à degradação de performance no Hiper Gestão e nossa equipe já está trabalhando na implementação da solução. Seguimos monitorando o ambiente e novas atualizações serão publicadas conforme avançarmos. Agradecemos pela compreensão.

3. resolved Mar 16, 2026, 08:01 PM UTC

   A causa do problema de performance no Hiper Gestão foi identificada e as ações corretivas já foram aplicadas. O serviço encontra-se totalmente normalizado e seguimos monitorando para garantir sua estabilidade. Agradecemos pela paciência e compreensão.

Read the full incident report →

Started Feb 27, 2026, 01:57 PM UTC· resolved Feb 27, 2026, 02:32 PM UTC

1. investigating Feb 27, 2026, 01:57 PM UTC

   Notamos que alguns componentes de infra estão performando de forma degradada no momento. Podendo, assim, ocorrer uma lentidão no uso do Hiper Gestão. Já estamos atuando para resolver a situação.

2. monitoring Feb 27, 2026, 02:08 PM UTC

   A causa do incidente foi identificada e a correção já foi aplicada. Estamos acompanhando a estabilidade do Hiper Gestão para garantir o pleno funcionamento.

3. monitoring Feb 27, 2026, 02:21 PM UTC

   Identificamos um leve impacto no Serviço de Sincronização, pois alguns dados estavam acumulados no banco de dados. Porém isso já está se normalizando.

4. resolved Feb 27, 2026, 02:32 PM UTC

   Performance do Hiper Gestão e Serviço de Sincronização estabilizados e operacionais.

Read the full incident report →

Started Feb 23, 2026, 01:27 PM UTC· resolved Feb 23, 2026, 05:29 PM UTC

1. identified Feb 23, 2026, 01:48 PM UTC

   Descrição do caso: identificamos um erro ao acessar a tela de pedido de venda do Hiper Gestão quando o usuário não é administrador da conta. Neste momento, nosso times estão atuando para corrigir o erro. Impacto: erro ao acessar a tela de pedido de venda do Hiper Gestão quando o usuário não é administrador da conta.

2. identified Feb 23, 2026, 02:41 PM UTC

   Atualização do caso: a correção para o problema de acesso a tela de pedido de venda do Hiper Gestão está em testes neste momento. Após concluída a validação, será liberada no ambiente de produção do produto. Impacto: erro ao acessar a tela de pedido de venda do Hiper Gestão quando o usuário não é administrador da conta. Previsão de solução: 45 minutos.

3. identified Feb 23, 2026, 03:06 PM UTC

   Atualização do caso: a correção já foi liberada no ambiente de produção e o acesso à tela de pedido de vendas do Hiper Gestão foi restabelecido. Seguimos monitorando para garantir que nenhum erro adicional seja evidenciado. Impacto: sem impactos.

4. resolved Feb 23, 2026, 05:29 PM UTC

   Atualização do caso: nenhum erro adicional foi identificado, dessa forma, encerramos o comunicado deste problema.

Read the full incident report →

Started Feb 19, 2026, 01:08 PM UTC· resolved Feb 19, 2026, 01:23 PM UTC

1. investigating Feb 19, 2026, 01:08 PM UTC

   Descrição do caso: Processamento de Banco de dados alto afetando ao APP Gestão Horário de início: 09:55 Impacto: Lentidão no APP Gestão Previsão de solução: sem previsão Causa: em análise Ações: Verificando o que pode estar ocorrendo

2. resolved Feb 19, 2026, 01:23 PM UTC

   Algumas consultas estavam deixando o processamento do banco mais lentos. Fizemos as liberações manuais das consultas e o desempenho voltou à normalidade.

Read the full incident report →

Started Feb 06, 2026, 11:49 AM UTC· resolved Feb 06, 2026, 02:24 PM UTC

1. investigating Feb 06, 2026, 11:49 AM UTC

   Identificamos que o Hiper Gestão e a sincronização do Hiper Caixa estão passando por instabilidades. Estamos investigando o problema, neste momento.

2. identified Feb 06, 2026, 01:08 PM UTC

   Atualização do caso: identificamos a causa raiz do incidente como sendo um problema de performance em consultas do fluxo de sincronização no banco de dados do Hiper Gestão. Neste momento, nossos times estão atuando para mitigar o impacto do incidente e possibilitar a correção do problema. Em paralelo, identificamos um problema de capacidade no provedor de nuvem que está impactando o tempo para alocação de novos recursos. Impacto: - Indisponibilidade da sincronização do Hiper Caixa e Hiper Vendas com o Hiper Gestão; - Lentidão no acesso ao Hiper Gestão e sincronização com o Hiper Loja.

3. identified Feb 06, 2026, 01:35 PM UTC

   Atualização do caso: nossos times conseguiram estabilizar a carga do banco de dados do Hiper Gestão, normalizando o acesso ao Hiper Gestão e sincronização com o Hiper Loja. Neste momento, estamos atuando para restabelecer a sincronização do Hiper Gestão com o Hiper Caixa e Hiper Vendas. Impacto: - Indisponibilidade da sincronização do Hiper Caixa e Hiper Vendas com o Hiper Gestão. Enquanto a sincronização do Hiper Caixa e Hiper Vendas não é restabelecida, recomendamos que o cliente utilize estas aplicações em modo offline. Assim que a sincronização for restabelecida, as operações sincronizarão normalmente.

4. resolved Feb 06, 2026, 02:24 PM UTC

   Solução aplicada e sistema operando em sua normalidade.

Read the full incident report →

Started Feb 02, 2026, 12:19 PM UTC· resolved Feb 02, 2026, 12:31 PM UTC

1. investigating Feb 02, 2026, 12:19 PM UTC

   Estamos investigando o problema ocorrido.

2. investigating Feb 02, 2026, 12:29 PM UTC

   Encontramos o problema. A aplicação está voltando ao funcionamento.

3. resolved Feb 02, 2026, 12:31 PM UTC

   Problema identificado e solução aplicada.

Read the full incident report →

Started Dec 16, 2025, 08:01 PM UTC· resolved Dec 16, 2025, 08:34 PM UTC

1. investigating Dec 16, 2025, 08:01 PM UTC

   Neste momento estamos passando por uma instabilidade no sistema. Já estamos investigando o problema.

2. investigating Dec 16, 2025, 08:02 PM UTC

   Estamos identificando o problema.

3. resolved Dec 16, 2025, 08:34 PM UTC

   Identificamos o problema e a aplicação já está em funcionamento normal. Verificamos que uma consulta estava com o funcionamento fora da sua normalidade. Nosso time identificou a consulta e a corrigiu, voltando assim a utilização da CPU para o patamar normal.

Read the full incident report →

Started Dec 03, 2025, 01:00 PM UTC· resolved Dec 03, 2025, 07:00 PM UTC

1. investigating Dec 03, 2025, 01:18 PM UTC

   Descrição do caso: identificamos uma anomalia no tempo de resposta do Hiper Gestão à partir das 09h45, após este evento, nossos times iniciaram a atuação para investigar o problema. Por volta das 10h00, o impacto no tempo de resposta do Hiper Gestão intensificou ocasionando lentidão. Estamos neste momento atuando para identificar a causa raiz e mitigar o problema. Impacto: lentidão no Hiper Gestão.

2. identified Dec 03, 2025, 02:11 PM UTC

   Atualização do caso: nossos times identificaram uma possível causa do problema e implementaram um ajuste para mitigar o impacto. Por volta das 10h55, os indicadores normalizaram. Seguimos atuando para validar se a correção foi efetiva e a causa raiz foi identificada. Impacto: sem impacto no momento.

3. identified Dec 03, 2025, 06:12 PM UTC

   Atualização do caso: realizamos mais uma ação por volta das 12h00 para mitigar qualquer impacto relacionado ao incidente. Apesar disso, desde às 10h55, nenhum impacto adicional foi evidenciado no monitoramento do produto. Seguimos atuando para implementar a correção definitiva para a causa raiz deste incidente. Impacto: sem impacto desde 10h55.

4. identified Dec 03, 2025, 06:12 PM UTC

   Atualização do caso: seguimos monitorando o ambiente, todos os indicadores apresentam estabilidade. Em paralelo, nossos times seguem implementando a correção definitiva para a causa raiz do incidente. Impacto: sem impacto desde 10h55.

5. resolved Dec 04, 2025, 10:06 AM UTC

   Atualização do caso: após o monitoramento contínuo deste incidente, validamos que a causa raiz foi completamente mitigada. Seguiremos trabalhando na implementação de ajustes para minimizar o risco de ocorrerem novos incidentes desta natureza. Identificamos que a anomalia se iniciou às 09h45, com impacto intermitente entre 10h00 e 10h55, ocasionando lentidão em operações relacionadas ao contexto fiscal (emissão de notas, importação de XML e sincronização de operações). A possível causa raiz que foi identificada é uma mudança no processo de inserção de informações no banco de dados do contexto fiscal, que ocasionou oscilação do plano de execução das consultas e, em alguns casos, gerou bloqueios na base de dados.

Read the full incident report →

Started Nov 19, 2025, 07:25 PM UTC· resolved Nov 19, 2025, 09:58 PM UTC

1. identified Nov 19, 2025, 08:12 PM UTC

   Descrição do caso: identificamos um alto consumo de CPU nas instâncias de leitura do banco de dados do cadastro de produtos que está impactando operações de leitura relacionadas aos produtos cadastrados no Hiper Gestão. Neste momento, nossos times estão atuando para mitigar os impactos deste incidente. Impacto: lentidão no acesso à informações do cadastro de produtos.

2. identified Nov 19, 2025, 09:11 PM UTC

   Atualização do caso: identificamos a causa raiz do problema e implementamos algumas ações para mitigar o impacto, após executar estas ações, os indicadores normalizaram e não deve mais ser notado lentidão no acesso à informações do cadastro de produto. A correção definitiva está em etapa de análise neste momento. Impacto: sem impacto.

3. identified Nov 19, 2025, 09:54 PM UTC

   Atualização do caso: a possível causa raiz do problema foi identificada como sendo uma consulta de leitura que não estava utilizando índices otimizados no banco de dados, nossos times estão desenvolvendo uma melhoria e implementando as ações necessárias para resolver definitivamente este problema. Impacto: sem impacto.

4. resolved Nov 19, 2025, 09:58 PM UTC

   Atualização do caso: nossos times seguirão atuando para implementar as melhorias citadas anteriormente, neste momento, o ambiente está operando normalmente. Caso qualquer impacto adicional seja identificado antes da melhoria ser liberada em produção, reabriremos este incidente.

Read the full incident report →

Started Oct 13, 2025, 08:00 PM UTC· resolved Oct 13, 2025, 08:50 PM UTC

1. identified Oct 13, 2025, 08:05 PM UTC

   Descrição do caso: identificamos um alto consumo de CPU no banco de dados do contexto de produtos que está impactando operações de leitura relacionadas aos produtos cadastrados no Hiper Gestão. Neste momento, nossos times estão atuando para mitigar os impactos deste incidente. Impacto: lentidão no acesso à informações do cadastro de produtos.

2. monitoring Oct 13, 2025, 08:17 PM UTC

   Atualização do caso: identificamos que após as ações de remediação o impacto do incidente foi mitigado. Seguimos monitorando o ambiente para garantir que nenhum impacto adicional seja identificado. Impacto: sem impactos no momento.

3. resolved Oct 13, 2025, 08:50 PM UTC

   Atualização do caso: após monitorarmos o ambiente, confirmamos que nenhum impacto adicional foi identificado e que o incidente foi solucionado.

Read the full incident report →

Started Sep 15, 2025, 01:05 PM UTC· resolved Sep 15, 2025, 07:12 PM UTC

1. identified Sep 15, 2025, 01:05 PM UTC

   Descrição do caso: identificamos por volta das 09h28 uma falha em uma das réplicas de banco de dados que armazenam informações relacionadas ao cadastro de produto, a falha está sendo originada na infraestrutura de nuvem que hospeda este banco de dados. Nossos times estão atuando para mitigar os impactos do problema. Impacto: intermitência em operações que utilizem as informações de produtos cadastrados no Hiper Gestão.

2. identified Sep 15, 2025, 01:58 PM UTC

   Descrição do caso: nossos times seguem atuando para mitigar os impactos do problema, a origem do incidente está relacionada a infraestrutura em nuvem que hospeda uma das réplicas de leitura do banco de dados do novo cadastro de produto. Impacto: intermitência em operações que utilizem as informações de produtos cadastrados no Hiper Gestão.

3. monitoring Sep 15, 2025, 02:39 PM UTC

   Descrição do caso: após executar as ações de ajuste de capacidade na infraestrutura do banco de dados, foi possível mitigar os impactos do problema. Neste momento, os indicadores apresentam estabilidade e nossos times segue atuando para identificar a causa raiz junto ao provedor de nuvem. Impacto: sem impacto.

4. resolved Sep 15, 2025, 07:12 PM UTC

   Descrição do caso: após acompanhar a carga do ambiente evidenciamos que nenhum impacto residual foi identificado após às 11h39, horário do último comunicado. A causa raiz do incidente está relacionada à uma falha de escalabilidade na infraestrutura do banco de dados que armazena as informações relacionadas ao cadastro de produto. Apesar da infraestrutura possuir requisitos de alta disponibilidade, um dos servidores que recebe a carga de leitura apresentou problemas durante o processo de aumento de sua capacidade computacional, culminando em intermitências no acesso às informações do cadastro de produtos para as requisições que eram enviadas até este servidor.

5. postmortem Sep 15, 2025, 07:25 PM UTC

   Esta publicação tem por objetivo detalhar os eventos que envolveram o incidente do dia 15/09 ocasionando intermitências em operações que dependem do cadastro de produtos do Hiper Gestão. No decorrer do relatório será apresentado a descrição do incidente, causas, linha do tempo e próximos passos. **Código:** 2025091501 **Data:** 15/04/2022, segunda-feira **Horário de início:** 09h19 \(horário de Brasília\) **Horário de resolução:** 11h26 \(horário de Brasília\) **Tempo total de impacto:** 02 horas e 07 minutos **Impacto:** intermitência em operações que utilizam dados do cadastro de produtos do Hiper Gestão. **O quê e por que o incidente aconteceu?** Foi identificada uma falha de escalabilidade na infraestrutura do banco de dados que armazena as informações relacionadas ao cadastro de produto. A infraestrutura de banco de dados que hospeda essas informações opera em um _cluster_ de alta disponibilidade, ao analisar o problema, identificamos que uma das instâncias de _replica_ utilizada para operações de leitura apresentou falhas durante seu processo de _upgrade_. O processo de _upgrade_ é uma operação natural deste _cluster_ que tem como objetivo garantir a performance das requisições, independente do volume transacionado. O _cluster_ de banco de dados é hospedado em nuvem e a falha foi originada na infraestrutura deste servidor. Durante o incidente, requisições enviadas para o servidor que apresentava a falha possuíam um tempo de resposta muito alto ou resultavam em erros. Devido ao fato de o serviço de armazenamento rodar em cluster, o incidente não foi identificado por todos os clientes, pois dois terços das requisições foram direcionadas para os servidores que estavam saudáveis naquele momento.` ` **Linha do tempo** A seguir vamos apresentar uma linha do tempo de tudo o que aconteceu, desde o início do incidente, passando por todas as ações executadas para conter o impacto, até a solução definitiva do problema. * 09h36: foi identificado que operações no faturamento do Hiper Gestão que utilizam o contexto de produto apresentavam lentidão * 09h38: foi iniciada a tratativa do incidente para mitigar o impacto e identificar a causa raiz * 09h49: foi identificado que uma das instâncias de réplica do _cluster_ de banco de dados que hospeda as informações do cadastro de produto estava apresentando falha * 10h34: nossos times realizaram a distribuição da carga de leitura que apresentava falhas para os servidores que estavam saudáveis, com o objetivo de mitigar os impactos do incidente. Ao finalizar este processo, foi identificado que os dois servidores não seriam suficientes para acomodar toda a carga de requisições * 10h45: nossos times iniciaram um segundo processo de _upgrade_ do _cluster_ com o objetivo de garantir que com duas instâncias saudáveis todas as requisições fossem respondidas corretamente * 11h26: a instância que apresentava falha voltou a responder corretamente e o tempo de resposta das requisições normalizou * 11h30: o segundo processo de _upgrade_ foi concluído e nenhum impacto residual foi identificado **Próximos passos** Após a solução do incidente e coleta de todos os eventos realizados para contenção e identificação das causas, foi realizado o processo de revisão e _post-mortem_ com o objetivo de identificar ações que possam eliminar a recorrência deste incidente originado pela mesma causa. Considerando que a causa do incidente foi uma falha interna com o provedor de serviços, junto ao terceiro, vamos avaliar oportunidades de melhoria na gestão de capacidade ou realocação do _cluster_ para regiões que não estejam enfrentando problemas de disponibilidade.

Read the full incident report →

Started Jul 04, 2025, 05:56 PM UTC· resolved Jul 04, 2025, 08:24 PM UTC

1. investigating Jul 04, 2025, 05:56 PM UTC

   Descrição do caso: Identificamos através do nosso monitoramento que por volta das 13h37 o serviço de comunicação com a SEFAZ passou a ter uma elevada taxa de erros para transmissão de NF-e e NFC-e. Desde então estamos analisando os erros com o objetivo de identificar a causa raiz. As evidências até o momento apontam que falha está sendo originada na SEFAZ. Impacto: falha na emissão de NF-e e NFC-e.

2. investigating Jul 04, 2025, 05:57 PM UTC

   Nosso time segue analisando a causa raiz do problema, assim que possível traremos novas atualizações.

3. monitoring Jul 04, 2025, 06:19 PM UTC

   Por volta das 14h41 identificamos uma diminuição na taxa de erros sem uma ação por parte do nosso time, o que corrobora a tese inicial de que o problema está sendo originado na SEFAZ. Realizamos testes e constatamos que os erros não ocorreram novamente, porém seguiremos monitorando de perto este caso.

4. resolved Jul 04, 2025, 08:24 PM UTC

   Realizamos um acompanhamento das ocorrências e, após a queda na taxa de erros relatada anteriormente, não identificamos novos casos do problema.

Read the full incident report →

Started Apr 15, 2025, 08:08 PM UTC· resolved Apr 15, 2025, 08:50 PM UTC

1. identified Apr 15, 2025, 08:08 PM UTC

   Descrição do caso: a partir das 16h50 identificamos um aumento de erros no acesso ao Hiper Gestão e Portal do Hiperador. A causa raiz foi identificada e, neste momento, nosso time está atuando para mitigar os impactos do problema. Impacto: intermitência no acesso ao Hiper Gestão e Portal do Hiperador. Previsão de solução: 30 minutos.

2. monitoring Apr 15, 2025, 08:15 PM UTC

   Atualização do caso: após realizar a tratativa do problema, foi possível restabelecer o acesso ao Portal do Hiperador e Hiper Gestão. Neste momento, nosso time segue atuando para mitigar qualquer impacto residual. Impacto: sem impactos no momento.

3. resolved Apr 15, 2025, 08:50 PM UTC

   Atualização do caso: após realizar as ações de contingência do incidente, foi possível restabelecer completamente o acesso às aplicações e nenhum impacto residual foi identificado. A causa raiz do problema está relacionada ao pool de conexões do serviço de cache utilizado para armazenamento do licenciamento das contas dos usuários do produto. Durante o processo de liberação de novas implementações, temporariamente, o pool de conexões ficou cheio, ocasionando erros intermitentes no acesso ao Hiper Gestão e Portal do Hiperador. Ao identificar a falha, rapidamente foi realizada uma ação de encerramento de conexões do pool, permitindo que o acesso fosse restabelecido. O impacto do incidente pode ter sido identificado pelos usuários entre 16h50 e 17h10. Após este horário, os acessos normalizaram completamente.

Read the full incident report →

Started Dec 19, 2024, 01:52 PM UTC· resolved Dec 19, 2024, 08:37 PM UTC

1. investigating Dec 19, 2024, 01:52 PM UTC

   Descrição do caso: nossos times identificaram uma degradação de performance através do monitoramento do Hiper Gestão. A causa raiz do problema está sendo avaliada, estamos tomando todas as ações necessárias para mitigar o impacto do incidente no menor tempo possível. A degradação foi identificada às 10h10 e está sendo tratada com máxima prioridade. Impacto: lentidão ao utilizar o Hiper Gestão.

2. monitoring Dec 19, 2024, 02:52 PM UTC

   Atualização do caso: o impacto do incidente foi mitigado e estamos acompanhando os indicadores do ambiente para garantir que nenhum impacto residual seja evidenciado pelos usuários. Em paralelo, estamos atuando na análise de causa raiz à fim de garantir que o incidente não ocorra novamente pela mesma causa. Impacto: sem impactos no momento.

3. resolved Dec 19, 2024, 08:37 PM UTC

   Atualização do caso: após o monitoramento contínuo do ambiente, identificamos que o ambiente estabilizou às 11h20. Identificamos duas possíveis causas raiz para o incidente, relacionadas à comunicação de rede entre a aplicação responsável pelo faturamento do Hiper Gestão e o banco de dados principal, além de uma possível consulta não performática que onerou o processamento do banco de dados. Para ambas as causas, nossos times atuarão com o objetivo de implementar controles que mitiguem a probabilidade desta falha ocorrer novamente. A linha do tempo dos eventos relacionados ao incidente, segue abaixo: - 09h37: primeiros indícios de degradação da performance da aplicação; - 09h44: identificação de bloqueios no banco de dados principal; - 09h57: liberação dos bloqueios do banco de dados e restabelecimento da performance da aplicação; - 10h00: novos bloqueios identificados no banco de dados principal, onerando a performance da aplicação; - 10h17: escalada do impacto do incidente, afetando uma base significativa de clientes; - 10h35: reciclagem dos pods de aplicação que apresentavam anomalia de rede; - 10h36: encerramento manual de bloqueios do banco de dados; - 10h37: a degradação de performance foi atenuada; - 11h20: restabelecimento total da performance da aplicação.

Read the full incident report →