Degradação de performance do Hiper Gestão e serviço de sincronização

Update timeline

1. identified Apr 24, 2023, 01:05 PM UTC

   Descrição: nossos times identificaram uma degradação de performance no Hiper Gestão e serviço de sincronização. A causa está associada à performance dos discos do banco de dados principal que armazenam o buffer do SQL Server. Neste momento, nossos times estão trabalhando para identificar a rotina que está impactando a performance dos discos. Impacto: degradação de performance do Hiper Gestão e serviço de sincronização. Previsão de solução: em análise.

2. identified Apr 24, 2023, 03:53 PM UTC

   Atualização do caso: nossos times seguem atuando com prioridade máxima para identificar a rotina que está impactando a performance do banco de dados principal. Neste momento, estamos em contato com o provedor de nuvem para análise de comportamento do hardware do servidor de banco de dados, pois os discos utilizados para armazenamento do buffer e tempdb do SQL Server não estão entregando a performance esperada.

3. identified Apr 24, 2023, 07:02 PM UTC

   Atualização do caso: neste momento, nossos times estão realizando uma manutenção nos discos do banco de dados principal que irá indisponibilizar temporariamente o acesso ao Hiper Gestão. A manutenção tem como objetivo resolver a causa do problema de performance que está impactando a usabilidade do produto. Previsão de solução: 1 hora.

4. identified Apr 25, 2023, 01:01 AM UTC

   Atualização do caso: manutenção realizada. Ao final da manutenção foi possível constatar que a performance dos discos utilizados para o tempdb e o buffer do SQL Server foi restabelecida. Apesar disso, foi identificado um novo gargalo que ocorre no serviço de autorização de acesso ao Hiper Gestão, denominado contratações. Neste momento, nossos times estão atuando com prioridade total para solucionar o problema de performance do serviço de contratações.

5. monitoring Apr 25, 2023, 01:06 AM UTC

   Atualização do caso: após identificada a degradação de performance do serviço de contratações, nossos times atuaram no provisionamento de recursos de infraestrutura adicionais para hospedagem do serviço. Com os recursos adicionais foi possível constatar que o Hiper Gestão está disponível e performático. Para aferir com maiores detalhes a efetividade das correções implementadas no dia de hoje, nossos times seguirão monitorando ativamente a infraestrutura do produto, com foco em aplicar as ações pertinentes para garantir a estabilidade dos serviços. Neste momento, todos os acessos foram completamente restabelecidos.

6. investigating Apr 25, 2023, 11:12 AM UTC

   Atualização do caso: nossos times identificaram algumas anomalias no tempo de resposta do contexto de estoque do Hiper Gestão. Neste momento, estamos atuando para identificar a causa raiz das anomalias. Impacto: degradação de performance do Hiper Gestão. Previsão de solução: em análise.

7. identified Apr 25, 2023, 11:49 AM UTC

   Atualização do caso: nossos times identificaram que o grupo de servidores que hospeda o serviço de estoque não está escalando adequadamente, isso acontece porque o processo de release do pipeline não está implementando o artefato da aplicação nos servidores. Neste momento, nossos times estão implementando uma correção nos pipelines para garantir a implementação dos artefatos em todos os servidores de aplicação. Previsão de solução: 2 horas.

8. monitoring Apr 25, 2023, 01:43 PM UTC

   Atualização do caso: após liberar a correção para os pipelines do serviço de estoque, foi possível implementar a aplicação adequadamente nos servidores e escalar os recursos de processamento deste contexto. Com isso, foi possível estabilizar os indicadores do produto e normalizar completamente o acesso ao Hiper Gestão e seus serviços. Nossos times seguirão monitorando ativamente o ambiente para garantir a estabilidade total do produto. Neste momento, nenhum impacto deve ser sentido na usabilidade do Hiper Gestão.

9. investigating Apr 25, 2023, 07:54 PM UTC

   Atualização do caso: nossos times seguem monitorando o ambiente após a implementação das correções na manhã de hoje. Desde às 09h30, todos os indicadores de monitoramento estão apresentando estabilidade. Apesar disso, estamos recebendo uma alta demanda de atendimentos relacionadas à performance do Hiper Gestão, principalmente relacionadas aos contextos de produto, relatórios e faturamento. Nossos times estão atuando em cada um dos casos para coletar as informações e identificar a causa da lentidão percebida pelos nossos clientes e parceiros. Além disso, estamos realizando uma análise geral de toda a infraestrutura para implementar continuamente ações de melhoria na performance e disponibilidade do produto. Reiteramos o nosso compromisso em garantir a entrega de um produto confiável e estável. Assim que as análises forem concluídas pelo nosso time, atualizaremos este comunicado com os detalhes inerentes às ações de melhoria que serão implementadas.

10. identified Apr 26, 2023, 11:30 AM UTC

    Atualização do caso: nossos times identificaram uma degradação de performance no contexto de estoque, neste momento, uma correção está sendo implementada para resolver o gargalo de performance. Previsão de solução: 1 hora.

11. investigating Apr 26, 2023, 01:57 PM UTC

    Atualização do caso: após a implementação da correção no contexto de estoque, a performance do Hiper Gestão foi restabelecida às 08h50. Nossos times seguirão dedicados ao monitoramento do ambiente e implementação de ações para garantir a disponibilidade e performance do produto.

12. investigating Apr 26, 2023, 01:59 PM UTC

    Atualização do caso: nossos times estão recebendo uma alta demanda de atendimentos relacionadas à emissão de notas fiscais. Neste momento, estamos analisando todas as informações para aferir a causa dos problemas relatados pelos nossos clientes e parceiros.

13. investigating Apr 26, 2023, 03:14 PM UTC

    Atualização do caso: nossos times estão atuando em diversas frentes de trabalho para analisar todas as demandas que estão chegando através dos nossos canais de atendimento. Queremos tranquilizá-los, informando que estamos trabalhando incansavelmente para resolver todos estes cenários no menor tempo possível. Atualmente, estamos tratando os seguintes cenários: - Sincronização: estamos avaliando caso a caso para identificar possíveis padrões e, assim, corrigi-los de maneira eficaz; - Download de XML: a causa do problema já foi identificada, estamos testando uma correção neste momento; - POS Connect: nossa API não está informando adequadamente o Hiper Caixa sobre a confirmação do pagamento, portanto, as vendas precisam ser fechadas manualmente. Nossos times estão avaliando a causa deste problema; - Emissão de NFe: somente para o estado de Goiás, não está sendo possível emitir NFe através do Hiper Gestão. O Hiper Loja não está sendo afetado. Estamos montando os ambientes para realizar testes e identificar a causa do problema para, em seguida, corrigi-lo. A performance e disponibilidade do Hiper Gestão não estão sendo afetadas pelos cenários acima.

14. investigating Apr 26, 2023, 06:58 PM UTC

    Atualização do caso: - POS Connect: nossos times realizaram os ajustes pertinentes nos clientes que estavam com problema de conexão nas APIs do POS Connect, após isso, a situação foi normalizada. Os demais três casos, citados na atualização anterior, seguem em tratativa pelos nossos times com prioridade máxima.

15. investigating Apr 26, 2023, 08:20 PM UTC

    Atualização do caso: - Sincronização: todos os problemas crônicos foram resolvidos, desde às 09h30 de ontem (25/04) nossas APIs apresentam estabilidade. Casos pontuais serão tratados individualmente através dos nossos canais de atendimento; - Download de XML: a correção está em etapa final de testes, a liberação da correção está prevista para amanhã (27/04) e será confirmada assim que os testes forem finalizados com sucesso; - Emissão de NFe: somente para o estado de Goiás, não está sendo possível emitir NFe através do Hiper Gestão. O Hiper Loja não está sendo afetado. Nossos times seguem atuando com prioridade máxima para resolver a situação.

16. investigating Apr 27, 2023, 02:11 PM UTC

    Atualização do caso: - Download de XML: a correção segue em teste pelos nossos times, a liberação da correção será confirmada assim que os testes finalizarem; - Emissão de NFe: somente para o estado de Goiás, não está sendo possível emitir NFe através do Hiper Gestão. O Hiper Loja não está sendo afetado. Nossos times estão em contato com a SEFAZ do estado de Goiás para validar se houveram alterações recentes no processo de comunicação das APIs, além disso, estão sendo implementados novos logs para coleta de informações detalhadas sobre os erros que estão ocorrendo.

17. investigating Apr 28, 2023, 12:55 PM UTC

    Atualização do caso: - Download de XML: ontem (27/04) às 18h00 foi realizada uma liberação que corrigiu o problema relacionado ao download de XML no Hiper Gestão; - Emissão de NFe: seguimos com dificuldades na emissão de NFe através do Hiper Gestão para o estado de Goiás. Na liberação de ontem, junto à correção do download de XML, foram adicionados novos logs para análise do problema. Com os novos logs, foi identificado um problema de conexão entre o Hiper Gestão e a SEFAZ de Goiás. Nossos times estão simulando a causa do problema em um ambiente controlado para que uma correção possa ser implementada de forma eficaz o mais breve possível. As emissões de NFe através do Hiper Loja estão ocorrendo normalmente.

18. investigating Apr 28, 2023, 10:45 PM UTC

    Atualização do caso: - Emissão de NFe: após diversas análises, nossos times identificaram que o SEFAZ do estado de Goiás utiliza cifras de segurança muito antigas para fechar conexão entre os clientes e suas APIs. No novo ambiente, o Hiper Gestão utiliza por padrão cifras de segurança mais modernas e, portanto, havia uma dificuldade no estabelecimento da conexão entre Hiper Gestão e a SEFAZ de Goiás. Através de alguns testes em ambiente controlado, após habilitar as cifras mais antigas, foi possível estabelecer uma conexão com o SEFAZ de Goiás. Nossos times estão trabalhando em uma implementação, à nível da infraestrutura do produto, para habilitar a cifra de segurança no ambiente de produção com o objetivo de restabelecer as emissões de NFe. As emissões de NFe através do Hiper Loja estão ocorrendo normalmente. Previsão de solução: 02/05 às 16h.

19. identified May 02, 2023, 01:22 PM UTC

    Nossos times estão avaliando uma degradação de performance do Hiper Gestão. A causa está relacionada ao alto consumo do componente de cache da aplicação. Neste momento, nossos times estão implementando uma correção paliativa para estabilizar o acesso ao Hiper Gestão. Previsão de solução: 30 minutos.

20. identified May 02, 2023, 03:03 PM UTC

    Atualização do caso: a correção paliativa estabilizou os acessos ao Hiper Gestão. Neste momento, nossos times estão trabalhando na implementação de uma correção definitiva para o gargalo de performance do cache de aplicação. A correção definitiva será liberada até o final do dia de hoje (02/05).

21. resolved May 02, 2023, 07:36 PM UTC

    Atualização do caso: - Degradação de performance: nossos times implementaram uma correção definitiva, aumentando a capacidade do serviço que hospeda o cache da aplicação. Nenhuma degradação de performance foi identificada após às 11h46 de hoje. A correção definitiva foi implementada às 13h45; - Emissão de NFe: as emissões de NFe para o estado de Goiás foram completamente restabelecidas às 16h12 de hoje. A causa raiz do problema está associada à utilização de cifras de criptografia muito antigas pela SEFAZ de Goiás, as quais não estão presentes em versões de sistemas operacionais mais recentes. No momento, todos os indicadores apresentam estabilidade e nenhum impacto deve ser sentido na utilização do Hiper Gestão.