OmniChat Outage History

**O que aconteceu?** Entre 17:02 e 17:31 do dia 28 de abril, houve um problema na plataforma em que uma degradação no funcionamento do Whizz resultou em falhas no processamento de mensagens. Como consequência, algumas conversas apresentaram respostas confusas ou com informações não aderentes ao escopo esperado, impactando a experiência dos clientes. A ocorrência teve curta duração e foi rapidamente identificada e corrigida pelo time. **Causa Raiz:** Às 17:02, foi realizada uma atualização na plataforma. Essa atualização visava melhorar o tempo de resposta do agente através da execução simultânea do processamento de mensagens. Entretanto, esse cenário levou a uma condição de concorrência, na qual múltiplas mensagens foram processadas fora da ordem esperada. Como resultado, houve inconsistência no contexto das conversas, fazendo com que algumas respostas fossem geradas com informações incorretas ou não relacionadas ao fluxo esperado. **Resolução e prevenção:** O time de Engenharia acompanhou a atualização em tempo real e, ao identificar a inconsistência no processamento das mensagens, iniciou imediatamente a atuação para mitigação. Após a identificação do comportamento incorreto, foi realizada a reversão para a versão anterior, cuja conclusão aconteceu às 17:31, normalizando o funcionamento da plataforma. Para evitar a recorrência do problema e aumentar a confiabilidade do processo, serão adotadas as seguintes ações: * Evolução do processo de testes automatizados, com maior cobertura para cenários de concorrência e processamento simultâneo, incluindo paridade de carga em ambiente de _staging_; * Implementação de mecanismos de controle na troca de mensagens, garantindo a ordenação e a consistência no processamento, com travas de segurança para evitar cenários semelhantes; * Revisão do processo de implantação de atualizações críticas visando mitigar impactos na operação.

### O que aconteceu? No dia 26 de Fevereiro, entre 17:50 e 18:29, a plataforma apresentou episódios de lentidão generalizada nas operações de chat. Clientes afetados experimentaram atrasos no carregamento de mensagens. ### Causa Raiz: A equipe de Engenharia da OmniChat identificou uma configuração incorreta de permissões no nível de usuário de bot. Essa falha de permissão gerou uma sobrecarga nos processamentos das mensagens recebidas. ### Resolução e prevenção: A Engenharia da OmniChat iniciou a investigação dos relatos de lentidão às 17h50 do dia 26 de fevereiro. Após o mapeamento, a causa foi isolada no componente de permissões. Às 18h29 do dia 26 de fevereiro, a engenharia aplicou a correção na camada de autenticação e permissões do bot, cessando a sobrecarga imediata e a plataforma foi declarada operacional. O sistema foi colocado em monitoramento assistido visando a qualidade do serviço até às 18h40, quando a estabilidade total foi confirmada. Para evitar a recorrência do problema e garantir o isolamento de falhas entre serviços, a engenharia está tomando as seguintes ações: * Revisão dos alertas de erros e disparos de notificações claras e coerentes; * Revisão dos dashs críticos para a plataforma de mensagens e facilitar o acesso a informação;