Degradação BLiP
Incident Report for BLiP
Postmortem

Srs. Clientes

Lamentamos imensamente uma falha ocorrida na plataforma BLiP, que afetou todos os nosso clientes.

Segue detalhes de toda tratativa até a restauração do ambiente:

Problema: Identificado alto consumo no Banco de CRM (que faz o gerenciamento dos contatos do bot), o que ultrapassou o nosso limite de requests do banco (Requisições trafegada no banco).

Impacto: Todos as requisições e comandos que tem relação com os dados do contato do bot podem ter falhado.
Exemplo: Busca de informações do contato em determinado bloco do fluxo.

Causa raiz: Atualização em um serviço que gerou uma degradação no nosso banco de dados que armazena as informações dos contatos do bot.

Correção aplicada: Realizado rollback da atualização.

Início degradação: 16:35min

Fim da instabilidade: 17:30min

Posted Feb 13, 2020 - 11:51 GMT-03:00

Resolved
Srs. Clientes

Segue detalhes de toda tratativa até a restauração do ambiente:

Problema: Identificado alto consumo no Banco de CRM (que faz o gerenciamento dos contatos do bot), o que ultrapassou o nosso limite de requests do banco (Requisições trafegada no banco).

Impacto: Todos as requisições e comandos que tem relação com os dados do contato do bot podem ter falhado.
Exemplo: Busca de informações do contato em determinado bloco do fluxo.

Causa raiz: Atualização em um serviço que gerou uma degradação no nosso banco de dados que armazena as informações dos contatos do bot.

Correção aplicada: Realizado rollback da atualização.

Início degradação: 16:35min

Fim da instabilidade: 17:30min
Posted Feb 11, 2020 - 18:56 GMT-03:00
Monitoring
O problema:
Identificado alto consumo no Banco de CRM (que faz o gerenciamento dos contatos do bot, estourando Requests (Requisições trafegada no banco).

Solução:
A equipe técnica efetuou uma tratativa paliativa solucionando o problema, no entanto ainda estão investigando a causa raiz.

No momento estamos monitorando o ambiente, tão logo que tivermos uma atualização iremos replicar aqui.
Posted Feb 11, 2020 - 17:51 GMT-03:00
Investigating
We are currently investigating this issue.
Posted Feb 11, 2020 - 16:44 GMT-03:00
This incident affected: Cluster Business (Bot Builder, Bot Router), Cluster Enterprise (Bot Builder, Bot Router), Desk, and BLiP Platform (CRM, Core, Analytics, Artificial Intelligence, Portal, Cloud Infrastructure).