Todos os tipos de email temporário.Uma plataforma.

12/05/2024

Post Mortem: Caos de e-mails temporários na Black Friday - o que gostaríamos de ter sabido antes

Black Friday: Caos com e-mails temporários resolvido

A Black Friday é conhecida por fazer caixas de entrada no mundo inteiro pegarem fogo. Mas para nós do Müllmail, seu provedor confiável de e-mail temporário, a Black Friday deste ano foi um verdadeiro teste de fogo. O que aconteceu? Por que nosso sistema falhou? E como lidamos com a crise? Este relatório post mortem revela tudo.

Black Friday e a avalanche de e-mails temporários

Já sabíamos que a Black Friday traria uma carga pesada, mas o que aconteceu superou qualquer expectativa. Um exemplo: um grande varejista enviou 12.000 e-mails em apenas cinco minutos - dá pra dizer que estávamos "pouco preparados". Nosso sistema, naquele momento, simplesmente não estava pronto para essa avalanche - e travou.

Fase intensa de investigação

Tivemos um duplo desafio: primeiro entender a causa - seria só o pico da Black Friday ou também ataques direcionados? - e ao mesmo tempo, trabalhar 24 horas por dia para restaurar o serviço. Foi um lembrete doloroso de como até pequenos gargalos na infraestrutura podem ter impactos enormes.

Nossas ações: Trial, Panic! & Error

Para resolver os problemas e evitar novas sobrecargas, tomamos várias medidas. Aqui está um resumo:

1. Simplificação do banco de dados

Começamos ajustando o layout do banco de dados para reduzir a carga na CPU. A melhora foi pequena, mas nos ajudou a identificar os verdadeiros gargalos.

2. Mais poder para o servidor de e-mails

Aumentamos os recursos do servidor de e-mail - de 8 para 16 núcleos de CPU. Ainda assim, não foi o suficiente.

3. Ajustes no processamento de e-mails

Outro gargalo estava no processamento das mensagens. Simplificamos temporariamente algumas etapas, mas com e-mails chegando em massa, ainda batíamos no teto. Chato.

4. Upgrade de servidor

Em uma operação relâmpago, migramos tudo para um novo servidor com 96 núcleos (antes 32). Essa medida ajudou - mas ainda não era tudo.

A solução real: Rate Limiting inteligente

A ação decisiva foi implementar um Rate Limiting eficiente para os e-mails recebidos. Isso deu ao sistema o tempo necessário para processar cada mensagem sem criar um acúmulo incontrolável. Desde então, nosso sistema voltou a funcionar de forma estável.

Nosso agradecimento aos usuários

Agradecemos a todos os usuários do Müllmail pela paciência e confiança. Aprendemos muito com essa experiência e vamos continuar trabalhando para tornar o serviço cada vez mais resiliente. Se você ainda tiver problemas de entrega, pode sempre nos escrever: kontakt@team.muellmail.com

O que aprendemos

A Black Friday nos mostrou que até sistemas bem planejados podem alcançar seus limites em situações extremas. Mas com as medidas certas - e muito empenho da nossa equipe - conseguimos superar esse desafio (bate na madeira). Seguimos comprometidos em ser sua primeira escolha quando se trata de e-mail temporário.