Alle soorten tijdelijke email.Eén platform.

12/05/2024

Post Mortem: Chaos met tijdelijke e-mail op Black Friday - wat we liever eerder hadden geweten

Black Friday Chaos met tijdelijke e-mail: Onze ervaring

Black Friday is de tijd van het jaar waarin inboxen wereldwijd roodgloeiend staan. Maar voor ons bij Müllmail, jouw betrouwbare leverancier van temp mail, werd deze Black Friday een ware stresstest. Wat is er precies gebeurd? Waarom begaf ons systeem het? En hoe hebben we de situatie onder controle gekregen? In dit post mortem rapport nemen we je mee achter de schermen.

Black Friday en de stortvloed aan temp mails

We wisten dat Black Friday druk zou worden, maar wat er dit jaar gebeurde, ging alle verwachtingen te boven. Een goed voorbeeld: een grote discounter verstuurde binnen slechts vijf minuten maar liefst 12.000 e-mails - we waren duidelijk te "Lidl" voorbereid. Ons systeem was toen simpelweg niet gemaakt voor zo’n volume - en gaf de geest.

Een hectische fase vol foutzoeken

De uitdaging was tweeledig: we moesten eerst de oorzaak achterhalen - ging het “alleen maar” om de Black Friday drukte of was er sprake van een gerichte aanval? Tegelijkertijd werkten we non-stop om de dienst weer draaiende te krijgen. In deze periode werd pijnlijk duidelijk hoeveel impact zelfs de kleinste bottlenecks kunnen hebben.

Onze acties: Trial, Panic! & Error

We hebben diverse maatregelen genomen om het probleem op te lossen en toekomstige overbelasting te voorkomen. Een overzicht:

1. Eenvoudiger databaseontwerp

Eerst hebben we het databasemodel vereenvoudigd om de CPU-belasting te verlagen. Het hielp een beetje, maar liet vooral zien waar de echte knelpunten zaten.

2. Meer power voor de mailserver

We hebben de mailserver opgeschaald - van 8 naar 16 cores. Maar al snel werd duidelijk: ook dat was niet voldoende.

3. Eenvoudigere e-mailverwerking

De e-mailparser bleek een bottleneck. Tijdelijk hebben we de verwerking versimpeld, maar bij te veel inkomende berichten liep het systeem alsnog vast. Oeps.

4. Serverupgrade

In een nachtelijke noodoperatie migreerden we alles naar een server met 96 cores (voorheen 32). Ook dit hielp, maar bleek slechts een deel van de oplossing.

De echte oplossing: Slimme Rate Limiting

Wat uiteindelijk écht het verschil maakte, was de invoering van een slimme rate limiting voor inkomende mails. Daardoor kreeg ons systeem net genoeg ademruimte om mails betrouwbaar te verwerken - zonder dat er zich een onbeheersbare wachtrij vormde. Sindsdien draait alles weer stabiel.

Grote dank aan onze gebruikers

We willen alle gebruikers van Müllmail bedanken voor hun geduld en vertrouwen. We hebben veel geleerd van deze ervaring en blijven werken aan een nog robuuster systeem. Mocht je toch tegen leveringsproblemen aanlopen: je bereikt ons altijd via kontakt@team.muellmail.com.

Wat we meenemen

Black Friday heeft ons geleerd: zelfs goed geteste systemen kunnen het zwaar krijgen onder onverwachte druk. Dankzij gerichte maatregelen en de inzet van ons team hebben we deze uitdaging overwonnen (klopt op hout). We doen er alles aan om ook in de toekomst jouw eerste keuze voor tijdelijke e-mail te blijven.