Ceph object store storing

Update timeline

1. investigating Feb 01, 2024, 08:12 PM UTC

   We are currently investigating this issue.

2. investigating Feb 01, 2024, 09:07 PM UTC

   Uit ons onderzoek blijkt dat de instabiliteit/traagheid veroorzaakt wordt door een hoge load op het platform. Helaas heef het herstarten van de servers niet geleid tot een permanente oplossing en wordt er nog steeds traagheid ervaren. Op dit moment wordt er gekeken of we extra nood capaciteit bij kunnen schakelen. Volgende update volgt uiterlijk om 23:00

3. investigating Feb 01, 2024, 10:01 PM UTC

   We are continuing to investigate this issue.

4. monitoring Feb 01, 2024, 10:03 PM UTC

   Op dit moment ervaren wij geen impact meer op ons Ceph platform. Morgenochtend zal ons onderzoek naar de oorzaak verder gaan.

5. monitoring Feb 02, 2024, 05:03 PM UTC

   Vandaag heeft een multidisciplinair team binnen True verder onderzoek gedaan naar de oorzaak van de hoge load op het platform en een aantal wijzigingen gemaakt om verdere impact te beperken. In de tussentijd wordt er nog gewerkt om de capaciteit van het platform verder uit te breiden.

6. monitoring Feb 05, 2024, 06:34 PM UTC

   Het platform is vanmiddag verder uitgebreid. Sinds het begin van de avond lijkt toch wederom sprake van verlaagde performance. We zijn momenteel aan het uitzoeken hoe dit komt.

7. identified Feb 05, 2024, 07:49 PM UTC

   We hebben inmiddels gevonden dat in specifieke, uitzonderlijke combinatie van HTTP-headers er in enkele gevallen voor kunnen zorgen dat er verminderde performance of gefaalde requests optreden. We zijn nu bezig met het implementeren van een fix.

8. monitoring Feb 05, 2024, 08:03 PM UTC

   De fix is inmiddels geïmplementeerd, waarmee de problemen lijken te zijn opgelost. We houden de situatie voorlopig in de gaten.

9. resolved Feb 07, 2024, 02:03 PM UTC

   Na verdere capaciteitsuitbreidingen afgelopen maandag hebben we geen verdere issues meer geconstateerd op het platform. Bij deze wordt deze storing afgesloten.