Documenten komen vertraagd in het valideerscherm

Update timeline

1. investigating Dec 04, 2023, 08:55 AM UTC

   We zien in ons logsysteem problemen naar voren komen waardoor documenten vertraagd in het valideerscherm terecht komen. We zijn aan het onderzoeken hoe dit komt en gaan het zo snel als mogelijk oplossen. We houden je op de hoogte via onze Statuspage.

2. investigating Dec 04, 2023, 10:47 AM UTC

   Documenten die na maandagochtend 4 december november 11:00 uur worden geïmporteerd, komen terecht in het valideerscherm zoals je van ons gewend bent. De focus ligt nu op het beschikbaar maken van alle documenten die zijn vertraagd door de verstoring van 4-12-2023 9:00 uur tot 4-12-2023 11:00 uur. Zodra deze documenten beschikbaar zijn in het valideerscherm, melden we dit via onze Statuspage.

3. investigating Dec 04, 2023, 01:35 PM UTC

   We zien helaas dat alle documenten weer vertraagd beschikbaar komen in het valideerscherm. Op het dashboard blijven deze documenten hangen tussen Splitsen en Valideren. Om 11:00 uur was er een quick fix uitgevoerd om de nieuw, geïmporteerde documenten beschikbaar te maken in het valideerscherm. Sinds 12:40 uur komen ook deze documenten vertraagd in het valideerscherm en heeft de quick fix helaas niet het gewenste resultaat. We zijn bezig met het verhelpen van de verstoring en het beschikbaar maken van de documenten. Zodra er een update is, melden we dit via onze Statuspage. Excuses voor het ongemak.

4. investigating Dec 04, 2023, 04:22 PM UTC

   Documenten die na 15:50 uur worden geïmporteerd komen zonder vertraging in het valideerscherm terecht. We blijven dit proces continu monitoren om zeker te weten dat er geen problemen meer voorkomen. Door de vertraging is er een wachtrij ontstaan in het beschikbaar maken van documenten in het valideerscherm. Komende uren gaan we de documenten in de wachtrij stapsgewijs verwerken. We verwachten dat de wachtrij morgenochtend is weggewerkt en komen daarna met een update op onze Statuspage.

5. resolved Dec 05, 2023, 01:03 PM UTC

   De wachtrij is inmiddels weggewerkt en we zien sinds maandagmiddag 15:50 uur dat nieuw, geïmporteerde documenten zonder vertraging terechtkomen in het valideerscherm. Verloop van de verstoring Door een probleem in Azure Service Bus werden binnenkomende documenten op maandag 4 december tussen 9:00 – 11:00 uur en 12:40 – 15:50 uur niet verwerkt. In eerste instantie hebben we de focus gelegd op het beschikbaar maken van documenten die nieuw werden toegevoegd in Blue10. Sinds maandagmiddag 15:50 uur kwamen nieuwe, geïmporteerde documenten weer direct zichtbaar in het valideerscherm. Maandagavond om 21:50 uur waren alle documenten, die in de wachtrij stonden, beschikbaar in het valideerscherm en was er geen sprake meer van vertraging in de verwerking. Oorzaak van de verstoring De verstoring werd getriggerd door een hoge load van te verwerken documenten. Op één van de eerste werkdagen van een maand zien we altijd een piek in het aantal geïmporteerde documenten. Zo zijn er gisteren (maandag 4 december) meer dan 70.000 documenten binnengekomen. Naar aanleiding van de verstoring, in het verwerken van binnenkomende documenten op donderdag 9 november zijn er maatregelen genomen om vertraging te voorkomen. Deze maatregelen zijn gericht op een hoge load op de Azure Service Bus. Hoewel de load van het aantal te verwerken documenten onder het limiet van deze maatregelen lag, heeft Microsoft ons verbruik beperkt toen de load toenam. Ondernomen acties n.a.v. de verstoring Na het identificeren van de oorzaak van de verstoring, is er contact opgenomen met Microsoft. We zijn in gesprek met Microsoft over de limitaties op de Azure Service Bus en de impact wanneer de load van te verwerken documenten toeneemt. Daarnaast gaan we een achtergrondproces invoeren die de hoge load op drukke werkdagen verdeeld over meerdere services. Door deze maatregel kan het voorkomen dat een document niet direct, maar na een paar minuten beschikbaar is in het valideerscherm. Door de load te verdelen voorkomen we algehele verstoringen.