Documenten blijven hangen tussen Splitsen en Valideren op het Dashboard

Update timeline

1. investigating Jul 02, 2024, 07:31 AM UTC

   Op het Dashboard is het mogelijk zichtbaar dat er documenten blijven hangen tussen Splitsen en Valideren. Op maandagmiddag 1 juli tussen 15: 15 en 17:20 uur en dinsdagochtend 2 juli 08:40 en 9:15 uur was er een vertraging in de verwerking van geïmporteerde documenten. Documenten die in deze tijdsperiodes zijn geïmporteerd, blijven hangen in de status 'Tekstherkenning toepassen'. Sinds vandaag 9:15 uur verwerkt Blue10 geïmporteerde documenten zonder vertraging en komen deze beschikbaar in het splits- en/of valideerscherm. De documenten die zijn geïmporteerd in de genoemde tijdsperiodes, zijn tegen de verwachting in niet automatisch opnieuw verwerkt. Op dit moment ligt de focus op het opnieuw verwerken van de documenten, die blijven hangen in de status 'Tekstherkenning toepassen'. Via onze Statuspage houden we je op de hoogte.

2. investigating Jul 02, 2024, 10:07 AM UTC

   We zien in onze monitoring weer problemen in de verwerking van geïmporteerde documenten. Documenten die vanaf 10:38 uur worden geïmporteerd, blijven hangen in de status 'Tekstherkenning toepassen'. We zijn aan het onderzoeken hoe dit komt en houden je op de hoogte via onze Statuspage.

3. identified Jul 02, 2024, 02:31 PM UTC

   Sinds 14:08 uur verwerkt Blue10 de documenten tussen splitsen en valideren zonder vertraging en komen deze beschikbaar in het valideerscherm. Het importproces draait weer stabiel, maar blijven we continu monitoren. We zijn bezig om de documenten die in de tijdsperiodes (maandag 1 juli 15:15 en 17:20 uur, dinsdag 2 juli tussen 08:40 en 09:15 uur & tussen 10:38 en 14:08 uur) in de status 'Tekstherkenning toepassen' bleven hangen, opnieuw te verwerken. We laten het via onze Statuspage weten wanneer deze documenten beschikbaar zijn in het valideerscherm.

4. resolved Jul 02, 2024, 05:39 PM UTC

   De documenten die in de tijdsperiodes (maandag 1 juli 15:15 en 17:20 uur, dinsdag 2 juli tussen 08:40 en 09:15 uur & tussen 10:38 en 14:08 uur) in de status 'Tekstherkenning toepassen' bleven hangen, zijn opnieuw verwerkt en beschikbaar in het valideerscherm. Het importproces draait nog steeds stabiel en blijven we, zoals altijd, continu monitoren. Bij deze sluiten we het incident en delen we op een later moment een postmortem op onze Statuspage.

5. postmortem Jul 22, 2024, 02:49 PM UTC

   Op maandag 1 juli tussen 15:15 uur en 17:20 uur en op dinsdag 2 juli tussen 08:40 uur en 14:08 uur heeft er een verstoring plaatsgevonden waardoor documenten in Blue10 bleven hangen in de status ‘Tekstherkenning toepassen’. In deze update delen we meer informatie over het incident, de uitgevoerde acties en vervolgacties om herhaling in de toekomst te voorkomen. **Toelichting van het incident** De verstoring werd getriggerd door een hoge load van te verwerken documenten. Op de eerste werkdagen van het kwartaal zien we altijd een piek in het aantal geïmporteerde documenten. Zo zijn er maandag 1 juli en dinsdag 2 juli in totaal ca. 150.000 documenten binnengekomen. We voeren continue verbeteringen door om de steeds hogere load van documenten te kunnen verwerken, maar lopen daarbij op bepaalde momenten tegen nieuwe bottlenecks aan, die pas aan het licht komen als we tegen een niet vooraf te definiëren grens aan zijn gelopen. Als vervolgactie op een eerdere verstoring \([maandag 4 december 2023](https://status.blue10.com/incidents/bwv0nxq9wfrf)\) hebben we een achtergrondproces ingevoerd die de hoge load op drukke werkdagen verdeeld over meerdere services. Door deze maatregel kan het voorkomen dat een document niet direct, maar na een paar minuten beschikbaar is in het valideerscherm. Door de load te verdelen voorkomen we algehele verstoringen. Bij het uitvoeren van een upgrade van de onderliggende Azure Functions is het gedrag van de Azure Function binnen de vastgestelde configuratie gewijzigd. Vanwege de wijziging in het gedrag naar aanleiding van de versie upgrade, konden we niet de load aan documenten verwerken die we normaal gesproken wel kunnen verwerken. **Uitgevoerde acties** Op het moment dat de vertraging in het importproces in onze monitoring zichtbaar was, hebben we de focus gelegd op het herstellen van het importproces door de load terug te brengen tot onder de grenswaarde van het maximaal aantal documenten wat per minuut verwerkt kan worden. Hierdoor konden nieuw geïmporteerde documenten weer succesvol worden verwerkt. De documenten welke in de status ‘Tekstherkenning toepassen’ bleven hangen, zouden geleidelijk aan weer verwerkt worden. Echter was het gevolg hiervan dat de grenswaarde opnieuw werd bereikt. Nadat de oorzaak was gevonden, is er een update uitgevoerd met een aangepaste configuratie in de betreffende Azure Functions. Deze update zorgde ervoor dat de documenten weer verwerkt konden worden zonder dat de grenswaarde werd bereikt. Hierdoor draaide het importproces weer stabiel en konden zowel nieuw geïmporteerde documenten als de documenten welke in de status ‘Tekstherkenning toepassen’ bleven hangen, succesvol worden verwerkt. **Vervolgacties** Met aanpassen van de configuratie in de betreffende Azure Functions werkt het importproces weer stabiel. Daarnaast gaan we werken aan verdere uitbreiding van de monitoring op het importproces, zodat we eerder kunnen ingrijpen als het automatische opschalingsproces faalt.