Documenten komen vertraagd in het valideerscherm

Update timeline

1. identified Nov 09, 2023, 04:10 PM UTC

   Sinds 16:00 uur is er een verstoring in de documentherkenning waardoor documenten vertraagd in het valideerscherm komen. Op het dashboard is onder Splitsen de melding 'Documenten zijn in behandeling' zichtbaar. In het Batchoverzicht (via Importeren > Batchoverzicht) blijven deze documenten hangen in de status '4. Tekstherkenning toepassen'. De oorzaak van de verstoring is geïdentificeerd. Blue10 gaat de vertraagde documenten automatisch verwerken zodat deze alsnog beschikbaar komen in het valideerscherm. Zodra dit is gebeurt, laten we dit via Statuspage weten. Je kan zonder problemen al beschikbare documenten verder verwerken.

2. identified Nov 10, 2023, 07:27 AM UTC

   De vertraagde documenten zijn niet automatisch verwerkt waardoor documenten die, sinds donderdagmiddag 9 november 16:00 uur zijn geïmporteerd, nog niet beschikbaar zijn in het valideerscherm. Documenten die na donderdagmiddag 9 november 16:00 uur zijn geïmporteerd, komen ook niet in het valideerscherm terecht. We zijn bezig om de vertraagde documenten opnieuw te verwerken zodat deze beschikbaar zijn in het valideerscherm. Je kan zonder problemen de al beschikbare documenten in het valideerscherm verder verwerken zoals je gewend bent. Zodra er een update is, laten we dit weten via onze Statuspage weten.

3. identified Nov 10, 2023, 12:56 PM UTC

   Vanochtend zijn we bezig geweest om de vertraagde documenten opnieuw te verwerken en beschikbaar te maken in het valideerscherm. Helaas ligt dit complexer dan we hadden verwacht. Zoals in de vorige update aangegeven komen documenten die na donderdagmiddag 9 november 16:00 uur zijn geïmporteerd ook niet in het valideerscherm terecht. We verleggen onze focus naar het beschikbaar maken van documenten die nieuw worden geïmporteerd, zodat je deze documenten in Blue10 kan verwerken zoals je van ons gewend bent. Als nieuw geïmporteerde documenten weer in het valideerscherm terechtkomen, dan gaan we ons focussen op het beschikbaar maken van de documenten die zijn vertraagd door deze verstoring. Zodra er een update is, laten we dit weten via onze Statuspage.

4. identified Nov 10, 2023, 01:32 PM UTC

   Documenten die na vrijdagmiddag 10 november 14:00 uur worden geïmporteerd, komen terecht in het valideerscherm zoals je van ons gewend bent. De focus ligt nu op het beschikbaar maken van de documenten die zijn vertraagd door deze verstoring. Zodra deze documenten beschikbaar zijn in het valideerscherm, melden we dit via onze Statuspage.

5. resolved Nov 10, 2023, 03:05 PM UTC

   Alle documenten die zijn vertraagd, door de verstoring van 9-11-2023 16:00 uur tot 10-11-2023 14:00 uur, zijn nu beschikbaar in het valideerscherm van Blue10. Blue10 werkt weer zoals je van ons gewend bent. Heb je na 14:00 uur vandaag een document opnieuw geïmporteerd? Dan krijg je in het valideerscherm bij het veld Factuurnummer de melding ‘Dit factuurnummer is al gebruikt voor dit bedrijf en deze leverancier'. Mocht je bij het valideren van documenten een dubbele factuur tegenkomen uit de periode die hierboven genoemd wordt, dan mag je deze uit het valideerscherm verwijderen. Wellicht ten overvloede: een document die is verwijderd in het valideerscherm telt niet mee als verwerkt documenten in het abonnement bij Blue10. Hiermee sluiten we dit incident af.

6. postmortem Nov 15, 2023, 12:27 PM UTC

   De verstoring waardoor documenten vertraagd in het valideerscherm terecht kwamen was een gevolg van een update in onze software. In dit postmortem delen we meer informatie over deze verstoring. **Verloop van de verstoring** Door een fout in een update van Blue10 werden binnenkomende documenten vanaf donderdag 9 november 16:00 uur tot en met vrijdag 10 november 14:00 uur niet verwerkt. In eerste instantie hebben we de focus gelegd op het beschikbaar maken van documenten die nieuw werden toegevoegd in Blue10. Sinds vrijdagmiddag 10 november 14:00 uur kwamen nieuwe, geïmporteerde documenten weer direct zichtbaar als herkend document in het valideerscherm. Vervolgens is de focus verlegd naar het beschikbaar maken van de vertraagde, eerder toegevoegde documenten. Vrijdag aan het einde van de middag is het proces gestart om alle vertraagde documenten opnieuw te verwerken in Blue10. Vrijdagavond om 21:00 uur waren alle documenten beschikbaar in het valideerscherm en was er geen sprake meer van vertraging in de verwerking. **Oorzaak van de verstoring** De oorzaak van de verstoring is donderdagmiddag 9 november geïdentificeerd en werd veroorzaakt door een update van onze software. De update bestond uit een databasemigratie op het documentherkenningsplatform. Een dergelijke update zorgt normaal gesproken voor een tijdelijke onderbreking in de verwerking van documenten. Na het uitvoeren van een dergelijke update wordt het proces direct weer hervat. Bij het uitvoeren van de update op donderdagmiddag 9 november bleek een bug te zitten in de databasemigratie, waarna het proces van het verwerken van documenten vastliep. **Ondernomen acties n.a.v. de verstoring** Ondanks dat we onze software altijd uitgebreid testen voordat een update van onze software wordt uitgerold, heeft er in de update van donderdag 9 november toch een fout gezeten. Dit komt doordat er onvolledige kwaliteitscontrole is uitgevoerd en er een verkeerde inschatting is gemaakt van de impact en risico’s van de update. Dit had nooit mogen gebeuren en gaan we in de toekomst voorkomen door het kwaliteitscontroleproces rondom het updaten van dergelijke processen aan te scherpen. Denk hierbij aan het verplichten van een volledige kwaliteitscontrole, het verplicht maken van een inschatting van de impact en risico’s van een update en het doorvoeren van een verplicht vier-ogen-principe op bepaalde onderdelen. We kiezen heel bewust voor stabiliteit en beschikbaarheid boven snelheid van het uitrollen van een update, zeker op kritische onderdelen van Blue10.