Blue10 experienced a minor incident on May 15, 2024 affecting Blue10 Invoice Management and Blue10 Contract Management and 1 more component, lasting 16d. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating May 15, 2024, 01:17 PM UTC
Op dit moment kan je een verminderde beschikbaarheid van Blue10 ervaren. Het kan onder andere voorkomen dat geïmporteerde documenten niet worden verwerkt. Op het Dashboard is dan de melding 'Documentacties vertraagd' zichtbaar. We zijn aan het onderzoeken hoe dit komt en houden je op de hoogte via onze Statuspage.
- investigating May 15, 2024, 02:12 PM UTC
Blue10 is niet beschikbaar waardoor het inloggen niet werkt en het niet mogelijk is om documenten te verwerken. Het heeft onze hoogste prioriteit om Blue10 weer zo snel mogelijk beschikbaar te maken. We houden je op de hoogte via onze Statuspage. Onze excuses voor het ongemak.
- investigating May 15, 2024, 02:20 PM UTC
Alle componenten, waaronder de beschikbaarheid website, documentherkenning en het binnenhalen van documenten, zijn niet beschikbaar.
- identified May 15, 2024, 04:19 PM UTC
De Blue10 website is weer beschikbaar; het is weer mogelijk om in te loggen via login.blue10.com en diverse acties uit te voeren in Blue10. De oorzaak van de storing is gevonden. In één van onze Microsoft Azure Key-Vaults, die we gebruiken voor het opslaan en beheren van gegevens, is een verstoring waardoor diverse componenten van Blue10 niet tot verminderd functioneren. De focus ligt nu op het beschikbaar maken van de componenten die verantwoordelijk zijn voor het importeren van de documenten van Blue10.
- monitoring May 15, 2024, 07:37 PM UTC
Sinds 18:10 uur is de Blue10 website beschikbaar waardoor het weer mogelijk is om in te loggen en diverse acties uit te voeren. In de afgelopen uren lag de focus op het importeren van documenten. Geïmporteerde documenten (per e-mail, via de Blue10 App of handmatige upload) komen weer binnen in Blue10 en worden geconverteerd naar een document in Blue10. We zien in onze monitoring dat een beperkt aantal klanten in het dashboard van Blue10 de foutmelding 'Fout bij splitsen documenten' zien. Blue10 gaat deze documenten morgen herstellen zodat deze vanzelf zichtbaar komen in het splitsscherm of in het valideerscherm. Via onze Statuspage houden we je op de hoogte.
- monitoring May 16, 2024, 08:05 AM UTC
In onze monitoring zien we een nasleep van de verstoring en kan je als gebruiker toch nog een verminderde beschikbaarheid van Blue10 ervaren. Afhankelijk van de applicatieserver EU1 t/m EU3 (te zien in de adresbalk na https://) geven we een update: - Op applicatieserver EU3 kan op het Dashboard onder Boeken de foutmelding 'Factuuracties vertraagd' voorkomen wat betekent dat de factuur nog niet geboekt is in het boekhoudsysteem. Op applicatieserver EU1 geldt dit issue voor de koppeling met AFAS. - Op de applicatieservers EU1 en EU2 geldt voor het maken van een boeking in Exact Online dat het Pdf-bestand niet wordt meegegeven en zichtbaar is bij de boeking in Exact Online. - Op alle applicatieservers (EU1 t/m EU3) kan op het Dashboard onder Importeren de melding 'Fouten in ontvangen e-mails' voorkomen. De e-mails, die binnengekomen zijn tussen 19:00 en 20:30 uur op 15-05-2024, met deze foutmelding zijn niet op de juiste manier verwerkt waardoor de foutmelding wordt getoond. We zijn bezig met het oplossen van bovenstaande issues om de nasleep te verhelpen. Via onze Statuspage houden we je op de hoogte.
- monitoring May 16, 2024, 11:48 AM UTC
In de vorige update hebben we een aantal issues gedeeld en inmiddels zijn de issues verholpen. Blue10 werkt weer zoals je van ons mag verwachten. Bij twee issues zien we nog een nasleep waardoor je als gebruiker het volgende kan ervaren: - Bij boekingen die in Exact Online zijn gemaakt, gedurende de storing, kan het Pdf-bestand bij de boeking in Exact Online ontbreken. - Op het Dashboard kan de foutmelding 'Fout bij splitsen documenten' nog zichtbaar zijn. Dit geldt bij documenten die zijn verwerkt op 15-5-2024 in de status 'Conversiefout'. We zijn nog bezig met het afronden van de nasleep van bovenstaande issues en delen hierover meer in de volgende update.
- monitoring May 16, 2024, 02:36 PM UTC
Het afronden van de nasleep van eerdergenoemde issues duurt langer dan we hadden gehoopt. Met deze update delen we een status van de voortgang: - Bij boekingen die in Exact Online zijn gemaakt, gedurende de storing, kan het Pdf-bestand bij de boeking in Exact Online ontbreken. We zien mogelijkheden om alsnog het Pdf-bestand toe te voegen aan de betreffende boekingen en gaan dit eerst uitvoerig testen. - Op het Dashboard kan de foutmelding 'Fout bij splitsen documenten' nog zichtbaar zijn. Dit geldt voor 233 documenten, verdeeld over alle klantomgevingen, die zijn verwerkt op 15-5-2024 in de status 'Conversiefout'. Ook voor dit issue zijn er mogelijkheden om de documenten opnieuw te verwerken en beschikbaar te maken in het splits- en/of valideerscherm. Morgen (vrijdag 17-5-2024) komen we met een nieuwe update.
- monitoring May 17, 2024, 11:34 AM UTC
Hierbij een korte update over de eerdergenoemde issues: - Op het Dashboard kwam de foutmelding 'Fout bij splitsen documenten' voor bij 233 documenten. Deze documenten zijn opnieuw verwerkt en beschikbaar in het splits- en/of valideerscherm. - Bij boekingen die in Exact Online zijn gemaakt, gedurende de storing, kan het Pdf-bestand bij de boeking in Exact Online ontbreken. We gaan woensdag 22-5-2024 de ontbrekende Pdf-bestanden toevoegen aan de betreffende boekingen en we houden je via onze Statuspage hierover op de hoogte.
- monitoring May 22, 2024, 03:23 PM UTC
Naar aanleiding van de storing in Blue10 vorige week donderdag 16 mei, staat er nog één issue open die nog niet is afgerond. Dit betreft het issue dat bij boekingen die in Exact Online zijn gemaakt, gedurende de storing, het Pdf-bestand bij de boeking in Exact Online kan ontbreken. Het is ons vandaag niet gelukt om de ontbrekende Pdf-bestanden toe te voegen aan de betreffende boekingen. Naar verwachting gaan we dit deze week alsnog oplossen. Via onze Statuspage houden we je op de hoogte.
- resolved May 31, 2024, 02:08 PM UTC
Postmortem Op woensdag 15 mei heeft er tussen 15:00 uur en 18:10 uur een storing plaatsgevonden waardoor Blue10 tijdelijk niet functioneerde. In deze update delen we meer informatie over het incident, de uitgevoerde acties en vervolgacties om herhaling in de toekomst te voorkomen. Toelichting van het incident SaaS-applicaties, zoals Blue10, die uit meerdere afzonderlijke onderdelen bestaan, gebruiken Microsoft Azure Key Vault om op een veilige manier te communiceren tussen de onderdelen. Het communiceren tussen onderdelen verloopt via een sleutel in Key Vault. Bij het uitvoeren van regulier onderhoud op woensdag 15 mei hebben wij in Key Vault een bestaande sleutel voorzien van een nieuwe versie en vervolgens de oude versie gedeactiveerd. Na deze wijziging vond er ongedocumenteerd gedrag plaats in Key Vault. Het gevolg was dat de onderdelen één voor één uitvielen en Blue10 tijdelijk niet beschikbaar was. Uitgevoerde acties Nadat de oorzaak was gevonden, zijn de bestaande Key Vault opnieuw geconfigureerd. Vanaf 18:10 uur was de website van Blue10 weer online en kwamen één voor één de onderdelen weer beschikbaar. Door de uitval van diverse onderdelen was er een nasleep van meerdere issues. In de vorige updates op onze Statuspage hebben we hierover meer gedeeld. Van alle issue staat er nog één open waar we in deze update onder het kopje ‘Vervolgacties’ meer over delen. Toen alle onderdelen van Blue10 weer functioneerden, hebben we samen met Microsoft maatregelen genomen om dit ongedocumenteerde gedrag in de toekomst te voorkomen. Vervolgacties Zoals in de vorige update op Statuspage gemeld, staat er nog één issue open die nog niet is afgerond. Dit betreft het issue dat bij boekingen die in Exact Online zijn gemaakt (gedurende de storing) het pdf-bestand bij de boeking in Exact Online kan ontbreken. In de komende weken gaan we de ontbrekende pdf-bestanden toevoegen aan de betreffende boekingen. Via een notificatie in Blue10 informeren we hier de betreffende klanten over. Gezien de oorzaak van de storing is verholpen, sluiten we bij deze het incident.