Performance problemen DNS Servers RoutIT

Update timeline

1. identified Nov 01, 2023, 12:49 PM UTC

   Sinds 08:40 uur zijn er DNS performance issues bij onze telefonie leverancier RoutIT vast gesteld. Impact is gedeeltelijk op onderstaande functies: * Het automatisch configureren (provisionen) van toestellen (soms) niet lukt * Eindgebruikers met Flexible Seating hinder kunnen ervaren hun toestel aan/af te melden * Toestellen hun registratie kunnen verliezen. Eindgebruikers kunnen daardoor niet meer bellen of gebeld worden (tot het toestel weer geregistreerd is). * Teams bellen * Vast-mobiel * Afmelden en aanmelden op vaste toestellen * Registraties van toestellen Meer informatie is terug te vinden op de storingensite van RoutIT. https://cspreporter.nl/#22849 Update 13:00 Engineers melden dat er nog geen zicht is op een oplossing. Extra expertise is opgeschakeld in het onderzoek. Een volgende update wordt verwacht om 14:00 uur Update 11:50 Engineers voeren herstelwerkzaamheden uit maar deze hebben nog niet het gewenste effect, de impact blijft hiermee onveranderd.Om impact te beperken kan op clients tijdelijk een andere DNS worden ingesteld. Voice applicaties kunnen issues ervaren wanneer een onderliggend device deze ervaart. Een volgende update volgt zodra we meer informatie hebben.

2. identified Nov 01, 2023, 01:22 PM UTC

   Engineers melden met de leverancier te werken aan een oplossing. Tegelijkertijd wordt er aan een alternatieve oplossing gewerkt om de DNS performance issues weg te nemen. Op het telefonieplatform is een workaround toegepast om de impact hierop weg te nemen. Een volgende update verwachten we rond 15:30uur te plaatsen.

3. identified Nov 01, 2023, 02:44 PM UTC

   Engineers melden nog aan beide oplossingen te werken waardoor de impact op DNS verkeer ongewijzigd is. Na de vorige update zijn er nog enkele wijzigingen doorgevoerd om de volledige werking vanuit het telefonieplatform voor de applicaties Hipper+, KPN MijnGesprek, Teams en Webex te herstellen. Let op: Gebruikers van clients welke de betrokken DNS-servers gebruiken kunnen alsnog impact ervaren. Een volgende update verwachten we rond 16:45 te plaatsen

4. identified Nov 01, 2023, 03:52 PM UTC

   Engineers melden nog aan beide oplossingen te werken. De impact op DNS verkeer is hiermee ongewijzigd. Een oplostijd is vooralsnog niet bekend. De volgende update volgt rond 18:15 uur.

5. monitoring Nov 01, 2023, 05:30 PM UTC

   Engineers melden herstel in de afhandeling van DNS-verzoeken waardoor de impact is weggenomen. Business checks worden uitgevoerd om dit herstel te bevestigen. Er wordt in samenwerking met de leverancier vanavond verder onderzoek uitgevoerd om de achterliggende oorzaak weg te nemen. Een volgende update wordt geplaatst wanneer er nieuwe informatie beschikbaar is.

6. monitoring Nov 02, 2023, 05:51 AM UTC

   De business checks zijn positief en bevestigen volledig herstel. Engineers melden een stabiele afhandeling van DNS-verzoeken en verwachten geen impact met een vergroot aantal verzoeken morgenochtend. De beschikbaarheid van de DNS servers zal nauwlettend gemonitord worden op beschikbaarheid en stabiliteit. De volgende update volgt morgen rond 10:00 uur.

7. monitoring Nov 02, 2023, 10:21 AM UTC

   Engineers melden vanmorgen nog enkele DNS gerelateerde issues te hebben geconstateerd. Deze zijn gemitigeerd waardoor er geen impact meer is op de verwerking van DNS-verzoeken. De volgende update volgt rond 12:30 of eerder indien nodig.

8. monitoring Nov 02, 2023, 11:59 AM UTC

   We are continuing to monitor for any further issues.

9. resolved Nov 02, 2023, 12:00 PM UTC

   Engineers melden dat de DNS-verzoeken stabiel worden afgehandeld. De beschikbaarheid van de DNS servers worden nauwlettend gemonitord op beschikbaarheid en stabiliteit. Voor nu zijn er geen problemen meer.