Pridok experienced a critical incident on September 15, 2024 affecting Eksterne integrasjoner, lasting 8h 24m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Sep 15, 2024, 07:51 AM UTC
Vi opplever å få feilmeldinger fra reseptformidleren, og undersøker årsaken til dette. Reseptformidleren gjorde en større flyttejobb av miljøet sitt som kan være årsaken
- identified Sep 15, 2024, 09:18 AM UTC
En ny ip-adresse som Reseptformidleren bruker siden kl 23:00 i går kveld ser ut til ikke å være "whitelisted" mot Pridok sine tjenester, slik at vi får feilmelding når vi kontakter dem. NHN er på saken. Dette berører alle våre kunder.
- identified Sep 15, 2024, 10:13 AM UTC
Vi jobber videre med feilsøking sammen med NHN, og oppdaterer her så snart vi vet noe mer.
- identified Sep 15, 2024, 01:15 PM UTC
Det jobbes fortsatt med feilsøking. NHN og vår driftsleverandør ser sammen på saken.
- monitoring Sep 15, 2024, 03:37 PM UTC
Rotårsaken er funnet og det er implementert fikser i miljøet. Vi overvåker videre utover kvelden og kommer tilbake med en postmortem om kort tid.
- resolved Sep 15, 2024, 04:16 PM UTC
This incident has been resolved.
- postmortem Sep 15, 2024, 04:16 PM UTC
Søndag morgen mottok vi meldinger fra brukere om at reseptmodulen vår ikke fungerte. Vår gjennomgang av loggene viste at kallene til reseptformidleren feilet, og at problemet startet lørdag kveld kl. 23:00. Dette tidspunktet sammenfalt med en driftsmelding fra Norsk Helsenett \(NHN\) om en planlagt flytting av reseptformidleren, som skulle gjennomføres mellom kl. 23:00 og 04:00 natt til søndag 15. september. Ifølge meldingen innebar endringen å flytte reseptformidleren samt å sette opp en proxy for å sikre at e-resept-aktører som oss ikke skulle bli berørt av overgangen. Etter vedlikeholdsperioden var reseptformidleren imidlertid fortsatt utilgjengelig for våre kunder, og vi tok umiddelbart kontakt med NHN for bistand. NHN responderte raskt og etablerte et incident-team som arbeidet bredt for å identifisere årsaken til problemet. E-resept-fagpersoner undersøkte hvorvidt kun deler av e-resept-funksjonaliteten var påvirket, og nettverkseksperter gjennomgikk trafikkflyten. Vi koordinerte også feilsøk sammen med vår driftsleverandør Intility. Rundt kl. 16:30 foreslo en tekniker fra NHN at problemet kunne skyldes manglende støtte for kommunikasjonsprotokollen vi benytter mot reseptformidleren \(spesifikt HTTP-versjonen\) via den nye proxy-løsningen. Selv om denne versjonen skulle være støttet, hadde vi muligheten til å overstyre den på vår side. Da vi gjorde dette, begynte reseptformidleren å fungere igjen. Dette problemet fremkom ikke i noen logger, men var en konfigurasjonsforskjell mellom vårt miljø og et annet miljø som NHN sammenlignet med. NHN fortsetter med å undersøke om andre aktører er berørt, men Pridok er nå fullt operativ.