Pridok incident
Enkelte brukere rapporterer om tregheter og nedetid
Pridok experienced a major incident on September 10, 2024, lasting —. The incident has been resolved; the full update timeline is below.
Update timeline
- resolved Sep 10, 2024, 10:59 AM UTC
Enkelte brukere rapporterer om tregheter og nedetid. Problemet ble løst ca 10:50. Det vil bli publisert en postmortem i løpet av dagen.
- postmortem Sep 10, 2024, 01:19 PM UTC
# Post-mortem rapport om feil i miljøet 10.09.2024 **En oppsummering av hendelsen, årsaken, løsningen, og lærdommene** ## **Hva skjedde?** Mellom klokken 10:20 og 10:48 opplevde vi en feil i en av databasene våre som berørte ca 10% av kundene våre. Feilen førte til at kundene ikke fikk tilgang til Pridok EPJ, med langvarige stopp og feilmeldinger på skjermen. Vi beklager ulempene dette medførte for kundene våre og tar hendelsen på alvor. Feilen skyldes ikke en oppdatering av miljøet, men var forårsaket av håndtering av statistikk internt i databasen. ## **Hva var årsaken?** En analyse avdekket at en nattjobb ikke hadde stoppet i natt som den skulle, og fortsatt kjørte på formiddagen. Denne jobben førte til at oppslag tok betydelig lenger tid enn normalt, noe som dramatisk påvirket svartiden og overbelastet databasen. Som et resultat klarte ikke databasen å håndtere kundenes forespørsler. ## **Hvordan løste vi det?** Alarmene gikk klokken 10:20 og vi startet umiddelbart arbeidet med å identifisere feilen. På grunn av de pågående treghetene i databasen fikk vi ikke tilstrekkelig kapasitet til å gjøre undersøkelsene vi hadde behov for, og besluttet derfor å stenge tilgangen for brukerne. Dette ble gjort mellom 10:35 og 10:42, og 10:47 og 10:48. Det første vinduet for å identifisere feilen, det andre vinduet for å implementere rettelsen. Normal drift ble gjenopprettet klokken 10:48, og kundene ble informert om at tjenestene var tilgjengelige igjen. ## **Hva gjør vi videre?** Vi jobber kontinuerlig med å forbedre våre interne prosesser for å levere en stabil og pålitelig tjeneste. Vi har sperret nattjobben som ga problemer frem til en fiks er implementert, og gjør ekstra kontroller på morgenen at alle nattjobber er avsluttet som de skal.