Pridok Outage History

Onsdag kveld 18.03. rullet vi ut en fiks for kjernejournal problematikken. Kjernejournal er nå operativ igjen og med nye funskjoner.

Vi opplevde problemer med en ekstern leverandør av våre tjenester som nå skal være løst. Brukere opplevde å bli kastet ut av systemet tilsynelatende vilkårlig.

Vi anser saken som løst. Vi har fulgt med på tjenesten i etterkant av justeringene ser at meldinger flytter normalt igjen. Vi skalerte opp databasen pga en spørring som hang seg opp og skapte for høy trafikk på databasen.

Databasen som var påvirket at tregheter er nå friskmeldt. Vi måtte underveis skru av noen funksjoner for minske trykket på databasen. De er nå skrudd på igjen. Dette har kun påvirket kunder på denne ene databasen.

This incident has been resolved.

This incident has been resolved.

NHN gir informasjon om at feilen skal være rettet, de undersøker rotårsaken og monitorerer tjenestene de neste timene. For mer informasjon besøk NHN sin statusside: https://status.nhn.no/

Vi opplevde i dag et driftsavvik som førte til tregheter og periodisk nedetid for en andel av brukerne. Årsaken var en endring som påvirket en indeks i databasen, noe som medførte redusert ytelse i sentrale spørringer. Feilen ble identifisert og rettet, og tjenesten er nå stabil. Vi følger opp med interne tiltak for å hindre at lignende situasjoner oppstår i fremtiden. Vi beklager ulempene dette medførte.

Feilen i integrasjonen mot Helsenorge og Helseboka er løst.

Alle tjenester er oppe og kjører igjen. Meldingsutveksling har fortsatt en kø med meldinger som må prosesseres, denne køen blir tømt i løpet av ettermiddagen/tidlig i kveld. En post-mortem blir publisert så snart vi får informasjon fra Microsoft om hva som skjedde i dag.

Problemet er nå løst, og systemet fungerer som normalt.

This incident has been resolved.

This incident has been resolved.

This incident has been resolved.

En konfigurasjonsfeil i epj2 førte til at meldinger en lengre periode i formiddag verken ble sendt eller mottatt. Feilen ble oppdaget kl. 12:09 og rettet kl. 13:28. Etter at tjenesten ble gjenopprettet, var det en stor kø med meldinger som ventet på å bli sendt. Dette førte til en forsinkelse på omtrent én time før alle meldinger var levert. Problemet er nå løst, og meldingsutvekslingen fungerer normalt igjen. Det vil bli gjennomført en grundig gjennomgang av systemkonfigurasjonen for å forhindre lignende feil i fremtiden.

Mellom kl. 08:07 og 08:50 i dag opplevde Pridok sporadiske heng som påvirket enkelte brukere. Problemet er nå løst, og tiltak er iverksatt for å forhindre gjentakelse. Vi er i dialog med både driftsleverandøren og Microsoft for å sikre langsiktig stabilitet. Vi beklager ulempene og jobber kontinuerlig for å opprettholde en stabil drift fremover.

Pridok opplevde i dag stans for brukere på en av våre databaser. Årsaken er en “query plan regression”, der en databasespørring som normalt er rask, plutselig blir betydelig tregere. Dette er et valg databasen tar, og vi har allokert alle tilgjengelige ressurser, både internt og eksternt, for å identifisere og forstå årsaken. Miljøet er ennå ikke fullt friskmeldt, men vi har implementert tiltak både i driftsmiljøet og applikasjonen for å forhindre at dette skjer igjen. Ekspertise fra driftsleverandør, Microsoft, og et eksternt konsulentselskap har vært involvert i kvalitetssikringen av dette arbeidet. Vi beklager sterkt de ulempene dette har medført, og vi forsikrer at alle nødvendige ressurser settes inn for å finne en permanent løsning på disse problemene. Vi jobber også med rutiner for å forbedre kvaliteten her på status.pridok.no, slik at den mer korrekt gjenspeiler pågående hendelser.

This incident has been resolved.