Microsoft forklarer stor Microsoft 365-feil: Kaskadefeil slo ut over 80 prosent av serverne

Microsoft har offentliggjort de første tekniske detaljene om den omfattende Microsoft 365-hendelsen torsdag 12. november. Tre separate forhold traff samtidig og utløste en kaskadefeil i infrastrukturen som håndterer nettverkstrafikk for en rekke Microsoft 365-tjenester. På det verste var mer enn 80 prosent av serverne i den rammede infrastrukturen ute av stand til å svare.

Problemene som rammet Microsoft 365 torsdag 12. november skyldtes ikke én enkelt feil.

I stedet beskriver Microsoft hvordan tre forhold som hver for seg kunne vært håndterbare, traff samtidig og skapte en global kjedereaksjon.

En programvarefeil hadde ligget skjult i infrastrukturen siden juli.

Teams hadde tidligere blitt flyttet over til den samme primære nettverksgatewayen som blant annet håndterte Exchange Online.

Og samtidig var nær 14 prosent av serverkapasiteten i gatewaymiljøet ute av drift på grunn av et separat problem fra dagen før.

Da trafikken økte under høylastperioden i USA, ble kombinasjonen kritisk.

Servere begynte å slutte å svare.

Trafikken ble automatisk sendt videre til de gjenværende serverne.

Disse fikk enda større belastning.

Så begynte også de å svikte.

På under to timer hadde feilen spredt seg gjennom infrastrukturen.

På det verste var mer enn 80 prosent av serverne utilgjengelige.

En feil hadde ligget skjult siden juli

Det kanskje mest oppsiktsvekkende er hvor lenge den underliggende programvarefeilen eksisterte uten å bli oppdaget.

Microsoft forklarer at problemet stammet fra en endring utviklet spesielt for nettverksgateway-serverne i Microsoft 365.

Endringen begynte å bli rullet ut i juli.

Utrullingen fulgte Microsofts ordinære prosedyrer for gradvis og sikker distribusjon og ble spredt globalt over flere uker.

Ingenting skjedde.

I mer enn tre måneder kjørte endringen på Microsofts globale infrastruktur uten synlige problemer.

Feilen var latent.

Den viste seg først når serverne kom under helt bestemte belastningsforhold.

Serverne begynte å blokkere hverandre

Den tekniske årsaken Microsoft trekker frem er lock contention i en intern prosess.

En «lock» brukes i programvare for å sikre at flere prosesser eller tråder ikke forsøker å endre den samme ressursen samtidig.

Dette er helt vanlig.

Problemet oppstår når mange prosesser konkurrerer om den samme låsen.

Da kan stadig mer arbeid bli stående og vente.

I Microsofts tilfelle kunne denne konkurransen bli så omfattende under bestemte belastningsforhold at hele maskinen sluttet å være tilgjengelig.

Det er dermed ikke snakk om at serverne manglet datakraft i tradisjonell forstand.

En intern programvaremekanisme gjorde at ressursene ikke kunne brukes effektivt.

Microsofts tester fant ikke feilen

Microsoft hadde testet oppdateringen før den ble sendt ut.

Likevel ble problemet ikke oppdaget.

Forklaringen viser en interessant svakhet i testmiljøet.

Microsofts belastningstester brukte en annen kombinasjon av trafikk og servervarianter enn produksjonsmiljøet.

Enda viktigere var det at feilen ble verre på servere med flere prosessorkjerner og nyere maskinvare.

Microsofts testmiljø hadde i større grad fokusert på svakere maskinvarevarianter med færre kjerner.

Dermed oppsto en paradoksal situasjon:

Den kraftigere produksjonsmaskinvaren var mer utsatt for feilen enn de svakere serverne som ble brukt i deler av belastningstestingen.

Det bidro til at problemet overlevde både testing og flere måneder i produksjon.

Så kom Teams

Den andre faktoren var trafikk.

Microsoft 365 har ifølge selskapet to separate og forskjellige nettverksgatewaysystemer.

Poenget med denne arkitekturen er blant annet høy tilgjengelighet og isolasjon.

Dersom ett system får problemer, kan tjenester flyttes til det andre.

Omtrent 15 timer før den store hendelsen hadde Teams gjennomført en slik failover.

Teams-trafikken ble flyttet fra den alternative gatewayen til den primære nettverksgatewayen som også støtter Exchange Online.

Dette var ifølge Microsoft en normal driftsoperasjon.

Failover er nettopp en av mekanismene som vanligvis skal gjøre Microsoft 365 mer robust.

Men denne gangen fikk den en utilsiktet konsekvens.

Belastningen på den primære gatewayen økte, samtidig som trafikkmønsteret endret seg.

Dermed ble sannsynligheten større for å utløse den latente programvarefeilen.

Samtidig manglet 14 prosent av kapasiteten

Så kom den tredje faktoren.

Nesten 14 prosent av serverkapasiteten i nettverksgatewayen var ute av drift på grunn av et separat problem fra dagen før.

Microsoft opplyser at kapasiteten var på vei tilbake gjennom ordinære vedlikeholds- og helseprosesser.

Normalt skulle dette ikke ha vært dramatisk.

Microsoft hadde nok ledig kapasitet til at bortfallet på 14 prosent isolert sett ikke påvirket tjenesten.

Men nå var ikke situasjonen normal.

Teams hadde økt belastningen.

Trafikkmønsteret var endret.

Og den latente programvarefeilen ventet fortsatt på de riktige forholdene.

Alle tre faktorene traff samtidig.

Da begynte kaskaden

Når en server mister forbindelsen i Microsofts infrastruktur, forsøker trafikkstyringssystemene automatisk å sende brukertrafikken til andre, friske servere.

Det skjer normalt kontinuerlig.

En server kan feile uten at brukeren merker noe fordi trafikken umiddelbart flyttes.

Dette er en grunnleggende del av hvordan store skytjenester klarer å holde seg tilgjengelige selv når maskinvare og programvare feiler.

Men under hendelsen 12. november fikk selve sikkerhetsmekanismen motsatt effekt.

Når én server ble utilgjengelig, ble trafikken sendt til de resterende serverne.

Dermed måtte færre servere håndtere like mye trafikk.

Belastningen steg.

Sannsynligheten for at den samme latente feilen skulle utløses på de gjenværende serverne økte.

Så sluttet også disse å svare.

Trafikken ble igjen flyttet.

Belastningen økte ytterligere.

Microsoft hadde fått en kaskadefeil.

Fra problem til global hendelse på under to timer

Utviklingen gikk raskt.

Microsoft sier at den tidligere ukjente programvarefeilen i løpet av mindre enn to timer ble utløst på tvers av serverflåten.

På det verste var mer enn 80 prosent av serverne i gatewayinfrastrukturen ute av stand til å svare.

Det forklarer hvorfor hendelsen kunne få så stort omfang på så kort tid.

Og det burde fortsatt eksistert en siste beskyttelse.

«Vanntette skott» skulle ha stoppet feilen

Den normale gatewayinfrastrukturen består ifølge Microsoft av tusenvis av såkalte capacity units.

Disse representerer grupper av kapasitet, maskinvare og nettverksinfrastruktur.

Capacity units organiseres videre i regioner.

Arkitekturen skal inneholde det Microsoft beskriver som bulkheads.

Begrepet kommer fra skip.

Et skip deles inn i vanntette seksjoner slik at en lekkasje ett sted ikke fyller hele skipet med vann.

Samme prinsipp brukes i moderne datasystemer.

Hvis én del av infrastrukturen feiler, skal problemet begrenses til denne delen.

Men under Microsoft 365-hendelsen fungerte ikke disse skottene som planlagt.

Microsoft sier at dette skyldtes et separat problem.

Resultatet var at kaskadefeilen kunne spre seg mellom partisjonene og etter hvert gjennom gatewayinfrastrukturen globalt.

Derfor kom Teams tilbake tidligere enn Exchange Online

Hendelsesforløpet forklarer også hvorfor Microsoft 365-tjenestene kom tilbake på forskjellige tidspunkter.

Tjenester som Teams, OneDrive, SharePoint og Office-appene kunne flyttes bort fra den defekte gatewayinfrastrukturen.

Det bidro til at disse tjenestene ble gjenopprettet tidligere.

Microsoft sier at Teams-chat og Teams-møter fungerte uten problemer for de fleste brukere gjennom store deler av hendelsen.

Men ikke alle Microsoft 365-tjenester har den samme muligheten.

Exchange Online kunne ikke på tilsvarende måte flyttes helt bort fra den rammede gatewayen.

Dermed ble e-posttjenesten hardere og lengre rammet.

Så oppsto neste problem: Hvordan starter man alt igjen?

Man skulle kanskje tro at løsningen var enkel:

Fiks feilen og start serverne på nytt.

Men Microsoft fikk et nytt problem.

Det lå allerede store mengder ventende trafikk i systemene.

Når serverne kom tilbake, ble de umiddelbart møtt av denne trafikken.

Belastningen ble igjen for høy.

Serverne sluttet på nytt å svare.

Dermed hadde Microsoft et problem både med selve feilen og med gjenopprettingen etter feilen.

Automatikken var ikke laget for en så omfattende svikt

Microsofts vanlige automatiserte gjenopprettingsmekanismer er laget for å håndtere servere og mindre deler av infrastrukturen som feiler.

De var ikke designet for en situasjon hvor så stor del av gatewayflåten samtidig hadde blitt utilgjengelig.

Det gjorde gjenopprettingen tregere enn normalt.

I tillegg var den utløsende kodeendringen flere måneder gammel.

Det skapte enda et problem.

Microsoft kunne ikke bare bruke de vanlige mekanismene som rollback, feature flags eller gradvis flighting til raskt å reversere en fersk endring.

Feilen stammet fra noe som allerede hadde vært i produksjon siden sommeren.

Ingen enkel rollback var mulig

Ved mange alvorlige IT-hendelser er den raskeste løsningen å reversere den siste programvareendringen.

Hvis systemet fungerte klokken 12, en oppdatering ble installert klokken 13 og systemet sluttet å fungere klokken 14, er kandidaten ganske tydelig.

Microsofts situasjon var helt annerledes.

Den problematiske kodeveien hadde eksistert i produksjon i over tre måneder uten problemer.

Dermed måtte ingeniørene først finne ut hvilken gammel endring som nå reagerte på de nye belastningsforholdene.

Det kostet tid.

Microsoft måtte utvikle en ny rettelse

Da ingeniørene hadde bekreftet den latente feilen som årsak, utviklet Microsoft en oppdatering som førte den problematiske kodeveien tilbake til en tidligere kjent og fungerende tilstand.

Men selv da kunne ikke alle serverne bare oppdateres og slås på samtidig.

Det ville sendt den enorme mengden ventende trafikk tilbake på infrastrukturen og potensielt utløst nye problemer.

Gjenopprettingen måtte derfor gjøres kontrollert.

Grupper med servere ble tatt ut av drift.

Oppdateringen ble installert.

Serverne ble restartet.

Deretter ble de forsiktig satt tilbake i tjeneste.

I enkelte tilfeller arbeidet Microsoft med svært store deler av infrastrukturen samtidig, eksempelvis mer enn 50 prosent av kapasiteten i en region.

Systemet måtte med andre ord bygges gradvis opp igjen mens trafikken fortsatt ventet.

Dette er nesten et skoleeksempel på kaskadefeil

Hendelsen viser hvorfor noen av de største tekniske sammenbruddene sjelden skyldes én katastrofal feil.

Her hadde Microsoft flere mekanismer som isolert sett skulle vært håndterbare:

En kodefeil eksisterte uten konsekvenser i måneder.

Teams-failover var normal drift.

14 prosent redusert kapasitet var innenfor tilgjengelig reserve.

Trafikkflytting ved serverfeil var en robusthetsmekanisme.

Regioninndeling og bulkheads skulle begrense feil.

Automatisert gjenoppretting skulle få serverne tilbake.

Likevel traff kombinasjonen av forhold hverandre på feil måte.

Skjult programvarefeil → høyere belastning → lavere tilgjengelig kapasitet → servere svikter → trafikken flyttes → gjenværende servere får større belastning → flere servere svikter → isolasjonen holder ikke → feilen sprer seg globalt.

Det er selve definisjonen på en kaskadefeil.

Robusthetsmekanismene bidro paradoksalt til problemet

Dette er kanskje den mest interessante tekniske lærdommen.

Microsoft hadde automatisering laget for å holde tjenesten oppe.

Når en server feiler, flyttes trafikken.

Normalt er dette akkurat riktig strategi.

Men når alle serverne inneholder den samme latente feilen, kan omdirigeringen føre til at problemet reproduseres på neste server.

Og neste.

Dermed kan en mekanisme laget for å hindre nedetid bidra til å akselerere selve sammenbruddet.

Det betyr ikke at automatisk failover er feil.

Tvert imot er den helt nødvendig i hyperscale-infrastruktur.

Men hendelsen illustrerer hvorfor failure domains og isolasjon mellom systemer er minst like viktig som redundans.

Hvis alle reserveveiene til slutt deler samme svake punkt, er de ikke fullstendig uavhengige.

Microsoft må endre testingen

Hendelsen peker også mot et konkret problem Microsoft nå må adressere.

Produksjonsmiljøet oppførte seg annerledes enn testmiljøet.

Feilen ble forverret på nyere og kraftigere maskinvare med flere kjerner.

Belastningstesting på svakere serverkonfigurasjoner klarte ikke å avsløre problemet.

For et selskap som driver noen av verdens største skytjenester er dette en viktig påminnelse:

Testmiljøet må ligne produksjonen også når produksjonen blir raskere og mer kompleks.

En test som ikke gjenskaper realistisk maskinvare, trafikkmiks og samtidighet kan gi en falsk trygghet.

Microsoft beklager

Microsoft skriver at selskapet er «deeply sorry» for konsekvensene for kundene og erkjenner påvirkningen hendelsen har hatt på normal virksomhet og drift.

Den endelige Post-Incident Review, PIR, skal inneholde flere detaljer.

Dermed har vi foreløpig den forkortede tekniske forklaringen, men ikke hele evalueringen.

Den endelige rapporten blir spesielt interessant fordi flere spørsmål fortsatt gjenstår.

Hvorfor fungerte ikke bulkhead-isolasjonen?

Hvordan endres belastningstestene?

Vil Microsoft gjennomføre testing på samme maskinvareprofiler som produksjonen?

Hvordan skal gjenopprettingssystemene håndtere at 80 prosent av en serverflåte er utilgjengelig?

Og kan en tilsvarende felles feil fortsatt spre seg mellom flere regioner?

En viktig påminnelse om skyen

For vanlige Microsoft 365-kunder gir hendelsen en større lærdom.

Skyen fjerner mye av arbeidet med å drive infrastruktur selv.

Men skyen fjerner ikke tekniske feil.

I stedet flyttes kompleksiteten til enorme plattformer som Microsoft må drive på vegne av millioner av kunder.

Når denne infrastrukturen fungerer, kan enkeltservere feile hele tiden uten at brukeren merker noe.

Men når flere sikkerhetsmekanismer og feiltilstander treffer samtidig, kan konsekvensene bli globale.

Hendelsen 12. november viser akkurat hvor komplisert dette blir.

Det startet med en programvarefeil som hadde vært usynlig siden juli.

Deretter kom litt mindre tilgjengelig kapasitet.

Så ble trafikken flyttet.

Belastningen traff den skjulte feilen.

Serverne begynte å falle.

Og systemet som skulle redde brukerne ved å flytte trafikken, sendte belastningen videre til neste sårbare server.

Under to timer senere var størstedelen av infrastrukturen utilgjengelig.

Microsoft 365 ble ikke slått ut av én enkelt stor feil. Tjenesten ble slått ut av flere små problemer som traff hverandre på verst mulig tidspunkt.

Les også

Internett og Infrastrukstur Alt svikter samtidig: Derfor rammes teknologisystemene Internett og Infrastrukstur Amerikanske marihuana-anlegg kan bli datasentre Internett og Infrastrukstur Nokia og Telia går sammen om gigantisk nordisk datasenternettverk Internett og Infrastrukstur Europa bygger sitt eget kvantesikre internett