Energieffektiv och autonom förvaltning för molnbaserade infrastrukturer
Forskningsprojekt
Energimarknadsinspektionen (Ei) lyfter särskilt fram datacenter som en orsak till kapacitetsproblemen i det svenska elnätet. I detta projekt tar vi för första gången itu med de verkliga utmaningar som operatörer och nationella kraftnät står inför på grund av den enorma energiförbrukningen i Cloud-Edge-infrastrukturer.
Ett enda storskaligt datacenter kan förbruka över 100 MW ström, vilket motsvarar över 80 000 bostäder, medan molnet som helhet beräknas förbruka så mycket som 8 procent av den globala elförsörjningen år 2030. Genom att utveckla en autonom resurshanterare som kan resonera kring, och kontrollera resursallokering på hög nivå kan ytterligare intelligens introduceras för att optimera energianvändningen över hela systemet.
WASP Wallenberg AI, Autonomous Systems and Software Program
Projektbeskrivning
På grund av kraven på bandbredd, bearbetning och latens hos moderna applikationer och enheter utvecklas molninfrastrukturen snabbt från centraliserade system till geografiskt distribuerade federationer av edge-enheter, fog-noder och moln. Stora datavolymer rör sig fram och tillbaka mellan nätverksgränsen, mellanliggande dimnoder och avlägsna molndatacenter, och enheter med låg latens ansluter till rumsligt lokala gränsresurser. Dessa federationer av noder och enheter, som ofta kallas Cloud-Edge-infrastrukturer, är den kritiska infrastruktur som de flesta moderna digitala system är beroende av och ses som en viktig strategisk teknik för Europas digitala omvandling.
"Molnen" är komplexa och dynamiska då de måste bearbeta en mängd olika programvaruarbetsbelastningar, som var och en kan ha föränderliga krav och servicenivåavtal, över geografiskt utspridda noder. Varje nod i systemet är ofta heterogen, med olika typer av hårdvara, prismodeller och energikällor.
Hanteringen av sådana system är därför en enorm utmaning. Dynamiken och komplexiteten är för stor för mänsklig kontroll vilket gör att autonoma resurshanteringsmekanismer nödvändiga. Dessa mekanismer fungerar dock vanligtvis på nivån för en enskild nod och, vilket är viktigt, tar inte hänsyn till energibegränsningar, policyer och optima över den större federerade infrastrukturen. Detta är en högaktuell fråga som blir allt viktigare i takt med att samhällets energiutmaningar nu växer.
En infrastruktur – flera datacenter
De enorma mängder energi som förbrukas av Cloud-Edge-infrastrukturer har en djupgående inverkan på miljön och samhället. En infrastruktur består av flera datacenter och varje datacenter är ett komplext system av system som består av servrar – av många olika konfigurationer och kvantiteter – placerade i nätverksrack, kombinerat med företagsklassade kyl- och kraftdistributionssystem. Det finns beräkningar som visar att ett enda storskaligt datacenter kan förbruka över 100 MW ström, vilket motsvarar över 80 000 bostäder, medan molnet som helhet beräknas förbruka så mycket som 8 % av den globala elförsörjningen år 2030.
Orsak till kapacitetsproblem
Förutom miljöproblem orsakar denna energiförbrukning betydande utmaningar för nationella kraftinfrastrukturer, som måste balansera molnens behov mot andra användares behov. Sverige är ett akut exempel på detta; den svenska Energimarknadsinspektionen (Ei) lyfter särskilt fram datacenter som en orsak till kapacitetsproblem i flera delar av det svenska elnätet, vilket orsakar effektbegränsningar i vissa delar av landet som påverkar andra företag.
Nya möjligheter
Genom att utveckla en autonom resurshanterare som kan resonera kring, och kontrollera resursallokering på hög nivå över en federerad Cloud-Edge-infrastruktur, kan ytterligare intelligens introduceras för att optimera energianvändningen över hela systemet. Till exempel kan allokeringen av arbetsbelastningar styras mot noder som för tillfället använder en stor mängd energi från hållbara källor, t.ex. solenergi. Omvänt kan arbetsbelastningar migreras bort från noder i geografiska områden för att öka energitillgången i lokala kraftnät vid tillfällen med hög efterfrågan från andra användare och företag. Därmed kan man "balansera" dragningen på regionala och nationella kraftnät. Dessa schemaläggningsbeslut kan balanseras mot energipriset i olika regioner, liksom de individuella krav och servicenivåavtal som finns för programvarans arbetsbelastningar. Som ett exempel kan jobb som kräver extremt låg latens fortfarande tilldelas ett lokalt Edge-datacenter även om det datacentret använder energi från en ohållbar källa, medan mindre latensviktiga arbetsbelastningar kan schemaläggas till mer hållbara platser.
Fyra stora utmaningar
En effektiv energimedveten resurshanteringsmekanism för federerade Cloud-Edge-infrastrukturer kräver att fyra tydliga vetenskapliga utmaningar löses. Dessa är följande:
En formell skiktad modell av en Cloud-Edge-infrastruktur och dess tillhörande arbetsbelastningar
Cloud-Edge-infrastrukturer är extremt komplexa, dynamiska och heterogena – liksom de mjukvaruarbetsbelastningar som skickas in i dem. För att kunna resonera kring ett komplext system av system är det nödvändigt att identifiera de viktigaste komponenterna i systemet och deras relevanta egenskaper och interaktioner. Detta sträcker sig från energikällor, till det fysiska lagret och i slutändan till applikationslagret. Trots att Cloud-Edge-infrastrukturer är populära har ingen sådan skiktad modell ännu skapats.
Skalbar arkitektur för övervakning och förutsägelser för Cloud-Edge
När det gäller Cloud-Edge-infrastrukturer är övervakning en intensiv process som kräver innovationer inom skalbar övervakning av mjuk- och hårdvarumätvärden inom och mellan datacenter, tillsammans med snabba förutsägelser av användning, energiförbrukning och hållbarhet.
Arbitrering av servicenivåmål (SLO) med lokala och globala energikrav
En energimedveten Cloud-Edge-infrastruktur har lokala och globala optima på många olika nivåer inom stacken. Exempelvis SLO:er på arbetsbelastning, datacenter, regional och nationell nivå. Hur man bäst arbitrerar och optimerar på ett holistiskt sätt över dessa nivåer är ännu inte helt klarlagt.
Validering av energimedveten resurshantering för Cloud-Edge-infrastrukturer
Även när ett modellbaserat energimedvetet resurshanteringssystem har utvecklats finns det betydande utmaningar när det gäller testning och validering, särskilt när man överväger hur man ska representera och övervaka hållbarhet och energiförbrukning inom systemet.
Vision
Den slutliga visionen för detta projekt är att utveckla ett autonomt ledningssystem som för första gången tar itu med de verkliga utmaningar som operatörer och nationella kraftnät står inför på grund av den enorma energiförbrukningen i Cloud-Edge-infrastrukturer.