Het elektriciteitstransportnet verandert snel, niet in de laatste plaats omdat wij als samenleving ambitieuze duurzaamheidsdoelen stellen om van fossiele brandstoffen over te stappen op hernieuwbare energie. ‘Dit vraagt om een fundamenteel andere aanpak,’ aldus Alessandro Zocca. ‘In het verleden was het stroomnet eenvoudig te beheren dankzij voorspelbare elektriciteitsstromen en volledig beheersbare energiecentrales die op conventionele fossiele brandstoffen draaiden. Tegenwoordig, met hernieuwbare energiebronnen, zijn ze minder goed beheersbaar vanwege het weer. Als er geen wind staat, produceren windturbines minder energie, terwijl zonne-energie afhankelijk is van de beschikbaarheid van zonlicht, en er is sprake van sterke geografische correlaties. Wat het nog complexer maakt, is dat veel consumenten tegenwoordig energie van hun zonnepanelen terugleveren aan het net. En ondertussen blijft de vraag naar elektriciteit stijgen vanwege elektrische voertuigen, datacenters en andere opkomende technologieën. Daardoor wordt het beheer van de energie-infrastructuur steeds complexer.’
In Nederland is TenneT de netbeheerder die op het raakvlak tussen stroomproducenten en energiegebruikers het netwerk voor transport over lange afstand beheert. Als alles goed gaat, zorgt het werk van TenneT ervoor dat iedereen in Nederland de stroom krijgt die hij nodig heeft, is er geen congestie van elektriciteitsleidingen, wordt de veiligheid verbeterd en is het mogelijk om nieuwe geplande elektriciteitscentrales online te brengen.
Topologische maatregelen voor de optimalisering van de elektriciteitsstroom
Het onderzoek dat door Alessandro en zijn collega’s Erica van der Sar en Sandjai Bhulai wordt uitgevoerd, helpt netbeheerders zoals TenneT om zogenaamde “topologische maatregelen” te nemen, zoals het vervangen van leidingen om zo elektriciteitsstromen te optimaliseren. En dit is waar multi-agent reinforcement learning om de hoek komt kijken. ‘We hebben enorm veel historische gegevens over stroomopwekking en stroomverbruik. We kunnen deze gegevens gebruiken om een agent te trainen in het vinden van de juiste maatregelen die genomen moeten worden, ook in potentieel gevaarlijke testscenario's die kunstmatig gegenereerd worden. Door deze aanpak kan de agent leren van zowel eerdere als potentiële situaties, en vervolgens in een later stadium zijn inzichten gebruiken om in realtime de beste maatregelen te bepalen om de netstabiliteit te behouden en congestie tot een minimum te beperken.’
Bij elk elektriciteitsnet zijn er echter zeer veel topologische maatregelen mogelijk. De besluitvorming die hiervoor nodig is, is te veel voor één agent. Daarom wordt het net opgesplitst in clusters, elk met een eigen lokale agent. ‘Dat is in wezen een verzameling breinen,’ aldus Alessandro. ‘Maar je kunt je voorstellen dat het, als honderden breinen tegelijkertijd besluiten nemen, al vrij snel vrij chaotisch wordt. Daarom hebben we een hiërarchie gecreëerd: één brein bevindt zich op een hoger niveau en stuurt de andere breinen aan, zodat die weten wanneer ze aan de beurt zijn. Dit heeft een tweeledig voordeel: het wordt voor de andere agenten eenvoudiger om hun eigen besluiten aan te passen, en het weerspiegelt de manier waarop menselijke ingenieurs momenteel het elektriciteitsnet beheren.’
De controlekamer van de toekomst
Maar hoe werkt dit nu allemaal in het echt? Nemen reinforcement learning agents echt al deze besluiten? Jan Viebahn, lead data scientist bij TenneT, legt uit: ‘In de praktijk komt het erop neer dat we een zogenaamde Controlekamer van de toekomst ontwikkelen, waarin het beste van menselijke intelligentie en computerintelligentie gecombineerd wordt. Deze heeft een innovatief visualisatiedashboard, dat operators een uitgebreid overzicht geeft van het hele energiesysteem tot de individuele netwerkcomponenten aan toe, waardoor de capaciteit van het elektriciteitsnet op een veilige manier maximaal benut kan worden.’
Alessandro concludeert: ‘Als puntje bij paaltje komt, worden de besluiten nog steeds door mensen genomen, maar ze hebben dagelijks de beschikking over AI-tools. In dit snel evoluerende energielandschap waarin op dit moment steeds meer hernieuwbare energiebronnen ingezet worden, kan een dashboard dat het nemen van belangrijke besluiten ondersteunt met behulp van deze hoogopgeleide AI-agenten, weleens het verschil maken tussen een veilige energievoorziening en een black-out.’
