Duurzame kunstmatige intelligentie: van ChatGPT naar groene AI

Hoe maak je AI energiezuiniger?

"In het algemeen, dus los van de specifieke kenmerken van de betrokken neurale netwerken, zijn er veel manieren om energie te besparen. Er bestaan al strategieën die niet nieuw zijn en sommige hiervan zijn vrij goedkoop. Mijn favoriete strategie is vereenvoudiging. Zo maken bijvoorbeeld niet alle gegevens die je gebruikt om het model te trainen maken echt een verschil. Dus, in plaats van alle gegevens die je hebt in het trainingsproces te dumpen, kun je veel energie besparen met een slimme dataselectiestrategie waarbij alleen gegevens worden verzameld die van belang zijn voor het model en de applicatie in kwestie. De trend is om een AI-model voortdurend bij te scholen wanneer nieuwe gegevens beschikbaar komen. We moeten ons afvragen of dat echt nodig is. Kunnen we een energie-efficiëntere oplossing bedenken voor gebruikers die de nieuwe gegevens echt nodig hebben?

Wanneer het model eenmaal is getraind, kan ook energie worden bespaard door de complexiteit van het model te verminderen. Dit betekent dat je het meest complexe AI-model traint en vervolgens een eenvoudiger model bedenkt dat zich hetzelfde gedraagt, maar alleen die delen van het model leert die er echt toe doen. Alle overbodige neuronen worden verwijderd. Hierdoor kan het model tien keer zo eenvoudig worden, terwijl de prestaties hoog blijven. Op die manier verminder je gratis het energieverbruik."

Wat kan er gedaan worden op het gebied van de hardware?

"Als we het over hardware hebben, zijn we gewend om te praten over CPU's, centrale verwerkingseenheden. Aangezien AI steunt op matrixbewerkingen, gaat het bij AI-hardware om GPU's, grafische verwerkingseenheden. Het is vrij algemeen bij ons bekend dat de huidige AI-systemen slechts 30-50% van hun capaciteit uit GPU's halen. Meer dan de helft van de hardwarecapaciteit blijft ongebruikt, wat neerkomt op een enorme verspilling van computerhardware en energie. Weet je, als je een AI-model traint, is de keuze van de GPU heel belangrijk. Maar het moet niet alleen gaan om het vinden van de overall beste GPU, maar om het vinden van de GPU die het beste bij het model past. Het zoeken naar de krachtigste GPU geeft je ten onrechte het idee dat je het zo goed mogelijk doet. Een oudere of kleinere GPU kan de klus ook klaren. Maar het punt is: er is weinig kennis over het vinden van de geschikte GPU. Specialisten in de ontwikkeling van deep learning netwerken, zoals ikzelf, weten niet veel over de hardware. De combinatie van deze twee disciplines bestaat eigenlijk niet echt."

En jij brengt deze onderwerpen dichterbij?

"Ik kan je niet vertellen welke GPU je moet gebruiken. Wel kan ik je vragen naar verschillende GPU's te kijken, omdat er verrassende verschillen in het energieverbruik kunnen zijn. We proberen in ons onderzoek manieren te vinden om de beste hardware voor elk AI-model te identificeren, en we kijken ook naar andere strategieën om AI groener te maken. Mijn doel is om ervoor te zorgen dat als een bedrijf een groene AI-pijplijn wil bouwen, het de kennis heeft om dat te doen. Daar wil ik bij helpen. Het veld ontwikkelt zich zo snel, en we proberen zoveel dingen, zoveel technologieën, dat het lastig is om te zeggen: we moeten allemaal dit ene ding doen om duurzamer te zijn. Er zijn veel dingen die we kunnen doen, we hoeven niet eens nieuwe dingen uit te vinden, we moeten alleen het gesprek aangaan."

Praten we niet al genoeg over groene AI?

"Eén manier om succesvol te zijn is door voorop te lopen. Een andere manier is door het goed te doen. Duurzaamheid gaat helaas niet samen met voorop lopen. Ik begrijp dat, het is een race en dat is hoe het werkt. Nu OpenAI de buzz heeft gecreëerd, en mensen zelf de kracht van AI hebben ervaren, zullen bedrijven met vergelijkbare capaciteiten nieuwe manieren zoeken om hun klanten waarde te bieden. Duurzaamheid is zo'n waarde. Laten we, zodra we deze hype achter de rug hebben, het weer rechtzetten. En als we dat punt bereiken, dan wil ik alles in huis hebben om mensen en bedrijven daarbij te helpen."

Duurzaamheid als unique selling point

"Nee, als duurzaamheid alleen een verkoopargument is, werkt het niet. Om duurzaamheid te verkopen zijn er ook goedkopere manieren, zoals de kleuren in je logo veranderen naar groen. Dat is effectiever dan het veranderen van je AI-pijplijn. Maar in plaats daarvan moeten we AI democratischer maken. We weten dat mensen duurzaamheid belangrijk vinden. Dus het rapporteren van de energiekosten is de eerste stap, daarna kan iedereen geïnformeerde beslissingen gaan nemen en de industrie veranderen."

In plaats van regelgeving

"Ik ben er niet voor om alles te reguleren. Kleinere spelers zouden dan wel eens buiten de boot kunnen vallen. Een groot bedrijf als Microsoft kan gemakkelijk alle groene energie kopen die beschikbaar is, en het gebruiken om hun AI-modellen te trainen, terwijl kleinere bedrijven achterblijven met energie uit kolen."

Ben je ervan overtuigd dat deze verschuiving in bewustwording zal plaatsvinden?

"Ik heb er vertrouwen in dat we er gaan komen. Ik ben optimistisch. Maar dat wil niet zeggen dat ik geen scenario zie waarin alles misgaat. Ik denk dat onderwijs het krachtigste middel is wat bestaat. Wij, de mensen, zijn de gebruikers van AI. Als wij het concept van groene AI onder de knie krijgen, en vragen gaan stellen over de impact van de AI die we gebruiken, dan zullen bedrijven zien dat wij erom geven, en zullen ze er iets aan doen. Duurzame software engineering moet meer aandacht krijgen in het curriculum van computeropleidingen en bij het grote publiek. Als we erover gaan praten, dan hebben we geen regelgeving nodig."

Hoe reageren de studenten op de cursus?

"Ik zie dat studenten geïnteresseerd zijn in het thema, maar dat er vooraf weinig over weten. Dat laat zien hoe weinig we erover praten, hoe weinig hulpmiddelen er zijn. Bij andere vakken aan Nederlandse universiteiten wordt enige aandacht aan dit onderwerp besteed, maar er zijn geen andere cursussen die hier volledig aan zijn toegewijd. De cursus was moeilijk om te ontwikkelen, we moesten het lesmateriaal helemaal vanuit het niets bedenken. Daarom hebben we het materiaal ook openbaar gemaakt, zodat iedereen die dit onderwijs wil geven mijn presentatie kan downloaden. Ik hoop dat iemand er iets aan heeft. Ik krijg er eigenlijk al veel berichten over, ook van mensen die in de industrie werken. Dat is een fijn gevoel."

Wat is het plan voor de komende zeven jaar?

"Als iemand over 7 jaar naar me toe komt en zegt dat zij energie-efficiënte AI willen bouwen, wil ik diegene kunnen begeleiden met een set middelen, als een receptenboek. Ik hoop dat de ideeën over groene AI groeien en democratischer worden. Natuurlijk hoop ik ook dat meer onderzoekers zich bij mij aansluiten. Zodat uiteindelijk alle AI groene AI wordt. Maar natuurlijk zal zo'n enorme verandering waarschijnlijk meer dan 7 jaar duren. Uiteindelijk, waarschijnlijk over ongeveer 10-15 jaar, zal AI standaard energie-efficiënt zijn. Idealiter zijn duurzame digitale technologieën dan de industriestandaard geworden en hoeft niemand meer over dit onderwerp na te denken - ikzelf ook niet!"