Bei großen Fragen wie dieser gibt es kaum eine Konstante. Wenn wir eine neue Technologie in Betracht ziehen:

• Können wir nicht davon ausgehen, dass die Akzeptanz- oder Nutzungsraten konstant bleiben – sie können fallen oder steigen.

• Können wir nicht davon ausgehen, dass die Technologie zur Deckung unseres Energiebedarfs beständig bleibt. Es könnte zu Durchbrüchen bei der Effizienz oder zu Veränderungen im allgemeinen Energiemix kommen.

• Können wir nicht davon ausgehen, dass die Effizienz einer bestimmten Technologie konstant bleibt. Es gibt zahlreiche Beispielsfälle, in denen eine anfängliche Version einer Technologie oder Software nachträglich verbessert wird und dadurch größere Möglichkeiten bei geringerem Energieverbrauch bietet.

 

Wir müssen zudem anerkennen, dass künstliche Intelligenz (KI) selbst Verbesserungen der Energieeffizienz für bestimmte Anwendungen wie die Heizung oder Kühlung eines Gebäudes hervorbringen könnte. Daher muss jede Analyse von Energieverbrauch und KI berücksichtigen, dass die einzige Konstante der Wandel sein wird.

 

Umweltauswirkungen ausgewählter großer Sprachmodelle (LLMs)

 

Vor dem Hintergrund der aktuellen Aufregung um das Thema generative KI haben LLMs den Löwenanteil der Aufmerksamkeit auf sich gezogen. Es liegt nahe, die Menge an CO2-Emissionen zu berücksichtigen, die einige dieser Systeme verursachen. Der 2023 veröffentlichte KI-Index-Bericht von Stanford liefert einige Daten und stellt fest, dass Faktoren wie die Anzahl der Parameter in einem Modell, die Power Usage Effectiveness¹ eines Rechenzentrums und die CO2-Intensität des Netzes alle eine Rolle spielen.

 

Abbildungen 1a und 1b geben einen detaillierteren Überblick über die CO2-Intensität verschiedener LLMs:

• Das Ergebnis wird von mehreren Faktoren bestimmt: In Abbildung 1a könnte man versucht sein, die „Anzahl der Parameter“ zu betrachten und vorauszusagen, dass eine größere Anzahl von Parametern immer mehr Emissionen bedeutet. Es zeigt sich, dass Gopher mit 280 Milliarden Parametern nicht die höchsten CO2-Äquivalent-Emissionen x PUE aufweist – dieser Rang ging an GPT-3.

• GPT-3 ist zwar gemessen an der Anzahl der Parameter nicht das größte Modell, wurde aber mit der höchsten Kohlenstoffintensität des Netzes und dem größten Stromverbrauch unter den gezeigten Modellen genutzt. Das ist sicherlich eine Voraussetzung für hohe Emissionen, aber insofern aufschlussreich, als es uns zwingt, nicht nur über die Anzahl der Parameter nachzudenken, sondern auch darüber, wo das Rechenzentrum angesiedelt ist, in dem das Training stattfindet, wie hoch die Kohlenstoffintensität des Netzes ist, in dem sich das Rechenzentrum befindet, und wie hoch der Stromverbrauch des Modells ist.

• Abbildung 1b soll helfen, eine relativ abstrakte Aktivität – das Training eines LLM – und die daraus resultierenden CO2-Emissionen mit konkreteren Aktivitäten wie einem Flug von New York nach San Francisco in Beziehung zu setzen. Die Tatsache, dass GPT-3 mit 502 Tonnen CO2-Äquivalent-Emissionen verbunden ist, vermittelt ein Gefühl für die Größenordnung.

 

Abbildung 1a: Umweltauswirkungen ausgewählter Modelle des maschinellen Lernens 2022

Quelle: Nestor Maslej, Loredana Fattorini, Erik Brynjolfsson, John Etchemendy, Katrina Ligett, Terah Lyons, James Manyika, Helen Ngo, Juan Carlos Niebles, Vanessa Parli, Yoav Shoham, Russell Wald, Jack Clark und Raymond Perrault, „The AI Index 2023 Annual Report“, AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, April 2023.

Die historische Wertentwicklung ist kein Hinweis auf die künftige Wertentwicklung, und Anlagen können im Wert sinken.

 

Abbildung 1b: CO2-Äquivalent-Emissionen (Tonnen) durch ausgewählte Modelle des maschinellen Lernens und Beispiele aus der Praxis

Quelle: Nestor Maslej, Loredana Fattorini, Erik Brynjolfsson, John Etchemendy, Katrina Ligett, Terah Lyons, James Manyika, Helen Ngo, Juan Carlos Niebles, Vanessa Parli, Yoav Shoham, Russell Wald, Jack Clark und Raymond Perrault, „The AI Index 2023 Annual Report“, AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, April 2023.

Die historische Wertentwicklung ist kein Hinweis auf die künftige Wertentwicklung, und Anlagen können im Wert sinken.

 

Berücksichtigung des Stromverbrauchs eines LLM

 

Die Entwickler der verschiedenen LLMs können viele Hebel betätigen, um einzelne Merkmale wie den Energieverbrauch zu beeinflussen. Google-Forscher schlugen eine Familie von Sprachmodellen namens GLaM (Generalist Language Model) vor, die eine „spärlich aktivierte Mixture-of-Experts-Architektur“ verwendet. Eine umfassende Erörterung der Funktionsweise dieses Ansatzes würde den Rahmen dieses Artikels sprengen. Wir weisen jedoch darauf hin, dass das größte der GLaM-Modelle 1,2 Billionen Parameter hat. Wenn man nur diesen Datenpunkt kennt, würde man annehmen, dass dieses Modell mehr Energie verbraucht als die Modelle, die wir in Abbildungen 1a und 1b gesehen haben².

 

In Wirklichkeit verbraucht das GLaM-Modell mit 1,2 Billionen Parametern nur ein Drittel der Energie, die für das Training von GPT-3 erforderlich ist, und benötigt nur die Hälfte der Rechenflops für Inferenzoperationen. Man kann sich das so vorstellen, dass das Gesamtmodell zwar 1,2 Billionen Parameter hat, ein bestimmtes Eingabe-Token in das GLaM-Modell aber nur maximal 95 Milliarden Parameter aktiviert, es ist also nicht das gesamte Modell mit allen Parametern aktiv. GPT-3 hingegen aktivierte alle 175 Milliarden Parameter auf jedem Eingabe-Token³. Es sei darauf hingewiesen, dass das GLaM-Modell auch bei Messung der Leistung von KI-Modellen in zahlreichen Dimensionen GPT-3 bei vielen Messungen übertreffen kann⁴.

 

Schlussfolgerung

 

Fazit ist, dass es auf die Konzeption des Modells ankommt. Wenn Entwickler von Modellen Wege finden wollen, mit denen die Leistung beibehalten, aber weniger Energie verbraucht werden kann, stehen ihnen viele Möglichkeiten offen.

 

Quellen

¹ Die Effektivität der Energienutzung (Power Usage Effectiveness, PUE) ist nützlich, um die Energieeffizienz von Rechenzentren auf standardisierte Weise zu bewerten. PUE = (Gesamtenergieverbrauch einer Rechenzentrumseinrichtung) / (an die Computerausrüstung gelieferte Energie). Ein höherer PUE-Wert bedeutet, dass das Rechenzentrum weniger effizient ist.

² Quelle: Du et al. „GLaM: Efficient Scaling of Language Models with Mixture-of-Experts.“ ARXIV.org. 1. August 2022.

³ Quelle: Patterson, David; Gonzalez, Joseph; Hölzle, Urs; Le, Quoc Hung; Liang, Chen; Munguia, Lluis-Miquel; et al. 2022 The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink. TechRxiv. Preprint. https://doi.org/10.36227/techrxiv.19139645.v4

⁴ Quelle: Du et al, 1. August 2022.

 

Zudem könnte Sie folgende Lektüre interessieren...

+ Vier Erkenntnisse nach der EmTech Digital KI-Konferenz

+ Das Ende des SaaSacre und der Aufstieg generativer KI

+ Mit WisdomTree an der KI-Revolution partizipieren

]]>