Proste narzędzie pozwala obliczyć, ile dwutlenku węgla poszło w powietrze, by mógł powstać dowolny inteligentny algorytm
O tym, że rozwijanie sztucznej inteligencji powoduje zanieczyszczanie środowiska, wiadomo nie od dziś. Trenowanie coraz większych i potężniejszych modeli pochłania ogromne ilości energii i skutkuje dodatkową emisją dwutlenku węgla. Sęk w tym, że precyzyjne określenie skali tych zanieczyszczeń było do tej pory bardzo trudne.
Ale już nie jest. Jak informuje Wired, Sasha Luccioni z kanadyjskiego instytutu Mila wraz z kolegami stworzyła prosty kalkulator emisji CO2. Narzędzie jest dostępne pod adresem https://mlco2.github.io/impact.
By określić, ile kilogramów (a w praktyce ton) dwutlenku węgla trafia do atmosfery w wyniku produkcji energii potrzebnej do zasilenia komputerów szkolących model, potrzeba kilku informacji. Pierwsza dotyczy lokalizacji serwerów, w których następują obliczenia. To ważne, bo w różnych miejscach energia jest wytwarzana w różny sposób, co przekłada się na wpływ na środowisko. Na przykład w kanadyjskim Quebecu kilowat energii oznacza wyemitowanie do atmosfery około 20 gramów CO2, ale w amerykańskim stanie Iowa w USA – już ponad 700g.
Twórcy kalkulatora zestawili te dane z lokalizacjami centrów obliczeniowych trzech głównych graczy na rynku: Google Cloud Platform, Amazon Web Services i Microsoft Azure. Na tej podstawie mogą ustalić, jaki ślad węglowy będzie się wiązał ze zużyciem jednego kilowata prądu we wskazanej lokalizacji.
Kolejna ważna informacja dotyczy tak zwanego typu GPU, czyli jednostki obliczeniowej wybranej do szkolenia modelu. Różne GPU mają różne zużycie energii.
I wreszcie ostatnia sprawa – czas szkolenia modelu. Oblicza się go, mnożąc sumaryczny czas wszystkich sesji treningowych przez liczbę użytych jednostek GPU.
Postanowiliśmy sprawdzić działanie kalkulatora na danych zaczerpniętych z opisywanego już kiedyś studium przypadku: podczas sześciomiesięcznego projektu, którego celem było stworzenie modelu przetwarzania języka naturalnego, odbyło się 4 789 sesji treningowych. Średnia długość takiej sesji wynosiła 52 godziny, co łącznie daje 249 028 godzin. Każda sesja angażowała do pracy średnio 60 wysokowydajnych jednostek GPU, z których większość stanowiła karta NVIDIA Titan X w chmurze obliczeniowej Google Cloud Platform, zlokalizowanej gdzieś w Stanach Zjednoczonych. To razem prawie 15 milionów godzin pracy GPU o mocy 250 watów.
Wpisaliśmy te dane do kalkulatora. Wynik: 3 735 420 kilowatogodzin, czyli 3,7 gigawatogodziny. To tyle, ile przez godzinę produkują trzy średniej wielkości elektrownie jądrowe. Przekłada się na od 896 do 2 129 ton dwutlenku węgla, zależnie od tego, w którym rejonie USA znajdowało się centrum obliczeniowe (tego już nie udało nam się ustalić).
Autorzy kalkulatora mają kilka propozycji odnośnie do tego, jak zmniejszyć negatywny wpływ modeli SI na środowisko. Należy:
• wybierać dostawców usług, którzy korzystają z odnawialnych źródeł energii lub dążą do neutralności węglowej;
• korzystać z centrów danych zasilanych w ekologiczny sposób;
• wybierać mniej obciążające metody szkolenia algorytmów, starannie projektować modele przed ich szkoleniem, by ograniczyć zmarnowane sesje;
• stawiać na wydajniejszy sprzęt obliczeniowy, który oferuje najlepszy stosunek FLOPS/W (liczba operacji zmiennoprzecinkowych na sekundę na każdy zużyty wat energii).
Warto dodać, że zastosowanie się do niektórych wskazań może też skutkować oszczędnościami finansowymi – rozsądne zarządzanie zasobami przełoży się na mniejsze opłaty za korzystanie z centrów obliczeniowych.