Ile energii zużywa sztuczna inteligencja?

Ile energii zużywa sztuczna inteligencja?

Odpowiedź: Sztuczna inteligencja może zużywać bardzo mało energii elektrycznej do wykonania prostego zadania tekstowego, ale znacznie więcej, gdy monity są długie, wyniki multimodalne lub systemy działają na masową skalę. Szkolenie zazwyczaj pochłania najwięcej energii na początku, podczas gdy codzienne wnioskowanie staje się istotne w miarę narastania żądań.

Najważniejsze wnioski:

Kontekst: Przed sporządzeniem wyceny zużycia energii należy określić zadanie, model, sprzęt i skalę.

Szkolenie: Traktuj szkolenie modeli jako najważniejsze wydarzenie energetyczne na początku planowania budżetów.

Wnioskowanie: Uważnie obserwuj powtarzające się wnioskowanie, ponieważ niewielkie koszty na żądanie szybko się sumują w dużej skali.

Infrastruktura: W każdym realistycznym oszacowaniu należy uwzględnić chłodzenie, magazynowanie, sieci i niewykorzystaną moc.

Wydajność: stosuj mniejsze modele, krótsze monity, buforowanie i przetwarzanie wsadowe, aby ograniczyć zużycie energii.

Ile energii zużywa sztuczna inteligencja? Infografika

Artykuły, które mogą Ci się spodobać po przeczytaniu tego:

🔗 Jak sztuczna inteligencja wpływa na środowisko
Wyjaśnia ślad węglowy sztucznej inteligencji, zużycie energii i kompromisy w zakresie zrównoważonego rozwoju.

🔗 Czy sztuczna inteligencja szkodzi środowisku?
Analizuje ukryte koszty środowiskowe modeli AI i centrów danych.

🔗 Czy sztuczna inteligencja jest dobra czy zła? Zalety i wady
Zrównoważone spojrzenie na korzyści, ryzyko, etykę i rzeczywiste skutki sztucznej inteligencji.

🔗 Czym jest sztuczna inteligencja? Prosty przewodnik
Poznaj podstawy sztucznej inteligencji, kluczowe terminy i codzienne przykłady w ciągu kilku minut.

Dlaczego to pytanie jest ważniejsze, niż ludzie myślą 🔍

Zużycie energii przez sztuczną inteligencję to nie tylko kwestia ekologii. Dotyczy kilku bardzo realnych kwestii:

  • Koszt energii elektrycznej – szczególnie w przypadku firm obsługujących wiele żądań AI

  • Wpływ na emisję dwutlenku węgla – w zależności od źródła zasilania serwerów

  • Obciążenie sprzętu – wydajne układy scalone pobierają znaczną moc

  • Decyzje dotyczące skalowania – jedna tania podpowiedź może zamienić się w miliony drogich

  • Projektowanie produktu – wydajność jest często lepszą cechą, niż ludzie zdają sobie sprawę (Google Cloud, Green AI)

Wiele osób pyta: „Ile energii zużywa sztuczna inteligencja?”, ponieważ chcą drastycznej liczby. Czegoś ogromnego. Czegoś, co przyciągnie uwagę mediów. Ale lepsze pytanie brzmi: o jakim rodzaju wykorzystania sztucznej inteligencji mówimy? Bo to zmienia wszystko. (IEA)

Pojedyncza sugestia autouzupełniania? Dość mała.
Szkolenie modelu pionierskiego w ogromnych klastrach? Znacznie, znacznie większa.
Zawsze aktywny przepływ pracy oparty na sztucznej inteligencji (AI) dla przedsiębiorstw, obejmujący miliony użytkowników? Tak, to szybko się sumuje... niczym grosze zamieniające się w opłatę za czynsz. (DOE, Google Cloud)

Ile energii zużywa sztuczna inteligencja? Krótka odpowiedź ⚡

A oto wersja praktyczna.

Sztuczna inteligencja może zużywać od ułamka watogodziny do wykonania lekkiego zadania po ogromne ilości energii elektrycznej do szkoleń i wdrożeń na dużą skalę. Ten zakres wydaje się komicznie szeroki, ponieważ jest naprawdę szeroki. (Google Cloud, Strubell i in.)

Mówiąc prościej:

  • Proste zadania wnioskowania – często stosunkowo skromne w przeliczeniu na użycie

  • Długie rozmowy, duże wyjścia, generowanie obrazów, generowanie wideo – zauważalnie bardziej energochłonne

  • Trening dużych modeli – mistrz wagi ciężkiej w zużyciu energii

  • Całodzienne uruchamianie sztucznej inteligencji na dużą skalę – gdzie „małe żądanie” staje się „dużym rachunkiem całkowitym” (Google Cloud, DOE)

Dobrą regułą jest to, że:

  • Szkolenie to ogromne wydarzenie energetyczne na początku 🏭

  • Wnioskowanie to bieżący rachunek za media 💡 (Strubell i in., Google Research)

Więc gdy ktoś pyta: „ Ile energii zużywa sztuczna inteligencja?”, bezpośrednia odpowiedź brzmi: „Nie jedna ilość, ale na tyle dużo, aby wydajność miała znaczenie, i na tyle dużo, aby skala zmieniła cały obraz”. (IEA, Zielona sztuczna inteligencja)

Wiem, że to nie jest tak chwytliwe, jak ludzie by chcieli. Ale to prawda.

Co sprawia, że ​​szacunki zużycia energii opracowane przez sztuczną inteligencję są dobre? 🧠

Dobra ocena to nie tylko dramatyczna liczba przedstawiona na wykresie. Praktyczna ocena uwzględnia kontekst. W przeciwnym razie przypomina ważenie mgły na wadze łazienkowej. Wystarczająco blisko, by brzmiało imponująco, ale nie na tyle blisko, by można było na niej polegać. (IEA, Google Cloud)

Dobra ocena zużycia energii przez sztuczną inteligencję powinna uwzględniać:

  • Typ zadania – tekst, obraz, dźwięk, wideo, szkolenie, dostrajanie

  • Rozmiar modelu – większe modele zwykle wymagają więcej mocy obliczeniowej

  • Zastosowany sprzęt – nie wszystkie układy są równie wydajne

  • Długość sesji – krótkie monity i długie, wieloetapowe przepływy pracy bardzo się różnią

  • Wykorzystanie – systemy bezczynne nadal zużywają energię

  • Chłodzenie i infrastruktura – serwer to nie cały rachunek

  • Lokalizacja i miks energetyczny – energia elektryczna nie jest wszędzie tak samo czysta (Google Cloud, IEA)

Dlatego dwie osoby mogą kłócić się o zużycie energii elektrycznej przez AI i obie brzmieć pewnie, mówiąc o zupełnie różnych rzeczach. Jedna osoba ma na myśli pojedynczą odpowiedź chatbota. Druga ma na myśli gigantyczny trening. Obie mówią „AI” i nagle rozmowa wymyka się spod kontroli 😅

Tabela porównawcza – najlepsze sposoby szacowania zużycia energii przez sztuczną inteligencję 📊

Oto praktyczna tabela dla każdego, kto próbuje odpowiedzieć na to pytanie, nie zamieniając swojego pytania w sztukę performatywną.

Narzędzie lub metoda Najlepsza publiczność Cena Dlaczego to działa
Prosta, praktyczna ocena Ciekawi czytelnicy, studenci Bezpłatny Szybkie, łatwe, trochę niejasne – ale wystarczająco dobre do przybliżonych porównań
Miernik mocy po stronie urządzenia Samodzielni budowniczowie, hobbyści Niski Mierzy rzeczywisty pobór mocy przez maszynę, co jest orzeźwiająco konkretne
Panel telemetrii GPU Inżynierowie, zespoły ML Średni Więcej szczegółów na temat zadań wymagających dużej mocy obliczeniowej, choć może to powodować pominięcie większego obciążenia zasobów
Rozliczenia w chmurze + dzienniki użytkowania Startupy, zespoły operacyjne Średnio-wysoki Łączy wykorzystanie sztucznej inteligencji z rzeczywistymi wydatkami – nie jest to rozwiązanie idealne, ale wciąż bardzo cenne
Raportowanie zużycia energii w centrum danych Zespoły przedsiębiorstw Wysoki Zapewnia szerszą widoczność operacyjną, chłodzenie i infrastrukturę zaczynają się tutaj pojawiać
Pełna ocena cyklu życia Zespoły ds. zrównoważonego rozwoju, duże organizacje Wysoki, czasami bolesny Najlepiej nadaje się do poważnej analizy, ponieważ wykracza poza sam układ... ale jest powolny i trochę bestią

Nie ma idealnej metody. To jest lekko frustrujące. Ale są poziomy wartości. I zazwyczaj coś użytecznego jest lepsze od idealnego. (Google Cloud)

Najważniejszym czynnikiem nie jest magia, ale moc obliczeniowa i sprzęt 🖥️🔥

Kiedy ludzie wyobrażają sobie zużycie energii przez sztuczną inteligencję, często wyobrażają sobie sam model jako obiekt pobierający energię. Jednak model to logika oprogramowania działająca na sprzęcie. To właśnie sprzęt generuje rachunek za prąd. (Strubell i in., Google Cloud)

Największe zmienne obejmują zazwyczaj:

Wysoce zoptymalizowany system może wykonać więcej pracy przy mniejszym zużyciu energii. Niedbale działający system może marnować energię elektryczną z zapierającą dech w piersiach pewnością. Wiecie, jak to jest – niektóre konfiguracje to samochody wyścigowe, inne to wózki sklepowe z rakietami przyklejonymi taśmą klejącą 🚀🛒

I tak, rozmiar modelu ma znaczenie. Większe modele zazwyczaj wymagają więcej pamięci i więcej obliczeń, zwłaszcza podczas generowania długich wyników lub obsługi złożonego rozumowania. Jednak sztuczki związane z wydajnością mogą zmienić sytuację: (Zielona sztuczna inteligencja, kwantyzacja, przetwarzanie wsadowe i strategie obsługi w zużyciu energii LLM)

Pytanie brzmi więc nie tylko: „Jak duży jest ten model?”, ale także: „Jak inteligentnie jest zarządzany?”

Trening kontra wnioskowanie – to dwie różne rzeczy 🐘🐇

Ten podział jest dla niemal wszystkich niezrozumiały.

Szkolenie

Trening to proces, w którym model uczy się wzorców z ogromnych zbiorów danych. Może on wymagać wielu chipów działających przez długi czas, przetwarzających ogromne ilości danych. Ten etap jest energochłonny. Czasami wręcz ekstremalnie. (Strubell i in.)

Energia treningowa zależy od:

  • rozmiar modelu

  • rozmiar zbioru danych

  • liczba przebiegów treningowych

  • nieudane eksperymenty

  • przebiegi dostrajające

  • wydajność sprzętu

  • chłodzenie nad głową (Strubell i in., Google Research)

I tu pojawia się element, który ludzie często pomijają – opinia publiczna często wyobraża sobie jeden wielki cykl treningowy, wykonany raz i koniec. W praktyce rozwój może obejmować wielokrotne cykle, dostrajanie, ponowne szkolenie, ewaluację i wszystkie prozaiczne, ale kosztowne iteracje wokół głównego wydarzenia. (Strubell i in., Green AI)

Wnioskowanie

Wnioskowanie to model odpowiadający na rzeczywiste żądania użytkowników. Jedno żądanie może wydawać się niewiele znaczące. Ale wnioskowanie odbywa się wielokrotnie. Miliony razy. Czasami miliardy. (Google Research, DOE)

Energia wnioskowania rośnie wraz z:

Zatem trening jest jak trzęsienie ziemi. Wnioskowanie to fala przypływu. Jedno jest dramatyczne, drugie uporczywe, a oba mogą nieco zmienić linię brzegową. To być może niecodzienna metafora, ale trzyma się kupy... mniej więcej.

Ukryte koszty energii, o których ludzie zapominają 😬

Kiedy ktoś szacuje zużycie energii przez sztuczną inteligencję, patrząc tylko na chip, zazwyczaj zaniża swoje szacunki. Nie zawsze katastrofalnie, ale na tyle, by miało to znaczenie. (Google Cloud, IEA)

Oto ukryte części:

Chłodzenie ❄️

Serwery generują ciepło. Potężny sprzęt AI generuje go dużo. Chłodzenie nie jest opcjonalne. Każdy wat zużywany przez obliczenia generuje większe zużycie energii, aby utrzymać temperaturę na rozsądnym poziomie. (IEA, Google Cloud)

Przenoszenie danych 🌐

Przesyłanie danych między pamięcią masową, pamięcią operacyjną i sieciami również wymaga energii. Sztuczna inteligencja to nie tylko „myślenie”. To także ciągłe przerzucanie informacji. (IEA)

Pojemność bezczynności 💤

Systemy zbudowane z myślą o szczytowym zapotrzebowaniu nie zawsze działają w godzinach szczytu. Nieużywana lub niewykorzystana infrastruktura nadal zużywa energię elektryczną. (Google Cloud)

Nadmiarowość i niezawodność 🧱

Kopie zapasowe, systemy przełączania awaryjnego, zduplikowane regiony, warstwy bezpieczeństwa – wszystko to jest cenne i stanowi część większego obrazu energetycznego. (IEA)

Przechowywanie 📦

Dane treningowe, osadzenia, logi, punkty kontrolne, wygenerowane wyniki – wszystko to gdzieś się znajduje. Pamięć masowa jest tańsza niż moc obliczeniowa, to prawda, ale nie jest darmowa pod względem zużycia energii. (IEA)

Dlatego na pytanie „ Ile energii zużywa sztuczna inteligencja?” nie da się odpowiedzieć, patrząc tylko na jeden wykres porównawczy. Liczy się cały stos. (Google Cloud, IEA)

Dlaczego jeden komunikat sztucznej inteligencji może być malutki, a następny może być potworem 📝➡️🎬

Nie wszystkie polecenia są sobie równe. Krótka prośba o przepisanie zdania nie jest porównywalna z prośbą o długą analizę, wieloetapową sesję kodowania czy generowanie obrazów o wysokiej rozdzielczości. (Google Cloud)

Czynniki, które zwykle zwiększają zużycie energii podczas interakcji:

Lekka odpowiedź tekstowa może być stosunkowo tania. Gigantyczny, multimodalny przepływ pracy może być, cóż, nie tani. To trochę jak zamawianie kawy w porównaniu z cateringiem na weselu. Teoretycznie oba rodzaje usług zaliczają się do „usług gastronomicznych”. Jedno nie jest takie samo jak drugie ☕🎉

Ma to szczególne znaczenie dla zespołów produktowych. Funkcja, która wydaje się nieszkodliwa przy niskim zużyciu, może stać się kosztowna na dużą skalę, jeśli każda sesja użytkownika stanie się dłuższa, bardziej rozbudowana i bardziej obciążająca obliczeniowo. (DOE, Google Cloud)

Sztuczna inteligencja konsumencka i sztuczna inteligencja korporacyjna to nie to samo 🏢📱

Przeciętna osoba korzystająca z AI okazjonalnie może zakładać, że to sporadyczne komunikaty stanowią główny problem. Zazwyczaj nie tam leży główny problem energetyczny. (Google Cloud)

Wykorzystanie w przedsiębiorstwach zmienia matematykę:

  • tysiące pracowników

  • zawsze gotowi piloci

  • automatyczne przetwarzanie dokumentów

  • podsumowanie połączeń

  • analiza obrazu

  • narzędzia do przeglądu kodu

  • agenci działający w tle stale

To właśnie tutaj łączne zużycie energii zaczyna mieć ogromne znaczenie. Nie dlatego, że każde działanie jest apokaliptyczne, ale dlatego, że powtarzalność mnoży. (DOE, IEA)

Podczas moich własnych testów i przeglądów przepływów pracy, ludzie byli zaskoczeni właśnie w tym miejscu. Skupiali się na nazwie modelu lub efektownej wersji demonstracyjnej, ignorując liczbę użytkowników. Liczba użytkowników często jest prawdziwym motorem napędowym – lub zbawiennym czynnikiem, w zależności od tego, czy wystawiasz faktury klientom, czy płacisz rachunki za media 😅

Dla konsumentów wpływ ten może wydawać się abstrakcyjny. Dla firm staje się on bardzo szybki i konkretny:

  • większe rachunki za infrastrukturę

  • większa presja na optymalizację

  • silniejsze zapotrzebowanie na mniejsze modele, gdzie to możliwe

  • wewnętrzne raportowanie zrównoważonego rozwoju

  • większa uwaga poświęcona buforowaniu i routingowi (Google Cloud, Green AI)

Jak zmniejszyć zużycie energii przez sztuczną inteligencję, nie rezygnując z niej 🌱

Ta część jest ważna, ponieważ celem nie jest „zaprzestanie używania sztucznej inteligencji”. Zazwyczaj nie jest to realistyczne, a nawet niepotrzebne. Lepsze wykorzystanie to mądrzejsza droga.

Oto najważniejsze dźwignie:

1. Użyj najmniejszego modelu, który wykona zadanie

Nie każde zadanie wymaga opcji „ciężkiej roboty”. Lżejszy model klasyfikacji lub podsumowania może szybko ograniczyć straty. (Zielona sztuczna inteligencja, Google Cloud)

2. Skróć monity i wyniki

Rozwlekłe wejście, rozwlekłe wyjście. Dodatkowe tokeny oznaczają dodatkowe obliczenia. Czasami przycięcie wiersza poleceń jest najłatwiejszym rozwiązaniem. (Strategie kwantyzacji, przetwarzania wsadowego i obsługi w zużyciu energii LLM, Google Cloud)

3. Buforuj powtarzane wyniki

Jeśli to samo zapytanie ciągle się pojawia, nie generuj go ponownie za każdym razem. Jest to wręcz obraźliwe, a jednak pomijane. (Google Cloud)

4. Jeśli to możliwe, wykonuj zadania wsadowe

Wykonywanie zadań w partiach może poprawić wykorzystanie zasobów i ograniczyć straty. (Kwantyzacja, przetwarzanie w partiach i strategie podawania w zużyciu energii LLM)

5. Inteligentnie wyznaczaj trasy zadań

Używaj dużych modeli tylko wtedy, gdy spada zaufanie lub wzrasta złożoność zadania. (Zielona sztuczna inteligencja, Google Cloud)

6. Zoptymalizuj infrastrukturę

Lepsze planowanie, lepszy sprzęt, lepsza strategia chłodzenia – prozaiczne rzeczy, ogromne korzyści. (Google Cloud, DOE)

7. Zmierz zanim założysz

Wiele zespołów myśli, że wie, gdzie trafia energia. Potem dokonuje pomiaru i okazuje się, że najdroższa część znajduje się gdzie indziej. (Google Cloud)

Praca nad efektywnością nie jest niczym efektownym. Rzadko spotyka się z aplauzem. Ale to jeden z najlepszych sposobów na to, by sztuczna inteligencja stała się bardziej przystępna cenowo i bardziej obronna na dużą skalę 👍

Popularne mity na temat wykorzystania energii elektrycznej przez sztuczną inteligencję 🚫

Rozwiejmy kilka mitów, bo ten temat szybko się komplikuje.

Mit 1 – Każde zapytanie do sztucznej inteligencji jest bardzo nieefektywne

Niekoniecznie. Niektóre są skromne. Skala i rodzaj zadania mają duże znaczenie. (Google Cloud)

Mit 2 – Liczy się tylko szkolenie

Nie. W przypadku intensywnego użytkowania, z czasem dominować może wnioskowanie. (Badania Google, DOE)

Mit 3 – Większy model zawsze oznacza lepszy wynik

Czasami tak, czasami absolutnie nie. Wiele zadań dobrze sobie radzi z mniejszymi systemami. (Zielona sztuczna inteligencja)

Mit 4 – Zużycie energii automatycznie równa się emisji dwutlenku węgla

Nie do końca. Węgiel zależy również od źródła energii. (IEA, Strubell i in.)

Mit 5 – Można uzyskać jeden uniwersalny numer dotyczący zużycia energii przez sztuczną inteligencję

Nie da się, przynajmniej nie w formie, która zachowałaby sens. Albo da się, ale zostanie to tak uśrednione, że straci wartość. (IEA)

Dlatego zadawanie pytania „ Ile energii zużywa sztuczna inteligencja?” jest mądre – ale tylko wtedy, gdy jesteś gotowy na złożoną odpowiedź, a nie slogan.

No więc... ile tak naprawdę energii zużywa sztuczna inteligencja? 🤔

Oto uzasadniony wniosek.

Sztuczna inteligencja wykorzystuje:

  • trochę, do prostych zadań

  • dużo więcej, do intensywnej generacji multimodalnej

  • bardzo duża ilość, do szkolenia modeli na dużą skalę

  • ogromna ilość w sumie, gdy miliony żądań kumulują się z czasem (Google Cloud, DOE)

Tak to mniej więcej wygląda.

Kluczem jest to, by nie sprowadzać całego problemu do jednej przerażającej liczby lub jednego lekceważącego wzruszenia ramion. Zużycie energii przez sztuczną inteligencję jest realne. Ma znaczenie. Można je poprawić. A najlepszym sposobem na mówienie o tym jest kontekst, a nie teatralne przedstawienie. (IEA, Green AI)

Wiele publicznych dyskusji oscyluje między skrajnościami – z jednej strony „sztuczna inteligencja jest praktycznie darmowa”, z drugiej „sztuczna inteligencja to elektryczna apokalipsa”. Rzeczywistość jest bardziej powszechna, co czyni ją bardziej pouczającą. To problem systemowy. Sprzęt, oprogramowanie, użytkowanie, skala, chłodzenie, wybory projektowe. Prozaiczne? Trochę. Ważne? Bardzo. (IEA, Google Cloud)

Najważniejsze wnioski ⚡🧾

Jeśli przyszedłeś tu i pytasz: Ile energii zużywa sztuczna inteligencja?,oto odpowiedź:

  • Nie ma jednej uniwersalnej liczby

  • Szkolenie zazwyczaj pochłania najwięcej energii na początku

  • Wnioskowanie staje się głównym czynnikiem na dużą skalę

  • Rozmiar modelu, sprzęt, obciążenie i chłodzenie – wszystko to ma znaczenie

  • Małe optymalizacje mogą przynieść zaskakująco dużą różnicę

  • Najmądrzejszym pytaniem nie jest tylko „ile”, ale także „do jakiego zadania, w jakim systemie, na jaką skalę?” (IEA, Google Cloud)

Więc tak, sztuczna inteligencja zużywa prawdziwą energię. Wystarczająco dużo, by zasługiwać na uwagę. Wystarczająco dużo, by uzasadnić lepszą inżynierię. Ale nie w karykaturalny, jednocyfrowy sposób.

Przykład z życia wzięty: Pomiar kosztów energii zużywanej przez asystenta wsparcia AI

Scenariusz

Wyobraź sobie małą firmę SaaS korzystającą z asystenta AI do tworzenia odpowiedzi na zgłoszenia do obsługi klienta. To fikcyjny, ale realistyczny przykład, a nie studium przypadku firmy.

Zespół obsługuje około 500 zgłoszeń do pomocy technicznej tygodniowo. Większość z nich jest prosta: resetowanie haseł, pytania dotyczące rozliczeń, objaśnienia funkcji i podstawowe rozwiązywanie problemów. Firma nie chce, aby asystent automatycznie wysyłał odpowiedzi. Tworzy on wstępne wersje odpowiedzi do weryfikacji przez konsultanta.

Pytanie dotyczące energii nie brzmi: „Ile energii zużywa sztuczna inteligencja w ogóle?”. Jest bardziej praktyczne:

„Ile dodatkowych obliczeń generujemy, dodając sztuczną inteligencję do tego procesu pracy i czy możemy je zredukować bez pogorszenia jakości?”

Czego potrzebuje asystent

Zespół zaczynałby w następującym składzie:

Czysta baza wiedzy w formie centrum pomocy

Lista zatwierdzonych zasad dotyczących zwrotów, prywatności i eskalacji

20-30 przykładów silnych odpowiedzi wsparcia z przeszłości

Wyraźne polecenie, które asystent musi sporządzić, a nie wysłać

Rejestry wykorzystania chmury lub rejestry wykorzystania interfejsu API modelu

Prosty arkusz kalkulacyjny do śledzenia typu zgłoszenia, długości monitu, długości wydruku, czasu przeglądu i tego, czy odpowiedź została zaakceptowana

Najważniejszy jest pomiar. Bez logów zespół może tylko zgadywać.

Przykładowa instrukcja

Jesteś asystentem ds. pomocy technicznej dla produktu SaaS. Korzystaj wyłącznie z zatwierdzonych treści centrum pomocy i uwag dotyczących polityki. Napisz jasną i uprzejmą odpowiedź, liczącą mniej niż 180 słów. Jeśli klient prosi o zwrot pieniędzy, usunięcie konta, poradę prawną, dane bezpieczeństwa lub o cokolwiek, co nie zostało uwzględnione w dokumentach, nie odpowiadaj bezpośrednio. Zgłoś sprawę do weryfikacji i wyjaśnij, jakich informacji brakuje.

Przed napisaniem odpowiedzi należy określić rodzaj zgłoszenia: proste, dotyczące zasad, techniczne lub wymagające eskalacji.

Jak to przetestować

Zespół mógł przetestować asystenta na 50 poprzednich zgłoszeniach, zanim zaczął go używać w praktyce.

Prosty zestaw testowy może obejmować:

10 biletów na hasło lub logowanie

10 biletów rozliczeniowych

10 zgłoszeń dotyczących rozwiązywania problemów technicznych

10 niejasnych lub niekompletnych komunikatów dla klientów

10 zgłoszeń naruszających zasady dotyczące zwrotów pieniędzy, prywatności lub zamknięcia konta

Dla każdego zgłoszenia zespół powinien zapisać:

Czy projekt był poprawny pod względem faktycznym?

Czy korzystano wyłącznie z zatwierdzonych informacji?

Czy zmieściło się w limicie słów?

Czy prawidłowo oznaczył wrażliwe przypadki?

Ile czasu agent ludzki spędził na edycji?

Ile tokenów lub żądań wykorzystał przepływ pracy?

Dzięki temu zespół ma coś konkretnego do porównania, zamiast polegać na przeczuciach.

Wynik

Przykładowy wynik: na podstawie pomiaru czasu 50 przykładowych zgłoszeń przed i po zastosowaniu przepływu pracy zespół oszacował, że średni czas przygotowania pierwszej wersji roboczej spadł z 6 minut do 2 minut na zgłoszenie.

Przy 500 zgłoszeniach tygodniowo pozwala to zaoszczędzić około 2000 minut lub w przybliżeniu 33 godziny czasu przeznaczonego na sporządzanie dokumentów.

Ale logi pokazują też coś cennego: 38% zgłoszeń to po prostu powtórzenia. Dzięki buforowaniu zatwierdzonych odpowiedzi na te powtarzające się pytania, zamiast generowania każdego projektu od nowa, zespół zmniejszył liczbę żądań AI z 500 do 310 tygodniowo.

Oznacza to 38-procentową redukcję cotygodniowych wezwań do wnioskowania w ramach tego przepływu pracy, bez usuwania funkcji sztucznej inteligencji.

Zespół może to zweryfikować poprzez porównanie:

Łączna liczba tygodniowych żądań AI przed i po buforowaniu

Średnia długość komunikatu i wyjścia

Współczynnik akceptacji człowieka

Liczba prawidłowo wykrytych eskalacji

Wsparcie wyników jakości lub liczby poprawek

Dokładna oszczędność energii elektrycznej nadal będzie zależeć od modelu, sprzętu, dostawcy i infrastruktury. Jednak sama redukcja obciążenia jest mierzalna.

Co może pójść nie tak

Asystent może udzielać zbyt wielu odpowiedzi na pytania dotyczące zasad, jeśli zasady eskalacji są niejasne.

Długie dokumenty centrum pomocy mogą spowodować zwiększenie długości komunikatu, jeśli konfiguracja pobierania jest źle skonstruowana.

Agenci mogą zbyt szybko zaufać płynnym projektom i przeoczyć drobne błędy.

Buforowanie może być ryzykowne, jeśli w obiegu pozostają stare zasady dotyczące zwrotów, cen lub prywatności.

Zespół może optymalizować działanie pod kątem mniejszej liczby tokenów, jednocześnie nieumyślnie udzielając mniej pomocnych odpowiedzi.

Najbezpieczniejsza wersja pozwala użytkownikom być na bieżąco, mierzy akceptowane odpowiedzi i przegląda zapisane w pamięci podręcznej odpowiedzi za każdym razem, gdy zasady ulegają zmianie.

Praktyczne wskazówki

Rzetelna ocena zużycia energii przez sztuczną inteligencję zaczyna się od konkretnego procesu. Licz żądania, skracaj monity, buforuj powtarzające się odpowiedzi i mierz jakość recenzji. W ten sposób pytanie „Ile energii zużywa sztuczna inteligencja?” zmienia się z niejasnej debaty w praktyczne pytanie inżynierskie z liczbami, które zespół może udoskonalić w praktyce.

Często zadawane pytania

Ile energii zużywa sztuczna inteligencja na jedno polecenie?

Nie ma uniwersalnej wartości dla pojedynczego komunikatu, ponieważ zużycie energii zależy od modelu, sprzętu, długości komunikatu, długości danych wyjściowych i wszelkich dodatkowych narzędzi. Krótka odpowiedź tekstowa może być stosunkowo skromna, podczas gdy długie zadanie multimodalne może pochłonąć zauważalnie więcej. Najbardziej znacząca odpowiedź to nie pojedyncza liczba w nagłówku, ale kontekst otaczający zadanie.

Dlaczego szacunki dotyczące wykorzystania mocy obliczeniowej sztucznej inteligencji są tak różne?

Szacunki różnią się, ponieważ ludzie często porównują bardzo różne rzeczy pod jedną etykietą: sztuczna inteligencja. Jedna ocena może opisywać lekką odpowiedź chatbota, podczas gdy inna może obejmować generowanie obrazu, wideo lub trenowanie modelu na dużą skalę. Aby ocena była miarodajna, musi uwzględniać kontekst, taki jak rodzaj zadania, rozmiar modelu, sprzęt, wykorzystanie, chłodzenie i lokalizacja.

Czy szkolenie sztucznej inteligencji czy jej codzienne używanie generuje większy koszt energii?

Szkolenie to zazwyczaj duże początkowe wyzwanie energetyczne, ponieważ może obejmować wiele chipów działających przez długi czas na ogromnych zbiorach danych. Wnioskowanie to stały koszt, który pojawia się za każdym razem, gdy użytkownicy wysyłają żądania, a w dużej skali może on również stać się bardzo wysoki. W praktyce oba te czynniki mają znaczenie, choć w różny sposób.

Co sprawia, że ​​jedno żądanie sztucznej inteligencji jest znacznie bardziej energochłonne od innego?

Dłuższe okna kontekstowe, dłuższe wyniki, powtarzające się przebiegi wnioskowania, wywołania narzędzi, kroki pobierania i generowanie multimodalne – wszystkie te czynniki zwiększają zużycie energii w każdej interakcji. Docelowe opóźnienia również mają znaczenie, ponieważ wymagania dotyczące szybszej reakcji mogą obniżyć wydajność. Małe żądanie przepisania i długi proces kodowania lub obrazowania po prostu nie są porównywalne.

Jakich ukrytych kosztów energii nie biorą pod uwagę ludzie, gdy pytają, ile energii zużywa sztuczna inteligencja?

Wiele osób skupia się wyłącznie na układzie scalonym, ignorując chłodzenie, przesyłanie danych, pamięć masową, pojemność w stanie spoczynku oraz systemy niezawodności, takie jak kopie zapasowe czy obszary przełączania awaryjnego. Te warstwy pomocnicze mogą znacząco zmienić całkowitą powierzchnię zajmowaną przez układ. Dlatego sam benchmark rzadko odzwierciedla pełny obraz zużycia energii.

Czy większy model sztucznej inteligencji zawsze zużywa więcej energii?

Większe modele zazwyczaj wymagają więcej mocy obliczeniowej i pamięci, szczególnie w przypadku długich lub złożonych danych wyjściowych, przez co często zużywają więcej energii. Jednak większy rozmiar nie oznacza automatycznie lepszego wykonania dla każdego zadania, a optymalizacja może znacząco zmienić sytuację. Mniejsze modele specjalistyczne, kwantyzacja, przetwarzanie wsadowe, buforowanie i inteligentniejsze routing mogą poprawić wydajność.

Czy największym problemem energetycznym jest wykorzystanie sztucznej inteligencji przez konsumentów, czy też większym problemem jest wykorzystanie sztucznej inteligencji w przedsiębiorstwach?

Dorywcze użytkowanie przez konsumentów może się kumulować, ale większy problem z energią często pojawia się we wdrożeniach korporacyjnych. Ciągła gotowość do pracy drugich pilotów, przetwarzanie dokumentów, podsumowywanie połączeń, przegląd kodu i agenci działający w tle generują powtarzające się zapotrzebowanie wśród dużych baz użytkowników. Problem zazwyczaj nie dotyczy pojedynczej, dramatycznej akcji, a raczej stałego wolumenu w dłuższej perspektywie.

Ile energii zużywa sztuczna inteligencja, jeśli uwzględnić centra danych i chłodzenie?

Po uwzględnieniu szerszego systemu, odpowiedź staje się bardziej realistyczna i zazwyczaj jest większa, niż sugerują szacunki oparte wyłącznie na chipach. Centra danych potrzebują energii nie tylko do obliczeń, ale także do chłodzenia, obsługi sieci, przechowywania danych i utrzymywania zapasowej pojemności. Dlatego projekt infrastruktury i wydajność obiektu są niemal tak samo ważne, jak projekt modelu.

Jaki jest najbardziej praktyczny sposób pomiaru zużycia energii przez sztuczną inteligencję w rzeczywistym przepływie pracy?

Najlepsza metoda zależy od tego, kto dokonuje pomiaru i w jakim celu. Przybliżona reguła praktyczna może pomóc w szybkich porównaniach, a watomierze, telemetria GPU, rejestry rozliczeń w chmurze i raportowanie w centrach danych zapewniają stopniowo głębszy wgląd w sytuację operacyjną. W przypadku poważnych działań na rzecz zrównoważonego rozwoju, pełniejszy obraz cyklu życia jest jeszcze bardziej przydatny, choć wolniejszy i bardziej wymagający.

W jaki sposób zespoły mogą zmniejszyć zużycie energii przez sztuczną inteligencję, nie rezygnując jednocześnie z przydatnych funkcji AI?

Największe korzyści zazwyczaj wynikają z wykorzystania najmniejszego modelu, który nadal spełnia swoje zadanie, skrócenia monitów i wyników, buforowania powtarzających się wyników, przetwarzania wsadowego i kierowania tylko trudniejszych zadań do większych modeli. Optymalizacja infrastruktury również ma znaczenie, zwłaszcza harmonogramowanie i wydajność sprzętu. W wielu procesach pomiary w pierwszej kolejności pomagają zespołom uniknąć optymalizacji niewłaściwych elementów.

Odniesienia

  1. Międzynarodowa Agencja Energetyczna (IEA) – Zapotrzebowanie na energię ze strony sztucznej inteligencji – iea.org

  2. Departament Energii USA (DOE) – DOE publikuje nowy raport oceniający wzrost zapotrzebowania na energię elektryczną w centrach danych – energy.gov

  3. Google Cloud – Pomiar wpływu wnioskowania AI na środowisko – cloud.google.com

  4. Google Research – Dobre wieści dotyczące śladu węglowego szkoleń z zakresu uczenia maszynowego – research.google

  5. Google Research – Ślad węglowy szkoleń z zakresu uczenia maszynowego ustabilizuje się, a następnie zmniejszy – research.google

  6. arXiv - Zielona sztuczna inteligencja - arxiv.org

  7. arXiv – Strubell i in. - arxiv.org

  8. arXiv – Strategie kwantyzacji, przetwarzania wsadowego i obsługi w zużyciu energii na studiach LLM – arxiv.org

Znajdź najnowszą sztuczną inteligencję w oficjalnym sklepie z asystentami AI

O nas

Powrót do bloga

Dodatkowe FAQ

  • Jak mogę dokładnie oszacować zużycie energii przez systemy AI?

    Dokładne oszacowanie zużycia energii przez sztuczną inteligencję wymaga uwzględnienia takich czynników, jak rodzaj wykonywanego zadania, rozmiar modelu, używany sprzęt i długość sesji. Ważne jest, aby wziąć pod uwagę szerszą infrastrukturę, w tym chłodzenie i przesyłanie danych, ponieważ one również znacząco wpływają na całkowite zużycie energii.

  • Jakie są główne czynniki wpływające na wysokie zużycie energii przez sztuczną inteligencję?

    Wysokie zużycie energii w sztucznej inteligencji (AI) można przypisać rozmiarowi modelu, złożoności zadania oraz konieczności intensywnego przetwarzania danych. Dodatkowo, elementy infrastruktury, takie jak chłodzenie, magazynowanie i ruch sieciowy, zwiększają zapotrzebowanie na energię zarówno podczas uczenia, jak i wnioskowania.

  • Czy sztuczna inteligencja jest bardziej energooszczędna niż tradycyjne komputery?

    Efektywność energetyczna sztucznej inteligencji (AI) w porównaniu z tradycyjnymi komputerami różni się znacznie w zależności od zastosowania. Proste zadania mogą zużywać mniej energii w przypadku AI, ale złożone, wymagające dużych zasobów zadania AI mogą przekraczać zużycie energii w przypadku tradycyjnych komputerów. Kluczowe jest analizowanie zużycia energii w każdym indywidualnym przypadku.

  • Jak zużycie energii przez sztuczną inteligencję wpływa na środowisko?

    Zużycie energii przez sztuczną inteligencję może mieć znaczący wpływ na środowisko, szczególnie w zależności od źródła energii zasilającego centra danych. Większe wykorzystanie paliw kopalnych może zwiększyć ślad węglowy. Efektywne wykorzystanie energii poprzez optymalizację i wybór czystszych źródeł energii może pomóc złagodzić ten efekt.

  • Jakie są strategie ograniczania zużycia energii przez sztuczną inteligencję?

    Strategie ograniczania zużycia energii przez sztuczną inteligencję obejmują stosowanie mniejszych modeli, gdy jest to możliwe, skrócenie komunikatów i wyników, buforowanie wyników w celu uniknięcia redundancji oraz przetwarzanie wsadowe w celu zwiększenia wydajności. Optymalizacja infrastruktury i pomiar zużycia energii mogą również prowadzić do poprawy zużycia energii.

  • Czy skala wdrażania sztucznej inteligencji wpływa na jej zużycie energii?

    Tak, skala wdrożenia sztucznej inteligencji (AI) znacząco wpływa na zużycie energii. O ile pojedyncze zadania mogą zużywać minimalną ilość energii, skumulowany efekt obsługi milionów żądań może prowadzić do znacznych kosztów energii. Jest to szczególnie istotne w przedsiębiorstwach, gdzie sztuczna inteligencja jest stale wykorzystywana przez wielu użytkowników.

  • Czy wykorzystanie sztucznej inteligencji przez konsumentów może znacząco wpłynąć na całkowite zużycie energii?

    Choć indywidualne zużycie energii przez konsumentów może wydawać się minimalne, może się ono znacznie zwiększyć ze względu na wielokrotne użytkowanie. Główny problem często dotyczy aplikacji AI dla przedsiębiorstw, gdzie ciągłe działania obejmujące dużą liczbę użytkowników mogą zwiększać ogólne zużycie energii.