Viena AI modeļa apmācība var izdalīt tikpat daudz oglekļa kā piecas automašīnas dzīves laikā

Datu centrs Dekāns Mouhtaropoulos | Getty; rediģējis MIT Technology Review

Mākslīgā intelekta nozari bieži salīdzina ar naftas rūpniecību: pēc ieguves un attīrīšanas dati, tāpat kā nafta, var būt ļoti ienesīga prece. Tagad šķiet, ka metafora var paplašināties vēl tālāk. Tāpat kā fosilā kurināmā ekvivalentam, dziļas mācīšanās procesam ir milzīga ietekme uz vidi.

Iekšā jauns papīrs , pētnieki no Masačūsetsas universitātes Amherstā veica dzīves cikla novērtējumu, lai apmācītu vairākus izplatītus lielus AI modeļus. Viņi atklāja, ka process var izdalīt vairāk nekā 626 000 mārciņu oglekļa dioksīda ekvivalenta, kas ir gandrīz piecas reizes lielākas par vidējā amerikāņu automašīnas kalpošanas laika emisijām (un tas ietver arī pašas automašīnas ražošanu).

Tas ir satraucošs kvantitatīvs novērtējums tam, ko AI pētnieki jau sen ir aizdomājušies. Lai gan, iespējams, daudzi no mums ir domājuši par to abstraktā, neskaidrā līmenī, skaitļi patiešām parāda problēmas apmēru, saka Karloss Gomess-Rodrigess, datorzinātnieks no Akorunjas universitātes Spānijā, kurš nebija iesaistīts pētījumiem. Ne es, ne citi pētnieki, ar kuriem esmu tos apspriedusi, neuzskatīja, ka ietekme uz vidi ir tik būtiska.

Dabiskās valodas apstrādes oglekļa pēdas nospiedums

Rakstā īpaši aplūkots paraugapmācības process dabiskās valodas apstrādei (NLP), kas ir mākslīgā intelekta apakšnozare, kas koncentrējas uz mašīnu mācīšanu rīkoties ar cilvēka valodu. Pēdējo divu gadu laikā NLP kopiena ir sasniegusi vairākus ievērības cienīgus darbības pavērsienus mašīntulkošanā, teikumu pabeigšanā un citos standarta salīdzinošās novērtēšanas uzdevumos. Kā viens no piemēriem OpenAI bēdīgi slavenais GPT-2 modelis bija izcils, rakstot pārliecinošus viltus ziņu rakstus.

Taču šādi sasniegumi ir prasījuši arvien lielākus modeļus apmācīt plašās teikumu datu kopas, kas iegūtas no interneta. Šī pieeja ir skaitļošanas ziņā dārga un ļoti energoietilpīga.

Pētnieki aplūkoja četrus modeļus šajā jomā, kas ir atbildīgi par lielākajiem veiktspējas lēcieniem: Transformer, ELMo, BERT un GPT-2. Viņi katru dienu trenējās ar vienu GPU, lai izmērītu tā jaudas patēriņu. Pēc tam viņi izmantoja modeļa oriģinālajos dokumentos norādīto apmācības stundu skaitu, lai aprēķinātu kopējo enerģijas patēriņu visā apmācības procesā. Šis skaitlis tika pārvērsts oglekļa dioksīda ekvivalenta mārciņās, pamatojoties uz vidējo enerģijas sadalījumu ASV, kas ļoti atbilst enerģijas sadalījumam, ko izmanto Amazon AWS, lielākais mākoņpakalpojumu sniedzējs.

Viņi atklāja, ka apmācības skaitļošanas un vides izmaksas pieauga proporcionāli modeļa lielumam un pēc tam pieauga, kad tika izmantoti papildu regulēšanas soļi, lai palielinātu modeļa galīgo precizitāti. Konkrēti, viņi atklāja, ka regulēšanas procesam, kas pazīstams kā neironu arhitektūras meklēšana un kas mēģina optimizēt modeli, pakāpeniski pielāgojot neironu tīkla dizainu, izmantojot visaptverošus izmēģinājumus un kļūdas, bija ārkārtīgi lielas saistītās izmaksas, kas rada nelielu veiktspējas ieguvumu. Bez tā visdārgākā modeļa BERT oglekļa pēdas nospiedums bija aptuveni 1400 mārciņas oglekļa dioksīda ekvivalenta, kas ir tuvu lidojumam turp un atpakaļ pa Ameriku vienai personai.

Turklāt pētnieki atzīmē, ka skaitļi ir jāuzskata tikai par bāzes rādītājiem. Viena modeļa apmācība ir minimālais darba apjoms, ko varat veikt, saka Emma Strubell, Masačūsetsas Universitātes Amherstas doktora grāda kandidāte un darba galvenā autore. Praksē ir daudz lielāka iespēja, ka AI pētnieki izstrādās jaunu modeli no nulles vai pielāgos esošo modeli jaunai datu kopai, kas var prasīt daudz vairāk apmācības un regulēšanas posmu.

Lai labāk izprastu, kā varētu izskatīties viss izstrādes plāns oglekļa pēdas nospieduma ziņā, Strubell un viņas kolēģi izmantoja modeli, ko viņi bija ražojuši iepriekšējais papīrs kā gadījuma izpēti. Viņi atklāja, ka galīgā papīra cienīga modeļa izveides un testēšanas procesā sešu mēnešu laikā bija jāapmāca 4789 modeļi. Pārrēķinot uz CO2 ekvivalentu, tas emitēja vairāk nekā 78 000 mārciņu un, iespējams, reprezentē tipisku darbu šajā jomā.

Šo skaitļu nozīme ir milzīga, it īpaši, ja ņem vērā pašreizējās tendences AI pētniecībā. Kopumā lielākajā daļā jaunāko AI pētījumu nav ņemta vērā efektivitāte, jo ir konstatēts, ka ļoti lieli neironu tīkli ir noderīgi dažādiem uzdevumiem, un uzņēmumi un iestādes, kurām ir bagātīga piekļuve skaitļošanas resursiem, var to izmantot, lai iegūtu konkurences priekšrocības. Gómez-Rodriguez saka. Šāda veida analīze bija jāveic, lai palielinātu izpratni par iztērētajiem resursiem [..], un tā izraisīs debates.

Tas, ko, iespējams, daudzi no mums nesaprata, ir tā mērogs, līdz mēs redzējām šos salīdzinājumus, piebalsoja Stenfordas universitātes pēcdoktore Siva Redija, kura nebija iesaistīta pētījumā.

AI pētniecības privatizācija

Rezultāti uzsver arī citu pieaugošu AI problēmu: milzīgais resursu intensitāte, kas tagad ir nepieciešami, lai iegūtu papīra cienīgus rezultātus, ir padarījis akadēmiskajās aprindās strādājošiem cilvēkiem arvien grūtāku turpināt sniegt ieguldījumu pētniecībā.

Šī tendence apmācīt milzīgus modeļus, izmantojot tonnām datu, nav iespējama akadēmiķiem, jo ​​īpaši studentiem, jo ​​mums nav skaitļošanas resursu, saka Strubell. Tātad pastāv jautājums par vienlīdzīgu piekļuvi starp pētniekiem akadēmiskajās aprindās un pētniekiem rūpniecībā.

Strubell un viņas līdzautori cer, ka viņu kolēģi ņems vērā dokumenta atklājumus un palīdzēs izlīdzināt konkurences apstākļus, ieguldot efektīvākas aparatūras un algoritmu izstrādē.

Redijs piekrīt. Viņš saka, ka cilvēka smadzenes var paveikt pārsteidzošas lietas ar nelielu enerģijas patēriņu. Lielāks jautājums ir par to, kā mēs varam uzbūvēt šādas mašīnas.

paslēpties