AI apmācīšanai nepieciešamā skaitļošanas jauda tagad pieaug septiņas reizes ātrāk nekā jebkad agrāk

Go spēlētājs Ke Jie spēlē maču ar Google mākslīgā intelekta programmu AlphaGo AP

2018. gadā OpenAI atklāja, ka lielāko AI modeļu apmācīšanai izmantotās skaitļošanas jaudas apjoms kopš 2012. gada ir dubultojies ik pēc 3,4 mēnešiem.

Sanfrancisko bāzētā bezpeļņas AI pētniecības laboratorija tagad ir pieejama pievienoti jauni dati tās analīzei. Tas parāda, kā pēc 2012. gada dubultošanās ir salīdzināma ar vēsturisko dubultošanās laiku kopš lauka sākuma. No 1959. līdz 2012. gadam izmantotās jaudas apjoms dubultojās ik pēc diviem gadiem, izsekojot Mūra likumam. Tas nozīmē, ka pašlaik izmantotie resursi dubultojas septiņas reizes ātrāk nekā iepriekš.

OpenAI

Šis dramatiskais nepieciešamo resursu pieaugums parāda, cik dārgi ir kļuvuši šīs jomas sasniegumi. Ņemiet vērā, ka iepriekš redzamā diagramma parāda logaritmisko skalu. Lineārā mērogā (zemāk) varat skaidrāk redzēt, kā skaitļošanas lietojums pēdējo septiņu gadu laikā ir palielinājies par 300 000 reižu.

Diagrammā arī īpaši nav iekļauti daži no jaunākajiem sasniegumiem, tostarp Google liela mēroga valodas modelis BERT , OpenAI valodas modelis GPT-2 vai DeepMind StarCraft II atskaņošanas modelis AlphaStar .

OpenAI

Pagājušajā gadā arvien vairāk pētnieku ir izsaukuši trauksmi par padziļinātās mācīšanās izmaksām. Jūnijā Masačūsetsas Universitātes Amherstas pētnieku veiktā analīze parādīja, kā šīs pieaugošās skaitļošanas izmaksas tieši izpaužas oglekļa emisijās.

Savā dokumentā viņi arī atzīmēja, kā šī tendence saasina AI pētniecības privatizāciju, jo tā mazina akadēmisko laboratoriju spēju konkurēt ar daudz resursiem bagātākām privātajām laboratorijām.

Reaģējot uz šīm pieaugošajām bažām, vairākas nozares grupas ir sniegušas ieteikumus. Allena Mākslīgā intelekta institūts, bezpeļņas pētniecības uzņēmums Sietlā, ir ierosinājis, ka pētnieki vienmēr publicē, piemēram, modeļu apmācības finansiālās un skaitļošanas izmaksas, kā arī to darbības rezultātus.

Savā emuārā OpenAI ierosināja politikas veidotājiem palielināt finansējumu akadēmiskajiem pētniekiem, lai pārvarētu resursu plaisu starp akadēmiskajām un nozares laboratorijām.

Labojums: Šī raksta iepriekšējā versijā nepareizi bija norādīts, ka dubultošanās laiks šodien ir vairāk nekā septiņas reizes lielāks nekā iepriekš. Izmantotie resursi dubultojas septiņas reizes ātrāk, un pats dubultošanas laiks ir septītā daļa iepriekšējā reizē.

paslēpties