211service.com
Nākamo AI sprādzienu noteiks mikroshēmas, kuras mēs tam izveidosim
Džeremijs Portjē
Aparatūras dizains, nevis algoritmi, palīdzēs mums sasniegt nākamo lielo izrāvienu AI. Tā saka Bils Dalijs, Nvidia galvenais zinātnieks, kurš otrdien uzstājās EmTech Digital, MIT Technology Review AI konferencē. Viņš teica, ka mūsu pašreizējo dziļās mācīšanās revolūciju ir nodrošinājusi aparatūra.
Kā pierādījumu viņš norādīja uz šīs jomas vēsturi: daudzi algoritmi, kurus mēs izmantojam šodien, ir bijuši kopš 1980. gadiem, un liela apjoma marķētu datu izmantošana neironu tīklu apmācīšanai notika 2000. gadu sākumā. Taču tikai 2010. gadu sākumā — kad grafiskās apstrādes vienības jeb GPU ienāca attēlā — padziļinātās mācīšanās revolūcija patiešām sākās.
Mums ir jāturpina nodrošināt jaudīgāku aparatūru, pretējā gadījumā AI progress patiešām palēnināsies, sacīja Dalijs.
Nvidia tagad pēta trīs galvenos virzienus uz priekšu: specializētāku mikroshēmu izstrāde; samazinot aprēķinu, kas nepieciešams dziļās mācīšanās laikā; un eksperimentējot ar analogo, nevis digitālo mikroshēmu arhitektūru.
Nvidia ir atklājusi, ka īpaši specializētas mikroshēmas, kas paredzētas konkrētam skaitļošanas uzdevumam, var pārspēt GPU mikroshēmas, kas labi apstrādā dažādus aprēķinu veidus. Dallijs sacīja, ka atšķirība varētu būt pat 20% efektivitātes pieaugums tādam pašam veiktspējas līmenim.
Dalijs arī atsaucās uz pētījumu, ko veica Nvidia, lai pārbaudītu atzarošanas potenciālu — ideja, ka jūs varat samazināt aprēķinu skaitu, kas jāveic apmācības laikā, nezaudējot padziļinātas apmācības modeļa precizitāti. Uzņēmuma pētnieki atklāja, ka viņi varēja izlaist aptuveni 90% no šiem aprēķiniem, vienlaikus saglabājot tādu pašu mācīšanās precizitāti. Tas nozīmē, ka tie paši mācību uzdevumi var notikt, izmantojot daudz mazāku mikroshēmu arhitektūru.
Visbeidzot, Dalijs minēja, ka Nvidia tagad eksperimentē ar analogo aprēķinu. Datori uzglabā gandrīz visu informāciju, tostarp skaitļus, kā virkni 0 s vai viens s. Bet analogais aprēķins ļautu tieši kodēt visu veidu vērtības, piemēram, 0,3 vai 0,7. Tam vajadzētu atbloķēt daudz efektīvāku aprēķinu, jo skaitļus var attēlot precīzāk, lai gan Dalijs teica, ka viņa komanda pašlaik nav pārliecināta, kā analogais iederēsies mikroshēmu dizaina nākotnē.
Naveen Rao, Intel korporatīvais viceprezidents un AI produktu grupas ģenerāldirektors, arī uzstājās un salīdzināja AI aparatūras evolūcijas nozīmi ar evolūcijas lomu bioloģijā. Viņš teica, ka žurkām un cilvēkiem evolūcija atšķiras dažu simtu miljonu gadu laikā. Tomēr, neskatoties uz ievērojami uzlabotajām iespējām, cilvēkiem ir tādas pašas pamata skaitļošanas vienības kā viņu līdziniekiem grauzējiem.
Tas pats princips attiecas uz mikroshēmu dizainu, sacīja Rao. Jebkura mikroshēma — vienalga, vai tā būtu specializēta vai elastīga, digitāla vai analoga, optiska vai cita — ir vienkārši substrāts informācijas kodēšanai un manipulēšanai. Bet atkarībā no tā, kā šis substrāts ir izstrādāts, tā varētu būt atšķirība starp žurkas un cilvēka spējām.
Viņš teica, ka arī kukaiņi, tāpat kā žurkas, ir veidoti ar tādām pašām pamatvienībām kā cilvēki. Bet kukaiņiem ir fiksēta arhitektūra, turpretim cilvēkiem ir elastīgāka. Viņš apgalvoja, ka neviens no tiem nav pārāks par otru, taču tie skaidri attīstījās, lai atbilstu dažādiem mērķiem. Kukaiņi, iespējams, var izdzīvot kodolkarā, savukārt cilvēkiem ir daudz sarežģītākas iespējas.
Atkal, šos principus var piemērot mikroshēmu projektēšanai. Tā kā mēs piedāvājam tiešsaistē arvien vairāk viedierīču, ne vienmēr būs jēga sūtīt to datus uz mākoni, lai tos apstrādātu, izmantojot padziļinātas apmācības modeli. Tā vietā var būt lietderīgi pašā ierīcē darbināt nelielu, efektīvu padziļinātas apmācības modeli. Šī ideja, kas pazīstama kā AI uz malas, varētu gūt labumu no specializētām fiksētām mikroshēmu arhitektūrām, kas ir efektīvākas. No otras puses, datu centri, kas nodrošina mākslīgo intelektu mākonī, darbotos ar pilnībā elastīgām un programmējamām mikroshēmu arhitektūrām, lai veiktu daudz plašāku mācību uzdevumu spektru.
Rao atzīmēja, ka neatkarīgi no tā, kādu mikroshēmu dizainu Intel un Nvidia nolems īstenot, ietekme uz AI attīstību būs ievērojama. Vēstures gaitā atsevišķas civilizācijas ir attīstījušās ļoti dažādos veidos to rīcībā esošo unikālo materiālu dēļ. Tāpat operācijas, kuras Intel un Nvidia atvieglo dažādu mikroshēmu dizains, būtiski ietekmēs AI kopienas veiktos mācību uzdevumus.
Rao teica, ka šobrīd esam šajā straujajā pirmskembrijas sprādzienā [čipu arhitektūrām], un ne katrs risinājums uzvarēs.