211service.com
Kā AI var turpināt paātrināties pēc Mūra likuma
Šķiet, ka jaunas idejas mikroshēmu dizainā ļaus programmatūrai kļūt gudrākai. 2017. gada 30. maijs
Andrea Hronopuls
Google izpilddirektors Sundars Pichai acīmredzami bija sajūsmā, kad viņš runāja ar izstrādātājiem par viņa mašīnmācību laboratorijas panākumiem šī mēneša sākumā. Pētnieki bija izdomājuši, kā automatizēt daļu no mašīnmācības programmatūras izstrādes darbiem, kas varētu ievērojami atvieglot tehnoloģijas ieviešanu jaunās situācijās un nozarēs.
Taču projekts jau bija ieguvis reputāciju mākslīgā intelekta pētnieku vidū cita iemesla dēļ: veids, kā tas ilustrēja milzīgos skaitļošanas resursus, kas nepieciešami, lai konkurētu mašīnmācības visprogresīvākās jomās.
Google pētnieku rakstā teikts, ka viņi vienlaikus izmantoja pat 800 jaudīgus un dārgus grafikas procesorus, kuriem ir bijusi izšķiroša nozīme nesenajā mašīnmācības jaudas pieaugumā (skatiet 10 Breakthrough Technologies 2013: Deep Learning ). Viņi stāstīja MIT tehnoloģiju apskats ka projekts uz divām nedēļām bija piesaistījis simtiem mikroshēmu, padarot šo metodi pārāk resursietilpīgu, lai tas būtu vairāk nekā pētniecības projekts pat Google.
Kodētājam bez piekļuves milzīgai GPU kolekcijai būtu vajadzīgas dziļas kabatas, lai atkārtotu eksperimentu. 800 GPU noma no Amazon mākoņdatošanas pakalpojuma tikai uz nedēļu izmaksātu aptuveni 120 000 USD par norādītajām cenām.
Andrea Hronopuls
Datu ievadīšana dziļās apmācības programmatūrā, lai to apmācītu konkrētam uzdevumam, ir daudz resursietilpīgāka nekā sistēmas palaišana pēc tam, taču tas joprojām prasa ievērojamas izmaiņas. Skaitļošanas jauda šobrīd ir vājš kakls mašīnmācībā, saka Reza Zadehs , Stenfordas universitātes docents un dibinātājs un izpilddirektors Matroid , startup, kas palīdz uzņēmumiem izmantot programmatūru, lai identificētu objektus, piemēram, automašīnas un cilvēkus drošības kadros un citos video.
Pēkšņas alkas pēc jauna spēka, lai vadītu AI, rodas laikā, kad skaitļošanas nozare pielāgojas divu lietu zaudēšanai, uz kurām tā ir paļāvusies 50 gadus, lai saglabātu mikroshēmu jaudīgākas. Viens no tiem ir Mūra likums, kas paredz, ka tranzistoru skaits, ko varētu ievietot noteiktā mikroshēmas zonā, dubultosies ik pēc diviem gadiem. Otrs ir fenomens, ko sauc par Denarda mērogošanu, kas apraksta, kā tranzistoru izmantotā jauda samazinās, kad tie sarūk.
Ne viens, ne otrs šodien neatbilst patiesībai. Intel ir palēninājusi tempu, kādā tas ievieš jaunas mikroshēmu paaudzes ar mazākiem, blīvākiem tranzistoriem (skatiet Mūra likums ir miris. Kas tagad ir?) . Un parastais efektivitātes pieaugums, ko uzrādīja tranzistori, kļūstot mazākiem, apstājās 2000. gadu vidū, padarot enerģijas patēriņu par pamatīgām galvassāpēm.
Labās ziņas tiem, kas liek likmes uz AI, ir tādas, ka grafikas mikroshēmas līdz šim ir spējušas pārvarēt gravitāciju. Nesen notikušajā vadošā grafikas mikroshēmu ražotāja Nvidia konferencē izpilddirektors Jensens Huangs parādīja diagrammu, kurā parādīts, kā viņa mikroshēmu veiktspēja ir turpinājusi eksponenciāli palielināties, kamēr vispārējas nozīmes procesoru jeb CPU veiktspējas pieaugums ir palēninājies.
Dags Burgers, izcils Microsoft NExT nodaļas inženieris, kas strādā pie jaunu tehnoloģiju komercializācijas, saka, ka līdzīga plaisa veidojas starp parasto un mašīnmācīšanās programmatūru. Jūs sākat redzēt [veiktspējas] plato vispārējai programmatūrai — tā ir pārstājusi uzlaboties vēsturiskajos tempos, taču šī AI informācija joprojām strauji pieaug, viņš saka.
Burger domā, ka šī tendence turpināsies. Viņš saka, ka inženieri ir saglabājuši GPU jaudīgākus, jo tie var būt vairāk specializēti konkrētajai matemātikai, kas tiem nepieciešama grafikai vai mašīnmācībai.
Tāda pati ideja ir aiz Microsoft vadītā projekta Burger, kas AI programmatūrai piešķir lielāku jaudu, izmantojot pārkonfigurējamas mikroshēmas, ko sauc par FPGA. Tas arī motivē jaunizveidotos uzņēmumus un milžus, piemēram, Google, radot jaunas mikroshēmas, kas pielāgotas mašīnmācības nodrošināšanai (skatiet Google atklāj jaudīgu jaunu AI mikroshēmu un superdatoru).
Ilgtermiņā būs nepieciešamas radikālākas izmaiņas datoru mikroshēmu darbībā, lai AI kļūtu jaudīgāks. Viena iespēja ir izveidot mikroshēmas, kas netiek pievienotas precīzi. Prototipi ir parādījuši, ka tie var padarīt datorus efektīvākus, nemazinot mašīnmācīšanās programmatūras rezultātu precizitāti (skatiet sadaļu Kāpēc matemātikas mikroshēma var palīdzēt datoriem risināt grūtākas problēmas ).
Būtiski varētu būt arī mikroshēmu dizaini, kas tieši kopē no bioloģijas. IBM un citi ir izveidojuši mikroshēmu prototipu, kas aprēķina, izmantojot strāvas lēcienus, līdzīgi kā darbojas mūsu neironi (skatiet Silīcija domāšanu). Pat vienkārši dzīvnieki, norāda Bērgers, patērē maz enerģijas, lai paveiktu lietas, kas pārsniedz mūsdienu robotu un programmatūras iespējas — tas ir pierādījums tam, ka datoriem ir vēl daudz darāmā.
Paskatieties uz aprēķiniem, ko veic tarakāns, viņš saka. Ir pierādījumi, kas liecina, ka ir pieejams daudz vairāk veiktspējas un efektivitātes kārtu. Mums var būt atlicis AI mērogošana gadu desmitiem.