Uzsākšana, kas padara iespējamu dziļu mācīšanos bez specializētas aparatūras

Neironu maģija

Atklājums, kas lika Niram Šavitam dibināt uzņēmumu, radās tā, kā to dara lielākā daļa atklājumu: nejauši. MIT profesors strādāja pie projekta, lai rekonstruētu peles smadzeņu karti, un viņam bija vajadzīga palīdzība no dziļas mācīšanās. Nezinot, kā programmēt grafiskās kartes vai GPU, kas ir visizplatītākā aparatūras izvēle dziļi apmācītiem modeļiem, viņš tā vietā izvēlējās centrālo procesoru jeb CPU, visparastāko datora mikroshēmu, kas atrodama jebkurā vidējā klēpjdatorā.

Lūk, Šavits atgādina, ka es sapratu, ka CPU var darīt to pašu, ko dara GPU — ja tas ir pareizi ieprogrammēts.

Šis ieskats tagad ir pamats viņa startam Neural Magic, kas šodien laida klajā savu pirmo produktu komplektu. Ideja ir ļaut jebkuram uzņēmumam izvietot padziļinātas apmācības modeli, neizmantojot specializētu aparatūru. Tas ne tikai samazinātu padziļinātas apmācības izmaksas, bet arī padarītu AI pieejamu plašāku.

Tas nozīmētu, ka jūs varētu izmantot neironu tīklus daudzās citās mašīnās un daudzās citās esošo mašīnas, saka Neils Tompsons, MIT Datorzinātņu un mākslīgā intelekta laboratorijas pētnieks, kurš nav iesaistīts neironu maģijā. Jums nav nepieciešams jaunināt uz kaut ko īpašu.

GPU kļuva par izvēlēto aparatūru padziļinātai apmācībai lielā mērā nejaušības dēļ. Sākotnēji mikroshēmas tika izstrādātas, lai ātri atveidotu grafiku tādās lietojumprogrammās kā videospēles. Atšķirībā no centrālajiem procesoriem, kuriem ir četri līdz astoņi sarežģīti kodoli dažādu aprēķinu veikšanai, GPU ir simtiem vienkāršu kodolu, kas var veikt tikai noteiktas darbības, taču kodoli var veikt savas darbības vienlaikus, nevis viens pēc otra, tādējādi samazinot laiku. tas nepieciešams, lai pabeigtu intensīvu aprēķinu.

Nepagāja ilgs laiks, līdz AI pētnieku kopiena saprata, ka šī masveida paralēlizācija arī padara GPU lieliski piemērotus padziļinātai apmācībai. Tāpat kā grafikas renderēšana, dziļā mācīšanās ietver vienkāršus matemātiskus aprēķinus, kas veikti simtiem tūkstošu reižu. 2011. gadā sadarbībā ar mikroshēmu ražotāju Nvidia, Google atrasts ka datorredzes modelis, ko tas bija apmācījis uz 2000 CPU, lai atšķirtu kaķus no cilvēkiem, varētu sasniegt tādu pašu veiktspēju, ja to apmācīja tikai 12 GPU. GPU kļuva par de facto mikroshēmu modeļu apmācībai un secinājumiem — skaitļošanas process, kas notiek, kad apmācīts modelis tiek izmantots uzdevumiem, kuriem tas tika apmācīts.

Bet arī GPU nav ideāli piemēroti padziļinātai apmācībai. Pirmkārt, tie nevar darboties kā atsevišķa mikroshēma. Tā kā to darbības veidi ir ierobežoti, tie ir jāpievieno centrālajiem procesoriem, lai veiktu visu pārējo. GPU ir arī ierobežots kešatmiņas apjoms, datu uzglabāšanas zona, kas atrodas vistuvāk mikroshēmas procesoriem. Tas nozīmē, ka lielākā daļa datu tiek glabāti ārpus mikroshēmas un tie ir jāizgūst, kad ir pienācis laiks apstrādei. Turp un atpakaļ datu plūsma kļūst par aprēķinu sašaurinājumu, ierobežojot ātrumu, ar kādu GPU var palaist dziļās mācīšanās algoritmus.

Neironu maģijas birojs.

NEIRĀLĀ MAĢIJA

Pēdējos gados, desmitiem uzņēmumu ir izstrādājuši AI mikroshēmas, kas apiet šīs problēmas. Problēma ir tāda, ka jo specializētāka ir aparatūra, jo dārgāka tā kļūst.

Tāpēc Neural Magic plāno novērst šo tendenci. Tā vietā, lai strādātu ar aparatūru, uzņēmums pārveidoja programmatūru. Tas pārveidoja dziļās mācīšanās algoritmus, lai efektīvāk darbotos ar CPU, izmantojot mikroshēmu lielo pieejamo atmiņu un sarežģītos kodolus. Lai gan šī pieeja zaudē ātrumu, kas sasniegts, izmantojot GPU paralēlizēšanu, tiek ziņots, ka tā iegūst apmēram tikpat daudz laika, jo nav nepieciešams pārsūtīt datus mikroshēmā un no tās. Uzņēmums saka, ka algoritmi var darboties CPU ar GPU ātrumu, taču par nelielu daļu no izmaksām. Izklausās, ka tas, ko viņi ir paveikuši, ir izdomājuši veidu, kā izmantot CPU atmiņu tādā veidā, kādu cilvēki iepriekš nav izdarījuši, saka Tompsons.

Neural Magic uzskata, ka var būt daži iemesli, kāpēc neviens iepriekš nav izmantojis šo pieeju. Pirmkārt, tas ir pretintuitīvs. Ideja, ka dziļai apmācībai ir nepieciešama specializēta aparatūra, ir tik ļoti iesakņojusies, ka citas pieejas var viegli aizmirst. Otrkārt, mākslīgā intelekta izmantošana rūpniecībā joprojām ir salīdzinoši jauna, un uzņēmumi tikai sāk meklēt vienkāršākus veidus, kā izvietot dziļās mācīšanās algoritmus. Tomēr joprojām nav skaidrs, vai pieprasījums ir pietiekami liels, lai Neural Magic varētu pacelties. Uzņēmums ir testējis savu produktu ar aptuveni 10 uzņēmumiem, kas ir tikai daļa no plašākas AI nozares.

Mēs vēlamies uzlabot ne tikai neironu tīklus, bet arī skaitļošanu kopumā.

Nīls Tompsons

Neironu maģija šobrīd piedāvā savu tehniku, lai secinātu uzdevumus datorredzē. Klientiem joprojām ir jāapmāca savi modeļi, izmantojot specializētu aparatūru, bet pēc tam var izmantot Neural Magic programmatūru, lai pārveidotu apmācītu modeli ar CPU saderīgā formātā. Viens klients, liels mikroskopijas iekārtu ražotājs, tagad izmēģina šo pieeju, lai pievienotu ierīces AI iespējas saviem mikroskopiem, saka Shavit. Tā kā mikroskopiem jau ir CPU, tiem nav nepieciešama papildu aparatūra. Turpretim, izmantojot uz GPU balstītu padziļinātas apmācības modeli, aprīkojumam būtu jābūt apjomīgākam un vairāk enerģijas izsalkušam.

Cits klients vēlas izmantot Neural Magic, lai apstrādātu drošības kameru kadrus. Tas ļautu uzraudzīt satiksmi ēkā un no tās, izmantojot uz vietas jau pieejamus datorus; pretējā gadījumā tai var būt jānosūta filmētais materiāls uz mākoni, kas var radīt privātuma problēmas, vai jāiegādājas īpaša aparatūra katrai ēkai, ko tā uzrauga.

Šavits saka, ka arī secinājumu izdarīšana ir tikai sākums. Neural Magic plāno paplašināt savu piedāvājumu nākotnē, lai palīdzētu uzņēmumiem vilciens viņu AI modeļi arī CPU. Mēs uzskatām, ka pēc 10 līdz 20 gadiem CPU būs faktiskais materiāls mašīnmācības algoritmu darbināšanai, viņš saka.

Tompsons nav tik pārliecināts. Viņš saka, ka ekonomika ir patiešām mainījusies mikroshēmu ražošanā, un tas novedīs pie daudz lielākas specializācijas. Turklāt, lai gan Neural Magic tehnika nodrošina lielāku veiktspēju no esošās aparatūras, fundamentālie aparatūras uzlabojumi joprojām būs vienīgais veids, kā turpināt skaitļošanu. Viņš saka, ka tas izklausās kā patiešām labs veids, kā uzlabot veiktspēju neironu tīklos. Taču mēs vēlamies uzlabot ne tikai neironu tīklus, bet arī skaitļošanu kopumā.

paslēpties