Veids, kā mēs apmācām AI, ir fundamentāli kļūdains

Getty Images

Nav noslēpums, ka mašīnmācības modeļi ir noregulēti un pielāgoti gandrīz ideāliem sniegums laboratorijā bieži neizdodas reālos iestatījumos. Parasti tas ir saistīts ar neatbilstību starp datiem, uz kuriem AI tika apmācīts un pārbaudīts, un datiem, ar kuriem tas saskaras pasaulē. Šo problēmu sauc par datu maiņu. Piemēram, mākslīgais intelekts, kas apmācīts pamanīt slimības pazīmes augstas kvalitātes medicīniskos attēlos, to darīs cīnās ar izplūdušiem vai apgrieztiem attēliem iemūžināta ar lētu kameru aizņemtā klīnikā.

Tagad 40 pētnieku grupa septiņās dažādās Google komandās ir identificējusi vēl viens galvenais mašīnmācīšanās modeļu neveiksmes iemesls . To sauc par nepietiekamu specifikāciju, tā varētu būt vēl lielāka problēma nekā datu maiņa. Mēs prasām vairāk no mašīnmācīšanās modeļiem, nekā spējam garantēt ar mūsu pašreizējo pieeju, saka Alekss D’Amūrs, pētījuma vadītājs.

Saistīts stāsts

Google medicīniskā AI laboratorijā bija ļoti precīza. Reālā dzīve bija cits stāsts. Ja mākslīgais intelekts patiešām ietekmēs pacientus, mums ir jāzina, kā tas darbojas, kad reālās situācijās to dara reāli cilvēki.

Nepietiekama specifikācija ir zināma problēma statistikā, kur novērotajai ietekmei var būt daudz iemeslu. D’Amūrs, kuram ir pieredze cēloņsakarībā, vēlējās uzzināt, kāpēc viņa paša mašīnmācības modeļi praksē bieži cieta neveiksmi. Viņš domāja, vai arī šeit problēma varētu būt nepietiekama specifikācija. D'Amour drīz saprata, ka daudzi viņa kolēģi pamanīja to pašu problēmu savos modeļos. Tā patiesībā ir parādība, kas notiek visur, viņš saka.

D’Amour sākotnējā izmeklēšana sasniga, un desmitiem Google pētnieku beidzās ar dažādu mākslīgā intelekta lietojumprogrammu klāstu, sākot no attēlu atpazīšanas līdz dabiskās valodas apstrāde (NLP) uz slimības prognoze . Viņi atklāja, ka nepietiekama specifikācija bija vainojama sliktajā sniegumā visās no tām. Problēma ir tajā, ka mašīnmācības modeļi tiek apmācīti un pārbaudīti, un to nav viegli atrisināt.

Papīrs ir graujoša bumba, saka Brendons Rors, iRobot mašīnmācības inženieris, kurš iepriekš strādāja Facebook un Microsoft un nebija iesaistīts darbā.

Tas pats, bet atšķirīgs

Lai precīzi saprastu, kas notiek, mums ir nedaudz jādublē. Aptuveni runājot, mašīnmācības modeļa izveide ietver tā apmācību, izmantojot lielu skaitu piemēru, un pēc tam testēšanu, izmantojot virkni līdzīgu piemēru, kurus tas vēl nav redzējis. Kad modelis ir izturējis pārbaudi, esat pabeidzis.

Google pētnieki norāda, ka šī latiņa ir pārāk zema. Apmācības process var radīt daudz dažādu modeļu, kas visi iztur testu, taču — un tā ir izšķirošā daļa — šie modeļi atšķirsies nelielos, patvaļīgos veidos atkarībā no tādām lietām kā nejaušās vērtības, kas tiek piešķirtas mezgliem neironu tīklā pirms apmācības sākuma. , veids, kā tiek atlasīti vai attēloti treniņu dati, treniņu skrējienu skaits un tā tālāk. Šīs mazās, bieži vien nejaušās atšķirības parasti netiek ņemtas vērā, ja tās neietekmē modeļa veiktspēju testā. Bet izrādās, ka tie var izraisīt milzīgas veiktspējas atšķirības reālajā pasaulē.

Citiem vārdiem sakot, process, ko šodien izmanto, lai izveidotu lielāko daļu mašīnmācības modeļu, nevar noteikt, kuri modeļi darbosies reālajā pasaulē un kuri nedarbosies.

Tas nav tas pats, kas datu maiņa, kad apmācībā neizdodas izveidot labu modeli, jo apmācības dati neatbilst reālās pasaules piemēriem. Nepietiekama specifikācija nozīmē kaut ko citu: pat ja apmācības process var radīt labu modeli, tas joprojām var izspļaut sliktu modeli, jo tas nezinās atšķirību. Mēs arī ne.

Pētnieki aplūkoja nepietiekamas specifikācijas ietekmi uz vairākiem dažādiem lietojumiem. Katrā gadījumā viņi izmantoja vienus un tos pašus apmācības procesus, lai izveidotu vairākus mašīnmācības modeļus, un pēc tam veica šos modeļus, izmantojot stresa testus, kas izstrādāti, lai izceltu konkrētas atšķirības to darbībā.

Saistīts stāsts

AI cīnās ar replikācijas krīzi Tehnoloģiju giganti dominē pētniecībā, taču robeža starp patiesu izrāvienu un produktu demonstrēšanu var būt neskaidra. Dažiem zinātniekiem pietika.

Piemēram, viņi apmācīja 50 attēlu atpazīšanas modeļa versijas vietnē ImageNet — ikdienas objektu attēlu datu kopa. Vienīgā atšķirība starp treniņiem bija nejaušās vērtības, kas sākumā tika piešķirtas neironu tīklam. Tomēr, neskatoties uz to, ka visi 50 modeļi treniņu pārbaudē ieguva vairāk vai mazāk vienādus punktus, kas liecina, ka tie bija vienlīdz precīzi, to veiktspēja stresa testā ļoti atšķīrās.

Stresa testā tika izmantota ImageNet-C — attēlu datu kopa no ImageNet, kas ir pikselēti vai kuru spilgtums un kontrasts ir mainīts, un ObjectNet , datu kopa ar attēliem, kuros redzami ikdienas priekšmeti neparastās pozās, piemēram, krēsli uz muguras, otrādi apgrieztas tējkannas un T-krekli, kas karājās no āķiem. Dažām no 50 modelēm labi veicās ar pikseļu attēliem, dažiem – neparastās pozas; dažiem kopumā veicās daudz labāk nekā citiem. Bet, kas attiecas uz standarta apmācības procesu, tie visi bija vienādi.

Pētnieki veica līdzīgus eksperimentus ar divām dažādām NLP sistēmām un trim medicīnas AI, lai prognozētu acu slimības no tīklenes skenēšanas, vēzi no ādas bojājumiem un nieru mazspēju no pacientu ierakstiem. Katrai sistēmai bija viena un tā pati problēma: modeļi, kuriem vajadzēja būt vienlīdz precīziem, tika veikti atšķirīgi, pārbaudot ar reāliem datiem, piemēram, dažādiem tīklenes skenēšanas gadījumiem vai ādas tipiem.

Mums, iespējams, būs jāpārdomā, kā mēs novērtējam neironu tīklus, saka Rorers. Tas rada dažas būtiskas nepilnības mūsu izdarītajos pamatpieņēmumos.

D’Amour piekrīt. Viņš saka, ka lielākais tūlītējais rezultāts ir tas, ka mums ir jāveic daudz vairāk testu. Tas tomēr nebūs viegli. Stresa testi tika īpaši pielāgoti katram uzdevumam, izmantojot datus, kas ņemti no reālās pasaules, vai datus, kas atdarināja reālo pasauli. Tas ne vienmēr ir pieejams.

Daži stresa testi arī ir pretrunā viens ar otru: piemēram, modeļi, kas labi atpazina pikseļu attēlus, bieži vien slikti atpazina attēlus ar augstu kontrastu. Iespējams, ne vienmēr ir iespējams apmācīt vienu modeli, kas iztur visus stresa testus.

Vairākas izvēles iespējas

Viena no iespējām ir apmācības un testēšanas procesam izveidot papildu posmu, kurā vienlaikus tiek ražoti daudzi modeļi, nevis viens. Šos konkurējošos modeļus pēc tam var vēlreiz pārbaudīt konkrētos reālās pasaules uzdevumos, lai izvēlētos darbam piemērotāko.

Tas ir daudz darba. Bet tādam uzņēmumam kā Google, kas veido un izvieto lielus modeļus, tas varētu būt tā vērts, saka Janiks Kilčers, ETH Cīrihes mašīnmācības pētnieks. Viņš saka, ka Google varētu piedāvāt 50 dažādas NLP modeļa versijas, un lietojumprogrammu izstrādātāji varētu izvēlēties sev piemērotāko.

D'Amour un viņa kolēģi vēl nav atraduši risinājumu, taču viņi pēta veidus, kā uzlabot apmācības procesu. Viņš saka, ka mums ir labāk jāprecizē, kādas tieši mūsu prasības ir mūsu modeļiem. Jo bieži vien tas, kas beidzas, ir tas, ka mēs atklājam šīs prasības tikai pēc tam, kad modelis ir izgāzies pasaulē.

Labojuma iegūšana ir ļoti svarīga, lai mākslīgajam intelektam būtu tikpat liela ietekme ārpus laboratorijas, cik tai ir iekšā. Kad mākslīgā intelekta darbība reālajā pasaulē ir zemāka, cilvēki nevēlas to izmantot, saka līdzautore Ketrīna Hellere, kas strādā Google AI veselības aprūpes jomā: Mēs esam zaudējuši lielu uzticību, kad runa ir par slepkavām. , tā ir svarīga uzticība, ko vēlamies atgūt.

paslēpties