Kāpēc prasība AI paskaidrot sevi var pasliktināt situāciju?

Frogers gatavojas runāt MS Tech / Getty

Upols Ehsans reiz veica testa braucienu ar Uber pašbraucošo automašīnu. Tā vietā, lai satraukties par tukšo vadītāja sēdekli, satrauktie pasažieri tika mudināti skatīties knupīša ekrānu, kas rādīja ceļu no automašīnas skata: apdraudējumi iezīmēti oranžā un sarkanā krāsā, drošās zonas vēsi zilā krāsā.

Priekš Ehsan , kurš Džordžijas Tehnoloģiju institūtā Atlantā pēta veidu, kā cilvēki mijiedarbojas ar mākslīgo intelektu, iecerētais vēstījums bija skaidrs: nebaidieties — tieši tāpēc automašīna dara to, ko dara. Taču kaut kas citplanētiešu izskata ielas ainā drīzāk izcēla pieredzes dīvainību, nevis nomierināja. Tas lika Ehsanam aizdomāties: kā būtu, ja pašbraucošā automašīna patiešām varētu izskaidrot sevi?

Padziļinātās mācīšanās panākumi ir saistīti ar viltību: labākie neironu tīkli tiek pielāgoti un pielāgoti, lai izveidotu labākus, un praktiskie rezultāti ir apsteiguši teorētisko izpratni. Rezultātā informācija par apmācīta modeļa darbību parasti nav zināma. Mēs esam sākuši tos uzskatīt par melnām kastēm.

Lielāko daļu laika mums tas ir labi, kad runa ir par tādām lietām kā Go atskaņošana vai teksta tulkošana vai nākamās Netflix pārraides izvēle. Bet, ja AI ir jāizmanto, lai palīdzētu pieņemt lēmumus tiesībaizsardzības, medicīniskās diagnostikas un bezvadītāja automašīnām, mums ir jāsaprot, kā tas sasniedz šos lēmumus, un jāzina, kad tie ir nepareizi.

Cilvēkiem ir vajadzīgas tiesības nepiekrist automatizētam lēmumam vai to noraidīt, saka Īrisa Holija , datorzinātnieks Viljamsa koledžā Viljamstaunā, Masačūsetsā. Bez tā cilvēki atteiksies pret tehnoloģiju. Viņa saka, ka tas notiek šobrīd, ņemot vērā sabiedrības reakciju uz sejas atpazīšanas sistēmām.

Ehsan ir daļa no nelielas, bet augošas pētnieku grupas, kas cenšas palīdzēt AI labāk izskaidrot sevi, lai palīdzētu mums ieskatīties melnajā kastē. Tā sauktā interpretējamā vai izskaidrojamā AI (XAI) mērķis ir palīdzēt cilvēkiem saprast, kādas funkcijas datos neironu tīkls patiesībā apgūst, un līdz ar to, vai iegūtais modelis ir precīzs un objektīvs.

Viens no risinājumiem ir izveidot mašīnmācības sistēmas, kas parāda to darbību: tā saukto stikla kasti (pretstatā black-box AI). Glassbox modeļi parasti ir daudz vienkāršotas neironu tīkla versijas, kurās ir vieglāk izsekot, kā dažādi dati ietekmē modeli.

Sabiedrībā ir cilvēki, kuri iestājas par stikla kastes modeļu izmantošanu jebkurā augstā līmenī, saka Dženifera Vortmane Vona , datorzinātnieks uzņēmumā Microsoft Research. Lielā mērā piekrītu. Vienkārši stikla kastes modeļi var darboties tikpat labi kā sarežģītāki neironu tīkli noteikta veida strukturētiem datiem, piemēram, statistikas tabulām. Dažām lietojumprogrammām tas ir viss, kas jums nepieciešams.

Bet tas ir atkarīgs no domēna. Ja mēs vēlamies mācīties no netīriem datiem, piemēram, attēliem vai teksta, mēs esam iestrēguši ar dziļiem un tādējādi necaurredzamiem neironu tīkliem. Šo tīklu spēja izveidot nozīmīgus savienojumus starp ļoti lielu skaitu atšķirīgu pazīmju ir saistīta ar to sarežģītību.

Pat šeit varētu palīdzēt stikla kastes mašīnmācība. Viens no risinājumiem ir veikt datu apstrādi divas reizes, apmācot nepilnīgu stikla kārbas modeli kā atkļūdošanas darbību, lai atklātu iespējamās kļūdas, kuras jūs varētu vēlēties labot. Kad dati ir iztīrīti, var apmācīt precīzāku melnās kastes modeli.

Tomēr tas ir grūts līdzsvars. Pārāk liela pārredzamība var izraisīt informācijas pārslodzi. Iekšā 2018. gada stud Y Aplūkojot, kā nepieredzējuši lietotāji mijiedarbojas ar mašīnmācības rīkiem, Vona atklāja, ka caurspīdīgi modeļi faktiski var apgrūtināt modeļa kļūdu atklāšanu un labošanu.

Vēl viena pieeja ir iekļaut vizualizācijas, kas parāda dažas galvenās modeļa īpašības un tā pamatā esošos datus. Ideja ir tāda, ka jūs varat redzēt nopietnas problēmas vienā mirklī. Piemēram, modelis varētu pārāk daudz paļauties uz noteiktām funkcijām, kas varētu liecināt par novirzi.

Šie vizualizācijas rīki ir izrādījušies neticami populāri īsā laikā, kad tie pastāv. Bet vai tie tiešām palīdz? Iekš pirmais šāda veida pētījums , Vona un viņas komanda ir mēģinājuši to noskaidrot un atklājuši dažas nopietnas problēmas.

Komanda izmantoja divus populārus interpretācijas rīkus, kas sniedz pārskatu par modeli, izmantojot diagrammas un datu diagrammas, izceļot lietas, kuras mašīnmācības modelis mācībās ieguva visvairāk. Vienpadsmit mākslīgā intelekta profesionāļi tika pieņemti darbā no Microsoft, un viņi visi atšķiras izglītības, darba pienākumu un pieredzes ziņā. Viņi piedalījās izspēlētā mijiedarbībā ar mašīnmācības modeli, kas tika apmācīts, pamatojoties uz nacionālā ienākuma datu kopu, kas iegūta no 1994. gada ASV tautas skaitīšanas. Eksperiments tika īpaši izstrādāts, lai atdarinātu veidu, kā datu zinātnieki izmanto interpretējamības rīkus tādos uzdevumos, ar kuriem viņi regulāri saskaras.

Tas, ko komanda atrada, bija pārsteidzoši. Protams, rīki dažreiz palīdzēja cilvēkiem pamanīt datos trūkstošās vērtības. Taču šo lietderību aizēnoja tieksme pārāk uzticēties un nepareizi lasīt vizualizācijas. Dažos gadījumos lietotāji pat nevarēja aprakstīt, kas tika rādīts vizualizācijās. Tas noveda pie nepareiziem pieņēmumiem par datu kopu, modeļiem un pašiem interpretējamības rīkiem. Un tas iedvesa nepatiesu pārliecību par rīkiem, kas dalībniekus lika vairāk šaubīties par modeļu izvietošanu, pat ja viņi juta, ka kaut kas nav īsti pareizi. Satraucoši, ka tā bija patiesība pat tad, ja izvade tika manipulēta, lai parādītu paskaidrojumus, kuriem nebija jēgas.

Lai pamatotu mazo lietotāju pētījuma rezultātus, pētnieki veica tiešsaistes aptauju, kurā piedalījās aptuveni 200 mašīnmācības profesionāļu, kas tika pieņemti darbā, izmantojot adresātu sarakstus un sociālos medijus. Viņi atrada līdzīgu apjukumu un nepareizu pārliecību.

Vēl ļaunāk, daudzi dalībnieki labprāt izmantoja vizualizācijas, lai pieņemtu lēmumus par modeļa izvietošanu, neskatoties uz to, ka viņi atzina, ka viņi nesaprot matemātiku. Īpaši pārsteidzoši bija redzēt, ka cilvēki attaisno datu dīvainības, veidojot stāstus, kas tās izskaidro, saka Harmanprēts Kaurs Mičiganas Universitātē, pētījuma līdzautors. Automatizācijas novirze bija ļoti svarīgs faktors, ko mēs nebijām ņēmuši vērā.

Ak, automatizācijas novirze. Citiem vārdiem sakot, cilvēki ir gatavi uzticēties datoriem. Tas nav jaunums parādība . Runājot par automatizētām sistēmām, sākot no lidmašīnu autopilotiem līdz pareizrakstības pārbaudītājiem, pētījumi liecina, ka cilvēki bieži pieņem izdarītās izvēles pat tad, ja tās ir acīmredzami nepareizas. Bet, ja tas notiek ar rīkiem, kas paredzēti, lai palīdzētu mums izvairīties no šīs parādības, mums ir vēl lielāka problēma.

Ko mēs varam darīt lietas labā? Dažiem daļa no problēmām ar pirmo XAI vilni ir tāda, ka tajā dominē mašīnmācības pētnieki, no kuriem lielākā daļa ir AI sistēmu eksperti. Saka Tims Millers no Melburnas Universitātes, kurš pēta, kā cilvēki izmanto AI sistēmas: Ieslodzītie vada patvērumu.

To Ehsans saprata, sēžot bezvadītāja Uber aizmugurē. Ir vieglāk saprast, ko dara automatizēta sistēma, un redzēt, kad tā pieļauj kļūdu, ja tā pamato savas darbības tā, kā to darītu cilvēks. Ehsans un viņa kolēģis Marks Rīdls izstrādā mašīnmācības sistēmu, kas automātiski ģenerē šādus pamatojumus dabiskā valodā . Agrīnā prototipā pāris izmantoja neironu tīklu, kas bija iemācījies spēlēt klasisko 1980. gadu videospēli Frogger, un apmācīja to, lai tas sniegtu iemeslu ikreiz, kad tas veica kustību.

Ehsan un Riedl's Frogger Explanation programmatūras Upol Ehsan ekrānuzņēmums

Lai to izdarītu, viņi sistēmai parādīja daudzus piemērus, kā cilvēki spēlē spēli, skaļi runājot par to, ko viņi dara. Pēc tam viņi izmantoja neironu tīklu tulkošanai starp divām dabiskajām valodām un pielāgoja to, lai tā vietā tulkotu starp spēles darbībām un šo darbību pamatojumu dabiskajā valodā. Tagad, kad neironu tīkls redz darbību spēlē, tas pārvērš to skaidrojumā. Rezultāts ir Frogger spēlējošs AI, kas saka, piemēram, es pārvietojos pa kreisi, lai paliktu aiz zilās kravas automašīnas katru reizi, kad tā kustas.

Ehsana un Rīdla darbs ir tikai sākums. Pirmkārt, nav skaidrs, vai mašīnmācības sistēma vienmēr spēs nodrošināt savas darbības dabiskās valodas pamatojumu. Izmantojiet DeepMind galda spēļu AI AlphaZero. Viena no visspilgtākajām programmatūras iezīmēm ir tās spēja veikt uzvaras gājienus, ko vairums spēlētāju tajā spēles brīdī neiedomātos izmēģināt. Ja AlphaZero spētu izskaidrot savas kustības, vai tām vienmēr būtu jēga?

Iemesli palīdz neatkarīgi no tā, vai mēs tos saprotam, vai nē, saka Ehsan: uz cilvēku vērsta XAI mērķis ir ne tikai likt lietotājam piekrist AI teiktajam, bet arī izraisīt pārdomas. Rīdls atceras, ka skatījies tiešraidi turnīra spēlē starp DeepMind's AI un korejiešu Go čempionu Lī Sedolu. Komentētāji runāja par to, ko AlphaGo redzēja un domāja. 'Tā AlphaGo nedarbojās,' saka Rīdls. 'Bet man šķita, ka komentārs ir būtisks, lai saprastu, kas notiek.'

Šis jaunais XAI pētnieku vilnis ir vienisprātis, ka, ja mākslīgā intelekta sistēmas izmantos vairāk cilvēku, šiem cilvēkiem ir jābūt daļai no dizaina jau no paša sākuma, un dažādiem cilvēkiem ir vajadzīgi dažādi skaidrojumi. (To apstiprina jauns Haulijas un viņas kolēģu pētījums, kurā viņi parāda, ka cilvēku spēja izprast interaktīvu vai statisku vizualizāciju ir atkarīga no viņu izglītības līmeņa.) Padomājiet par vēzi diagnosticējošu AI, saka Ehsan. Jūs vēlaties, lai paskaidrojums, ko tas sniedz onkologam, ļoti atšķirtos no paskaidrojuma, ko tas sniedz pacientam.

Galu galā mēs vēlamies, lai mākslīgais intelekts izskaidrotu sevi ne tikai datu zinātniekiem un ārstiem, bet arī policistiem, kuri izmanto sejas atpazīšanas tehnoloģiju, skolotājiem, kuri savās klasēs izmanto analītikas programmatūru, studentiem, kuri cenšas izprast viņu sociālo mediju plūsmas, un ikvienam, kas sēž aizmugurējā sēdeklī. no pašbraucošas automašīnas. Mēs vienmēr esam zinājuši, ka cilvēki pārāk uzticas tehnoloģijai, un tas jo īpaši attiecas uz AI sistēmām, saka Riedls. Jo vairāk jūs sakāt, ka tas ir gudrs, jo vairāk cilvēki ir pārliecināti, ka tas ir gudrāks nekā viņi ir.

Ikvienam saprotamiem skaidrojumiem vajadzētu palīdzēt uzpūst šo burbuli.

paslēpties