Mums ir jāizveido neuzticēšanās AI sistēmām, lai padarītu tās drošākas

ar ACM pieklājību

Ayanna Howard vienmēr ir centusies izmantot robotus un AI, lai palīdzētu cilvēkiem. Savas gandrīz 30 gadus ilgās karjeras laikā viņa ir uzbūvējusi neskaitāmus robotus: Marsa izpētei, bīstamo atkritumu tīrīšanai un palīdzībai bērniem ar īpašām vajadzībām. Šajā procesā viņa ir izstrādājusi iespaidīgu paņēmienu klāstu robotu manipulācijām, autonomai navigācijai un datorredzei. Un viņa vadīja lauku, lai pētītu kopīgu kļūdu cilvēkus: mēs novietojam pārāk lielu uzticību automatizētām sistēmām.

12. maijā Datortehnikas asociācija Hovardam piešķīra šī gada Atēnas lektora balvu, ar kuru tiek apbalvotas sievietes, kuras ir devušas būtisku ieguldījumu datorzinātnēs. Organizācija godināja ne tikai Hovarda iespaidīgo zinātnisko sasniegumu sarakstu, bet arī viņas aizraušanos un apņemšanos atdot savai kopienai. Kamēr viņa ir bijusi slavena tehnoloģe, viņa ir arī izveidojusi un vadījusi daudzas programmas, kuru mērķis ir palielināt jaunu sieviešu un nepietiekami pārstāvēto minoritāšu līdzdalību un noturību šajā jomā.

Martā pēc 16 gadiem, kas bija profesori Džordžijas Tehnoloģiju institūtā, viņa sāka ieņemt jaunu amatu Ohaio štata universitātes inženierzinātņu koledžas dekāne. Viņa ir pirmā sieviete, kas ieņem šo amatu. Dienā, kad viņa saņēma ACM balvu, es runāju ar Hovardu par viņas karjeru un jaunākajiem pētījumiem.

Šis ir rediģēts garuma un skaidrības labad.

Esmu ievērojis, ka jūs izmantojat terminu humāno izlūkdatu, lai aprakstītu savu pētījumu, nevis mākslīgo intelektu. Kāpēc ir tā, ka?

Jā, es sāku izmantot šo dokumentā 2004. gadā. Es domāju par to, kāpēc mēs strādājam pie izlūkošanas robotikas un AI sistēmām. Nav tā, ka mēs vēlamies izveidot šīs inteliģentās funkcijas ārpus mūsu mijiedarbības ar cilvēkiem. Mūs motivē cilvēku pieredze, cilvēku dati, cilvēku ieguldījums. Mākslīgais intelekts nozīmē, ka tas ir cita veida intelekts, turpretim humanizētais intelekts saka, ka tas ir inteliģents, bet to motivē cilvēka konstrukcija. Un tas nozīmē, kad mēs izveidojam šīs sistēmas, mēs arī nodrošinām, ka tai ir arī dažas no mūsu sabiedrības vērtībām.

Kā jūs nonācāt šajā darbā?

To galvenokārt motivēja mans doktora pētījums. Tajā laikā es strādāju pie robota manipulatora apmācības, lai novērstu apdraudējumus slimnīcā. Tas bija tajos laikos, kad jums nebija šo jauko drošo vietu, kur ievietot adatas. Adatas tika ievietotas vienā miskastē kā viss pārējais, un tur bija gadījumi, kad slimnīcu strādnieki saslimst. Tāpēc es domāju par: kā jūs projektējat robotus, lai palīdzētu šajā vidē?

Tātad ļoti agri runa bija par cilvēkiem noderīgu robotu veidošanu. Un tas atzina, ka mēs nezinājām, kā veidot robotus, lai ļoti labi veiktu dažus no šiem uzdevumiem. Bet cilvēki to dara visu laiku, tāpēc atdarināsim, kā cilvēki to dara. Tā tas sākās.

Tad es strādāju ar NASA un centos domāt par turpmāko Marsa rovera navigāciju. Un atkal bija tā: Zinātnieki to var izdarīt patiešām, ļoti labi. Tāpēc es gribētu, lai zinātnieki teledarbinātu šos roverus un paskatītos, ko viņi redz šo roveru kamerās, un pēc tam mēģinātu noskaidrot, kā tie brauc, pamatojoties uz to. Tā vienmēr bija tēma: kāpēc es vienkārši neeju pie cilvēku ekspertiem, nešifrēju, ko viņi dara, pēc algoritma un tad nelieku robotam to saprast?

Vai toreiz citi cilvēki domāja un runāja par AI un robotiku tādā veidā, kas ir vērsts uz cilvēku? Vai arī jūs bijāt dīvains ārzemnieks?

Ak, es biju pavisam dīvains ārzemnieks. Es uz lietām skatījos savādāk nekā visi citi. Un toreiz nebija ceļveža, kā veikt šāda veida pētījumus. Patiesībā, tagad atskatoties uz to, kā es veicu pētījumu, es to darītu pavisam savādāk. Kopš tā laika šajā jomā ir parādījusies visa šī pieredze un zināšanas.

Kurā brīdī jūs pārgājāt no domām par robotu veidošanu, kas palīdz cilvēkiem, uz vairāk domājot par robotu un cilvēku attiecībām?

To lielā mērā motivēja šis pētījums mēs darījām ārkārtas evakuāciju un robotu uzticību. Tas, ko mēs vēlējāmies redzēt, bija, kad cilvēki atrodas augsta riska un laika ziņā kritiskā situācijā, vai viņi uzticēsies robota vadībai? Tāpēc mēs nonācām cilvēkus pamestā biroja ēkā universitātē, un viņi ļāva ar ceļvedi robots. Mēs izveidojām stāstu par robotu un to, kā viņiem bija jāpiedalās aptaujā. Kamēr viņi tur atradās, mēs piepildījām ēku ar dūmiem un iedarbinājām ugunsdzēsības signalizāciju.

Tāpēc mēs vēlējāmies redzēt, vai viņi dodas uz ārdurvīm, vai viņi dosies uz izejas zīmi, vai arī sekos robota norādījumiem, kas viņus ved citā virzienā?

Mēs domājām, ka cilvēki dosies uz ārdurvīm, jo ​​tas bija veids, kā viņi ienāca, un iepriekšējie pētījumi liecina, ka cilvēki, nonākot ārkārtas situācijā, mēdz doties tur, kur viņi ir pazīstami. Vai arī mēs domājām, ka viņi sekos izejas zīmēm, jo ​​tā ir apmācīta uzvedība. Bet dalībnieki to darīja nē dari šo. Viņi faktiski seko robota norādījumiem.

Tad mēs ieviesām dažas kļūdas. Mums lika robotam salūzt, lika tam iet pa apli, lika tam aizvest jūs virzienā, kurā jums bija jāpārvieto mēbeles. Mēs domājām kādā brīdī, kad cilvēks teiktu, ļaujiet man iet uz durvīm, vai ļaujiet man iet uz izejas zīmi tieši tur. Tas mūs burtiski aizveda līdz pašām beigām, līdz cilvēki pārstāja sekot robota vadībai.

Tā bija pirmā reize, kad mūsu hipotēzes bija pilnīgi nepareizas. Es nespēju noticēt, ka cilvēki uzticas sistēmai. Tas ir interesanti un aizraujoši, un tā ir problēma.

Vai kopš šī eksperimenta esat redzējis, ka šī parādība atkārtojas reālajā pasaulē?

Katru reizi, kad redzu Teslas avāriju. Īpaši agrākie. Man bija tā, jā, tas ir. Cilvēki pārāk daudz uzticas šīm sistēmām. Un es atceros pēc pašas pirmās, ko viņi darīja? Tie bija līdzīgi, tagad jums ir nepieciešams turēt stūres ratu kaut kā piecu sekunžu soli. Ja jums nav rokas uz stūres, sistēma tiks deaktivizēta.

Bet viņi nekad nenāca un nerunāja ar mani vai manu grupu, jo tas nedarbosies. Un kāpēc tas nedarbojas, jo ir ļoti viegli spēlēt sistēmu. Ja skatāties savā mobilajā tālrunī un dzirdat pīkstienu, jūs vienkārši paceļat roku, vai ne? Tā ir zemapziņa. Jūs joprojām nepievēršat uzmanību. Un tas ir tāpēc, ka jūs domājat, ka sistēma ir kārtībā un jūs joprojām varat darīt visu, ko tā darījāt — lasīt grāmatu, skatīties televizoru vai skatīties tālrunī. Tātad tas nedarbojas, jo tie nepalielināja riska vai nenoteiktības līmeni, neticību vai neuzticēšanos. Viņi to nepalielināja pietiekami, lai kāds varētu atkārtoti iesaistīties.

Saistīts stāsts

Ja algoritmi sabojājas, vainojams tuvākais cilvēks Vēsturisko gadījumu izpēte parāda, kā mēs rīkojamies ar automatizēto sistēmu atbildību.

Interesanti, ka jūs runājat par to, kā šādos scenārijos jums ir aktīvi jāveido neuzticēšanās sistēmai, lai padarītu to drošāku.

Jā, tas ir tas, kas jums jādara. Mēs pašlaik izmēģinām eksperimentu saistībā ar pakalpojuma atteikuma ideju. Mums vēl nav rezultātu, un mēs cīnāmies ar dažām ētikas problēmām. Tā kā, tiklīdz mēs par to runāsim un publicēsim rezultātus, mums būs jāpaskaidro, kāpēc dažreiz jūs, iespējams, nevēlaties arī dot AI iespēju liegt pakalpojumu. Kā noņemt pakalpojumu, ja kādam tas patiešām ir vajadzīgs?

Bet šeit ir piemērs ar Tesla neuzticības lietu. Pakalpojuma atteikums būtu šāds: es izveidoju jūsu uzticības profilu, ko varu izdarīt, pamatojoties uz to, cik reižu jūs deaktivizējāt vai atvienojāt stūres turēšanu. Ņemot vērā šos atlaišanas profilus, tad es varu modelēt kādā brīdī jūs esat pilnībā šajā uzticības stāvoklī. Mēs to esam izdarījuši nevis ar Tesla datiem, bet gan ar saviem datiem. Un noteiktā brīdī nākamreiz, kad iekāpsiet automašīnā, jūs saņemsit pakalpojuma atteikumu. Jums nav piekļuves sistēmai X laika periodā.

Tas ir gandrīz kā tad, kad tu sodi pusaudzi, atņemot viņam tālruni. Jūs zināt, ka pusaudži nedarīs to, ko jūs nevēlaties, lai viņi darītu, ja saistīsit to ar viņu komunikācijas veidu.

Kādus citus mehānismus esat izpētījis, lai palielinātu neuzticēšanos sistēmām?

Cita mūsu izpētītā metodoloģija tiek aptuveni saukta par izskaidrojamo AI, kur sistēma sniedz skaidrojumu attiecībā uz dažiem tās riskiem vai neskaidrībām. Tā kā visām šīm sistēmām ir nenoteiktība — neviena no tām nav 100%. Un sistēma zina, kad tā ir neskaidra. Tātad tas varētu nodrošināt, ka kā informācija, kā cilvēks var saprast, tāpēc cilvēki mainīs savu uzvedību.

Piemēram, pieņemsim, ka esmu pašbraucoša automašīna, un man ir visa mana kartes informācija, un es zinu, ka daži krustojumi ir vairāk pakļauti negadījumiem nekā citos. Tā kā mēs tuvojamies vienam no viņiem, es teiktu, mēs tuvojamies krustojumam, kur pagājušajā gadā nomira 10 cilvēki. Jūs to izskaidrojat tā, ka tas liek kādam aiziet. Ak, pagaidiet, varbūt man vajadzētu būt apzinātākam.

Mēs jau esam runājuši par dažām jūsu bažām saistībā ar mūsu tendenci pārmērīgi uzticēties šīm sistēmām. Kas ir citi? No otras puses, vai ir arī priekšrocības?

Negatīvie ir patiešām saistīti ar aizspriedumiem. Tāpēc es vienmēr runāju par neobjektivitāti un uzticēšanos. Jo, ja es pārlieku uzticos šīm sistēmām un šīs sistēmas pieņem lēmumus, kuru rezultāti dažādām cilvēku grupām ir atšķirīgi — teiksim, medicīniskās diagnostikas sistēmā ir atšķirības starp sievietēm un vīriešiem —, mēs tagad veidojam sistēmas, kas vairo nevienlīdzību, kāda mums šobrīd ir. . Tā ir problēma. Un, ja jūs to saistāt ar lietām, kas ir saistītas ar veselību vai transportu, kuras abas var izraisīt dzīvības vai nāves situācijas, slikts lēmums faktiski var novest pie tā, no kā jūs nevarat atgūties. Tāpēc mums tas tiešām ir jālabo.

Pozitīvi ir tas, ka automatizētās sistēmas ir labākas nekā cilvēki kopumā. Es domāju, ka viņi var būt pat Labāk, bet es personīgi drīzāk mijiedarbojos ar AI sistēmu dažās situācijās nekā noteiktiem cilvēkiem citās situācijās. Es zinu, ka tam ir dažas problēmas, bet dodiet man AI. Dod man robotu. Viņiem ir vairāk datu; tie ir precīzāki. It īpaši, ja jums ir iesācējs. Tas ir labāks rezultāts. Iespējams, ka rezultāts nav vienāds.

Papildus jūsu robotikas un AI pētījumiem jūs visas savas karjeras laikā esat bijis milzīgs daudzveidības palielināšanas atbalstītājs šajā jomā. Jūs pirms 20 gadiem sākāt programmu, lai mentorētu riskam pakļautas junioru vecuma meitenes, kas ir krietni pirms daudziem cilvēkiem par šo jautājumu sāka domāt. Kāpēc tas jums ir svarīgi un kāpēc tas ir svarīgi arī jomai?

Man tas ir svarīgi, jo es varu noteikt laikus savā dzīvē, kad kāds man nodrošināja piekļuvi inženierzinātnēm un datorzinātnēm. Es pat nezināju, ka tā ir lieta. Un tieši tāpēc vēlāk man nekad nebija problēmu apzināties, ka varu to izdarīt. Un tāpēc es vienmēr uzskatu, ka tā bija tikai mana atbildība darīt to pašu tiem, kas to darījuši man. Kā es esmu vecāks, kā arī, es pamanīju, ka tur bija daudz cilvēku, kas nav izskatās man istabā. Tāpēc es sapratu: pagaidiet, šeit noteikti ir problēma, jo cilvēkiem vienkārši nav paraugu, viņiem nav piekļuves, viņi pat nezina, ka tā ir lieta.

Un kāpēc tas ir svarīgi jomai, jo katram ir atšķirīga pieredze. Tāpat kā es domāju par cilvēka un robota mijiedarbību, pirms tā vispār bija lieta. Tas nebija tāpēc, ka es būtu izcils. Tas bija tāpēc, ka es uz problēmu skatījos savādāk. Un, kad es runāju ar kādu, kuram ir atšķirīgs viedoklis, tas ir kā: Ak, mēģināsim apvienot un izdomāt labāko no abām pasaulēm.

Gaisa spilveni nogalina vairāk sieviešu un bērnu. Kāpēc ir tā, ka? Nu, es teikšu, ka tas ir tāpēc, ka kāds nebija telpā, lai pateiktu: 'Hei, kāpēc mēs to nepārbaudīsim ar sievietēm priekšējā sēdeklī?' Ir daudz problēmu, kas ir nogalinājušas vai bijušas bīstamas noteiktām cilvēku grupām. Un es apgalvotu, ka, ja jūs atgriezīsities, tas ir tāpēc, ka jums nebija pietiekami daudz cilvēku, kas varētu pateikt: Hei, vai esat par to domājis? jo viņi runā no savas pieredzes un no savas vides un kopienas.

Kā jūs cerat, ka AI un robotikas pētījumi laika gaitā attīstīsies? Kāds ir jūsu redzējums par šo jomu?

Ja domājat par kodēšanu un programmēšanu, gandrīz ikviens to var izdarīt. Tagad ir tik daudz organizāciju, piemēram, Code.org. Resursi un instrumenti ir tur. Es gribētu sarunāties ar studentu vienu dienu, kad es jautāju, vai jūs zināt par AI un mašīnu mācīšanos? un viņi saka: Dr H, es to daru kopš trešās klases! Es gribu būt tādā šokā, jo tas būtu brīnišķīgi. Protams, tad man būtu jādomā, kāds ir mans nākamais darbs, bet tas ir pavisam cits stāsts.

Bet es domāju, ka, ja jums ir rīki ar kodēšanu un AI un mašīnmācīšanos, jūs varat izveidot savas darbavietas, jūs varat izveidot savu nākotni, jūs varat izveidot savu risinājumu. Tas būtu mans sapnis.

paslēpties