Kā mēs varam pasargāt sevi no ļaunprātīgas AI

Diagramma, kurā parādīts pandas attēls, kā arī trokšņa attēls, kas līdzinās pandas attēlam, kas nepareizi identificēts kā gibons. Panda foto: flickr.com / Gabriele Gherardi

Mēs iepriekš esam pieskārušies jēdzienam pretrunīgi piemēri — sīku izmaiņu klase, kas, ievadot dziļas mācīšanās modelī, izraisa tā nepareizu darbību. Martā mēs atspoguļojām UC Bērklijas profesores Dawn Song runu mūsu ikgadējā EmTech Digital konferencē par to, kā viņa izmantoja uzlīmes, lai piemānītu pašbraucošai automašīnai domāt, ka stop zīme ir 45 jūdzes stundā, un kā viņa izmantoja pielāgotu zīmi. ziņojumus, lai teksta modelis izspļautu sensitīvu informāciju, piemēram, kredītkaršu numurus. Aprīlī mēs līdzīgi runājām par to, kā balto cepuru hakeri izmantoja uzlīmes, lai sajauktu Tesla Autopilot, lai vadītu automašīnu pretimbraucošajā satiksmē.

Pēdējos gados, kad padziļinātas mācīšanās sistēmas ir kļuvušas arvien izplatītākas mūsu dzīvē, pētnieki ir pierādījuši, kā pretrunīgi piemēri var ietekmēt visu, sākot no vienkāršiem. attēlu klasifikatori uz vēža diagnostikas sistēmas , kas noved pie sekām, kas svārstās no labdabīgām līdz dzīvībai bīstamām. Tomēr, neskatoties uz to bīstamību, pretrunīgie piemēri ir slikti saprotami. Un pētnieki ir noraizējušies par to, kā vai pat vai problēmu var atrisināt.

UZ jauns papīrs no MIT tagad norāda uz iespējamo ceļu, lai pārvarētu šo izaicinājumu. Tas varētu ļaut mums izveidot daudz noturīgākus padziļinātas apmācības modeļus, ar kuriem būtu daudz grūtāk manipulēt ļaunprātīgā veidā. Lai saprastu tā nozīmi, vispirms apskatīsim pretrunīgo piemēru pamatus.

Kā jau daudzkārt esam norādījuši, dziļās mācīšanās spējas izriet no tās lieliskās spējas atpazīt datu modeļus. Barojiet neironu tīklu ar desmitiem tūkstošu marķētu dzīvnieku fotogrāfiju, un tas uzzinās, kuri raksti ir saistīti ar pandu un kuri modeļi ir saistīti ar pērtiķiem. Pēc tam tā var izmantot šos modeļus, lai identificētu jaunus dzīvnieku attēlus, kurus tas nekad agrāk nav redzējis.

Taču arī padziļinātās mācīšanās modeļi ir trausli. Tā kā attēlu atpazīšanas sistēma balstās tikai uz pikseļu modeļiem, nevis uz dziļāku konceptuālu izpratni par to, ko tā redz, ir viegli piemānīt sistēmu, lai tā ieraudzītu kaut ko citu, tikai pareizi izjaucot modeļus. Šeit ir klasisks piemērs: pievienojiet pandas attēlam nelielu troksni, un sistēma to klasificēs kā gibonu ar gandrīz 100% pārliecību. Šeit troksnis ir pretinieku uzbrukums.

Ian Goodfellow et al/OpenAI

Jau dažus gadus pētnieki ir novērojuši šo parādību, jo īpaši datorredzes sistēmās, īsti nezinot, kā atbrīvoties no šādām ievainojamībām. Faktiski dokuments, kas pagājušajā nedēļā tika prezentēts lielākajā AI pētniecības konferencē ICLR, apšaubīja, vai pretinieku uzbrukumi ir neizbēgami . Šķiet, ka neatkarīgi no tā, cik daudz pandu attēlu jūs ievadāt attēlu klasifikatorā, vienmēr būs kāda veida traucējumi, kurus varat izveidot, lai izjauktu sistēmu.

Taču jaunais MIT dokuments parāda, ka mēs esam nepareizi domājuši par pretinieku uzbrukumiem. Tā vietā, lai domātu par veidiem, kā uzkrāt vairāk un labākus apmācības datus, ko ievadīt mūsu sistēmā, mums ir fundamentāli jāpārdomā veids, kā mēs to apmācām.

Tas to parādīja, identificējot diezgan interesantu pretrunīgo piemēru īpašību, kas palīdz mums saprast, kāpēc tie ir tik efektīvi. Šķietami nejaušais troksnis vai uzlīmes, kas izraisa nepareizu klasifikāciju, patiesībā izmanto ļoti precīzus, niecīgus modeļus, kurus attēlu sistēma ir iemācījusies cieši saistīt ar konkrētiem objektiem. Citiem vārdiem sakot, mašīna nedarbojas nepareizi, ieraugot gibonu vietā, kur mēs redzam pandu. Tas patiešām ir cilvēkiem nemanāms pikseļu raksts, kas treniņa laikā gibona fotoattēlos parādījās daudz biežāk nekā pandu fotoattēlos.

Pētnieki to ilustrēja, veicot eksperimentu: viņi izveidoja datu kopu ar suņu attēliem, kas visi bija sīki izmainīti, kā rezultātā standarta attēlu klasifikators tos nepareizi identificētu kā kaķus. Pēc tam viņi nepareizi apzīmēja attēlus kā kaķus un izmantoja tos, lai no jauna apmācītu jaunu neironu tīklu. Pēc apmācības viņi parādīja neironu tīkla faktiskos kaķu attēlus, un tas pareizi identificēja tos kā kaķus.

Pētniekiem tika ieteikts, ka katrā datu kopā ir divu veidu korelācijas: modeļi, kas patiesībā korelē ar datu nozīmi, piemēram, ūsas kaķa attēlā vai kažokādas krāsas pandas attēlā, un modeļi, kas pastāv apmācības datos, bet nav vispārināti citos kontekstos. Šīs pēdējās maldinošās korelācijas, kā mēs tās sauksim, ir tās, kuras tiek izmantotas pretrunīgos uzbrukumos. Piemēram, iepriekš redzamajā diagrammā uzbrukumā tiek izmantots pikseļu modelis, kas nepatiesi korelēts ar giboniem, aprokot šos nemanāmos pikseļus pandas attēlā. Atpazīšanas sistēma, kas ir apmācīta atpazīt maldinošo modeli, pēc tam uztver to un pieņem, ka tā skatās uz gibonu.

Tas mums norāda, ka, ja mēs vēlamies novērst pretinieku uzbrukumu risku, mums ir jāmaina veids, kā mēs apmācām savus modeļus. Pašlaik mēs ļaujam neironu tīklam izvēlēties tās korelācijas, kuras tas vēlas izmantot, lai identificētu objektus attēlā. Taču rezultātā mēs nevaram kontrolēt atklātās korelācijas un to, vai tās ir patiesas vai maldinošas. Ja tā vietā mēs apmācītu savus modeļus atcerēties tikai reālos modeļus — tos, kas faktiski saistīti ar pikseļu nozīmi, tad teorētiski būtu iespējams izveidot padziļinātas mācīšanās sistēmas, kuras šādā veidā nevar sagrozīt, lai radītu kaitējumu.

Kad pētnieki pārbaudīja šo ideju, izmantojot tikai reālas korelācijas, lai apmācītu savu modeli, tas faktiski mazināja modeļa ievainojamību: ar to tika veiksmīgi manipulēts tikai 50% gadījumu, turpretim modeli, kas apmācīts gan uz īstām, gan nepatiesām korelācijām, varēja manipulēt 95 % Laikā.

Citiem vārdiem sakot, šķiet, ka pretrunīgi piemēri nav neizbēgami. Bet mums ir nepieciešams vairāk pētījumu, lai tos pilnībā novērstu.

Šis stāsts sākotnēji parādījās mūsu Webby nominētajā AI informatīvajā izdevumā The Algorithm. Lai vairāk šādu stāstu tiktu piegādāts tieši jūsu iesūtnē, reģistrējieties šeit. Tas ir par brīvu.

paslēpties