Pastiprināšanas mācīšanās AI ir neaizsargātas pret jauna veida uzbrukumiem

MIT TEHNOLOĢIJAS PĀRSKATS / ADAM GLEAVE

Futbola robots stāv rindā, lai veiktu metienu pa vārtiem. Taču tā vietā, lai gatavotos to bloķēt, vārtsargs nokrīt zemē un kustina kājas. Apmulsis uzbrucējs dejo dīvainu deju uz sāniem, sita ar kājām un vicina vienu roku, un tad apkrīt. 1:0 vārtsargam.

Tā nav taktika, ko izmantos profesionāļi, taču tā parāda, ka mākslīgais intelekts, kas tiek apmācīts, izmantojot dziļas pastiprināšanas mācības — tā ir vismodernāko spēļu AI, piemēram, AlphaZero un OpenAI Five, tehnika, ir neaizsargātāka pret uzbrukumiem nekā iepriekš. domāja. Un tam var būt nopietnas sekas.

Ādams Glīvs

Dažu pēdējo gadu laikā pētnieki ir atraduši daudzus veidus, kā izjaukt AI, kas apmācītas, izmantojot marķētos datus, ko sauc par uzraudzīto mācīšanos. Nelieli mākslīgā intelekta ievades pielāgojumi, piemēram, dažu attēla pikseļu maiņa, var to pilnībā mainīt, piemēram, slinkuma attēlu identificējot kā sacīkšu automašīnu. Šiem tā sauktajiem pretrunīgajiem uzbrukumiem nav skaidra atrisinājuma.

Salīdzinot ar uzraudzīto mācīšanos, pastiprināšanas mācīšanās ir salīdzinoši jauna tehnika un ir mazāk pētīta. Bet izrādās, ka tas ir arī neaizsargāts pret doktora ievadi. Pastiprināšanas mācības māca AI izturēties dažādās situācijās, piešķirot tai atlīdzību par pareizu rīcību. Galu galā AI apgūst rīcības plānu, kas pazīstams kā politika. Politikas ļauj AI spēlēt spēles, vadīt automašīnas vai vadīt automatizētas tirdzniecības sistēmas.

2017. gadā Sandija Huana, kura tagad strādā uzņēmumā DeepMind, un viņas kolēģi aplūkoja mākslīgo intelektu, kas tika apmācīts, lai spēlētu klasisko videospēli Pong. Viņi to parādīja pievienojot vienu negodīgu pikseļu video ievades kadriem, tas droši zaudētu . Tagad Adams Glīvs Kalifornijas universitātē Bērklijā ir pacēlis pretinieku uzbrukumus citā līmenī.

Gleave nav pārāk noraizējies par lielāko daļu piemēru, ko esam redzējuši līdz šim. Es esmu mazliet skeptisks par to, ka tie ir draudi, viņš saka. Doma, ka uzbrucējs sagraus mūsu mašīnmācības sistēmu, pievienojot nelielu trokšņa daudzumu, nešķiet reāla. Taču tā vietā, lai mudinātu AI redzēt kaut ko tādu, kas patiesībā nav, jūs varat mainīt to, kā tas notiek. Citiem vārdiem sakot, mākslīgais intelekts, kas apmācīts, izmantojot pastiprinošu mācīšanos, var tikt pievilts ar dīvainu uzvedību. Glīvs un viņa kolēģi to sauc par pretrunīgu politiku. Tas ir iepriekš neatpazīts draudu modelis, saka Glīvs.

Kontroles zaudēšana

Dažos veidos pretrunīgas politikas ir satraucošākas nekā uzbrukumi uzraudzītiem mācību modeļiem, jo ​​pastiprinošas mācību politikas nosaka AI vispārējo uzvedību. Ja automašīna bez vadītāja nepareizi klasificē ievadi no savas kameras, tā var atgriezties, piemēram, uz citiem sensoriem. Taču sabotējiet automašīnas vadības sistēmu, ko pārvalda pastiprināšanas mācīšanās algoritms, un tas var izraisīt katastrofu. Ja politikas tiktu izmantotas, neatrisinot šīs problēmas, tas varētu būt ļoti nopietni, saka Gleave. Automašīnas bez vadītājiem var sabojāt, ja tās saskaras ar gājēju, kas vicina rokas.

Glīvs un viņa kolēģi izmantoja pastiprināšanas mācīšanos, lai apmācītu nūju figūriņu robotus, lai spēlētu dažas divu spēlētāju spēles, tostarp bumbiņas speršana pa vārtiem, sacīkstes pāri līnijai un sumo cīņas. Boti apzinājās savu un pretinieku ekstremitāšu stāvokli un kustību.

Ādams Glīvs

Pēc tam viņi apmācīja otru robotprogrammu komplektu, lai atrastu veidus, kā izmantot pirmo, un šī otrā grupa ātri atklāja pretrunīgu politiku. Komanda atklāja, ka pretinieki iemācījās droši pārspēt savus upurus pēc treniņa mazāk nekā 3% laika, kas bija vajadzīgs, lai upuri iemācītos spēlēt spēles.

Pretinieki iemācījās uzvarēt, nevis kļūstot par labākiem spēlētājiem, bet gan veicot darbības, kas pārkāpa pretinieka politiku. Futbola spēlē un skriešanas spēlē pretinieks dažreiz pat nepieceļas kājās. Tas liek upurim sabrukt izlocītā kaudzi vai griezties riņķī. Turklāt upuri patiesībā uzrādīja daudz labāk, kad viņi bija maskēti un vispār nevarēja redzēt savu pretinieku.

Pētījums, kas aprīlī tiks prezentēts Starptautiskajā konferencē par mācību priekšstatiem Adisabebā, Etiopijā, liecina, ka politika, kas šķiet stabila, var slēpt nopietnus trūkumus. Mācībās dziļi pastiprinot, mēs īsti nenovērtējam politiku pietiekami visaptveroši, saka Glīvs. Uzraudzīts mācību modelis, kas apmācīts, piemēram, klasificēt attēlus, tiek testēts ar citu datu kopu, nevis tajā, kurā tas tika apmācīts, lai nodrošinātu, ka tas nav vienkārši iegaumējis noteiktu attēlu kopu. Bet ar pastiprināšanas apmācību modeļi parasti tiek apmācīti un pārbaudīti tajā pašā vidē. Tas nozīmē, ka jūs nekad nevarat būt drošs, cik labi modelis tiks galā ar jaunām situācijām.

Labā ziņa ir tā, ka pret konkurenci vērstu politiku var būt vieglāk aizsargāties nekā pret citiem pretrunīgiem uzbrukumiem. Kad Glīvs precīzi noregulēja upurus, lai ņemtu vērā viņu pretinieku dīvaino uzvedību, pretinieki bija spiesti izmēģināt pazīstamākus trikus, piemēram, paklupināt savus pretiniekus. Tā joprojām ir netīra spēle, taču netiek izmantota sistēmas kļūme. Galu galā cilvēki spēlētāji to dara visu laiku.

paslēpties