211service.com
Kā ļaunprātīga mašīnmācība var izjaukt AI
Džeremijs Portjē
Mākslīgais intelekts neko nemainīs, ja hakeri varēs ar to sajaukt.
Tas ir brīdinājums no Rītausmas dziesma , UC Berkeley profesors, kurš specializējas ar AI un mašīnmācīšanos saistīto drošības risku izpētē.
Uzstājoties EmTech Digital, pasākumā Sanfrancisko, ko izstrādājis MIT Technology Review, Songs brīdināja, ka jaunas tehnikas mašīnmācības sistēmu zondēšanai un manipulēšanai, kas šajā jomā pazīstamas kā pretrunīgas mašīnmācīšanās metodes, var radīt lielas problēmas ikvienam, kas vēlas izmantot AI spēks biznesā.
Song teica, ka pretrunīgo mašīnmācību var izmantot, lai uzbruktu gandrīz jebkurai sistēmai, kas balstīta uz šo tehnoloģiju.
Tā ir liela problēma, viņa sacīja auditorijai. Mums ir jāsanāk kopā, lai to labotu.
Pretēja mašīnmācība ietver eksperimentālu ievades ievadīšanu algoritmā, lai atklātu informāciju, par kuru tā ir apmācīta, vai ievades izkropļošanu tādā veidā, kas izraisa sistēmas nepareizu darbību. Piemēram, datorredzes algoritmā ievadot daudz attēlu, ir iespējams apgriezt tā darbību un nodrošināt noteikta veida izvades, tostarp nepareizas.
Songa iepazīstināja ar vairākiem sacīkstes mācīšanās viltības piemēriem, ko viņas pētnieku grupa ir izpētījusi.
Viens projekts, kas tika veikts sadarbībā ar Google, ietvēra mašīnmācīšanās algoritmu pārbaudi, kas apmācīti ģenerēt automātiskas atbildes no e-pasta ziņojumiem (šajā gadījumā Enron e-pasta datu kopa ). Pūles parādīja, ka, izveidojot pareizos ziņojumus, mašīnas modelis var izspļaut sensitīvus datus, piemēram, kredītkaršu numurus. Google izmantoja šos atklājumus, lai novērstu to, ka tiek izmantots rīks Smart Compose, kas pakalpojumā Gmail automātiski ģenerē tekstu.
Cits projekts ietvēra ceļa zīmju pārveidošanu ar dažām nekaitīga izskata uzlīmēm, lai apmānītu daudzos transportlīdzekļos izmantotās datorredzes sistēmas. Video demonstrācijā Song parādīja, kā automašīnu var iemānīt, domājot, ka apstāšanās zīme patiesībā saka, ka ātruma ierobežojums ir 45 jūdzes stundā. Tā varētu būt milzīga problēma automatizētai braukšanas sistēmai, kas balstās uz šādu informāciju.
Konkurences mašīnmācība ir joma, kas arvien vairāk interesē mašīnmācības pētniekus. Pēdējo pāris gadu laikā citas pētniecības grupas ir parādījušas, kā tiešsaistes mašīnmācības API var pārbaudīt un izmantot, lai izstrādātu veidus, kā tās maldināt vai atklāt sensitīvu informāciju.
Nav pārsteidzoši, ka pretrunīga mašīnmācība ļoti interesē arī aizsardzības kopienu. Arvien lielākam militāro sistēmu skaitam, tostarp sensoru un ieroču sistēmām, kas izmanto mašīnmācību, ir milzīgs potenciāls, lai šīs metodes varētu izmantot gan aizsardzībā, gan uzbrukumā.
Šogad Pentagona pētniecības grupa DARPA uzsāka lielu projektu ar nosaukumu Garantēt AI robustumu pret maldināšanu (GARD), kura mērķis ir pētīt pretrunīgu mašīnmācību. Hava Zīgelmans , GARD programmas direktors, nesen pastāstīja MIT Technology Review, ka šī projekta mērķis bija izstrādāt AI modeļus, kas ir izturīgi pret plašu pretrunīgu uzbrukumu klāstu, nevis vienkārši spēj aizsargāties pret konkrētiem.