Machine Vision Ahileja papēdis atklāja Google smadzeņu pētnieki

Viens no iespaidīgākajiem sasniegumiem mūsdienu zinātnē ir mašīnredzes pieaugums. Tikai dažu gadu laikā jaunas paaudzes mašīnmācīšanās metodes ir mainījušas to, kā datori redz.

Mašīnas tagad pārspēj cilvēkus sejas atpazīšanas un objektu atpazīšanas jomā, un tās maina daudzus uz redzi balstītus uzdevumus, piemēram, braukšanu, drošības uzraudzību un tā tālāk. Mašīnredze tagad ir pārcilvēcīga.

Taču parādās problēma. Mašīnredzes pētnieki ir sākuši pamanīt dažus satraucošus jauno lādiņu trūkumus. Izrādās, ka mašīnredzes algoritmiem ir Ahileja papēdis, kas ļauj tos apmānīt ar attēliem, kas modificēti tā, lai cilvēks tos varētu pamanīt.

Šos pārveidotos attēlus sauc par pretrunājošiem attēliem, un tie ir nozīmīgs drauds. Pretendējošais piemērs sejas atpazīšanas domēnam varētu būt ļoti smalks marķējums, kas tiek uzklāts uz cilvēka seju, lai cilvēks novērotājs pareizi atpazītu viņu identitāti, bet mašīnmācīšanās sistēma atpazītu viņus kā citu personu, saka Aleksejs Kurakins un Samijs. Bengio no Google Brain un Ian Goodfellow no OpenAI, bezpeļņas AI pētniecības uzņēmuma.

Tā kā mašīnredzes sistēmas ir tik jaunas, par pretrunīgiem attēliem ir maz zināms. Neviens nesaprot, kā tos vislabāk izveidot, kā tās apmāna mašīnredzes sistēmas vai kā aizsargāties pret šāda veida uzbrukumiem.

Šodien tas sāk mainīties, pateicoties Kurakin un līdzcilvēku darbam, kuri pirmo reizi ir sākuši sistemātiski pētīt pretinieku attēlus. Viņu darbs parāda, cik mašīnredzes sistēmas ir neaizsargātas pret šāda veida uzbrukumiem.

Komanda sāk ar standarta datu bāzi mašīnredzes izpētei, kas pazīstama kā ImageNet. Šī ir attēlu datubāze, kas klasificēta atkarībā no tā, ko tie parāda. Standarta tests ir apmācīt mašīnredzes algoritmu daļai šīs datu bāzes un pēc tam pārbaudīt, cik labi tas klasificē citu datu bāzes daļu.

Šo testu veiktspēju mēra, saskaitot, cik bieži algoritmam ir pareiza klasifikācija 5 labākajās atbildēs vai pat 1 labākā atbilde (tā sauktā top 5 precizitāte vai top 1 precizitāte) vai cik bieži tam nav pareizās atbilde tā top 5 vai top 1 (tā top 5 kļūdu īpatsvars vai top 1 kļūdu līmenis).

Viena no labākajām mašīnredzes sistēmām ir Google Inception v3 algoritms, kura 5 labāko kļūdu līmenis ir 3,46 procenti. Cilvēkiem, kas veic to pašu testu, 5 lielāko kļūdu līmenis ir aptuveni 5 procenti, tāpēc Inception v3 patiešām ir pārcilvēciskas spējas.

Kurakins un citi izveidoja pretrunīgu attēlu datu bāzi, trīs dažādos veidos modificējot 50 000 attēlu no ImageNet. Viņu metodes izmanto ideju, ka neironu tīkli apstrādā informāciju, lai atbilstu attēlam ar noteiktu klasifikāciju. Nepieciešamās informācijas apjoms, ko sauc par krustenisko entropiju, ir mērs, cik grūts ir atbilstības uzdevums.

Viņu pirmais algoritms veic nelielas izmaiņas attēlā tādā veidā, kas mēģina maksimāli palielināt šo krustenisko entropiju. Viņu otrais algoritms vienkārši atkārto šo procesu, lai vēl vairāk mainītu attēlu.

Šie algoritmi maina attēlu tādā veidā, kas apgrūtina pareizu klasificēšanu. Viņi saka, ka šīs metodes var izraisīt neinteresantas nepareizas klasifikācijas, piemēram, vienas kamanu suņu šķirnes sajaukšana ar citu kamanu suņu šķirni.

Viņu galīgajam algoritmam ir daudz gudrāka pieeja. Tas maina attēlu tādā veidā, kas liek mašīnredzes sistēmai to nepareizi klasificēt noteiktā veidā, vēlams tādā veidā, kas vismazāk atbilst patiesajai klasei. Vismazāk ticamā klase parasti ļoti atšķiras no patiesās klases, tāpēc šī uzbrukuma metode rada interesantākas kļūdas, piemēram, suni sajaucot ar lidmašīnu, saka Kurakins un citi.

Pēc tam viņi pārbauda, ​​cik labi Google Inception v3 algoritms var klasificēt 50 000 pretrunīgos attēlus.

Divi vienkāršie algoritmi ievērojami samazina 5 labāko un 1 labāko precizitāti. Taču to jaudīgākais algoritms — vismazāk ticamā klases metode — ātri samazina precizitāti līdz nullei visiem 50 000 attēliem. (Komanda nesaka, cik veiksmīgi algoritms ir novirzījis nepareizas klasifikācijas.)

Tas liek domāt, ka pretrunīgi attēli ir nozīmīgs drauds, taču šai pieejai ir potenciāls vājums. Visi šie pretrunīgie attēli tiek ievadīti tieši mašīnredzes sistēmā.

Bet reālajā pasaulē attēlu vienmēr modificēs kameru sistēma, kas ieraksta attēlus. Un pretinieku attēla algoritms būtu bezjēdzīgs, ja šis process neitralizētu tā ietekmi. Tāpēc svarīgs jautājums ir par to, cik šie algoritmi ir izturīgi pret pārveidojumiem, kas notiek reālajā pasaulē.

Lai to pārbaudītu, Kurakins un citi izdrukā visus pretrunīgos attēlus kopā ar oriģināliem un nofotografē tos ar roku, izmantojot viedtālruni Nexus 5. Pēc tam viņi ievada šos pārveidotos pretinieku attēlus mašīnredzes sistēmā.

Kurakins un viņa kolēģi apgalvo, ka visneaizsargātākā klases metode ir visneaizsargātākā pret šāda veida pārveidi, bet pārējās to iztur pietiekami labi. Citiem vārdiem sakot, pretrunīgie attēlu algoritmi patiešām ir drauds reālajā pasaulē. Ievērojama daļa pretrunīgo attēlu, kas izveidoti, izmantojot sākotnējo tīklu, tiek nepareizi klasificēti pat tad, ja tie tiek ievadīti klasifikatorā caur kameru, norāda komanda.

Tas ir interesants darbs, kas sniedz svarīgu informāciju par mašīnredzes Ahileja papēdi. Un priekšā ir daudz darba. Kurakins un citi vēlas izstrādāt pretrunīgus attēlus cita veida redzes sistēmām un padarīt tās vēl efektīvākas.

Tas viss radīs dažas uzacis datoru drošības aprindās. Mašīnredzes sistēmas tagad seju atpazīst labāk nekā cilvēki, tāpēc ir dabiski sagaidīt, ka tās būs pieradušas pie visa, sākot no viedtālruņu atbloķēšanas un priekšējām durvīm līdz pasu kontrolei un bankas konta biometriskajiem datiem. Bet Kurakins un viņa kolēģi izvirza iespēju viegli apmānīt šīs sistēmas.

Pēdējo pāris gadu laikā mēs esam daudz iemācījušies par to, cik labas var būt mašīnredzes sistēmas. Tagad mēs tikai noskaidrojam, cik viegli viņus var apmānīt.

Atsauce: arxiv.org/abs/1607.02533 : pretrunīgie piemēri fiziskajā pasaulē

paslēpties