Programmatūra, kas apmaina vārdus, tagad var apmānīt Alexa un Siri AI

Kategorija: Mākslīgais intelekts Ievietots 07. februāris

Ziņas: Programmatūra, ko sauc par TextFooler, var iemānīt dabiskās valodas apstrādes (NLP) sistēmas, lai pārprastu tekstu, vienkārši aizstājot noteiktus vārdus teikumā ar sinonīmiem. Testos tas spēja dramatiski samazināt trīs vismodernāko NLP sistēmu precizitāti. Piemēram, Google spēcīgais BERT neironu tīkls bija pieci līdz septiņi sliktāks, lai noteiktu, vai atsauksmes par Yelp ir pozitīvas vai negatīvas.

Viņi pārbaudīja uzbrukumu NLP sistēmām, kas apmācītas veikt tādus uzdevumus kā ziņu tēmas, atklāt viltus ziņas un analizēt noskaņojumu. Visos gadījumos AI kļuva ievērojami sliktāks .

Kā tas strādā: Programmatūra, ko izstrādājusi MIT komanda, meklē teikumā vārdus, kas ir vissvarīgākie NLP klasifikatoram, un aizstāj tos ar sinonīmu, kas cilvēkam šķiet dabisks. Piemēram, mainot teikumu. Varoņi, kas atveidoti neiespējami izdomātās situācijās, ir pilnībā atsvešinājušies no realitātes uz neiespējami konstruētus apstākļus, pilnībā atsvešinājušies no realitātes, neatšķiras no tā, kā mēs to lasām. Taču uzlabojumi lika AI interpretēt teikumus pilnīgi atšķirīgi.

Kāpēc tas ir svarīgi: Mēs esam redzējuši daudzus šādu pretrunīgu uzbrukumu piemērus, visbiežāk ar attēlu atpazīšanas sistēmām, kur nelielas ievades izmaiņas var izjaukt AI un likt tam nepareizi klasificēt to, ko tas redz. TextFooler parāda, ka šis uzbrukuma stils izjauc arī NLP — mākslīgo intelektu, kas atrodas aiz virtuālajiem palīgiem, piemēram, Siri, Alexa un Google Home, kā arī citus valodu klasifikatorus, piemēram, surogātpasta filtrus un naida runas detektorus. Pētnieki saka, ka tādi rīki kā TextFooler var palīdzēt padarīt NLP sistēmas izturīgākas, atklājot to vājās vietas.