Kā DARPA uztvēra Twitter robotu draudus ar vienu roku aiz muguras

Viena no satraucošākajām parādībām Twitter ir tādu robotprogrammu izplatība, kas automātiski ģenerē tvītus, mēģinot izplatīt surogātpastu, nelikumīgi pelnīt naudu, izmantojot klikšķu krāpšanu, un, kas ir visvairāk satraucošākais, ietekmēt diskusiju par tādām tēmām kā terorisms un politika.

Šāda veida darbībā iesaistīto Twitter kontu skaits nav mazs. 2014. gadā Twitter atzina, ka vairāk nekā 8 procenti tā kontu ir automatizēti — tas ir aptuveni 23 miljoni aktīvo Twitter lietotāju.

Uzņēmums norādīja, ka daudzi no tiem bija pilnīgi likumīgi — daudzi no šiem kontiem atklāti pārpublicē vai parāda citu lietotāju tvītus. Neskatoties uz to, ievērojams skaits acīmredzami nedarbojas, un ietekmes roboti rada īpašas bažas.

Piemēram, grupa, kas sevi dēvē par Islāma valsti, izmanto tiešsaistes sociālos medijus, lai pārliecinātu jauniešus atbalstīt viņu mērķi. Daži novērotāji uzskata, ka Krievija uzsāka plašu sociālo mediju dezinformācijas kampaņu par Krimas aneksiju. Citi saka, ka robotiem bija nozīmīga loma vēlēšanu iznākuma ietekmēšanā Indijā 2014. gadā.

Tātad veids, kā droši pamanīt ietekmes robotus pakalpojumā Twitter, būtu ļoti noderīgs. Pagājušajā gadā Aizsardzības progresīvo pētījumu projektu aģentūra (DARPA) nolēma atrast šādu metodi, rīkojot četras nedēļas ilgu konkursu, kurā komandām tika lūgts pamanīt robotus ziņu plūsmā par vakcinācijas tēmu. Viena komanda kļuva par nepārprotamu uzvarētāju, un rezultāti parādīja dažas nozīmīgas jaunas stratēģijas robotu identificēšanai reālajā pasaulē.

Šodien mēs gūstam unikālu ieskatu šajās sacensībās un komandu izmantotajās stratēģijās, pateicoties V.S. Subrahmanians Merilendas Universitātē Koledžparkā un Sentimetriksā un daži draugi.

Sacensības bija tik reālistiskas, cik DARPA spēja to īstenot. Tvīti bija ziņojumi, kas iegūti no Twitter straumes 2014. gada debašu laikā par vakcināciju. Šajās debatēs konkursa ietvaros tika izveidoti vairāki robotprogrammatūras, lai noskaidrotu, kā tie varētu ietekmēt diskusijas. Tātad DARPA bija pamatotas zināšanas par to, kuri pārskati bija mākslīgi un kuri patiesi.

Kopumā datu kopa ietvēra vairāk nekā četrus miljonus ziņojumu no vairāk nekā 7000 kontiem, no kuriem 39 bija robotprogrammatūras vai nu vakcinācijas atbalstīšanas, vai pretvakcinācijas lobijā. Katrā ziņojumā bija unikāls ID, lietotāja profils, tostarp attēls, URL un attēls, kur tie bija iekļauti. Dati ietvēra arī laika un datuma zīmogu, kā arī informāciju par sekotājiem un to, kad viens konts pārtrauca sekošanu citam kontam. Tas viss tika atskaņots konkurentiem sintētiskā Twitter vidē četru nedēļu laikā februārī un martā.

Pēc tam komandām bija jāanalizē šī Twitter straume un jāuzmin, kuri lietotāji ir roboti. Katrs pareizais minējums ieguva vienu punktu, bet komanda zaudēja 0,25 punktus par katru nepareizo minējumu. Komanda, kas uzminēja visus robotus d dienas pirms izaicinājuma beigām arī dabūja d punktu, jo DARPA ir īpaši ieinteresēta ietekmes robotu agrīnā atklāšanā.

Uzvarētāju komanda bija no sociālo mediju analītikas uzņēmuma Sentimetrix, kas uzminēja visus robotus 12 dienas pirms termiņa, vienlaikus izdarot tikai vienu nepareizu minējumu. Tas viņiem deva 50,75 punktus. (Otrās vietas ieguvēja komanda no Dienvidkalifornijas universitātes ieguva 45 punktus, atrodot visus robotus sešas dienas pirms termiņa, bez nepareiziem minējumiem.)

Uzvarēšanas stratēģijas atklājas. Komandas sāka, mēģinot datos identificēt sākotnējo robotprogrammu kopu. Interesanti, ka neviena no komandām nespēja automatizēt šo soli un lielākā daļa izmantoja nozīmīgu cilvēka ieguldījumu.

Sentimetrix izmantoja iepriekš sagatavotu algoritmu, lai meklētu robotiem līdzīgu uzvedību. Komanda bija apmācījusi šo algoritmu, izmantojot Twitter datus no 2014. gada Indijas vēlēšanām, kurās bija daudz robotu. Tā meklēja neparastu gramatiku, lingvistikas līdzību ar dabiskās valodas tērzēšanas robotiem, piemēram, Elīza, un neparastu uzvedību, piemēram, ilgstošu tvītošanu bez pārtraukuma, ko cilvēks nevarētu viegli veikt.

Tas atklāja četrus kontus, kas nepārprotami bija robotprogrammatūra, un pēc tam Sentimetrix izmantoja tos, lai atrastu citus. Viens no pieņēmumiem bija tāds, ka robotprogrammatūras ražotāji mēdz ražot daudz līdzīgu robotprogrammu un saistīt tos savā starpā, lai palielinātu to popularitāti. Tāpēc komanda varēja izmantot tīkla un klasteru analīzi, lai atrastu citus iespējamos robotprogrammatūras, ko viņi pēc tam salīdzināja ar zināmajiem robotiem.

Komanda izmantoja arī tādas funkcijas kā kontu īslaicīgā darbība, pieņemot, ka automatizētam kontam būs neparastas likumsakarības. Sentimetrix arī meklēja lietotājus, kuri debašu laikā mainīja uzticību no atbalsta uz pretvakcināciju (vai otrādi). Viņi uzskatīja, ka tā varētu būt robotu stratēģija, lai iefiltrētos vienā argumenta pusē un pēc tam publicētu pretējus argumentus.

Sentimetrix panākumu galvenā iezīme bija veids, kā tā vizualizēja sava darba rezultātus tiešsaistes informācijas panelī, lai lietotājs varētu viegli redzēt katra lietotāja analīzes statusu.

Šajā otrajā posmā Sentimetrix identificēja vēl 25 robotprogrammatūras. Tas viņiem deva pietiekami daudz datu, lai apmācītu mašīnmācīšanās algoritmu, lai meklētu datus par citiem robotiem. Un šī pieeja noveda viņus pie atlikušajiem 10 robotiem.

Komandas nezināja, cik robotprogrammatūras darbojas, tāpēc galvenā problēma bija zināt, kad pārtraukt meklēšanu. Piemēram, Sentimetrix apstājās, kad vairs nevarēja atrast kontus, kas izskatījās pēc robotprogrammatūras.

Tas ir iespaidīgs darbs, kas varētu būtiski ietekmēt centienus atrast robotus, kas mēģina ietekmēt tiešsaistes diskusijas nepiemērotā veidā. Šādas stratēģijas publicēšanai vajadzētu palīdzēt arī citiem spēlētājiem izstrādāt pretbotu taktiku.

Bet tam var būt arī negatīva ietekme. Cīņa starp robotiem un robotu medniekiem ir tāda, kas nepārtraukti attīstās. Ar šādiem dokumentiem robotu mednieki atklāj savu roku tādā veidā, kas ļauj robotprogrammatūru veidotājiem izstrādāt stratēģijas, lai īpaši pārvarētu šos algoritmus. Savā ziņā tas ir kā cīņa ar vienu roku sasietu aiz muguras.

Tomēr būtu bīstami veicināt kārdinājumu slēpt robotu medību stratēģijas. Šāda atvērtība ir daļa no mūsu brīvās sabiedrības un noteikti ir viens no galvenajiem iemesliem, lai to saglabātu ir vērts cīnīties.

Jebkurā gadījumā šī kaķa un peles cīņa turpināsies.

Atsauce: DARPA Twitter robotu izaicinājums: arxiv.org/abs/1601.05140

paslēpties