AI uzvar Hivemind

Amazon's Mechancial Turk ir labākais gandrīz anonīmā ārpakalpojuma jomā: jebkuru uzdevumu, ko var veikt tiešsaistē, var paveikt, apvienojot automatizētu tirgu un cilvēku darbu. Tie, kas pierakstās, lai izpildītu uzdevumus - Turkers - tiek maksātas tik zemas algas kā santīmi par vienu mājas darbu, lai veiktu visu, sākot no datu ievades līdz tautas māksla .

(DC) Džims Linvuds

Mechanical Turk ir paredzēts, lai veiktu uzdevumus, kas ir viegli cilvēkiem un grūti mašīnām, piemēram, attēlu satura klasificēšana vai identificēšana. Tomēr Amazon un visu tās atdarinātāju problēma ir tā, ka mašīnas kļūst labākas daudzu uzdevumu veikšanā, savukārt cilvēki, kas izmanto Mechanical Turk, iemeslu dēļ, kurus es izpētīšu rītdienas ierakstā, kļūst sliktāki.

Nesen, piemēram, pētnieki, kas strādā tiešsaistes pārskatu vietnē Yelp, izlaida a papīrs (pdf) par savu pieredzi, salīdzinot tūkstošiem mehānisko turku pret a uzraudzīts mācību algoritms .

Rezultāti nebija skaisti: lai atrastu turku populāciju, kuras darbs bija pieņemams, pētnieki vispirms izmantoja Mechanical Turk, lai veiktu pārbaudi 4660 pretendentiem. Tas bija tests ar atbilžu variantiem, lai noteiktu, vai turkers var noteikt pareizo uzņēmuma kategoriju (restorāns, iepirkšanās utt.) un savā oficiālajā tīmekļa vietnē vai pa tālruni pārbaudīt tā pareizo tālruņa numuru un adresi.

79 nokārtoti. Šis bija an ārkārtīgi elementārs atbilžu variantu tests. Tas liek brīnīties, kā pārējie 4581 bija pietiekami gudri, lai vispirms darbinātu tīmekļa pārlūkprogrammu.

Šie 79 augstas kvalitātes darbinieki pēc tam tika pakļauti biznesa informācijas pārbaudei trīs vienlaikus. Tas ļāva pētniekiem pieņemt tikai tos rezultātus, par kuriem vienkāršs turkeru vairākums piekrita, ka tie ir pareizi, vai dažos gadījumos ņemt rezultātu, ko izvēlējies turkers, kurš vēsturiski bija visprecīzākais.

Pētnieki iemeta Naive Bayes klasifikatoru uz to pašu problēmu kopu. Šis ir sava veida uzraudzīts mācību algoritms; tāds, saskaņā ar šo sistēmu 2006. gada salīdzinājumu , nav pat labākais veids.

Bayes klasifikators uzvarēja ērti.

Gandrīz visos gadījumos algoritms, kas tika apmācīts, izmantojot 12 miljonus lietotāju iesniegto Yelp atsauksmju, pareizi identificēja uzņēmuma kategoriju par trešdaļu biežāk nekā cilvēki. Automobiļu kategorijā dators divreiz biežāk nekā samontētās masas pareizi identificēja uzņēmumu.

Šie rezultāti ne vienmēr liecina, ka uzņēmumu kategorizēšana ir tāda problēma kā šahs, kur cilvēka datoru beidzot ir pārspējis tā mehāniskais līdzinieks. Drīzāk viņi liek domāt, ka kaut kas pašā Mechanical Turk ir bojāts - vai nu stimulēšanas sistēma, vai tās mehānismi policijas kvalitātes nodrošināšanai. Jau sen zināms, ka Mechanical Turk algas ir diezgan zemas — strādnieki par savu darbu nopelna vidēji divus līdz trīs dolārus stundā, un, visticamāk, tā ir daļa no problēmas. Ekonomisti tikai tikko sākuši risināt šo jautājumu; par to vairāk rīt.

Sekojiet Mimsam Twitter vai sazinieties ar viņu pa e-pastu .

paslēpties