Stingrāks Tjūringa tests atklāj tērzēšanas robotu stulbumu

Lietotājs: Siri, izsauciet man ātro palīdzību.

Siri: Labi, no šī brīža es jums izsaukšu ātro palīdzību.

Apple izlaboja šo kļūdu neilgi pēc tam, kad 2011. gadā pirmo reizi tika izlaists tā virtuālais palīgs. Taču jauns konkurss liecina, ka datoriem joprojām trūkst veselā saprāta, kas nepieciešams, lai izvairītos no tik apkaunojošiem sajaukumiem.

Konkursa rezultāti tika prezentēti akadēmiskajā konferencē Ņujorkā šonedēļ, un tie parāda, cik daudz darba ir jādara, lai datori kļūtu patiesi viedi.

Maksa Bodē ilustrācija

The Vinogradas shēmas izaicinājums lūdz datorus saprast teikumus, kas ir neskaidri, bet parasti cilvēkiem ir vienkārši parsējami. Lai atdalītu Winograd shēmas teikumus, ir nepieciešama veselā saprāta izpratne. Teikumā Domes locekļi demonstrantiem atteica atļauju, jo baidījās no vardarbības, loģiski nav skaidrs, uz kuru vārdu viņi atsaucas, lai gan cilvēki saprot plašākā konteksta dēļ.

Izaicinājumā iekļautās programmas bija nedaudz labākas nekā nejaušas, izvēloties pareizo teikumu nozīmi. Divi labākie dalībnieki bija pareizi 48 procentus gadījumu, salīdzinot ar 45 procentiem, ja atbildes tika izvēlētas nejauši. Lai varētu pretendēt uz galveno balvu USD 25 000 apmērā, dalībniekiem jāsasniedz vismaz 90 procentu precizitāte. Kopīgos labākos darbus iesniedza Ķīnas Zinātnes un tehnoloģijas universitātes pētnieks Quan Liu un Kipras Atvērtās universitātes pētnieks Nikoss Isaks.

Nav pārsteidzoši, ka mašīnas bija tikko labākas par iespēju, saka Gerijs Markuss , Ņujorkas universitātes pētnieciskais psihologs un konkursa padomdevējs. Tas ir tāpēc, ka ir ļoti grūti sniegt datoriem veselā saprāta zināšanas. Rokas kodēšanas zināšanas ir neiespējami laikietilpīgas, un datoriem nav vienkārši uzzināt par reālo pasauli, veicot teksta statistisko analīzi. Lielākā daļa Winograd Schema Challenge dalībnieku mēģina izmantot ar roku kodētas gramatikas izpratnes un faktu zināšanu bāzes kombināciju.

Markuss, kurš ir arī jauna mākslīgā intelekta starta uzņēmuma Geometric Intelligence līdzdibinātājs, saka, ka ir ievērojams, ka Google un Facebook nepiedalījās pasākumā, lai gan šo uzņēmumu pētnieki ir ierosinājuši, ka viņi gūst ievērojamu progresu dabiskās valodas izpratnē. Varēja būt, ka tie puiši ienāca šajā istabā un saņēmās simtprocentīgi un teica: 'hah!' Viņš saka. Bet tas mani būtu pārsteidzis.

Konkurss kalpo ne tikai kā AI progresa mērs. Tas arī parāda, cik grūti būs izveidot intuitīvākus un graciozākus tērzēšanas robotus un apmācīt datorus iegūt vairāk informācijas no rakstīta teksta.

Google, Facebook, Amazon un Microsoft pētnieki pievērš uzmanību valodai. Viņi izmanto jaunākās mašīnmācīšanās metodes, jo īpaši dziļās mācīšanās neironu tīklus, lai izstrādātu viedākus, intuitīvākus tērzēšanas robotus un personīgos palīgus (skatiet sadaļu Mācīšanas mašīnas, lai mūs saprastu). Patiesībā, tā kā tērzēšanas roboti un balss palīgi kļūst arvien izplatītāki, kā arī dramatiskais progress tādās jomās kā attēla un runas atpazīšana, jūs varētu domāt, ka mašīnas diezgan labi saprot valodu.

Viens no diviem pirmās vietas ierakstiem faktiski izmantoja vismodernāko mašīnmācīšanās pieeju. Liu grupa, kurā bija pētnieki no Jorkas universitātes Toronto un Kanādas Nacionālās pētniecības padomes, izmantoja dziļu mācīšanos, lai apmācītu datoru, lai no tūkstošiem tekstu atpazītu saistību starp dažādiem notikumiem, piemēram, basketbola spēlēšanu un uzvaru vai savainojumu gūšanu.

Man bija prieks redzēt padziļinātu mācīšanos, saka Leona Morgenšterna , tehnoloģiju konsultāciju firmas Leidos Corporation vecākais zinātnieks un viens no izaicinājuma organizatoriem.

Liu komanda apgalvo, ka pēc tam, kad ir novērsta problēma, kas saistīta ar to, kā tās sistēma parsēja konkursa jautājumus, tā ir gandrīz 60 procenti precīza. Tomēr Morgenšterns brīdina, ka pat tad, ja šie apgalvojumi tiktu apstiprināti, precizitāte joprojām būtu daudz sliktāka nekā cilvēka.

Vinogradas shēmas teikumus kā veidu, kā novērtēt mašīnas izpratni, pirmo reizi izcēla Toronto universitātes mākslīgā intelekta pētnieks Hektors Levesks. Tie ir nosaukti Terija Vinograda vārdā, kurš bija nozares pionieri un Stenfordas universitātes profesors, kurš izveidoja vienu no pirmajām sarunvalodas datorprogrammām.

Izaicinājums tika ierosināts 2014. gadā kā Tjūringa testa uzlabojums. Alans Tjūrings, skaitļošanas un mākslīgā intelekta priekštecis, kurš pagājušā gadsimta piecdesmitajos gados domāja, vai mašīnas kādu dienu varētu domāt tāpat kā cilvēki, ieteica vienkāršu veidu, kā pārbaudīt mašīnas intelektu. Viņa ideja bija par mašīnu, kas mēģinātu apmānīt cilvēku, domājot, ka viņš sarunājas ar īstu personu teksta sarunā.

Tjūringa testa problēma ir tāda, ka programmai bieži vien ir viegli apmānīt cilvēku, izmantojot vienkāršus trikus un izvairīšanos. Taču programma nevar parsēt Winograd shēmu vai citus neskaidrus teikumus bez kaut kādām vispārīgām zināšanām.

Konkursam varētu būt nozīmīga praktiska nozīme. Tas parādīsies, kad sāksit atbalstīt dialogus, saka Čārlijs Ortizs , vecākais galvenais pētnieks uzņēmumā Nuance, kas ražo balss atpazīšanas un balss interfeisa programmatūru un kas sponsorēja Winograd Schema Challenge. Ortizs saka, ka pat vienkāršām sarunām ar datoru būs nepieciešama veselā saprāta spriešana. Iepērkoties, ja es saku: “Es gribu dabūt ģitāras futrālīti; tai vajadzētu būt spēcīgai.” Tātad, vai “tas” attiecas uz korpusu vai ģitāru?

Markuss piebilst, ka veselā saprāta spriešana kļūs svarīgāka, jo tādas ierīces kā viedās ierīces vai valkājamie sīkrīki kļūs arvien izplatītākas. Kad vēlaties uzdot vaicājumu par savu pulksteni, jums nav jāritina 50 izvēles, viņš saka. Kad sākat runāt ar savu automašīnu vai pulksteni un atbrīvojaties no rakstīšanas modalitātes un vēlaties iegūt saistītu teikumu kopu — šo sarunu diskursu —, cilvēki vienkārši atgriežas pie lietām, un jums ir jāatrisina šīs problēmas, lai tas strādā.

paslēpties