Sajaukti teikumi liecina, ka mākslīgais intelekts joprojām īsti nesaprot valodu

Ms Tech | Unsplash / Brets Džordans

Daudzi AI, kas, šķiet, saprot valodu un kas gūst labākus rezultātus nekā cilvēki, veicot parastos izpratnes uzdevumus, nepamana, kad vārdi teikumā ir sajaukti, kas liecina, ka īsti nesaprotu valodu . Problēma ir dabiskās valodas apstrādes (NLP) sistēmu apmācības veidā; tas arī norāda uz veidu, kā tos uzlabot.

Saistīts stāsts

Veids, kā mēs apmācām AI, ir fundamentāli kļūdains Process, ko izmanto, lai izveidotu lielāko daļu mūsdienās izmantojamo mašīnmācības modeļu, nevar noteikt, vai tie darbosies reālajā pasaulē, un tā ir problēma.

Pētnieki Auburn Universitātē Alabamas štatā un Adobe Research atklāja trūkumu kad viņi mēģināja panākt, lai NLP sistēma ģenerētu savas uzvedības skaidrojumus, piemēram, kāpēc tā apgalvoja, ka dažādi teikumi nozīmē vienu un to pašu. Pārbaudot savu pieeju, viņi saprata, ka vārdu sajaukšana teikumā neko neietekmē skaidrojumus. Tā ir vispārēja problēma visiem NLP modeļiem, saka Anh Nguyen no Oburnas universitātes, kurš vadīja darbu.

Komanda aplūkoja vairākas jaunākās NLP sistēmas, kuru pamatā ir BERT (valodas modelis, ko izstrādājis Google un kas ir pamatā daudzām jaunākajām sistēmām, tostarp GPT-3). Visas šīs sistēmas iegūst labākus rezultātus nekā cilvēki LĪME (General Language Understanding Evaluation) — standarta uzdevumu kopums, kas paredzēts, lai pārbaudītu valodas izpratni, piemēram, pārfrāzēs, spriest par to, vai teikums pauž pozitīvu vai negatīvu noskaņojumu, un verbālo argumentāciju.

Vīrietis kož suni: Viņi atklāja, ka šīs sistēmas nevarēja noteikt, kad vārdi teikumā ir sajaukti, pat ja jaunā kārtība mainīja nozīmi. Piemēram, sistēmas pareizi pamanīja, ka teikumi Vai marihuāna izraisa vēzi? un kā marihuānas smēķēšana var izraisīt plaušu vēzi? bija pārfrāzes. Bet viņi bija vēl pārliecinātāki, ka jūs, smēķējat vēzi, var dot marihuānas plaušas? un plaušu var dot marihuānas smēķēšanu, kā jūs vēzi? arī nozīmēja to pašu. Sistēmas arī nolēma, ka teikumi ar pretēju nozīmi, piemēram, Vai marihuāna izraisa vēzi? un Vai vēzis izraisa marihuānu? — uzdeva to pašu jautājumu.

Vienīgais uzdevums, kurā vārdu secībai bija nozīme, bija tāds, kurā modeļiem bija jāpārbauda teikuma gramatiskā struktūra. Pretējā gadījumā no 75% līdz 90% pārbaudīto sistēmu atbilžu nemainījās, kad vārdi tika sajaukti.

Kas notiek? Šķiet, ka modeļi teikumā uztver dažus atslēgas vārdus neatkarīgi no to secības. Viņi nesaprot valodu tāpat kā mēs, un GLUE — ļoti populārs etalons — nenovērtē patieso valodas lietojumu. Daudzos gadījumos uzdevums, ar kuru modelis tiek apmācīts, neliek tam rūpēties par vārdu secību vai sintaksi kopumā. Citiem vārdiem sakot, GLUE māca NLP modeļiem lēkt cauri stīpām.

Daudzi pētnieki ir sākuši izmantot grūtāku testu komplektu, ko sauc par SuperGLUE, taču Ngujenam ir aizdomas, ka tam būs līdzīgas problēmas.

Šo problēmu atklāja arī Jošua Bendžo un viņa kolēģi vārdu pārkārtošana sarunā dažreiz nemainīja tērzēšanas robotu sniegtās atbildes. Un Facebook AI Research komanda atklāja piemēri, kā tas notiek ar ķīniešiem . Nguyen komanda parāda, ka problēma ir plaši izplatīta.

Vai tam ir nozīme? Tas ir atkarīgs no pielietojuma. No vienas puses, noderētu AI, kas joprojām saprot, kad pieļaujat drukas kļūdu vai sakāt kaut ko nepareizi, kā to varētu cits cilvēks. Bet kopumā vārdu secībai ir izšķiroša nozīme, atdalot teikuma nozīmi.

labot Kā? Labā ziņa ir tā, ka to var nebūt pārāk grūti salabot. Pētnieki atklāja, ka, piespiežot modeli koncentrēties uz vārdu secību, apmācot to veikt uzdevumu, kurā vārdu secībai ir nozīme (piemēram, gramatisko kļūdu pamanīšana), modelis uzlaboja arī citus uzdevumus. Tas liek domāt, ka, pielāgojot uzdevumus, ko modeļi ir apmācīti, tie kopumā uzlabos.

Nguyen rezultāti ir vēl viens piemērs tam, kā modeļiem bieži vien ir daudz mazāk uz ko cilvēki uzskata, ka viņi ir spējīgi. Viņaprāt, tas parāda, cik grūti ir to pagatavot AI, kas saprot un spriež tāpat kā cilvēki . Nevienam nav ne jausmas, viņš saka.

paslēpties