Dabiskās valodas apstrādes joma dzenas uz nepareizu mērķi

Ms Tech | Atbrīvojieties no šļakatām

Tipiskā ikgadējā sanāksmē Datorlingvistikas asociācija (ACL), programma ir tādu nosaukumu parāde kā Strukturēts variāciju autokodētājs kontekstuālai morfoloģiskai locīšanai. Tāda pati tehniskā garša caurstrāvo dokumentus, izpētes sarunas un daudzas gaiteņa tērzēšanas sarunas.

Šajā gadā konference tomēr jūlijā kaut kas šķita savādāk — un tas nebija tikai virtuālais formāts. Dalībnieku sarunas bija neparasti introspektīvas par dabiskās valodas apstrādes (NLP) galvenajām metodēm un mērķiem, kas ir AI nozare, kas koncentrējās uz sistēmu izveidi, kas analizē vai ģenerē cilvēka valodu. Papīri šī gada jaunumā Tēmas celiņš uzdeva tādus jautājumus kā: Vai ir pašreizējās metodes tiešām pietiekami lai sasniegtu lauka galvenos mērķus? Kas vai tie pat ir mērķi?

Mani kolēģi un es plkst Stihijas izziņa AI pētniecības uzņēmums, kas atrodas Konektikutā un Ņujorkā, uzskata, ka satraukums ir pamatots. Patiesībā mēs uzskatām, ka jomai ir nepieciešama pārveide ne tikai sistēmas izstrādē, bet arī mazāk krāšņā jomā: novērtēšanā.

Pašreizējais NLP laikmets radās no pusdesmit gadu ilgiem pastāvīgiem uzlabojumiem saskaņā ar standarta novērtēšanas paradigmu. Sistēmu spējas saprast parasti tiek mērītas pēc etalona datu kopas sastāv no tūkstošiem jautājumu, katram ir pievienoti fragmenti, kas satur atbildi. Kad 2010. gadu vidū padziļināti neironu tīkli pārņēma laukumu, tie radīja kvantitatīvu veiktspējas lēcienu. Turpmākie darba posmi ļāva sasniegt rezultātus arvien tuvāk 100% (vai vismaz līdztiesībai ar cilvēkiem).

Tāpēc pētnieki publicēs jaunas datu kopas pat viltīgāks jautājumiem , tikai lai redzētu, ka vēl lielāki neironu tīkli ātri publicē iespaidīgus rezultātus. Liela daļa mūsdienu lasīšanas izpratnes pētījumu ir saistīti ar modeļu rūpīgu pielāgošanu, lai jaunākajās datu kopās iegūtu vēl dažus procentu punktus. Modernākais lietvārds ir praktiski kļuvis par īpašvārdu: We beat SOTA on SQUAD par 2,4 punktiem!

Bet daudzi cilvēkiem iekšā uz lauks arvien nogurst no šādas līderu saraksta dzīšanās. Ko pasaule patiesībā ir ieguvusi, ja masīvs neironu tīkls sasniedz SOTA uz kādu etalonu par punktu vai diviem? Nav tā, it kā kāds rūpētos par atbildēm uz šiem jautājumiem viņu pašu dēļ; uzvarēt līderu sarakstā ir akadēmisks uzdevums, kas, iespējams, nepadara reālos rīkus labākus. Patiešām, daudzi acīmredzami uzlabojumi izriet nevis no vispārējās izpratnes spējām, bet gan no modeļu neparastajām prasmēm ekspluatējot viltus modeļiem datos. Vai nesenie sasniegumi patiešām palīdz cilvēkiem atrisināt problēmas?

Šādas šaubas ir vairāk nekā abstraktas satraukums; Tas, vai sistēmas patiešām ir lietpratīgas valodas izpratnē, patiešām ietekmē sabiedrību. Protams, izpratne ietver plašu prasmju kolekciju. Vienkāršākām lietojumprogrammām, piemēram, Vikipēdijas faktu izgūšanai vai produktu apskatu noskaņojuma novērtēšanai, modernas metodes dara diezgan labi . Bet, kad cilvēki iedomājas datorus, kas saprot valodu, viņi iztēlojas daudz sarežģītāku uzvedību: juridiskus rīkus, kas palīdz cilvēkiem analizēt viņu sarežģītās situācijas; pētniecības palīgi, kas sintezē informāciju no visa tīmekļa; roboti vai spēļu varoņi, kas izpilda detalizētus norādījumus.

Mūsdienu modeļi ne tuvu nesniedz šādu izpratnes līmeni, un nav skaidrs, vai vēl viens SOTA dokuments tuvinās šo jomu.

Kā NLP kopiena beidzās ar šādu plaisu starp uz papīra novērtējumiem un reālajām spējām? ACL pozīcijas papīrs , mani kolēģi un es apgalvojam, ka, cenšoties sasniegt sarežģītus kritērijus, novērtējumi ir pazaudējuši patiesos mērķus: šīs sarežģītās pakārtotās lietojumprogrammas. Lai aizņemtos rindiņu no papīra, NLP pētnieki ir trenējušies, lai kļūtu par profesionāliem sprinteriem, skatoties sporta zālē un veicot jebkādus vingrinājumus, kas šķiet smagi.

Lai novērtējumi vairāk atbilstu mērķiem, tas palīdz apsvērt, kas kavē mūsdienu sistēmas.

Cilvēks, lasot fragmentu, veidos detalizētu entītiju, vietu, notikumu un to attiecību attēlojumu — tekstā aprakstītās pasaules garīgo modeli. Pēc tam lasītājs var aizpildīt trūkstošās detaļas modelī, ekstrapolēt ainu uz priekšu vai atpakaļ vai pat izvirzīt hipotēzi par hipotētiskām alternatīvām.

Šāda veida modelēšana un spriešana ir tieši tas, kas jādara automatizētajiem pētnieku asistentiem vai spēļu varoņiem, un mūsdienu sistēmās tā acīmredzami trūkst. NLP pētnieks parasti var izveidot mūsdienīgu lasīšanas izpratnes sistēmu dažu mēģinājumu laikā. Viens uzticama tehnika ir izpētīt sistēmas pasaules modeli, kas var atstāt pat ļoti satricināto GPT-3 pļāpāšana par cikloptiskajiem zāles stiebriem.

Lai automatizētos lasītājus papildinātu ar pasaules modeļiem, būs nepieciešami lieli jauninājumi sistēmas izstrādē, kā minēts rakstā vairākas Tēma-celiņš iesniegumus . Taču mūsu arguments ir elementārāks: lai arī sistēmas tiktu ieviestas, ja tām ir vajadzīgi uzticami pasaules modeļi, tad novērtējumos sistemātiski jāpārbauda, ​​vai tām ir uzticīgi pasaules modeļi.

Tik plikpauri pateikts, ka tas var izklausīties pašsaprotami, taču tas tiek darīts reti. Pētniecības grupas, piemēram, Allena AI institūts ir ierosināts citus veidus, kā nostiprināt novērtējumus, piemēram, mērķēt uz dažādām valodu struktūrām, uzdot jautājumus, kas balstās uz vairākiem argumentācijas soļiem, vai pat vienkārši apkopojot daudzi etaloniem . Citi pētnieki, piemēram Jejins Čojs Vašingtonas universitātes grupa ir koncentrējusies uz testēšanu kopīgs sajūtu , kas ietver pasaules modeļa aspektus. Šādi centieni ir noderīgi, taču parasti tie joprojām koncentrējas uz tādu jautājumu apkopošanu, uz kuriem mūsdienu sistēmām ir grūti atbildēt.

Mēs piedāvājam būtiskāku maiņu: lai izveidotu jēgpilnākus novērtējumus, NLP pētniekiem vajadzētu sākt, rūpīgi precizējot, kam vajadzētu būt sistēmas pasaules modelim, lai tas būtu noderīgs pakārtotajām lietojumprogrammām. Mēs šādu kontu saucam par izpratnes paraugu.

Viena īpaši daudzsološa šīs pieejas pārbaudes vieta ir izdomāti stāsti. Oriģinālie stāsti ir bagāti ar informāciju, tos nevar izmantot Google, un tie ir ļoti svarīgi daudzām lietojumprogrammām, padarot tos par ideālu lasīšanas izpratnes prasmju pārbaudi. Pamatojoties uz kognitīvās zinātnes literatūru par lasītājiem, mūsu izpilddirektors Deivids Feruči ir ierosinājusi četru daļu veidni, lai pārbaudītu AI sistēmas spēju saprast stāstus.

• Telpiskais: Kur viss atrodas un kā tas ir novietots visā stāstā?
• Pagaidu: Kādi notikumi notiek un kad?
• Cēloņsakarība: Kā notikumi mehāniski noved pie citiem notikumiem?
• Motivācija: Kāpēc varoņi nolemj veikt savas darbības?

Sistemātiski uzdodot šos jautājumus par visām entītijām un notikumiem stāstā, NLP pētnieki var principiāli novērtēt sistēmu izpratni, meklējot pasaules modeļus, kas sistēmām patiesībā ir nepieciešami.

Ir iepriecinoši redzēt, ka NLP kopiena pārdomā to, kas trūkst mūsdienu tehnoloģijās. Mēs ceram, ka šī domāšana radīs ievērojamus ieguldījumus ne tikai jaunos algoritmos, bet arī jaunos un stingrākos mērīšanas iekārtu izpratnes veidos. Šāds darbs var nebūt tik daudz virsrakstu, taču mums ir aizdomas, ka ieguldījumi šajā jomā virzīs jomu uz priekšu vismaz tikpat lielā mērā kā nākamais milzīgais modelis.

Džesijs Dunets ir pētnieks pie Stihijas izziņa , kur viņš strādā pie stingru lasīšanas izpratnes sistēmu novērtējumu izstrādes. Viņš ir arī MIT izglītības dizaineris Komunikācijas laboratorija un a zinātnes rakstnieks .

paslēpties