Baidu ir jauns triks, kā iemācīt AI valodas nozīmi

Augstspiedes rakstzīmes MS Tech / Avots: Unsplash

Šī mēneša sākumā Ķīnas tehnoloģiju gigants klusi gāza no troņa Microsoft un Google notiekošajā AI konkursā. Uzņēmums bija Baidu, Ķīnas tuvākais Google ekvivalents, un konkurss bija Vispārējās valodas izpratnes novērtējums, kas pazīstams arī kā GLUE.

GLUE ir plaši atzīts etalons tam, cik labi AI sistēma saprot cilvēku valodu. Tas sastāv no deviņiem dažādiem testiem, piemēram, cilvēku un organizāciju vārdu atlasīšanai teikumā un līdzīgā vietniekvārda noskaidrošanai, ja ir vairāki iespējamie priekšteči. Valodas modelis, kuram ir augsts GLUE vērtējums, tādējādi var tikt galā ar dažādiem lasīšanas izpratnes uzdevumiem. No pilna 100 punktu skaita vidusmēra cilvēks iegūst punktus aptuveni 87 punkti . Baidu tagad ir pirmā komanda, kas ar savu modeli ERNIE ir pārspējusi 90.

The publisks līderu saraksts GLUE nepārtraukti mainās, un, iespējams, drīzumā Baidu pārspēs cita komanda. Taču Baidu sasniegumu ievērojamākais ir tas, ka tas ilustrē to, kā AI pētniecība gūst labumu no daudzveidīgiem līdzstrādniekiem. Baidu pētniekiem bija jāizstrādā paņēmiens, kas īpaši paredzēts ķīniešu valodai, lai izveidotu ERNIE (kas apzīmē uzlaboto pārstāvību, izmantojot zināšanu integrāciju). Tomēr tā notiek, ka tas pats paņēmiens ļauj labāk saprast arī angļu valodu.

ERNIE priekštecis

Lai novērtētu ERNIE, apsveriet modeli, no kura tas ir iedvesmots: Google BERT . (Jā, viņi abi ir nosaukti pēc Sezama iela rakstzīmes .)

Pirms BERT (Bidirectional Encoder Representations from Transformers) izveides 2018. gada beigās dabiskās valodas modeļi nebija tik lieliski. Viņi labi spēja paredzēt nākamo vārdu teikumā, tādējādi labi piemēroti tādām lietojumprogrammām kā automātiskā pabeigšana, taču viņi nespēja uzturēt nevienu domu gājienu pat nelielā fragmentā. Tas notika tāpēc, ka viņi nesaprata nozīmi, piemēram, vārdu, uz kuru tas varētu attiekties.

Bet BERT to mainīja. Iepriekšējie modeļi iemācījās paredzēt un interpretēt vārda nozīmi, ņemot vērā tikai kontekstu, kas parādījās pirms vai pēc tā — nekad abus vienlaikus. Tie bija, citiem vārdiem sakot, vienvirziena .

Savukārt BERT ņem vērā iepriekš minēto kontekstu un pēc vārda visu uzreiz, padarot to divvirzienu . Tas tiek darīts, izmantojot paņēmienu, kas pazīstams kā maskēšana. Noteiktā teksta fragmentā BERT nejauši slēpj 15% vārdu un pēc tam mēģina tos paredzēt no pārējiem vārdiem. Tas ļauj tai veikt precīzākas prognozes, jo tam ir divreiz vairāk norāžu, no kā strādāt. Teikā Vīrietis devās uz ___, lai iegādātos pienu, piemēram, gan teikuma sākums, gan beigas dod mājienus par trūkstošo vārdu. ___ ir vieta, kur varat doties, un vieta, kur var iegādāties pienu.

Maskēšanas izmantošana ir viens no galvenajiem jauninājumiem dramatiski uzlabojumi dabiskās valodas uzdevumos un ir daļa no iemesla, kāpēc tādi modeļi kā OpenAI bēdīgi slavenais GPT-2 var rakstīt ārkārtīgi pārliecinošu prozu, neatkāpjoties no galvenās tēzes.

No angļu valodas uz ķīniešu valodu un atkal atpakaļ

Kad Baidu pētnieki sāka izstrādāt paši savu valodas modeli, viņi vēlējās balstīties uz maskēšanas tehniku. Bet viņi saprata, ka viņiem tas ir jāpielāgo, lai pielāgotos ķīniešu valodai.

Angļu valodā vārds kalpo kā semantiskā vienība — tas nozīmē, ka vārds, kas pilnībā izvilkts no konteksta, joprojām satur nozīmi. To nevar teikt par rakstzīmēm ķīniešu valodā. Lai gan dažām rakstzīmēm ir raksturīga nozīme, piemēram, uguns (火, huŏ ), ūdens (ūdens, šuĭ ), vai koka (木, akls ), lielākā daļa to nedara, kamēr nav savērti kopā ar citiem. Varonis 灵 ( lyng ), piemēram, var nozīmēt gudrs (机灵, jilíning ) vai dvēsele (dvēsele, línghún ), atkarībā no atbilstības. Un rakstzīmes īpašvārdā, piemēram, Boston (波士顿, bōshìdùn ) vai ASV (ASV, mikseris ) nenozīmē vienu un to pašu, kas reiz sadalīts.

Tāpēc pētnieki apmācīja ERNIE par jaunu maskēšanas versiju, kas slēpj rakstzīmju virknes, nevis atsevišķas. Viņi arī apmācīja to atšķirt jēgpilnas un nejaušas virknes, lai tā varētu attiecīgi maskēt pareizās rakstzīmju kombinācijas. Rezultātā ERNIE labāk izprot, kā vārdi kodē informāciju ķīniešu valodā, un daudz precīzāk prognozē trūkstošos fragmentus. Tas ir noderīgi tādām lietojumprogrammām kā tulkošana un informācijas izguve no teksta dokumenta.

Pētnieki ļoti ātri atklāja, ka šī pieeja labāk darbojas arī angļu valodā. Lai gan ne tik bieži kā ķīniešu, angļu valodā ir arī vārdu virknes, kas izsaka nozīmi, kas atšķiras no to daļu summas. Īpašvārdus, piemēram, Harijs Poters, un izteicienus, piemēram, vecā bloka nošķelšana, nevar jēgpilni parsēt, sadalot tos atsevišķos vārdos.

Tātad par teikumu:

Harijs Poters ir fantāzijas romānu sērija, ko sarakstījusi Dž.K. Roulinga.

BERT to var maskēt šādi:

[maska] Poters ir Dž. [maska] Roulingas fantāzijas romānu [maska] sērija.

Bet ĒRNIJS tā vietā maskētu to šādi:

Harijs Poters ir [maska] [maska] [maska] [maska] [maska] [maska] fantāzijas romāni.

Tādējādi ERNIE apgūst precīzākas prognozes, kuru pamatā ir nozīme, nevis statistiski vārdu lietojuma modeļi.

Ideju dažādība

Jaunākajā ERNIE versijā tiek izmantotas arī vairākas citas apmācības metodes. Tas ņem vērā teikumu secību un attālumus starp tiem, piemēram, lai saprastu rindkopas loģisko virzību. Tomēr vissvarīgākais ir izmantot metodi, ko sauc par nepārtrauktu apmācību, kas ļauj apmācīt jaunus datus un jaunus uzdevumus, neaizmirstot iepriekš apgūtos. Tas ļauj tam arvien labāk un labāk veikt dažādus uzdevumus laika gaitā ar minimālu cilvēka iejaukšanos.

Baidu aktīvi izmanto ERNIE, lai sniegtu lietotājiem piemērotākus meklēšanas rezultātus, savā ziņu plūsmā noņemtu dublētos stāstus un uzlabotu sava AI palīga Xiao Du spēju precīzi atbildēt uz pieprasījumiem. Tajā ir aprakstīta arī ERNIE jaunākā arhitektūra papīrā kas tiks prezentēts Mākslīgā intelekta attīstības asociācijas konferencē nākamgad. Tāpat kā viņu komanda veidoja Google darbu ar BERT, pētnieki cer, ka arī citi gūs labumu no viņu darba ar ERNIE.

Kad mēs pirmo reizi sākām šo darbu, mēs īpaši domājām par noteiktām ķīniešu valodas īpašībām, saka Hao Tian, ​​Baidu Research galvenais arhitekts. Bet mēs ātri atklājām, ka tas ir piemērojams ārpus tā.

Lai vairāk šādu stāstu tiktu piegādāts tieši jūsu iesūtnē, reģistrējieties mūsu Webby nominētajam AI informatīvajam izdevumam The Algorithm. Tas ir par brīvu.

paslēpties