Google DeepMind māca mākslīgā intelekta mašīnas lasīt

Revolūcija mākslīgā intelekta jomā pašlaik iet cauri datorzinātnēm. Šo paņēmienu sauc par dziļo mācīšanos, un tā ietekmē visu, sākot no sejas un balss līdz modei un ekonomikai.

Taču viena no jomām, kas vēl nav guvusi labumu, ir dabiskās valodas apstrāde — iespēja lasīt dokumentu un pēc tam atbildēt uz jautājumiem par to. Daļēji tas ir tāpēc, ka dziļās apmācības iekārtām vispirms ir jāapgūst savs amats no plašām datu bāzēm, kas ir rūpīgi atzīmētas šim nolūkam. Tomēr tie vienkārši nepastāv pietiekami lielā izmērā, lai būtu noderīgi.

Mūsdienās tas mainās, pateicoties Kārļa Morica Hermaņa darbam Google DeepMind Londonā un dažiem draugiem. Šie puiši saka, ka īpašais veids, kā Daily Mail un CNN raksta tiešsaistes ziņu rakstus, ļauj tos izmantot šādā veidā. Un milzīgais tiešsaistē pieejamo rakstu apjoms pirmo reizi izveido datubāzi, ko datori var izmantot, lai uzzinātu un pēc tam atbildētu par to. Citiem vārdiem sakot, DeepMind izmanto Daily Mail un CNN rakstus, lai mācītu datorus lasīt.

Dziļās mācīšanās revolūcija ir radusies galvenokārt divu sasniegumu dēļ. Pirmais ir saistīts ar neironu tīkliem, kur datorzinātnieki ir izstrādājuši jaunus paņēmienus, lai apmācītu tīklus ar daudziem slāņiem, un šis uzdevums ir bijis sarežģīts, jo ir nepieciešams precīzi noregulēt parametru skaitu. Jaunās metodes būtībā ražo gatavus tīklus, kas ir gatavi mācīties.

Taču neironu tīkls ir maz noderīgs bez datu bāzes, no kā mācīties. Šāda datu bāze ir rūpīgi jāanotē, lai iekārtai būtu zelta standarts, no kura mācīties. Piemēram, seju atpazīšanai apmācības datubāzē ir jābūt attēliem, kuros sejas un to novietojums kadrā ir skaidri identificētas. Un, lai attēli aptvertu pēc iespējas vairāk sejas izkārtojumu, datu bāzēm ir jābūt milzīgām.

Tas nesen kļuva iespējams, pateicoties tādiem pūļa piegādes pakalpojumiem kā Amazon's Mechanical Turk. Dažādas komandas ir izveidojušas šāda veida zelta standarta datubāzi, rādot cilvēkiem attēlus un aicinot viņus ap tajos esošajām sejām uzzīmēt ierobežojošus lodziņus.

Bet izveidot līdzīgu anotētu datubāzi rakstītajam vārdam ir daudz grūtāk. Protams, ir iespējams izvilkt teikumus, kas satur svarīgus punktus. Bet tie nav īpaši noderīgi, jo jebkurš mašīnas algoritms ātri iemācās meklēt to pašu frāzi, kas ir niecīgs uzdevums datoram.

Tā vietā anotācijai ir jāapraksta teksta saturs, bet tajā nav jāparādās. Lai saprastu saikni, mācību algoritmam ir jāskatās ne tikai uz vārdu un frāžu rašanos, bet arī uz to gramatiskajām saiknēm un cēloņsakarībām.

Šādas datu bāzes izveidošana ir vieglāk pateikt nekā izdarīt. Datorzinātnieki ar rokām ir ģenerējuši nelielas versijas, taču tās ir pārāk mazas, lai tās būtu ļoti noderīgas neironu tīklam. Šķiet, ka ir maz iespēju izveidot lielākus ar rokām, jo ​​cilvēki parasti slikti komentē tekstu, ja vien viņi nav specializēti redaktori.

Ievadiet Daily Mail vietni, MailOnline un CNN tiešsaistē. Šajās vietnēs tiek rādīti ziņu stāsti, kuros stāsta galvenie punkti tiek parādīti kā aizzīmju punkti, kas ir rakstīti neatkarīgi no teksta. Galvenais ir tas, ka šie kopsavilkuma punkti ir abstrakti un ne tikai kopē teikumus no dokumentiem, saka Hermans un citi.

Tas nekavējoties norāda uz veidu, kā izveidot anotētu datubāzi: ņemiet ziņu rakstus kā tekstus un aizzīmju kopsavilkumus kā anotāciju.

Tomēr DeepMind komanda iet tālāk. Viņi norāda, ka joprojām ir iespējams izstrādāt atbildes uz daudziem vaicājumiem, izmantojot vienkāršas vārdu meklēšanas metodes.

Tie sniedz šādu piemēru problēmas veidam, kas pazīstams kā Cloze vaicājums un kura risināšanai bieži tiek izmantoti mašīnmācīšanās algoritmi. Šeit mērķis ir identificēt X šajos modificētajos Daily Mail virsrakstos: a) augsto tehnoloģiju krūšturis, kas palīdz pārspēt krūtis X; b) Vai saharīns varētu palīdzēt pārspēt X?; c) Vai zivju eļļas var palīdzēt cīnīties ar prostatu X?

Hermans un kolēģi norāda, ka vienkāršs datu ieguves algoritms, ko sauc par ngram meklēšanu, varētu viegli atrast atbildi, meklējot vārdus, kas visbiežāk parādās blakus visām šīm frāzēm. Atbilde, protams, ir vārds vēzis.

Lai novērstu šāda veida risinājumu, Hermans un kopīgi anonimizē datu kopu, aizstājot dalībniekus teikumos ar vispārīgu aprakstu. Daily Mail oriģinālā teksta piemērs ir šāds: BBC producents, kuru, iespējams, skāris Džeremijs Klārksons, neizvirzīs apsūdzības Top Gear vadītājam, piektdien paziņoja viņa advokāts. Klārksonu, kurš vadīja vienu no skatītākajiem televīzijas šoviem pasaulē, BBC trešdien atlaida pēc tam, kad britu raidorganizācijas iekšējā izmeklēšanā atklājās, ka viņš ir pakļāvis producentu Oisinu Tymonu neizprovocētam fiziskam un verbālam uzbrukumam.

Šī teksta anonimizētā versija būtu šāda:
The ent381 producents it kā pārsteidza ent212 neizvirzīs apsūdzības pret ent153 saimnieks, piektdien sacīja viņa advokāts. ent212 , kurš vadīja vienu no skatītākajiem televīzijas šoviem pasaulē, atteicās no ent381 trešdien pēc iekšējās izmeklēšanas ent180 raidorganizācija atklāja, ka viņš ir pakļāvis producentu ent193 uz neizprovocētu fizisku un verbālu uzbrukumu .

Tādā veidā ir iespējams konvertēt šādu Cloze tipa vaicājumu, lai identificētu X no Producents X neizvirzīs apsūdzības Džeremijam Klārksonam, saka viņa advokāts uz Ražotājs X neizvirzīs apsūdzību ent212 , saka viņa advokāts .

Un nepieciešamā atbilde mainās no Oisin Tymon uz ent212 .

Tādā veidā anonimizētais aktieris var identificēties tikai ar zināmu izpratni par gramatiskajām saiknēm un cēloņsakarībām starp stāsta entītijām.

Rezultātā iegūtā datubāze ir milzīga, un tajā ir 110 000 rakstu no CNN un 218 000 rakstu no Daily Mail vietnes.

Pirmo reizi izveidojot šāda veida datu bāzi, Hermans un citi nevar pretoties to izmantot, lai ieviestu vairākas mašīnmācīšanās metodes. Viņi salīdzina parastās dabiskās valodas apstrādes metodes, piemēram, attāluma mērīšanu starp vārdu kombinācijām un modernākas neironu tīkla pieejas.

Rezultāti skaidri parāda, cik spēcīgi ir kļuvuši neironu tīkli. Hermans un kolēģi saka, ka labākie neironu tīkli var atbildēt uz 60 procentiem no viņiem uzdotajiem vaicājumiem. Viņi liek domāt, ka šīs mašīnas var atbildēt uz visiem vienkārši strukturētiem vaicājumiem un cīnās tikai ar vaicājumiem, kuriem ir sarežģītāka gramatiskā struktūra.

Protams, ir daži brīdinājumi. Visredzamākais ir tas, ka rakstiem no Daily Mail un CNN ir ļoti specifiska pamatā esošā struktūra, kas atšķiras no citiem nežurnālistiskiem rakstīšanas veidiem. Nav skaidrs, kā šī pamatā esošā struktūra ietekmē rezultātus.

Nav arī skaidrs, kā šīs mašīnas ir salīdzināmas ar cilvēka spējām, ko būtu viegli noskaidrot, izmantojot tādus pakalpojumus kā Mechanical Turk. Tas liktu kontekstā DeepMind apgalvojumu, kas ietverts tā raksta nosaukumā, ka šīs mašīnas mācās saprast lasīto.

Neskatoties uz to, šis ir interesants darbs, kas veido priekšu dažiem aizraujošiem notikumiem tuvākajā nākotnē. Nāk mašīnlasīšana; jautājums ir tikai cik ātri.

Atsauce: arxiv.org/abs/1506.03340 : Mašīnu mācīšana lasīt un saprast

paslēpties