AI palīdz apkopot jaunāko AI

Ms Tech | howadesign/Lietvārdu projekts

Ziņas: Jauns AI modelis Lai apkopotu zinātnisko literatūru, tagad viņi var palīdzēt pētniekiem izpētīt un noteikt jaunākos jaunākos rakstus, kurus viņi vēlas lasīt. 16. novembrī Alena Mākslīgā intelekta institūts (AI2) šo modeli ieviesa savā vadošajā produktā, Semantikas zinātnieks , ar AI darbināma zinātnisko rakstu meklētājprogramma. Tas nodrošina viena teikuma tl;dr (pārāk garš; neizlasīju) kopsavilkumu zem katra datorzinātņu raksta (pagaidām), kad lietotāji izmanto meklēšanas funkciju vai dodas uz autora lapu. Šonedēļ darbs tika pieņemts arī konferencē Empīriskās metodes dabiskās valodas apstrādei.

Semantic Scholar funkcijas tl;dr ekrānuzņēmums.

AI2

Konteksts: Informācijas pārslodzes laikmetā AI izmantošana teksta apkopošanai ir bijusi populāra dabiskās valodas apstrādes (NLP) problēma. Šim uzdevumam ir divas vispārīgas pieejas. To sauc par ekstrahējošo, kas mēģina burtiski atrast teikumu vai teikumu kopu no teksta, kas atspoguļo tā būtību. Otru sauc par abstraktu, kas ietver jaunu teikumu ģenerēšanu. Lai gan agrāk ieguves metodes bija populārākas NLP sistēmu ierobežojumu dēļ, dabisko valodu ģenerēšanas sasniegumi pēdējos gados ir padarījuši abstrakto valodu daudz labāku.

Kā viņi to izdarīja: AI2 abstraktajā modelī tiek izmantots tā sauktais transformators — neironu tīkla arhitektūras veids, kas pirmo reizi tika izgudrots 2017. gadā un kopš tā laika ir veicinājis visus galvenos NLP lēcienus, tostarp OpenAI GPT-3 . Pētnieki vispirms apmācīja transformatoru, izmantojot vispārīgu teksta korpusu, lai noteiktu tā sākotnējās zināšanas angļu valodā. Šis process ir pazīstams kā iepriekšēja apmācība, un tas ir daļa no tā, kas padara transformatorus tik spēcīgus. Pēc tam viņi precizēja modeli — citiem vārdiem sakot, apmācīja to tālāk — konkrētajam rezumēšanas uzdevumam.

Precizēšanas dati: Pētnieki vispirms izveidoja datu kopu ar nosaukumu SciTldr, kurā ir aptuveni 5400 zinātnisku rakstu pāri un attiecīgi viena teikuma kopsavilkumi. Lai atrastu šos kvalitatīvos kopsavilkumus, viņi vispirms tos meklēja OpenReview — publiskā konferenču rakstu iesniegšanas platformā, kurā pētnieki bieži ievietos paši savu viena teikuma kopsavilkumu par savu referātu. Tas nodrošināja pāris tūkstošus pāru. Pēc tam pētnieki nolīga anotatorus, lai apkopotu vairāk rakstu, izlasot un vēl vairāk apkopojot kopsavilkumus, ko jau bija uzrakstījuši salīdzinošie recenzenti.

Lai vēl vairāk papildinātu šos 5400 pārus, pētnieki apkopoja otru datu kopu ar 20 000 zinātnisko rakstu pāriem un to nosaukumiem. Pētnieki saprata, ka, tā kā nosaukumi paši par sevi ir kopsavilkuma veids, tie vēl vairāk palīdzētu modelim uzlabot tā rezultātus. Tas tika apstiprināts ar eksperimentu palīdzību.

Funkcija tl;dr ir īpaši noderīga, lai mobilajā telefonā skatītu dokumentus.

AI2

Ekstrēms kopsavilkums: Lai gan daudzos citos pētījumos ir risināts apkopošanas uzdevums, šis izceļas ar saspiešanas līmeni, ko tas var sasniegt. SciTldr datu kopā iekļautajos zinātniskajos rakstos ir vidēji 5000 vārdu. Viņu viena teikuma kopsavilkumi vidēji ir 21. Tas nozīmē, ka katrs papīrs ir vidēji saspiests līdz 238 reizēm. Nākamā labākā abstraktā metode ir apmācīta saspiest zinātniskos darbus vidēji tikai 36,5 reizes. Pārbaudes laikā cilvēku recenzenti arī uzskatīja, ka modeļa kopsavilkumi ir informatīvāki un precīzāki nekā iepriekšējās metodes.

Nākamie soļi: Jau tagad ir vairāki veidi, kā AI2 strādā, lai īstermiņā uzlabotu savu modeli, saka Daniels Velds, Vašingtonas Universitātes profesors un Semantic Scholar pētniecības grupas vadītājs. Pirmkārt, viņi plāno apmācīt modeli apstrādāt vairāk nekā tikai datorzinātņu dokumentus. Citā gadījumā, iespējams, daļēji apmācības procesa dēļ, viņi ir atklājuši, ka tl;dr kopsavilkumi dažkārt pārāk pārklājas ar papīra nosaukumu, mazinot to kopējo lietderību. Viņi plāno atjaunināt modeļa apmācības procesu, lai sodītu šādu pārklāšanos, lai tas iemācītos izvairīties no atkārtošanās laika gaitā.

Ilgtermiņā komanda strādās arī, apkopojot vairākus dokumentus vienlaikus, kas varētu būt noderīgi pētniekiem, kas ienāk jaunā jomā, vai, iespējams, pat politikas veidotājiem, kuri vēlas ātri tikt galā ar darbu. Tas, ko mēs patiešām vēlamies darīt, ir izveidot personalizētus izpētes ziņojumus, saka Weld, kur mēs varam apkopot ne tikai vienu dokumentu, bet arī sešu jaunāko sasniegumu kopumu noteiktā apakšapgabalā.

paslēpties