Šis algoritms pārlūko Vikipēdiju, lai automātiski ģenerētu mācību grāmatas

Wikipedia

Mašīnmācīšanās — pilnīga rokasgrāmata ir smags raksts. Šī grāmata, kurā ir vairāk nekā 6000 lappušu, ir visaptverošs ievads mašīnmācībā ar jaunākajām nodaļām par mākslīgajiem neironu tīkliem, ģenētiskajiem algoritmiem un mašīnredzi.

Bet šī nav parasta publikācija. Tā ir Vikigrāmata, mācību grāmata, kurai ikviens var piekļūt vai kuru var rediģēt, un kas veidota no rakstiem Wikipedia, plašā tiešsaistes enciklopēdijā.

Tas ir spēks. Crowdsourced informācija tiek pastāvīgi atjaunināta ar visiem jaunākajiem sasniegumiem un konsekventi rediģēta, lai labotu kļūdas un neskaidrības.

Bet tas ir arī vājums. Vikipēdija ir plaša. Izlemt, ko iekļaut šādā mācību grāmatā, ir grūts uzdevums, iespējams, tāpēc grāmata ir tik milzīga. Ar vairāk nekā 550 nodaļām tā nav viegla lasāmviela.

Tas rada interesantu jautājumu. Ņemot vērā mākslīgā intelekta sasniegumus pēdējos gados, vai ir veids, kā automātiski rediģēt Vikipēdijas saturu, lai izveidotu saskaņotu veselumu, kas būtu noderīgs kā mācību grāmata?

Ienāciet Šahars Admati un kolēģi Negevas Ben-Guriona universitātē Izraēlā. Šie puiši ir izstrādājuši veidu, kā automātiski ģenerēt Vikigrāmatas, izmantojot mašīnmācīšanos. Viņi sauc savu mašīnu par Wikibook-bot. Viņi saka, ka mūsu tehnikas jaunums ir tāds, ka tās mērķis ir ģenerēt veselu Vikigrāmatu bez cilvēka līdzdalības.

Pieeja ir samērā vienkārša. Pētnieki sāka, identificējot esošo Wikibooks kopu, kas var darboties kā apmācības datu kopa. Viņi sāka ar 6700 Wikibooks, kas tika iekļauti datu kopā, ko Wikipedia darīja pieejamu šāda veida akadēmiskajam pētījumam.

Tā kā šīs Vikigrāmatas veido sava veida zelta standartu gan apmācībai, gan testēšanai, komandai bija nepieciešams veids, kā nodrošināt to kvalitāti. Mēs izvēlējāmies koncentrēties uz Vikigrāmatām, kuras tika skatītas vismaz 1000 reižu, pamatojoties uz pieņēmumu, ka populārās Vikigrāmatas ir saprātīgas kvalitātes, viņi saka.

Līdz ar to palika 490 Wikibooks, kuras viņi filtrēja tālāk, pamatojoties uz tādiem faktoriem kā, kurās ir vairāk nekā 10 nodaļas. Tādējādi komanda izmantoja 407 Wikibooks, lai apmācītu savas mašīnas.

Pēc tam komanda sadalīja uzdevumu izveidot Wikibook vairākās daļās, no kurām katrai ir nepieciešamas dažādas mašīnmācīšanās prasmes. Uzdevums sākas ar cilvēka ģenerētu nosaukumu, kas apraksta kāda veida jēdzienu, piemēram, Mašīnmācīšanās — pilnīga rokasgrāmata .

Pirmais uzdevums ir sakārtot visu Vikipēdijas rakstu kopu, lai noteiktu, kuri ir pietiekami būtiski, lai iekļautu. Šis uzdevums ir sarežģīts, jo Vikipēdijā ir daudz rakstu un ir jāatlasa visatbilstošākie raksti no miljoniem pieejamo rakstu, saka Admati un citi.

Lai palīdzētu veikt šo uzdevumu, komanda izmantoja Wikipedia tīkla struktūru — raksti bieži norāda uz citiem rakstiem, izmantojot hipersaites. Ir saprātīgi pieņemt, ka saistītais raksts, visticamāk, būs atbilstošs.

Tāpēc viņi sāka ar nelielu rakstu kodolu, kurā nosaukumā minēts sēklu jēdziens. Pēc tam viņi tīklā identificēja visus rakstus, kas ir līdz trīs apiņu attālumā no šīm sēklām.

Bet cik no šiem saistītajiem rakstiem vajadzētu iekļaut? Lai to noskaidrotu, viņi sāka ar 407 cilvēku radīto Vikigrāmatu nosaukumiem un veica trīs apiņu analīzi. Pēc tam viņi noskaidroja, cik liela daļa cilvēku radīto grāmatu satura ir iekļauta automatizētajā pieejā.

Izrādās, ka automatizētā pieeja bieži ietvēra lielu daļu oriģinālā Vikigrāmatas satura, bet turklāt daudz vairāk. Tāpēc komandai bija nepieciešams kāds cits veids, kā turpināt saturu.

Atkal tiek izmantota tīkla zinātne. Katrai cilvēka radītajai Vikigrāmatai ir sava tīkla struktūra, ko nosaka saišu skaits, kas norāda uz citiem rakstiem, saišu skaits, kas norāda, iekļauto rakstu lapas ranga saraksts un tā tālāk.

Tāpēc komanda izveidoja algoritmu, kas aplūkoja katru automātiski atlasīto rakstu konkrētai tēmai un pēc tam noteica, vai tā iekļaušana Vikigrāmatā padarītu tīkla struktūru līdzīgāku cilvēku radītajām grāmatām vai nē. Ja nē, raksts tiek izlaists.

Nākamais solis ir sakārtot rakstus nodaļās. Tas būtībā ir klasterizācijas uzdevums; aplūkot tīklu, ko veido visa rakstu kopa, un izdomāt, kā to sadalīt saskaņotās kopās. Šāda veida uzdevumiem ir pieejami dažādi klasterizācijas algoritmi.

Pēdējais solis ir noteikt secību, kādā raksti jāparādās katrā nodaļā. Lai to izdarītu, komanda sakārto rakstus pa pāriem un izmanto uz tīkla balstītu modeli, lai noteiktu, kurš jāparādās pirmais. Atkārtojot to visām rakstu pāru kombinācijām, algoritms izstrādā vēlamo secību rakstiem un līdz ar to arī nodaļām.

Tādā veidā komanda varēja izveidot automatizētas Wikibooks versijas, kuras jau bija izveidojuši cilvēki. Grūti spriest par to, cik labi šīs automatizētās grāmatas ir salīdzināmas ar cilvēku radītajām. Tajos noteikti ir daudz viena un tā paša materiāla, bieži vien līdzīgā secībā, kas ir labs sākums.

Taču Adamti un citiem ir plāns, kā noteikt savas pieejas lietderību. Viņi plāno izveidot virkni Vikigrāmatu par tēmām, kuras vēl nav ietvertas cilvēku radītās grāmatās. Pēc tam viņi pārraudzīs šo grāmatu lapu skatījumus un labojumus, lai redzētu, cik populāras tās kļūst un cik intensīvi tās tiek rediģētas salīdzinājumā ar cilvēku radītajām grāmatām. Viņi saka, ka tas būs mūsu pieejas reāls pārbaudījums.

Tas ir interesants darbs, kas var radīt vērtīgas mācību grāmatas par dažādām tēmām un pat radīt citus tekstus, piemēram, konferenču rakstus. Tas, cik vērtīgi tie būs cilvēku lasītājiem, vēl nav noteikts. Bet mēs skatīsimies, lai uzzinātu.

Atsauce: arxiv.org/abs/1812.10937 : Wikibook-Bot — automātiska Wikipedia grāmatas ģenerēšana

paslēpties