AI programmatūra pārspēj ceturtās klases skolēnus dabaszinātņu pārbaudēs

Kurā gada sezonā truša kažoks būtu visbiezākais? Datorprogramma Aristo var jums pastāstīt, jo tā lasīja ceturtās klases mācību rokasgrāmatā par lāčiem, kas ziemā audzē biezākas spalvas, un zina, ka arī truši ir zīdītāji. Tā mācās Ņujorkas štata standarta zinātnes eksāmeniem.





Aristo izstrādā pētnieki Allena Mākslīgā intelekta institūts Sietlā, kuri vēlas dot mašīnām veselā saprāta mērauklu par pasauli. Institūta izpilddirektors, Orens Etcioni , saka, ka labākais veids, kā salīdzināt savu digitālo pēcnācēju attīstību, ir izmantot skolēniem paredzētus testus. Viņš cenšas pārliecināt citus AI pētniekus pieņemt standartizētus skolas testus, lai novērtētu progresu šajā jomā.

Mēs varam objektīvi novietot savu izpratni par progresu AI un dabiskajā valodā, saka Etzioni. Viņš saka, ka spējai salīdzināt dažādu pieeju priekšrocības vajadzētu atvieglot daudzsološu pieeju identificēšanu un paātrināt progresu.

Oktobra sākumā Allena institūts uzsāks konkursu, kurā pētnieki izaicina izveidot programmatūru, lai risinātu astotās klases zinātnes jautājumus. Konkurss tiek mitināts datu zinātnes vietnē Kaggle , kur dalībnieki varēs piekļūt tūkstošiem prakses jautājumu, lai apmācītu savu programmatūru. Balva 50 000 USD apmērā tiks piešķirta programmatūras radītājam, kas spēj iegūt vislabākos rezultātus jautājumos, kurus tas iepriekš nav redzējis.



Šobrīd Aristo ne tuvu nav nokārtojis ceturtās klases dabaszinību pārbaudījumu. Tas prasa 65 procentu punktu skaitu. Aristo var atbildēt tikai uz jautājumiem ar atbilžu variantiem, kas veido apmēram divas trešdaļas testa. Tas iegūst aptuveni 75 procentus tiem, kas neietver diagrammas, un 45 procentus tiem, kas tos izmanto, saka Etcioni. Aristo iegūst 63 procentus astotās klases atbilžu variantos, kuros nav iekļautas diagrammas.

Jūs varat redzēt Aristo atbildēt uz atlasītajiem ceturtās klases jautājumiem Allena institūta tīmekļa vietnē. Programmatūra izmanto spriešanas algoritmus, lai atbildētu uz jautājumiem, izmantojot zināšanas, kas iegūtas no mācību ceļvežiem un tīmekļa.

AI galvenais izaicinājums ir atrast veidu, kā programmatūrā izmantot kaut nedaudz veselā saprāta, un tas var novest pie tā, ka datori mums palīdzēs daudzos jaunos veidos. Ja mēs vēlamies izveidot sistēmas, kas ir izturīgas un dabiskākas, lai cilvēki varētu strādāt, viņiem būs vajadzīgas šīs spējas, saka Etzioni.



To uzskata citi vadošie pētnieki, tostarp Facebook augošā AI laboratorija, kas vēlas nodrošināt virtuālos palīgus, kas spēj runāt pamata sarunās (skatiet sadaļu Mācīšanas mašīnas, lai mūs saprastu). Viens no iemesliem, kāpēc esošie virtuālie palīgi, piemēram, Apple Siri vai Microsoft Cortana, ir ļoti ierobežoti, ir tas, ka viņiem ir jāiztiek bez veselā saprāta. Viņi izmanto jūsu teikto, lai atlasītu no iepriekš ieprogrammētu noteikumu portfeļa.

Ernests Deiviss , Ņujorkas universitātes profesors, piekrīt, ka veids, kā salīdzināt mašīnas veselo saprātu, varētu palīdzēt šajā jomā. Bet viņš neuzskata, ka skolas pārbaudes darbu izmantošana ir laba izvēle.

Viņš saka, ka bērniem izveidoto testu izmantošana nodrošina to, ka pētnieki nejauši vai apzināti nepadara pārāk vienkāršu savas jomas etalonu. Taču, tā kā bērni daudz labāk izprot pasauli nekā mašīnas, viņiem rakstītos testus nevar izmantot, lai pārbaudītu prasmes, kas ir vissvarīgākās, lai progresētu ar viedo programmatūru, viņš saka.



Tas, kas ir grūti cilvēkiem, ļoti atšķiras no grūtībām mašīnām, saka Deiviss, kurš arī strādā pie programmatūras veselā saprāta nodrošināšanas. Standartizētie testi cilvēkiem nesniedz ļoti labu informāciju par problēmām, kas ir sarežģītas datoriem.

Deiviss saka, ka labāka alternatīva būtu eksāmenu stila jautājumu izstrāde speciāli mašīnām. Viens viņa izveidotā jautājuma piemērs liecina, ka iekārtām izstrādāts dabaszinātņu eksāmens ceturtklasniekam varētu izskatīties ļoti vienkāršs: Sallijas mīļākā govs vakar nomira. Govs droši vien atkal būs dzīva a) rīt; b) nedēļas laikā; c) gada laikā; d) dažu gadu laikā; e) govs nekad vairs nebūs dzīva.

Etcioni iebilst, ka, lai gan skolas pārbaudes jautājumi tieši nepārbauda veselo saprātu, tie to pieprasa netieši, jo tas ir nepieciešams jautājumu interpretēšanai. Viņš saka, ka tikai izmantojot jautājumus, kas izstrādāti cilvēkiem, mēs patiešām varam teikt, ka mēs mērām iekārtas atbilstoši mūsu pašu standartiem. Ir jēga nostādīt cilvēkus un mašīnas līdzvērtīgā stāvoklī.



paslēpties