211service.com
Facebook vēlas padarīt AI labāku, lūdzot cilvēkiem to pārtraukt
Yatheesh Gowda / Pixabay
AI sprādzienbīstamie panākumi pēdējo desmit gadu laikā parasti ir saistīti ar lielu datu daudzumu un lielu skaitļošanas jaudu. Taču arī etaloniem ir izšķiroša nozīme progresa veicināšanā — tie ir testi, ar kuriem pētnieki var salīdzināt savu AI, lai noskaidrotu, cik tas ir progresīvs. Piemēram, ImageNet, publiska datu kopa, kurā ir 14 miljoni attēlu, nosaka attēlu atpazīšanas mērķi. MNIST darīja to pašu attiecībā uz rokraksta atpazīšanu un GLUE (Vispārējās valodas izpratnes novērtējums) dabiskās valodas apstrādei, tādējādi radot izrāvienu valodu modeļi, piemēram, GPT-3 .
Fiksēts mērķis drīz tiek apsteigts. ImageNet tiek atjaunināts, un GLUE ir aizstāts ar SuperGLUE — grūtāku valodas uzdevumu kopumu. Tomēr agrāk vai vēlāk pētnieki ziņos, ka viņu AI ir sasniegusi pārcilvēcisku līmeni, pārspējot cilvēkus šajā vai citā izaicinājumā. Un tā ir problēma, ja mēs vēlamies, lai kritēriji turpinātu virzīt progresu.
Tāpēc Facebook izdod jauna veida testu, kas AI sastāda pret cilvēkiem, kuri dara visu iespējamo, lai tos pakluptu. Zvanīja Dynabench , pārbaudījums būs tikpat grūts, cik cilvēki izvēlēsies to izpildīt.
Etaloni var būt ļoti maldinoši, saka Douwe Kiela no Facebook AI Research, kurš vadīja rīka komandu. Pārāk liela koncentrēšanās uz etaloniem var nozīmēt plašāku mērķu pazaudēšanu. Tests var kļūt par uzdevumu.
Viņš saka, ka jūs iegūstat sistēmu, kas pārbaudē ir labāka nekā cilvēki, bet ne labāka vispārējā uzdevumā. Tas ir ļoti maldinoši, jo šķiet, ka esam daudz tālāk, nekā patiesībā esam.
Ķīla uzskata, ka tā šobrīd ir īpaša NLP problēma. Valodas modelis, piemēram, GPT-3, šķiet inteliģents, jo tas tik labi atdarina valodu. Bet ir grūti pateikt, cik daudz šīs sistēmas patiesībā saprot.
Padomājiet par mēģinājumu izmērīt cilvēka intelektu, viņš saka. Jūs varat dot cilvēkiem IQ testus, taču tas nenorāda, vai viņi patiešām saprot tēmu. Lai to izdarītu, jums ir jārunā ar viņiem, jāuzdod jautājumi.
Dynabench dara kaut ko līdzīgu, izmantojot cilvēkus AI nopratināšanai. Tas tika izlaists tiešsaistē šodien, un tas aicina cilvēkus apmeklēt vietni un aptaujāt modeļus, kas ir aiz tā. Piemēram, jūs varat piešķirt valodas modelim Wikipedia lapu un pēc tam uzdot tam jautājumus, novērtējot atbildes.
Dažos veidos šī ideja ir līdzīga tam, kā cilvēki jau spēlē ar GPT-3, pārbaudot tā robežas, vai tam, kā tērzēšanas roboti tiek vērtēti Lēbnera balvai, konkursam, kurā roboti mēģina pārvarēt kā cilvēkus. Taču, izmantojot Dynabench, testēšanas laikā atklātās kļūmes automātiski tiks iekļautas turpmākajos modeļos, padarot tos visu laiku labākus.
Pagaidām Dynabench koncentrēsies uz valodu modeļiem, jo tie ir viens no vienkāršākajiem mākslīgā intelekta veidiem, ar kuriem cilvēkiem var sazināties. Visi runā valodā, saka Ķīla. Jums nav vajadzīgas nekādas reālas zināšanas par to, kā izjaukt šos modeļus.
Taču šai pieejai vajadzētu darboties arī citiem neironu tīklu veidiem, piemēram, runas vai attēlu atpazīšanas sistēmām. Jums vienkārši ir nepieciešams veids, kā cilvēki varētu augšupielādēt savus attēlus vai likt viņiem zīmēt lietas, lai to pārbaudītu, saka Ķīla: ilgtermiņa vīzija ir atvērt to, lai ikviens varētu izveidot savu modeli un sākt vākt savus datus.
Viņš piebilst, ka mēs vēlamies pārliecināt AI kopienu, ka ir labāks veids, kā izmērīt progresu. Cerams, ka tas nodrošinās ātrāku progresu un labāku izpratni par to, kāpēc mašīnmācības modeļi joprojām neizdodas.