211service.com
Ir jauns veids, kā pieradināt valodas AI, lai tas jūs nesamulsinātu
AI modeļa GPT-2 teksta izvades attēls. Tehniķa kundze
Pēdējo divu gadu laikā mākslīgā intelekta dabiskās valodas apstrādes apakšnozare ir piedzīvojusi milzīgu progresu. Piemēram, valodas modelis, ko izstrādājusi Sanfrancisko pētniecības laboratorija OpenAI, ko sauc par GPT-2, ir izmantots, lai radīt daiļliteratūru , viltus ziņu raksti , un praktiski bezgalīgs Izvēlieties savu piedzīvojumu stila teksta spēli .
Taču šāda veida modeļi būtībā ir masīvas teksta prognozēšanas sistēmas, kuras neņem vērā, tāpēc to radītie teikumi, visticamāk, būs virspusēji raiti, nevis patiesi nozīmīgi. Ir grūti likt modelim pieturēties pie noteiktas tēmas, piemēram, veselības aprūpes. Tomēr tādi modeļi kā GPT-2 joprojām var spēlēt rasistisku un toksisku produkciju, padarot tās vēl mazāk noderīgas.
Tagad Uber AI pētniekiem ir izstrādāta veids, kā vadīt šos valodu modeļus, atvieglojot lietotājiem ģenerēto teikumu tēmas vai pat noskaņojuma precizēšanu. Ņemot vērā tūlītēju problēmu, problēma tika vērsta, piemēram, uz modeli, kuram bija likts koncentrēties uz militāro jomu, iespējams, ka tas varētu dot šādu rezultātu: problēma bija vērsta uz faktu, ka valdība bija iztērējusi miljardus militāriem nolūkiem un ka tā nevarēja izvietot karaspēku laiks. Ja tā vietā liktu koncentrēties uz politiku, rezultāts varētu būt vairāk šāds: jautājums būtu vērsts uz vienu tiesību akta sadaļu. Nav skaidrs, vai komiteja balsos par likuma pagarināšanu.
Lai gan modelis joprojām nesaprot nozīmi, tehnika nodrošina lielāku kontroli. Tas mūs sper vienu soli tuvāk tam, lai mākslīgā intelekta ģenerētās valodas lēcienus ieviestu vairāk domēnam specifiskās lietojumprogrammās, piemēram, veselības aprūpes vai finanšu pakalpojumu tērzēšanas robotos. To varētu arī izmantot, lai novirzītu modeļus no aizskarošu rezultātu radīšanas.
Šī metode izmanto divus atsevišķus statistikas modeļus. Pirmais ir vienkārši oriģinālvalodas modelis, piemēram, GPT-2, kas veido teikumus, pamatojoties uz varbūtību, ka daži vārdi parādās blakus citiem. Otrais modelis nosaka, cik labi pirmā modeļa izvade parāda vēlamo atribūtu — vai tas, piemēram, pieturas pie noteiktas tēmas vai noteiktas noskaņas. Ja vēlamais atribūts ir tāda tēma kā telpa, modelis var novērtēt pirmā modeļa izvadi pēc tam, cik atbilstošo vārdu tas satur, piemēram, planēta, galaktika un orbīta. Ja atribūts ir tāds noskaņojums kā pozitivitāte, vērtēšanas modeli var apmācīt novērtēt tā vārdu emocionālo saturu.
Kad sākotnējā uzvedne tiek ievadīta pirmajā modelī, tas sāk nākamo vārdu prognozēšanas procesu. Bet pēc katra vārda tas pārbauda savu punktu skaitu, izmantojot vērtēšanas modeli, un veic izmaiņas, pamatojoties uz atsauksmēm. Pēdējais teikums beidzas ar vēlamo atribūtu, vienlaikus saglabājot milzīgā valodas modeļa raitumu.
Jaunā metode ir ļoti elastīga un var apvienot vairākus mērķus. To varētu novirzīt, piemēram, rakstīt par ēdienu gatavošanu ar negatīvu toni. Tā priekšrocība ir arī skaitļošanas efektivitāte. Citas metodes var koncentrēt valodas modeļa rezultātus uz konkrētām tēmām vai emocijām, taču tām var būt nepieciešama ievērojama pārkvalificēšanās. GPT-2 mērogā tas ir gan ekoloģiski, gan finansiāli dārgi. Tādam absolventam kā man šo resursu nav, saka Sumanta Dathri, kura studē Caltech un bija darba līdzautore, stažējoties Uber. Jaunā metode ļauj pilnībā izvairīties no pārkvalificēšanās, nodrošinot lielāku kontroli pār jebkuru jau esošo modeli.
Komanda paredz, ka šī tehnika tiks izmantota daudzās dažādās lietojumprogrammās, neatkarīgi no tā, vai tas ir dialogu sistēmās, tulkošanas sistēmās vai pat mākslā. 2016. gadā laboratorija izstrādāja a līdzīga metode lai kontrolētu attēlu ģenerēšanu, nevis valodu. Daudzi mākslinieki to izmantoja, lai radītu skaistus materiālus, atceras Džeisons Josinskis, Uber AI dibinātājs, kurš pārraudzīja šo papīru. Es varētu redzēt, ka daudzi citi mākslinieki dara to pašu šeit.
Lai vairāk šādu stāstu tiktu piegādāts tieši jūsu iesūtnē, reģistrējieties mūsu Webby nominētajam AI informatīvajam izdevumam The Algorithm. Tas ir par brīvu.