211service.com
AI viltus ziņu ģenerēšanai varētu arī palīdzēt tās atklāt
Hendriks Štrobelts un Sebastians Gērmans
Pagājušajā mēnesī OpenAI diezgan dramatiski aizturēja sava jaunākā valodas modeļa GPT-2 izlaišanu, jo baidījās, ka to varētu izmantot, lai automatizētu dezinformācijas masveida ražošanu. Lēmums arī paātrināja AI kopienas notiekošo diskusiju par to, kā atklāt šāda veida viltus ziņas. Jaunā eksperiments MIT-IBM Watson AI Lab un HarvardNLP pētnieki apsvēra, vai tie paši valodu modeļi, kas var rakstīt tik pārliecinošu prozu, var pamanīt arī citus modeļu ģenerētus fragmentus.
Šīs hipotēzes ideja ir vienkārša: valodas modeļi veido teikumus, paredzot nākamo vārdu teksta secībā. Tātad, ja viņi var viegli paredzēt lielāko daļu vārdu konkrētajā fragmentā, visticamāk, to ir uzrakstījis kāds no viņiem.
Pētnieki pārbaudīja savu ideju, izveidojot interaktīvs rīks pamatojoties uz OpenAI GPT-2 publiski pieejamo pazemināto versiju. Kad rīkam ievadāt teksta fragmentu, tas izceļ vārdus zaļā, dzeltenā vai sarkanā krāsā, lai norādītu uz paredzamības samazināšanos; tas izceļ tos purpursarkanā krāsā, ja tas tos nemaz neparedzētu. Teorētiski, jo lielāka ir sarkano un purpursarkano vārdu daļa, jo lielāka iespēja, ka fragmentu ir uzrakstījis cilvēks; jo lielāks ir zaļo un dzelteno vārdu īpatsvars, jo lielāka iespējamība, ka to rakstījis valodas modelis.
Lasīšanas izpratnes fragments no ASV standartizēta testa, ko uzrakstījis cilvēks. Hendriks Štrobelts un Sebastians Gērmans
Fragments, ko rakstījis OpenAI pazeminātais GPT-2. Hendriks Štrobelts un Sebastians Gērmans
Patiešām, pētnieki atklāja, ka fragmenti, kas rakstīti ar pazeminātām un pilnām GPT-2 versijām, ir gandrīz pilnīgi zaļi un dzelteni, savukārt zinātniskie kopsavilkumi, ko rakstījuši cilvēki, un teksts no lasīšanas izpratnes fragmentiem ASV standartizētajos testos bija daudz sarkanā un purpursarkanā krāsā.
Bet ne tik ātri. Dženela Šeina, pētniece, kura vada populāro emuāru Ļaujiet neironu tīkliem būt dīvainiem un kurš nebija iesaistīts sākotnējā izpētē, nodeva rīku vairāk stingrs tests . Tā vietā, lai tikai ievadītu GPT-2 ģenerētu tekstu, viņa ievadīja tai fragmentus, kas rakstīti arī citos valodu modeļos, tostarp vienu, kas apmācīti par Amazon apskatiem un otru, kas apmācīts par Dungeons un Dragons biogrāfijām. Viņa atklāja, ka rīks nespēj paredzēt lielu vārdu daļu katrā no šīm rindkopām, un tāpēc tika pieņemts, ka tie ir cilvēku rakstīti. Tas norāda uz svarīgu ieskatu: valodas modelis var labi noteikt savu izvadi, bet ne vienmēr citu izvadi.
Šis stāsts sākotnēji parādījās mūsu AI informatīvajā izdevumā The Algorithm. Lai tas tiktu tieši piegādāts jūsu iesūtnē, reģistrējieties šeit bez maksas.