Valodu modeļi, piemēram, GPT-3, varētu vēstīt par jauna veida meklētājprogrammu

Pixabay

1998. gadā daži Stenfordas maģistrantūras studenti publicēja darbu, aprakstot jaunu veidu meklētājs : Šajā rakstā mēs prezentējam Google — liela mēroga meklētājprogrammas prototipu, kas intensīvi izmanto hiperteksta struktūru. Google ir izstrādāta, lai efektīvi pārmeklētu un indeksētu tīmekli un sniegtu daudz apmierinošākus meklēšanas rezultātus nekā esošās sistēmas.

Saistīts stāsts

Šis visu zinošais AI mācās, nepārtraukti lasot visu tīmekli Diffbot veido visu laiku lielāko zināšanu grafiku, izmantojot attēlu atpazīšanu un dabiskās valodas apstrādi miljardiem tīmekļa lapu.

Galvenais jauninājums bija algoritms ar nosaukumu PageRank, kas ranžēja meklēšanas rezultātus, aprēķinot, cik tie bija atbilstoši lietotāja vaicājumam, pamatojoties uz viņu saitēm uz citām tīmekļa lapām. PageRank aizmugurē Google kļuva par vārtiem uz internetu, un Sergejs Brins un Lerijs Peidžs izveidoja vienu no lielākajiem uzņēmumiem pasaulē.

Tagad Google pētnieku komanda ir publicējusi priekšlikums par radikālu pārprojektēšanu kas izmet ranžēšanas pieeju un aizstāj to ar vienu lielu AI valodas modeli — BERT nākotnes versiju vai GPT-3 . Ideja ir tāda, ka tā vietā, lai meklētu informāciju plašā tīmekļa lapu sarakstā, lietotāji uzdotu jautājumus un šajās lapās apmācīts valodas modelis uz tiem atbildētu tieši. Šī pieeja varētu mainīt ne tikai to, kā darbojas meklētājprogrammas, bet arī to, kā mēs ar tām mijiedarbojamies.

Vispirms būs jānovērš daudzas problēmas ar esošajiem valodu modeļiem. Sākumā šie AI dažkārt var radīt neobjektīvas un toksiskas atbildes uz vaicājumiem — šī problēma ir problēma, ko rada Google un citur. ir norādījuši .

PageRank pārdomāšana

Meklētājprogrammas ir kļuvušas ātrākas un precīzākas, pat ja tīmeklis ir strauji palielinājies. AI tagad tiek izmantots rezultātu ranžēšanai un Google izmanto BERT, lai izprastu meklēšanas vaicājumus labāk. Tomēr saskaņā ar šiem uzlabojumiem visas galvenās meklētājprogrammas joprojām darbojas tāpat kā pirms 20 gadiem: tīmekļa lapas indeksē rāpuļprogrammas (programmatūra, kas nepārtraukti lasa tīmekli un uztur sarakstu ar visu, ko tā atrod), rezultāti, kas atbilst lietotāja vaicājumam, tiek rādīti. apkopoti no šī indeksa, un rezultāti tiek sarindoti.

Šis indeksa izgūšanas un pēc tam ranga projekts ir izturējis laika pārbaudi, un tas reti ir ticis apstrīdēts vai nopietni pārdomāts, raksta Donalds Metzlers un viņa kolēģi no Google Research. (Meclers noraidīja lūgumu komentēt.)

Problēma ir tā, ka pat labākās meklētājprogrammas mūsdienās joprojām atbild ar dokumentu sarakstu, kas ietver pieprasīto informāciju, nevis ar pašu informāciju. Meklētājprogrammas arī neprot atbildēt uz vaicājumiem, kas prasa atbildes, kas iegūtas no vairākiem avotiem. Tas ir tā, it kā jūs jautātu savam ārstam padomu un saņemtu rakstu sarakstu, kas jāizlasa, nevis tiešas atbildes.

Metzleru un viņa kolēģus interesē meklētājprogramma, kas uzvedas kā cilvēku eksperts. Tai ir jāsniedz atbildes dabiskā valodā, kas sintezētas no vairāk nekā viena dokumenta, un atbildes jādublē ar atsaucēm uz apstiprinošiem pierādījumiem, kā tas ir paredzēts Vikipēdijas rakstiem.

Saistīts stāsts

Kāpēc GPT-3 šobrīd ir labākais un sliktākais AI?

Atvērtā mākslīgā intelekta valoda AI pārsteidza sabiedrību ar acīmredzamo angļu valodas prasmi, bet vai tas viss ir ilūzija?

Lieli valodu modeļi mums sniedz daļu no ceļa. Apmācīts lielākajā daļā tīmekļa un simtiem grāmatu, GPT-3 iegūst informāciju no vairākiem avotiem, lai atbildētu uz jautājumiem dabiskā valodā. Problēma ir tā, ka tā neseko šiem avotiem un nevar sniegt pierādījumus savām atbildēm. Nav iespējams noteikt, vai GPT-3 izplata uzticamu informāciju vai dezinformāciju vai vienkārši izpļāpā paša radītas muļķības.

Metzlers un viņa kolēģi valodu modeļus sauc par diletantiem — tiek uzskatīts, ka viņi zina daudz, taču viņu zināšanas ir dziļas. Viņi apgalvo, ka risinājums ir veidot un apmācīt nākotnes BERT un GPT-3, lai saglabātu ierakstus par to, no kurienes nāk viņu vārdi. Neviens no šādiem modeļiem vēl nespēj to izdarīt, taču principā tas ir iespējams, un šajā virzienā ir agri darbs.

Dažādās meklēšanas jomās ir panākts progress gadu desmitiem, sākot no atbildēm uz vaicājumiem un beidzot ar dokumentu apkopošanu un beidzot ar informācijas strukturēšanu, saka Ziqi Zhang no Šefīldas Universitātes Apvienotajā Karalistē, kurš pēta informācijas izguvi tīmeklī. Taču neviena no šīm tehnoloģijām nepārveidoja meklēšanu, jo katra no tām risina konkrētas problēmas un nav vispārināma. Viņš saka, ka šī raksta aizraujošais priekšnoteikums ir tāds, ka lielie valodu modeļi spēj veikt visas šīs lietas vienlaikus.

Tomēr Džans atzīmē, ka valodu modeļi nedarbojas labi ar tehniskiem vai specializētiem priekšmetiem, jo ​​tekstā, kurā tie tiek apmācīti, ir mazāk piemēru. Viņš saka, ka, iespējams, tīmeklī ir simtiem reižu vairāk datu par e-komerciju nekā datu par kvantu mehāniku. Mūsdienās valodu modeļi ir arī novirzīti uz angļu valodu, kas atstātu nepietiekami apkalpotas tīmekļa daļas, kas nav angļu valodas.

Hanna Hajishirzi, kura studē dabiskās valodas apstrādi Vašingtonas Universitātē, atzinīgi vērtē šo ideju, taču brīdina, ka praksē varētu rasties problēmas. 'Es uzskatu, ka lieli valodu modeļi ir ļoti svarīgi un, iespējams, meklētājprogrammu nākotne, taču tiem ir nepieciešami lieli atmiņas un skaitļošanas resursi,' viņa saka. 'Es nedomāju, ka tie aizstātu indeksēšanu.'

Tomēr Džans ir sajūsmā par iespējām. Agrāk tas nav bijis iespējams, jo lielie valodu modeļi uzplauka tikai nesen, viņš saka. Ja tas darbojas, tas mainīs mūsu meklēšanas pieredzi.

Atjauninājums: esam mainījuši tekstu, lai skaidrāk atspoguļotu problēmas ar esošajiem lielajiem valodu modeļiem.

paslēpties