211service.com
Nozīmes iegūšana no miljoniem lapu
Vašingtonas universitātes pētnieki ir izstrādājuši programmatūras dzinēju, kas apkopo faktus, izķemmējot vairāk nekā 500 miljonus tīmekļa lapu. Rīks iegūst informāciju no miljardiem teksta rindiņu, analizējot pamata attiecības starp vārdiem.
Vārdu meklēšana : TextRunner automātiski izķemmē 500 miljonus Web lapu, lai iegūtu nozīmi no vārdu attiecībām.
Daži eksperti saka, ka šāda veida automatizēta informācijas ieguve, iespējams, veidos pamatu daudz viedākai nākamās paaudzes tīmekļa meklēšanai, kurā vispirms tiek savākti informācijas tīrradņi un pēc tam gudri apvienoti.
Vašingtonas Universitātes projekts ir tajā izstrādātās esošās tehnoloģijas, ko sauc par TextRunner, paplašināšana gan lappušu skaita, gan analizējamo tēmu apjoma ziņā.
TextRunner nozīme ir tāda, ka tas ir mērogojams, jo tas netiek uzraudzīts, saka Pīters Norvigs, Google pētniecības direktors, kas ziedoja Web lapu datubāzi, ko TextRunner analizē. Tas var atklāt un iemācīties miljoniem attiecību, nevis tikai pa vienam. Izmantojot TextRunner, cilpā nav neviena cilvēka: tas vienkārši atrod attiecības pats.
Norvigs skaidro, ka iepriekšējās tehnoloģijas ir prasījušas vairāk programmētāja norādījumu. Piemēram, lai miljonos dokumentu atrastu to cilvēku vārdus, kuri ir izpilddirektori, vispirms ir jāapmāca programmatūra ar citiem piemēriem, piemēram, Stīvs Džobss ir Apple izpilddirektors, bet Šerila Sandberga ir Facebook izpilddirektore. Norvigs piebilst, ka Google dara līdzīgs darbs un jau izmanto šādu tehnoloģiju ierobežotos kontekstos.
TextRunner atbrīvojas no šī roku darba. Lietotājs var ievadīt, piemēram, nogalina baktērijas, un dzinējs parādīs lapas, kas piedāvā ieskatu, ka hlors iznīcina baktērijas vai ultravioletā gaisma nogalina baktērijas vai karstums nogalina baktērijas — rezultātus sauc par trīskāršām — un nodrošina veidus, kā priekšskatīt tekstu un pēc tam apmeklējiet Web lapu, no kuras tas nāk.
Prototipam joprojām ir a diezgan vienkāršs interfeiss un nav domāts tik daudz publiskai meklēšanai, lai demonstrētu automatizētu informācijas ieguvi no 500 miljoniem tīmekļa lapu, saka Orens Etcioni , Vašingtonas Universitātes datorzinātnieks, kurš vada projektu. Viņš saka, ka mēs parādām programmatūras spēju sasniegt elementāru teksta izpratni vēl nebijušā mērogā un apjomā.
Etizioni saka, ka TextRunner spēja ātri un milzīgā mērogā iegūt nozīmi izrietēja no viņa grupas atklātā vispārīga modeļa, kā attiecības tiek izteiktas angļu valodā, kas ir patiess neatkarīgi no tēmas. Piemēram, vienkāršais modelis “entity1, verb, entity2” aptver attiecības “Edisons izgudroja spuldzi”, kā arī “Microsoft iegādājās Farecast” un daudzas citas, viņš saka. TextRunner paļaujas uz šo modeli, kas tiek automātiski apgūts no teksta, lai analizētu teikumus un ar augstu precizitāti izvilktu trīskāršus.
TextRunner kalpo arī kā sākumpunkts secinājumu veidošanai no dabiskās valodas vaicājumiem, pie kā grupa šobrīd strādā. Lai sniegtu vienkāršu piemēru: ja TextRunner atrod Web lapu, kurā teikts, ka zīdītāji ir siltasiņu dzimtas dzīvnieki, un citu Web lapu, kurā teikts, ka suņi ir zīdītāji, secinājumu dzinējs sniegs informāciju, ka suņi, iespējams, ir siltasiņu.
Tas ir līdzīgs Powerset izstrādātajai tehnoloģijai, kuru Microsoft iegādājās pagājušajā gadā. Neilgi pirms šīs iegādes Powerset atklāja rīku, kas aprobežojās ar faktu izgūšanu tikai no aptuveni diviem miljoniem Wikipedia lapas. TextRunner tehnoloģija apstrādā Wikipedia lapas un patvaļīgu tekstu jebkurā lapā, tostarp emuāra ierakstus, produktu katalogus, laikrakstu rakstus un daudz ko citu.
Šis darba virziens ir guvis nozīmīgus panākumus šo uzdevumu veikšanas mērogā, saka Džons Kleinbergs, Kornela universitātes datorzinātnieks, kurš ir sekojis Vašingtonas Universitātes meklēšanas pētījumiem. Viņš piebilda, ka šis darbs atspoguļo pieaugošo tendenci izstrādāt meklēšanas rīkus, kas aktīvi apvieno tīmeklī atrastās informācijas daļas lielākā sintēzē.