Kā digitalizēt miljonu grāmatu

Piecpadsmit mēnešus pēc tam, kad Google paziņoja par Bībeles apmēru grāmatu skenēšanas projektu — cenšoties digitalizēt visas Ņujorkas Publiskās bibliotēkas un Hārvardas universitātes bibliotēku grāmatu kolekcijas, cita starpā, uzņēmums joprojām neslēpj, kā viņi risina galvenās tehniskās problēmas. un neteiks, cik daudz viņi līdz šim ir paveikuši.

Tomēr līdzīgs, ja mazāks projekts – the Miljonu grāmatu projekts Kārnegija Melona universitātē Pitsburgā – notiek apmēram septiņus gadus. Tas varētu sniegt dažas norādes. Projekta direktors, datorzinātnieks Raj Reddy saka, ka viņam un viņa kolēģiem nav vairāk zināšanu par Google metodēm vai progresu nekā jebkuram citam, taču viņi risina daudzas no tām pašām problēmām.

Google grāmatu meklēšanas mērķis ir padarīt visas bezsaistes grāmatas, kuras pašlaik ir Google acīm neredzamas, meklējamas. Tas nozīmē fizisku skenēšanu simtiem miljonu lappušu, kas ir iesietas starp aptuveni 18 miljoniem grāmatu vākiem, aptuveni 430 valodu un visu veidu fontu atpazīšanu, teksta meklēšanas rezultātu padarīšanu pieejamus un tradicionālās bibliotēkas pārlūkošanas pieredzes atkārtošanu, kad tas viss ir izdarīts. Daniels Klensijs, Google grāmatu meklēšanas inženieru direktors, saka, ka nevar komentēt uzņēmuma līdz šim paveikto.

Tomēr CMU projektā skenēšanas tehnoloģija nav pieejama. Viņi izmanto viegli pieejamos Minolta PS 7000 grāmatu skeneri, kas uzstādīti 40 skenēšanas stacijās Indijā un Ķīnā, kur vietējās pašvaldības palīdz uzturēt zemas bezpeļņas projekta izmaksas. Šajā iestatījumā darbinieki manuāli pāršķir katru lapu. Septiņus gadus pēc projekta īstenošanas ir skenētas aptuveni 600 000 grāmatu (galvenokārt publiskā domēna darbi, kas nosūtīti no visas pasaules), un katru dienu digitālajam korpusam pievienojas vēl 100 000 lappušu. Šādā ātrumā CMS projekta pabeigšana varētu aizņemt nedaudz mazāk par pieciem gadiem.

Turpretim Klensija saka, ka Google ir izstrādājusi savu skenēšanas tehnoloģiju. Taču uzņēmums ir mamma par tehniskajām detaļām par aparatūru, optisko rakstzīmju atpazīšanas (OCR) programmatūru un skenēšanas ātrumu savos piecos skenēšanas centros, kas atrodas netālu no sadarbojošiem bibliotēku partneriem Hārvardā, Stenfordā, Mičiganas Universitātē, Oksfordas Universitātē un Ņujorkā. Publiskā bibliotēka.

Reddy saka, ka ir komerciāli pieejams programmatūra par angļu valodas atpazīšanu labi darbojas Miljonu grāmatu projektā. Problēmas, ar kurām viņi saskaras ar OCR, risina viņu Ķīnas partneri, kuri izstrādā īpašu programmatūru, lai labāk atpazītu netradicionālos fontus un kaligrāfiskos skriptus, kas bieži sastopami vecākās grāmatās. Turklāt viņu partneri Ēģiptē izstrādā OCR arābu valodai. Šobrīd Redijs saka, ka OCR ir aktīva pētniecības joma, kurā daudzas valstis sniedz zināšanas.

Kad grāmatas ir skenētas un to teksti ir pieejami, galvenais izaicinājums ir padarīt tekstu noderīgu meklēšanai. Neatbilstība grāmatu fiziskajā kvalitātē var radīt problēmas, norāda Klensija, jo īpaši attiecībā uz lappušu numerāciju. Piemēram, var trūkt pilnas lappuses, vai arī stūri, kas ir aizrautīgi, var atklāt nepareizu lappuses numuru. Un, ja kādā grāmatas daļā ir nepareiza lappušu šķirošana, kļūda izplatās visā darbā.

CMU Reddy saka, ka šī problēma tiek pārvarēta, izstrādājot programmatūru, kas nepaļaujas uz lappušu numuriem. Tā vietā tiek izveidoti strukturālie metadati, kas būtībā ir tagi, kas apkopo informācijas nozīmi grāmatā, lai pētnieki satura rādītājā varētu saistīt vārdus ar atbilstošām nodaļām. Turklāt indeksētos terminus var saistīt ar pareizajiem fragmentiem. Diemžēl, saka Redijs, saišu izveide joprojām ir manuāls process; neviens nav izstrādājis programmatūru, kas varētu izveidot šīs hipersaites ar vairāk nekā aptuveni 90 procentu precizitāti. Tomēr, ja šo tehniku ​​var uzlabot, tas varētu padarīt teksta meklēšanu jēgpilnāku.

Galu galā, saka Klensija, Google vēlētos, lai grāmatu meklēšana sniegtu tādus pašus rezultātus, kā kāds, kas dodas uz bibliotēku, ielūkojas tās kaudzēs un neticami atrod grāmatu, kas ir interesanta vai noderīga. Viens no veidiem, kā to izdarīt, būtu saistīt grāmatas savā starpā pēc kategorijām un tēmām, viņš iesaka. Taču uzdevums kļūst sarežģītāks, ja Virdžīnijas Vulfas darbus saista, piemēram, ar kritiku par viņas darbu, darbiem, kas viņu iedvesmojuši, vai autoriem, kas rakstījuši tajā pašā laikmetā. Klansijs saka, ka algoritmu izstrāde, kas var efektīvi sakārtot visu šo jauno informāciju, ir viens no lielākajiem izaicinājumiem un prasīs daudzus gadus.

Redijs saka, ka CMU pētnieki cenšas risināt šo problēmu, izmantojot statistikas pieeju informācijas organizēšanai. Šajā pieejā, piemēram, Virdžīnijas Vulfas apziņas plūsmas teikumi tiktu analizēti, izmantojot algoritmu, kas atrastu modeļus, pamatojoties uz teikuma garumu, struktūru un pieturzīmēm. Šis paņēmiens varētu atrast Džeimsa Džoisa darbu, kas ir viena no Vulfa ietekmēm, vai kāda neskaidra autora darbu, kura raksti citādi nekad nebūtu atrasti.

Tikmēr pētnieki meklē īsceļus, lai meklētu autorus, grāmatas un žanrus, saka Redijs. Līdzīgi kā sadarbības filtrēšana vietnē Amazon izmanto cilvēku iepriekšējos pirkumus, lai palīdzētu citiem atrast potenciālos pirkumus, grāmatu meklēšanas lietotāji varētu palīdzēt viens otram. Uz kopienu balstītā pieeja ir ideja, par kuru Google nav paziņojusi, saka Klensija, taču tā varētu pievienot vēl vienu slāni grāmatu meklēšanai un radīt sajūsmu par projektu.

Protams, kartīšu turēšana tuvu Google nav nekas jauns. Viņi ir noslēpumaini par gandrīz visu, ko viņi dara… tas ir ļoti izplatīts Silīcija ielejas uzņēmumos, saka Redijs no CMU. Grāmatu meklēšanas gadījumā viņš saka, ka Google vēlas iegūt visaptverošu risinājumu visām bibliotēkām. Tomēr Redijs ir sajūsmā par Google projektu un uzskata, ka tas galu galā papildinās viņa pētījumu. Esmu pārliecināts, ka kādā brīdī viņiem būs norāde uz mūsu grāmatām, viņš saka.

Tikmēr uzņēmumam Google ir jācīnās ar netehnisku problēmu, kas saistīta ar neapmierināto autortiesību īpašnieku ievilkšanu tiesā. Autoru ģilde un vairāki izdevēji ir iesūdzējuši viņus tiesā, apgalvojot, ka Google projekts pārkāpj autortiesību likumu. (Stenfordas profesors Lorenss Lesigs ir veltījis 30 minūtes video par juridisko strīdu.)

Bet, ja juridiskās un tehniskās problēmas var pārvarēt, digitalizētās fiziskās grāmatas varētu ievērojami pārspēt miljardiem esošo Web lapu informācijas plašumā un dziļumā. Patiešām, vienots visaptverošs tiešsaistes karšu katalogs miljoniem pasaules grāmatu var radīt pilnīgi jaunu nodaļu informācijas laikmetā.

paslēpties