Kā Google “tulko” attēlus vārdos, izmantojot vektortelpas matemātiku

Vienas valodas tulkošana citā vienmēr ir bijis grūts uzdevums. Taču pēdējos gados Google ir pārveidojis šo procesu, izstrādājot mašīntulkošanas algoritmus, kas maina starpkultūru saziņas veidu, izmantojot Google tulkotāju.

Tagad šis uzņēmums izmanto to pašu mašīnmācīšanās tehniku, lai attēlus pārvērstu vārdos. Rezultāts ir sistēma, kas automātiski ģenerē attēlu parakstus, kas precīzi apraksta attēlu saturu. Tas noderēs meklētājprogrammām, automatizētai publicēšanai un palīdz vājredzīgiem cilvēkiem orientēties tīmeklī un, patiesi, plašākā pasaulē.

Tradicionālā pieeja valodu tulkošanai ir iteratīvs process, kas sākas ar atsevišķu vārdu tulkošanu un pēc tam vārdu un frāžu pārkārtošanu, lai uzlabotu tulkojumu. Taču pēdējos gados Google ir izstrādājis, kā izmantot savu plašo meklēšanas datu bāzi, lai tekstu tulkotu pavisam citā veidā.

Šī pieeja būtībā ir saskaitīt, cik bieži vārdi parādās blakus citiem vārdiem vai tiem tuvu, un pēc tam definēt tos abstraktā vektortelpā attiecībā pret otru. Tas ļauj katru vārdu šajā telpā attēlot ar vektoru un teikumus attēlot ar vektoru kombinācijām.

Google turpina izdarīt svarīgu pieņēmumu. Tas nozīmē, ka konkrētiem vārdiem ir vienādas attiecības vienam ar otru neatkarīgi no valodas. Piemēram, vektoru karalis - vīrietis + sieviete = karaliene ir jāsaglabā visās valodās.

Tas padara valodu tulkošanu par vektortelpas matemātikas problēmu. Google tulkotājs to nodrošina, pārvēršot teikumu vektorā un pēc tam izmantojot šo vektoru, lai ģenerētu līdzvērtīgu teikumu citā valodā.

Tagad Oriol Vinyals un Google draugi izmanto līdzīgu pieeju, lai attēlus pārvērstu vārdos. Viņu paņēmiens ir izmantot neironu tīklu, lai izpētītu 100 000 attēlu datu kopu un to parakstus un tādējādi iemācītos klasificēt attēlu saturu.

Bet tā vietā, lai izveidotu vārdu kopu, kas apraksta attēlu, to algoritms rada vektoru, kas attēlo attiecības starp vārdiem. Pēc tam šo vektoru var pievienot Google esošajam tulkošanas algoritmam, lai izveidotu parakstu angļu valodā vai jebkurā citā valodā. Faktiski Google mašīnmācīšanās pieeja ir iemācījusies tulkot attēlus vārdos.

Lai pārbaudītu šīs pieejas efektivitāti, viņi izmantoja cilvēku vērtētājus, kas tika pieņemti darbā no Amazon's Mechanical Turk, lai novērtētu parakstus, kas tika automātiski ģenerēti šādā veidā, kā arī tos, ko ģenerēja citas automatizētas metodes un cilvēki.

Rezultāti liecina, ka jaunā sistēma, ko Google sauc par Neural Image Caption, darbojas labi. Izmantojot labi zināmu attēlu datu kopu, ko sauc par PASCAL, Neural image Capture nepārprotami pārspēja citas automatizētās pieejas. NIC ieguva BLEU punktu skaitu 59, ko var salīdzināt ar pašreizējo jaunāko 25 punktu skaitu, savukārt cilvēka veiktspēja sasniedz 69, saka Vinyals un co.

Tas nav slikti, un šķiet, ka pieeja uzlabosies, palielinoties apmācības datu kopu lielumam. No šiem eksperimentiem ir skaidrs, ka, palielinoties attēlu aprakstam pieejamo datu kopu lielumam, palielināsies tādu pieeju kā NIC veiktspēja, saka Google komanda.

Skaidrs, ka tas ir vēl viens uzdevums, kuram cilvēka pārākuma dienas pār mašīnām ir skaitītas.

Atsauce: arxiv.org/abs/1411.4555 : Parādiet un pastāstiet: Neironālo attēlu parakstu ģenerators

paslēpties