Kā Reuters revolucionārā AI sistēma apkopo globālās ziņas

Interneta parādīšanās un tai sekojošais informācijas sprādziens ir padarījis žurnālistiem arvien lielāku izaicinājumu precīzi un ātri sagatavot ziņas. Tāpēc šonedēļ sāciet pētniecības un izstrādes komandu globālajā ziņu aģentūrā Reuters ar rakstu par arXiv.

Aģentūrai Reuters problēmu saasinājusi viltus ziņu parādīšanās kā svarīgs faktors, kas kropļo notikumu uztveri.

Tomēr ziņu aģentūras, piemēram, Associated Press, ir virzījušās uz priekšu ar automatizētiem ziņu rakstīšanas pakalpojumiem. Tie ziņo par standarta paziņojumiem, piemēram, finanšu ziņām un noteiktiem sporta rezultātiem, ielīmējot datus iepriekš rakstītās veidnēs: X ziņoja par Y miljonu peļņu 3. ceturksnī, un rezultāti pārsniedz Volstrītas prognozes...

Tāpēc uz citām ziņu aģentūrām tiek izdarīts ievērojams spiediens automatizēt ziņu veidošanu. Un šodien Reuters izklāsta, kā tas ir gandrīz pilnībā automatizējis jaunāko ziņu identificēšanu. Sjaomo Liu un draugi Reuters Research and Development un Alibaba saka, ka jaunā sistēma darbojas labi. Patiešām, tam ir potenciāls revolucionizēt ziņu biznesu. Taču tas arī rada bažas par to, kā šādu sistēmu varētu izspēlēt ļaunprātīgi dalībnieki.

Jaunās sistēmas nosaukums ir Reuters Tracer. Tas izmanto Twitter kā sava veida globālu sensoru, kas reģistrē ziņu notikumus, kad tie notiek. Pēc tam sistēma izmanto dažāda veida datu ieguvi un mašīnmācīšanos, lai atlasītu visatbilstošākos notikumus, noteiktu to tēmu, sakārtotu to prioritāti un uzrakstītu virsrakstu un kopsavilkumu. Pēc tam ziņas tiek izplatītas visā uzņēmuma globālajā ziņu vadā.

Pirmais solis šajā procesā ir Twitter datu straumes sifonēšana. Tracer pārbauda aptuveni 12 miljonus tvītu dienā, 2 procentus no kopējā skaita. Puse no tiem tiek ņemti izlases veidā; otra puse nāk no Twitter kontu saraksta, ko veido Reuters žurnālisti. Tajos ietilpst citu ziņu organizāciju, nozīmīgu uzņēmumu, ietekmīgu personu un tā tālāk konti.

Nākamais posms ir noteikt, kad ir noticis ziņu notikums. Tracer to dara, pieņemot, ka notikums ir noticis, ja vairāki cilvēki sāk par to runāt vienlaikus. Tāpēc tas izmanto klasterizācijas algoritmu, lai atrastu šīs sarunas.

Protams, šīs kopas ietver surogātpastu, sludinājumus, parastu tērzēšanu utt. Tikai daži no tiem attiecas uz nozīmīgiem notikumiem.

Tātad nākamais posms ir notikumu klasificēšana un prioritāšu noteikšana. Lai to izdarītu, Tracer izmanto vairākus algoritmus. Pirmais nosaka sarunas tēmu. Pēc tam tas tiek salīdzināts ar tēmu datu bāzi, ko Reuters komanda ir apkopojusi no tvītiem, ko sagatavojuši 31 oficiāls ziņu konts, piemēram, @CNN, @BBCBreaking un @nytimes, kā arī ziņu apkopotāji, piemēram, @BreakingNews.

Šajā posmā algoritms arī nosaka notikuma vietu, izmantojot pilsētu datubāzi un uz atrašanās vietu balstītus atslēgvārdus.

Kad saruna vai baumas tiek potenciāli identificētas kā ziņas, svarīgs apsvērums ir tās patiesums. Lai to noteiktu, Tracer meklē avotu, identificējot sarunas agrāko tvītu, kurā ir pieminēta tēma un visas vietnes, uz kurām tas norāda. Pēc tam tā izmanto datubāzi, kurā uzskaitīti zināmi viltus ziņu veidotāji, piemēram, Nacionālais ziņojums, vai satīriskas ziņu vietnes, piemēram, The Onion.

Visbeidzot, sistēma uzraksta virsrakstu un kopsavilkumu un izplata ziņas visā Reuters organizācijā.

Izmēģinājumu laikā Reuters komanda saka, ka sistēma ir darbojusies labi. Viņi saka, ka Tracer spēj sasniegt konkurētspējīgu precizitāti, atsaukšanu, savlaicīgumu un ziņu noteikšanu un piegādi.

Un viņiem ir statistika, kas to apstiprina. Sistēma katru dienu apstrādā 12 miljonus tvītu, gandrīz 80 procentus no tiem noraidot kā troksni. Pārējās ietilpst aptuveni 6000 klasteros, kuras sistēma klasificē kā dažāda veida ziņu notikumus. To visu dara 13 serveri, kuros darbojas 10 dažādi algoritmi.

Salīdzinājumam, Reuters nodarbina aptuveni 2500 žurnālistu visā pasaulē, kuri kopā katru dienu ģenerē aptuveni 3000 ziņu brīdinājumus, izmantojot dažādus avotus, tostarp Twitter. No tiem aptuveni 250 ir ierakstīti kā ziņu stāsti.

Reuters salīdzināja stāstus, kurus Tracer identificē ar tiem, kas parādās tādu organizāciju kā BBC un CNN ziņu plūsmās. Rezultāti liecina, ka Tracer var aptvert apmēram 70 procentus ziņu ar 2 procentiem Twitter datu, saka Lui un citi.

Un sistēma noteikti darbojas ātri. Komanda izceļ piemēru no Lasvegasas apšaudes 2017. gada oktobrī, kurā gāja bojā 58 cilvēki. Liecinieks ziņoja par incidentu pulksten 1:22, kas izraisīja Tracer kopu. Tomēr klasteris neatbilda sistēmas kritērijiem, lai notikumu iekļautu ziņu plūsmā līdz pulksten 1:39. Reuters ziņoja par incidentu pulksten 1:49, saka Lui un citi.

Tas ir interesants darbs, kas rada vairākus jautājumus, īpaši par to, cik viegli ir manipulēt ar sistēmu. Nav grūti iedomāties, ka ļaunprātīgi dalībnieki veido Twitter plūsmas ar īpašu nolūku apmānīt Tracer.

Bet vai šo sistēmu būs vieglāk izspēlēt nekā pašreizējo, kurā regulāri tiek mānīti cilvēki, grūti pateikt.

Pēc tam ir cilvēku loma ziņu biznesā. Ziņu nākotne nepārprotami ir pieaugoša automatizācija. Tas, kā cilvēki iederas, vēl nav noskaidrots.

Atsauce: arxiv.org/abs/1711.04068 : Reuters Tracer: Ceļā uz automatizētu ziņu veidošanu, izmantojot liela mēroga sociālo mediju datus

paslēpties