Mašīnmācīšanās algoritms var parādīt, vai valsts noslēpumi ir pareizi klasificēti

ASV Valsts departaments katru gadu ģenerē aptuveni divus miljardus e-pastu. Ievērojama daļa no tiem satur sensitīvu vai slepenu informāciju, tāpēc tie ir jāklasificē, un tas ir laikietilpīgs un dārgs process. 2015. gadā vien tā iztērēja 16 miljardus dolāru, lai aizsargātu klasificēto informāciju.

Bet šī klasifikācijas procesa uzticamība nav skaidra. Neviens nezina, vai informācijas klasificēšanas noteikumi tiek piemēroti konsekventi un ticami. Patiešām, pastāv ievērojams strīds par to, kas vispār ir klasificējama informācija.

Turklāt ir viegli iedomāties, ka cilvēka kļūdām ir liela nozīme valsts noslēpumu nepareizā klasificēšanā. Bet neviens nezina, cik nozīmīgas šīs kļūdas varētu būt.

Šodien tas mainās, pateicoties Renato Rocha Souza darbam Brazīlijas ideju laboratorijā Fundação Getulio Vargas Riodežaneiro un kolēģiem Kolumbijas universitātē Ņujorkā. Šie puiši ir izmantojuši mašīnmācības algoritmu, lai izpētītu vairāk nekā miljonu deklasificētu Valsts departamenta kabeļu no 1970. gadiem.

Viņu darbs sniedz nebijušu ieskatu valsts noslēpumu būtībā, kā cilvēki piemēro noteikumus un cik bieži procesā iekļūst kļūdas, lai atklātu sensitīvu informāciju vai slēptu citādi nekaitīgas detaļas. Algoritmi atklāj arī aizdomīgus modeļus kabeļu pazušanā.

Komanda sāka ar miljonu kabeļu korpusu, ko viņi lejupielādēja no ASV Nacionālā arhīva XML failu veidā. Katrs kabelis ir īsziņa, ar kuru tiek apmaiņa starp Valsts departamentu un diplomātisko pārstāvniecību ārvalstī, piemēram, vēstniecībā vai konsulātā.

Kabeļi ir marķēti kā slepeni, konfidenciāli, ierobežoti oficiālai lietošanai vai kā neklasificēti. Slepenā informācija tiek definēta kā tāda, kas var nopietni kaitēt valsts drošībai, konfidenciāla informācija tiek definēta kā tāda, kas var radīt kaitējumu, bet ne nopietnu kaitējumu. Ierobežotās oficiālās lietošanas kategorija nebija definēta 1970. gados, un pat šodien tā joprojām ir pretrunīga.

Kabeļos ir arī cita informācija. Katrai ziņai ir datums, sūtītājs un saņēmējs, tēma un, protams, ziņas teksts.

Souza un co izmantoja dažādas mašīnmācības pieejas, lai noteiktu, kā šie faktori korelē ar klasifikācijas marķējumu. Un, atklājot šo korelāciju, viņi pārbaudīja algoritmu, lai noskaidrotu, cik labi tas var paredzēt, vai konkrētais kabelis ir klasificēts vai nē.

Rezultāti rada interesantu lasīšanu. Souza un kolēģi saka, ka pats ziņojums ir labākais rādītājs, kas norāda, vai kabelis ir klasificēts. Viņi saka, ka no visām funkcijām dažādu vārdu relatīvais biežums ķermenī bija visnoderīgākais, lai identificētu sensitīvu informāciju. Sūtītāja un saņēmēja dati arī ir labs jutīguma līmeņa rādītājs, taču var likt algoritmam klasificēt daudzus kabeļus, kas netika klasificēti kā tādi, kas bija. Citiem vārdiem sakot, tas rada lielu viltus pozitīvu rezultātu līmeni.

Kad mašīnmācīšanās algoritms savos lēmumos apvieno dažāda veida metadatus, tas var pamanīt aptuveni 90 procentus klasificēto kabeļu, bet kļūdaini pozitīvs rādītājs ir tikai 11 procenti. Un Souza un kolēģi apgalvo, ka vajadzētu būt iespējai darīt labāk, ja tiktu iekļauti kabeļi, kas joprojām ir klasificēti.

Viltus pozitīvi un viltus negatīvi ir interesanti. Šie ir kabeļi, kurus mašīna paredzēja klasificēt, bet netika klasificēti un otrādi. Daudzos gadījumos iekārta atklāja kabeļus, kurus cilvēki bija nepareizi klasificējuši. Viens piemērs ir informācija par Japānas valdības jutīgumu pret ASV veiktajām kodoliekārtu pārbaudēm. Šis kabelis nebija klasificēts, taču tam vajadzēja būt, jo teksts atklāj, ka tas sākotnēji bija konfidenciāls, norāda pētnieki.

Viens no datu ierobežojumiem ir tas, ka daudzi kabeļi ir pazaudēti, šķietami tāpēc, ka radušās problēmas, pārveidojot tos elektroniskā formātā. Varbūt visinteresantākais šī darba aspekts ir tas, ka tas liecina, ka šie ziņojumi varētu būt pazuduši citu iemeslu dēļ.

Viena no ziņām ir ziņojumu pazušanas ātrums, kas atšķiras klasificētiem un neklasificētiem kabeļiem. Elektroniski ziņojumi, kas klasificēti kā “Slepeni”, bija vairāk nekā trīs reizes biežāk pazuduši, salīdzinot ar neklasificētiem un ierobežotas oficiālas lietošanas ziņojumiem, saka Souza un citi.

Turklāt ar kabeļiem saistītie metadati bieži saglabājas arī tad, kad elektroniskais ziņojums ir pazaudēts. Kā tas varēja notikt, ir mīkla.

Turklāt, ja ziņojumi tiktu pazaudēti, pārvēršot tos no viena formāta uz citu, tie, visticamāk, pazustu, kad Valsts departaments izveidos savu jauno datu uzglabāšanas sistēmu. Jāatzīmē, ka lielākā daļa no šiem [trūkstošajiem] kabeļiem nav datēti ar brīdi, kad Valsts departaments pirmo reizi uzstādīja sistēmu, bet varētu sagaidīt, ka tas būtu bijis problēmu novēršanas veidi, kā droši pārsūtīt datus starp dažādām aparatūras un programmatūras platformām, norāda komanda.

Darbam ir svarīga ietekme uz līdzsvaru starp pārredzamību un slepenību. Mašīnas var nepārprotami palīdzēt uzraudzīt datu klasificēšanas praksi. Bet viņi to nevar izdarīt vidēji labāk nekā datu bāzes, no kurām viņi mācās. Ja tajās ir kļūdas, kā to nepārprotami dara Valsts departamenta kabeļi, mašīnas neizbēgami tiks pārsistas.

Taču interesants jautājums ir par to, vai dati, ko atklāj šāda veida mašīnmācīšanās, ir jāklasificē, ja tie atklāj uzvedības modeļus, kas varētu kaitēt valsts interesēm. Piemēram, ātrums, kādā konfidenciāla informācija tiek kļūdaini marķēta kā neklasificēta, varētu būt noderīgs ārvalstu lielvarai, kas mēģina iegūt klasificētu informāciju no neklasificētiem kabeļiem.

Skaidrs, ka darāmā vēl ir. Souza un citi saka, ka, neskatoties uz Valsts departamenta milzīgajiem izdevumiem klasificētās informācijas aizsardzībai, ir maz vai nav publicēti pētījumi par klasifikācijas konsekvenci. Nav arī lielas izpratnes par to, cik daudz šāda veida mašīnmācīšanās var atklāt.

Iespējams, ka viss šis darbs tiek veikts aiz slēgtām durvīm. No otras puses, iespējams, nē.

Atsauce: arxiv.org/abs/1611.00356 : Mākslīgā intelekta izmantošana valsts noslēpumu identificēšanai

paslēpties