Šis algoritms automātiski pamana seju mijmaiņas videoklipos

Nesen ir kļuvusi iespējama iespēja uztvert viena cilvēka seju vai izteiksmi un uzklāt to uz citas personas video. Jo īpaši tādās vietnēs kā Reddit un 4Chan ir parādījušies pornogrāfiski videoklipi, kurus sauc par dziļiem viltojumiem, kuros redzamas slavenu personu sejas, kas uzklātas uz aktieru ķermeņiem.

Šai parādībai ir būtiskas sekas. Tas vismaz var iedragāt to cilvēku reputāciju, kuri ir cietuši no šāda veida viltojumiem. Tas rada problēmas biometriskās identifikācijas sistēmām. Un tas draud graut sabiedrības uzticību jebkāda veida videoklipiem.

Tāpēc ir ļoti nepieciešams ātrs un precīzs veids, kā pamanīt šos videoklipus.

Kuri no šiem attēlu pāriem ir viltoti? Atbilde zemāk.

Piesakieties Andreas Rossler no Minhenes Tehniskās universitātes Vācijā un kolēģiem, kuri ir izstrādājuši dziļas apmācības sistēmu, kas var automātiski pamanīt seju apmaiņas videoklipus. Jaunā tehnika varētu palīdzēt identificēt viltotus videoklipus, kad tie tiek publicēti tīmeklī.

Bet darbam ir arī dzelonis astē. To pašu padziļinātās apmācības paņēmienu, ar kuru var pamanīt seju apmaiņas videoklipus, var izmantot arī, lai vispirms uzlabotu seju mijmaiņas kvalitāti, un tas varētu padarīt tos grūtāk atklāt.

Jaunā tehnika balstās uz padziļinātas mācīšanās algoritmu, ko Rossler un citi ir apmācījuši, lai pamanītu sejas mijmaiņas darījumus. Šie algoritmi var mācīties tikai no milzīgām anotētām labu piemēru datu kopām, kuras līdz šim vienkārši nav pastāvējušas.

Tāpēc komanda sāka, izveidojot lielu datu kopu ar seju apmaiņas videoklipiem un to oriģināliem. Viņi izmanto divu veidu seju mijmaiņas, kuras var viegli veikt, izmantojot programmatūru Face2Face. (Šo programmatūru izveidoja daži šīs komandas locekļi.)

Pirmā veida sejas maiņa uzliek vienas personas seju uz otra ķermeņa, lai tā pārņemtu viņu izteiksmes. Otrais paņem izteiksmes no vienas sejas un pārveido otru seju, lai tās parādītu.

Komanda to ir paveikusi ar vairāk nekā 1000 videoklipu, izveidojot datubāzi ar aptuveni pusmiljonu attēlu, kuros sejas ir apstrādātas, izmantojot vismodernāko seju rediģēšanas programmatūru. Viņi to sauca par FaceForensics datubāzi.

Šīs datubāzes lielums ir būtisks uzlabojums salīdzinājumā ar to, kas bija pieejams iepriekš. Mēs ieviešam jaunu manipulētu videoklipu datu kopu, kas pārsniedz visas esošās publiski pieejamās kriminālistikas datu kopas, saka Rossler un co.

Pēc tam komanda izmanto datubāzi, lai apmācītu padziļinātas mācīšanās algoritmu, lai atpazītu atšķirību starp seju mijmaiņām un to nesamākslotajiem oriģināliem. Viņi sauc iegūto algoritmu XceptionNet.

Visbeidzot, viņi salīdzina jauno pieeju ar citām viltojumu atklāšanas metodēm.

Rezultāti ir iespaidīgi. XceptionNet nepārprotami pārspēj citus paņēmienus, atklājot videoklipus, ar kuriem ir veiktas manipulācijas, pat ja videoklipi ir saspiesti, kas ievērojami apgrūtina uzdevumu. Mēs noteicām spēcīgu rezultātu bāzes līniju, lai atklātu manipulācijas ar seju, izmantojot modernas dziļas mācīšanās arhitektūras, saka Rossler un citi.

Tam vajadzētu atvieglot viltotu videoklipu pamanīšanu, kad tie tiek augšupielādēti tīmeklī. Taču komanda labi apzinās viltojumu atklāšanas kaķa un peles raksturu: tiklīdz parādās jauna atklāšanas tehnika, rase sāk meklēt veidu, kā to apmānīt.

Kopš XceptionNet izstrādes Rossleram un citiem ir dabisks panākums. Tāpēc viņi to izmanto, lai pamanītu pazīmes, kas liecina, ka ar video ir manipulēts, un pēc tam izmanto šo informāciju, lai uzlabotu viltojumu, padarot to vēl grūtāk atklāt.

Izrādās, ka šis process uzlabo viltojuma vizuālo kvalitāti, bet īpaši neietekmē XceptionNet spēju to atklāt. Mūsu rafinētājs galvenokārt uzlabo vizuālo kvalitāti, taču tas tikai nedaudz apgrūtina viltojumu atklāšanu padziļinātās apmācības metodei, kas ir apmācīta tieši uz viltotiem izvades datiem, viņi saka.

Tas ir interesants darbs, jo tas ievieš pilnīgi jaunu veidu, kā uzlabot attēlu manipulācijas procesu. Mēs uzskatām, ka šī mijiedarbība starp iejaukšanos un atklāšanu ir ārkārtīgi aizraujoša turpmākā darba iespēja, viņi saka.

Atsauce: arxiv.org/abs/1803.09179 : FaceForensics: liela mēroga video datu kopa viltojumu noteikšanai cilvēku sejās

Atbilde: Augšējais attēls katrā pārī ir īsts.

paslēpties