Iekšā dīvainā jaunā pasaulē, kas ir dziļi viltots aktieris

Paneta un Burgundija

2019. gadā divas multimediju mākslinieces Frančeska Paneta un Halsija Burgunda sāka īstenot provokatīvu ideju. Deepfake video un audio tika virzīti paralēli, bet vēl nebija integrēti pilnīgā pieredzē. Vai viņi to varētu darīt tā, lai parādītu visas tehnoloģijas potenciālu, vienlaikus izglītojot cilvēkus par to, kā to varētu ļaunprātīgi izmantot?

Lai eksperimentu atdzīvinātu, viņi izvēlējās tikpat provokatīvu tēmu: viņi radīs an 1969. gada Apollo nolaišanās uz Mēness alternatīvā vēsture . Pirms atklāšanas ASV prezidenta Ričarda Niksona runas autori bija sagatavojuši divas viņa nacionālās uzrunas versijas — vienu Mēness katastrofas gadījumā , ja viss nenotiek kā plānots. Īstajam Niksonam, par laimi, tas nekad nebija jāpiegādā. Bet viltots Niksons varētu.

Tāpēc Panetta, MIT Virtualitātes centra radošais direktors, un Burgunds, MIT Open Documentary Lab līdzstrādnieks, sadarbojās ar diviem AI uzņēmumiem. Canny AI apstrādātu deepfake video un Runātājs sagatavotu deepfake audio. Kad visi tehniskie komponenti bija izveidoti, viņiem vajadzēja tikai vienu pēdējo: aktieri, kas nodrošinās izrādi.

Mums bija jāatrod kāds, kurš būtu gatavs to darīt, jo tas ir mazliet dīvains jautājums, saka Burgunds. Kāds bija elastīgāks, domājot par to, kas ir un ko dara aktieris.

Lai gan dziļās viltojumi ir bijuši pieejami jau vairākus gadus, dziļo viltojumu atlase un aktiermāksla ir salīdzinoši jauni. Agrīnās dziļās viltošanas tehnoloģijas nebija īpaši labas, un tās galvenokārt izmantoja interneta tumšajos nostūros, lai bez viņu piekrišanas apmainītu slavenības porno videoklipos. Taču, tā kā dziļi viltojumi ir kļuvuši arvien reālistiskāki, arvien vairāk mākslinieku un filmu veidotāju ir sākuši tos izmantot apraides kvalitātes produkcijā un TV reklāmās. Tas nozīmē īstu aktieru nolīgšanu vienam vai otram izrādes aspektam. Dažos darbos ir nepieciešams aktieris, lai nodrošinātu bāzes kadrus; citiem vajag balsi.

Aktieriem tas paver aizraujošas radošas un profesionālas iespējas. Bet tas rada arī virkni ētisku jautājumu. Tas ir tik jauns, ka nav reāla procesa vai tamlīdzīga, saka Burgunds. Es domāju, ka mēs vienkārši izdomājām lietas un plosījāmies.

Vai vēlaties kļūt par Niksonu?

Pirmā lieta, ko Paneta un Burgunda izdarīja, bija abām kompānijām pajautāt, kāds aktieris viņiem vajadzīgs, lai dziļi viltojumi darbotos. Interesanti bija ne tikai svarīgi kritēriji, bet arī kādi nebija , Burgundija saka.

Vizuālajiem materiāliem Canny AI specializējas video dialogu aizstāšanā, kas izmanto aktiera mutes kustības, lai esošajā kadrā manipulētu ar kāda cita muti. Citiem vārdiem sakot, aktieris kalpo kā lelle, kuru nekad nevar redzēt galaproduktā. Personas izskatam, dzimumam, vecumam un etniskajai piederībai nav īsti nozīmes.

Taču attiecībā uz audio, Respeecher, kas pārvērš vienu balsi citā, teica, ka būtu vieglāk strādāt ar aktieri, kuram ir līdzīgs reģistrs un akcents kā Niksonam. Apbruņojušies ar šīm zināšanām, Paneta un Burgunda sāka publicēt ziņas dažādos aktieru forumos un sūtīt e-pastus vietējām aktieru grupām. Viņu piķis: Vai vēlaties kļūt par Niksonu?

Aktieris Lūiss D. Vīlers pavadīja dienas studijā, trenējot dziļo viltojumu algoritmus, lai sasaistītu savu balsi un seju ar Niksona balsi un seju.

PANETTA UN BURGUNDIJA

Tā Lūiss D. Vīlers, Bostonā dzīvojošais baltais aktieris, vairākas dienas atradās studijā, klausoties un atkārtojot Niksona audio fragmentus. Viņš saka, ka bija simtiem fragmentu, katrs tikai dažu sekunžu garumā, un daži no tiem nebija pat pilnīgi vārdi.

Fragmenti bija ņemti no dažādām Niksona runām, liela daļa no viņa atkāpšanās. Ņemot vērā Mēness katastrofas runas nopietno raksturu, Respeecher bija nepieciešami mācību materiāli, kuros bija ietverts tāds pats drūms tonis.

Vīlera uzdevums bija atkārtoti ierakstīt katru fragmentu savā balsī, precīzi saskaņojot to ar ritmu un intonāciju. Šie sīkumi pēc tam tika ievadīti Respeecher algoritmā, lai saskaņotu viņa balsi ar Niksona balsi. Viņš saka, ka tas bija diezgan nogurdinoši un diezgan rūpīgi, taču arī ļoti interesanti, būvējot to ķieģelis pa ķieģelim.

Niksona pēdējais viltojums, kurš teica runu 'Mēness katastrofas gadījumā'.

PANETTA UN BURGUNDIJA

Deepfake vizuālā daļa bija daudz vienkāršāka. Arhīva materiālos, ar kuriem tiks manipulēts, Niksons bija norādījis īsto Mēness nosēšanās adresi, kas bija tieši pavērsts pret kameru. Vīleram bija tikai jānogādā tā alternatīva, jāsāk līdz finišam, tādā pašā veidā, lai ražošanas komanda varētu fiksēt viņa mutes kustības pareizā leņķī.

Šeit viņš kā aktieris sāka atrast lietas vairāk pazīstamas. Galu galā viņa sniegums būs tā daļa no viņa, kas iekļūs pēdējā dziļajā viltojumā. Viņš saka, ka tas bija visgrūtākais un atalgojošākais. Lai to izdarītu, man patiešām bija jāiedziļinās domāšanā, labi, par ko ir šī runa? Kā jūs pastāstāt amerikāņu tautai, ka šī traģēdija ir notikusi?

Kā mēs jūtamies?

Uzskata, Zach Math, a filmu producents un režisors , strādāja pie līdzīga projekta. Radošā aģentūra Mischief USA viņu bija nolīgusi vadīt pāris reklāmu par balsstiesību kampaņu. Reklāmās būtu attēlotas viltotas Ziemeļkorejas līdera Kima Čenuna un Krievijas prezidenta Vladimira Putina versijas. Bet viņš nokļuva pa vidu kaut kam ļoti atšķirīgam no Panetas un Burgunda eksperimenta.

Konsultējoties ar viltotu mākslinieku Džonu Lī, komanda bija izvēlējusies seju maiņas ceļu atvērtā pirmkoda programmatūra DeepFaceLab . Tas nozīmēja, ka galīgajā reklāmā tiks iekļauti aktieru ķermenis, tāpēc viņiem bija jāveido ticami ķermeņa dubultnieki.

Reklāmā būtu iekļautas arī aktieru īstās balsis, pievienojot papildu apsvērumus par atlasi. Komanda vēlējās, lai deepfake vadītāji runātu angļu valodā, lai gan ar autentiskiem ziemeļkorejiešu un krievu akcentiem. Tāpēc aktieru atlases direktors devās meklēt vīriešu kārtas aktierus, kuri pēc uzbūves un sejas uzbūves līdzinājās katram līderim, atbilst viņu etniskajai izcelsmei un varēja pārliecinoši atveidot balsi.

DeepFaceLab apmācības process, lai radītu Kima Čenuna seju.

NELAIDĪBA ASV

Putinam atlases process bija salīdzinoši viegls. Ir daudz pieejamu kadru, kurā Putins uzstājas ar dažādām runām, nodrošinot algoritmam daudz apmācības datu, lai viltotu viņa seju, radot dažādas izteiksmes. Līdz ar to bija lielāka elastība attiecībā uz to, kā aktieris varētu izskatīties, jo lielāko daļu darba varēja veikt deepfake.

Taču Kimam lielākajā daļā pieejamo video bija redzams, ka viņš valkā brilles, kas aizsedza viņa seju un lika algoritmam sabojāties. Sašaurinot mācību materiālus, iekļaujot tikai videoklipus bez brillēm, palika daudz mazāk treniņu paraugu, no kuriem mācīties. Iegūtais dziļais viltojums joprojām izskatījās pēc Kimas, taču viņa sejas kustības izskatījās mazāk dabiskas. Uzliekot aktiera seju, tas apklusināja aktiera izteiksmes.

Lai to novērstu, komanda sāka palaist visas aktieru atlases lentes, izmantojot DeepFaceLab, lai noskaidrotu, kura no tām izskatījās pārliecinošākā. Viņiem par pārsteigumu uzvarētājs fiziski vismazāk līdzinājās Kimai, taču viņam bija visizteiksmīgākais sniegums.

Kima Čenuna lomai izvēlētajam aktierim bija vismazākā fiziskā līdzība ar diktatoru, bet visizteiksmīgākais izpildījums.

Lai pievērstos tiem Kimas izskata aspektiem, kurus dziļais viltojums nevarēja atkārtot, komanda paļāvās uz grimu, kostīmiem un pēcapstrādes darbu. Piemēram, aktieris bija slaidāks par Kimu, tāpēc viņi lika viņam valkāt resnu uzvalku.

Kad bija jānovērtē dziļās viltošanas kvalitāte, Math saka, ka runa bija mazāk par vizuālajām detaļām, bet vairāk par pieredzi. Viņš saka, ka tā nekad nav bijusi “Vai tā auss izskatās dīvaina?” Es domāju, ka bija tādas diskusijas. Bet tas vienmēr bija kā: 'Atsēdieties — kā mēs jūtamies?'

Viņi efektīvi darbojās kā cilvēka vairogs

Dažos veidos ir maza atšķirība starp viltus aktiermākslu un CGI aktiermākslu vai, iespējams, balss atveidi multfilmai. Jūsu līdzība neietilpst galīgajā iestudējumā, taču rezultātam joprojām ir jūsu paraksts un interpretācija. Taču viltus apraide var notikt arī citā virzienā, kad cilvēka seja tiek nomainīta pret kāda cita priekšnesumu.

Padarīt šāda veida viltojumus pārliecinošus bija Raiena Leinija, vizuālo efektu mākslinieka, kurš strādāja pie 2020. gada HBO dokumentālās filmas. Laipni lūdzam Čečenijā . Filma seko aktīvistiem, kuri riskē ar savu dzīvību, lai cīnītos pret LGBTQ personu vajāšanu Krievijas Republikā. Daudzi no viņiem dzīvo slepenībā, baidoties no spīdzināšanas un nāvessoda.

Lai pastāstītu savus stāstus, režisors Deivids Frenss solīja aizsargāt viņu identitāti, taču vēlējās to darīt, nezaudējot cilvēcību. Pēc daudzu risinājumu testēšanas viņa komanda beidzot nokļuva dziļos viltojumos. Viņš sadarbojās ar Laney, kurš izstrādāja algoritmu, kas pārklāja vienu seju uz otru, vienlaikus saglabājot pēdējās izteiksmes.

Pa kreisi: Maksims Lapunovs, dokumentālās filmas galvenais varonis, kurš tiek atklāts filmas vidū. Pa labi: Latino LGBTQ aktīvists, kurš brīvprātīgi pieteicās būt Maksima vairogs.

JŪSU MEDIJI

Tādējādi aktieru atlases process bija nevis izpildītāju, bet gan 23 cilvēku meklēšana, kuri būtu gatavi aizdot savas sejas. Galu galā Francija lūdza LGBTQ aktīvistus brīvprātīgi piedalīties kā vākus. Viņš to izdarīja nevis no tā, kurš ir labākais aktieris, bet gan no cilvēkiem, kurus interesē šī lieta, Leinijs saka, jo viņi faktiski darbojās kā cilvēka vairogs.

Komanda izpētīja aktīvistus, izmantojot pasākumus un Instagram ziņas, pamatojoties uz viņu izskatu. Katrai vāka sejai bija jāizskatās pietiekami atšķirīgai no maskētās personas, vienlaikus arī jāatbilst noteiktām īpašībām. Piemēram, sejas apmatojuma, žokļu līnijām un deguna garumam bija jābūt aptuveni vienādam, un katram pārim bija jābūt aptuveni vienāda vecuma, lai aizsegā esošās personas seja izskatītos dabiski uz sākotnējā subjekta ķermeņa.

Pa kreisi: Maksima atmaskētā seja. Pa labi: Maksims ar savu deepfake vāku.

JŪSU MEDIJI

Tomēr komanda ne vienmēr atbilda etniskajai piederībai vai dzimumam. Galveno varoni Maksimu Lapunovu, kurš ir baltādains, aizsargāja latīņamerikāņu aktīvists, bet sievietes tēlu aizsargāja dzimumam neatbilstoša aktīviste.

Visā procesa laikā Francija un Leinijs pārliecinājās, ka saņems pilnībā informētu piekrišanu no visām pusēm. Filmas subjektiem faktiski bija jāskatās uz darbu, pirms Deivids to izlaida, saka Leinijs. Ikvienam bija jāparakstās uz sava vāka, lai pārliecinātos, ka jūtas ērti.

Tas tikai liek cilvēkiem domāt

Lai gan profesionalizētie viltotie viltojumi ir pārkāpuši mākslas un radošuma robežas, to pastāvēšana rada arī sarežģītus ētikas jautājumus. Pašlaik nav reālu vadlīniju par to, kā, piemēram, marķēt dziļus viltojumus vai kur atrodas robeža starp satīru un dezinformāciju.

Pagaidām mākslinieki un filmu veidotāji paļaujas uz personīgo labā un ļaunā apziņu. Piemēram, Francija un Leinijs dokumentālās filmas sākumā pievienoja atrunu, norādot, ka daži varoņi viņu aizsardzībai ir bijuši digitāli maskēti. Viņi arī pievienoja maskētām personām mīkstas malas, lai tās atšķirtu. Mēs negribējām kādu slēpt, nepasakot publikai, saka Leinijs.

Stefānija Lepa, māksliniece un producente, kas veido dziļus viltojumus politiskiem komentāriem, līdzīgi atzīmē savus videoklipus jau iepriekš, lai skaidri norādītu, ka tie ir viltoti. Viņas sērijā Dziļi aprēķini , kurā iedomātas spēcīgas figūras, piemēram, Marks Cukerbergs, atvainojamies par savu rīcību, viņa arī izmantoja balss aktierus, nevis dziļu viltus audio, lai vēl vairāk atšķirtu projektu kā satīrisku un nevis maldinošu.

Citi projekti ir bijuši pievilcīgāki, piemēram, Bārnabija Frensisa, mākslinieka-aktīvista, kurš strādā ar pseidonīmu Bill Posters, projekti. Gadu gaitā Francisks ir dziļi viltojis tādus politiķus kā Boriss Džonsons un tādas slavenības kā Kima Kardašjana , viss izglītības un satīras vārdā. Tomēr daži videoklipi ir marķēti tikai ārēji, piemēram, parakstos, kad Francis tos ievieto Instagram. Izraujot no šī konteksta, viņi riskē sajaukt mākslu un realitāti, kas viņu dažkārt ir novedusi dicey teritorija .

Skatiet šo ziņu Instagram

“Kad ir tik daudz nīdēju...” (2019) Šis dziļi viltotu kustīgu attēlu darbs ir no sērijas “Big Dada”, kas ir daļa no projekta “Spectre”. Kur apvienojas lielie dati, AI, dada un konceptuālā māksla. .Artworks by Bill Posters & @danyelhau #spectreknows #deepfake #deepfakes #contemporaryartwork #digitalart #generativeart #newmediaart #codeart #contemporaryart

Ziņa, ko kopīgoja Bilu plakāti (@bill_posters_uk) 2019. gada 1. jūnijā, plkst. 3:47 PDT

Skatiet šo ziņu Instagram

Šodien kopā ar @futureadvocacy esmu izlaidusi jaunu #deepfake mākslas darbu sēriju, lai palielinātu izpratni par regulējuma trūkumu attiecībā uz dezinformāciju tiešsaistē. Šajos 'daļēji politiskajos' raidījumos redzams, ka Apvienotās Karalistes premjerministrs Boriss Džonsons un opozīcijas līderis Džeremijs Korbins ir viltoti, lai nosūtītu brīdinājumu visām valdībām par dezinformāciju tiešsaistē. Šai intervencei mēs izmantojām slavenu Apvienotās Karalistes politiķu biometriskos datus, lai apstrīdētu faktu, ka bez lielākas kontroles un aizsardzības attiecībā uz personas datiem un jaudīgām jaunām tehnoloģijām dezinformācija rada tiešu risku ikviena cilvēka cilvēktiesībām, tostarp to personu tiesībām, kuras ieņem amatus. jauda. Ir pārsteidzoši, ka pēc 3 gadiem ieteikumi, kas sniegti DCMS Izvēles komitejas izmeklēšanā par viltus ziņām vai Informācijas komisāra biroja izmeklēšanā saistībā ar Cambridge Analytica skandāliem, nav tikuši piemēroti, lai mainītu Apvienotās Karalistes likumus, lai aizsargātu mūsu brīvību un demokrātiju. Rezultātā nosacījumi propagandas un dezinformācijas kampaņu skaitļošanas formām, kas jāpastiprina sociālo mediju platformās, joprojām ir spēkā šodien. Mēs aicinām visas Apvienotās Karalistes politiskās partijas izmantot parlamentu secinājumus un nodrošināt turpmākās vēlēšanas. Neskatoties uz nebeidzamajiem brīdinājumiem pēdējos gados, politiķiem kolektīvi nav izdevies risināt dezinformācijas problēmu tiešsaistē. Tā vietā atbilde bija atlikt tehnoloģiju uzņēmumiem darīt vairāk. Atbildība par mūsu demokrātijas aizsardzību gulstas Vestminsteras gaiteņos, nevis Silīcija ielejas sēžu zālēs. Pilnos video skatieties manā mājaslapā! [SAITE BIO] #deepfakes #newmediaart #ukelection #dezinformācija

Ziņa, ko kopīgoja Bilu plakāti (@bill_posters_uk) 2019. gada 11. novembrī, plkst. 23:55 PST

Ir arī daži noteikumi, par kuriem var manipulēt ar attēliem un runu, un ir maz aizsardzības aktieriem aizkulisēs. Līdz šim lielākā daļa profesionalizēto dziļo viltojumu ir balstīti uz slaveniem cilvēkiem un veidoti ar skaidriem, konstruktīviem mērķiem, tāpēc tie ir likumīgi aizsargāti ASV saskaņā ar satīras likumiem. Tomēr Mischief’s Putin un Kim deepfakes gadījumā aktieri ir palikuši anonīmi personiskās drošības apsvērumu dēļ, sacīja komanda, jo manipulācijas ar diktatoru attēliem ir pretrunīgi vērtētas.

Zinot, kā amatieru dziļās viltojumi ir izmantoti, lai ļaunprātīgi izmantotu, manipulētu un uzmāktos sievietēm, daži satura veidotāji ir arī noraizējušies par to, kādā virzienā lietas varētu virzīties. Frensiss saka, ka ir daudz cilvēku, kuri nav īsti ētiski vai morāli noraizējušies par to, kas ir viņu klienti, kur tas var parādīties un kādā formā.

Tomēr, neskatoties uz šiem sarežģītajiem jautājumiem, daudzi mākslinieki un filmu veidotāji ir pārliecināti, ka viltojumiem vajadzētu būt šeit, lai paliktu. Ētiski izmantota tehnoloģija paplašina mākslas un kritikas, provokācijas un pārliecināšanas iespējas. Tas tikai liek cilvēkiem domāt, saka Francisks. Tā ir ideāla mākslas forma šāda veida absurda, gandrīz sirreālisma laikmetam, ko mēs piedzīvojam.

paslēpties