Ja algoritmi sabojājas, vainojams tuvākais cilvēks

Attēls, kurā redzamas pašbraucošas autoavārijas sekas ar uber transportlīdzekli uz sāniem Tempes policijas pārvalde

Šā mēneša sākumā Bloomberg publicēja rakstu par notiekošo tiesas prāvu par algoritma dēļ zaudētām investīcijām. Kāds Honkongas magnāts zaudēja vairāk nekā 20 miljonus dolāru pēc tam, kad bija uzticējis daļu savas bagātības automatizētai platformai. Bez tiesiskā regulējuma, lai iesūdzētu tiesā tehnoloģiju, viņš vainoja tuvāko cilvēku: vīrieti, kurš viņam to pārdeva.

Tas ir pirmais zināmais gadījums par automatizētu ieguldījumu zaudējumiem, bet ne pirmais, kas saistīts ar algoritmu atbildību. 2018. gada martā pašbraucošs Uber sasita un nogalināja gājējs Tempē, Arizonā, nosūtot uz tiesu citu lietu. Gadu vēlāk Uber bija attaisnots no visas kriminālatbildības, bet drošības vadītājs varētu tikt apsūdzēts par transportlīdzekļa slepkavību.

Abos gadījumos tiek risināts viens no galvenajiem jautājumiem, ar kuriem mēs saskaramies, automatizētām sistēmām ieplūstot visos sabiedrības aspektos: kurš vai kas ir pelnījis vainu, ja algoritms nodara kaitējumu? Kurš vai kas patiesībā tiek vainots, ir cits, taču tikpat svarīgs jautājums.

Madlēna Klēra Eliša, Data & Society pētniece un kultūras antropoloģe pēc izglītības, ir pavadījusi pēdējos gadus, pētot pēdējo jautājumu, lai noskaidrotu, kā tas var palīdzēt atbildēt uz pirmo. Lai to izdarītu, viņa ir atskatījusies uz vēsturiskiem gadījumu pētījumiem. Lai gan mūsdienu AI sistēmas nav pastāvējušas ilgu laiku, jautājumi par to atbildību nav jauni.

Pašpiedziņas Uber avārija ir paralēla, piemēram, 2009. gada Air France reisa 447 avārijai, un, aplūkojot to, kā mēs izturējāmies pret atbildību, mēs varam saprast, ko mēs varētu darīt tagad. Šajā traģiskajā negadījumā lidmašīna ietriecās Atlantijas okeānā ceļā no Brazīlijas uz Franciju, nogalinot visus 228 tajā esošos cilvēkus. Lidmašīnas automatizētā sistēma tika izstrādāta tā, lai tā būtu pilnīgi droša, un tā spēj rīkoties gandrīz visos scenārijos, izņemot retos gadījumos, kad vadību pārņemt bija nepieciešams cilvēka pilots. Šajā ziņā piloti līdzinājās mūsdienu pašbraucošo automašīnu drošības vadītājiem — viņu uzdevums bija pasīvi uzraudzīt lidojumu lielāko daļu laika, bet ekstremālos scenārijos viņi sāk darboties.

Saistīts stāsts

Saistīts stāsts Tikai daži likumdevēji patiešām zina, par ko viņi runā, bet tas ir sākums.

Tas, kas notika avārijas naktī, šobrīd ir labi zināms stāsts. Apmēram pusotru stundu pēc lidojuma lidmašīnas gaisa ātruma sensori pārstāja darboties ledus veidošanās dēļ. Pēc tam, kad autopilota sistēma nodeva vadību atpakaļ pilotiem, apjukums un komunikācijas traucējumi lika lidmašīnai apstāties. Kamēr viens no pilotiem mēģināja apgāzt kabīni, vēršot lidmašīnas degunu uz leju, otrs, iespējams, panikā, pacēla degunu, lai turpinātu kāpt. Sistēma tika izstrādāta tā, lai viens pilots visu laiku varētu kontrolēt, un nesniedza nekādus signālus vai taustes atgriezenisko saiti, lai norādītu, kurš pilots patiesībā kontrolē un ko otrs dara. Galu galā lidmašīna pacēlās tik stāvā leņķī, ka sistēma to uzskatīja par nederīgu un pilnībā pārtrauca sniegt atgriezenisko saiti. Piloti, lidojot pilnīgi akli, turpināja ķepuroties, līdz lidmašīna iekrita jūrā.

Iekšā nesenais papīrs , Elišs izpētīja traģēdijas sekas un atklāja svarīgu modeli, kā sabiedrība saprata notikušo. Kaut arī incidenta federālajā izmeklēšanā tika secināts, ka katastrofālu kļūmi izraisīja slikta sistēmu konstrukcija un nepietiekama pilotu apmācība, sabiedrība ātri vien pieķērās stāstījumam, kurā vainojams tikai pēdējais. Jo īpaši plašsaziņas līdzekļu attēlojums saglabāja pārliecību, ka izsmalcinātajā autopilota sistēmā nav nekādu vainu, neskatoties uz nozīmīgiem cilvēka faktoru pētījumiem, kas liecina, ka cilvēki vienmēr ir bijuši diezgan neprasti pēdējā brīdī lēkt ārkārtas situācijās ar līdzsvarotu galvu un skaidru prātu. .

Cilvēki darbojas kā 'atbildības sūklis'.

Citos gadījumu pētījumos Elish atklāja, ka tas pats modelis ir patiess: pat ļoti automatizētā sistēmā, kur cilvēkiem ir ierobežota kontrole pār tās uzvedību, viņi joprojām ir vainojami par tās neveiksmēm. Elišs šo parādību sauc par morālo saburzīšanas zonu. Kamēr saburzītības zona automašīnā ir paredzēta, lai aizsargātu cilvēku vadītāju, viņa raksta savā darbā, morālā saburzīšanas zona aizsargā tehnoloģiskās sistēmas integritāti uz tuvākā operatora rēķina. Viņa saka, ka cilvēki darbojas kā atbildības sūklis, uzņemoties visu juridisko un morālo atbildību algoritmiskos negadījumos neatkarīgi no tā, cik maz vai netīši viņi ir iesaistīti.

Šis modelis sniedz svarīgu ieskatu satraucošajā veidā, kādā mēs runājam par mūsdienu AI sistēmu atbildību. Tūlīt pēc Uber avārijas virsraksti norādīja uz Uber, bet mazāk nekā dažas dienas vēlāk stāstījums nobīdīts lai koncentrētos uz vadītāja uzmanības novēršanu.

Mums jāsāk jautāt, kurš uzņemas [tehnoloģiju uzņēmumu] tehnoloģisko eksperimentu risku, saka Elišs. Drošības vadītājiem un citiem operatoriem bieži ir maz varas vai ietekmes uz to tehnoloģiju platformu dizainu, ar kurām viņi mijiedarbojas. Tomēr pašreizējā regulējuma vakuumā viņi turpinās maksāt vislielākās izmaksas.

Regulatoriem vajadzētu arī niansētāk runāt par to, kāds regulējums palīdzētu taisnīgi sadalīt atbildību. Viņiem rūpīgi jādomā par sociotehnisko sistēmu regulēšanu, nevis tikai algoritmiskām melnām kastēm, saka Elish. Citiem vārdiem sakot, viņiem ir jāapsver, vai sistēmas dizains darbojas kontekstā, kurā tā darbojas, un vai tā nosaka cilvēkus, kuri nodrošina neveiksmi vai panākumus. Piemēram, pašpiedziņas automašīnas ir jāregulē tā, lai būtu saprātīgi ņemt vērā to, vai drošības vadītājiem tiek prasīta loma.

Viņa raksta, ka morālās saburzīšanas zonas koncepcijā ir apdraudēts ne tikai tas, kā atbildība var tikt sadalīta jebkurā robotizētā vai autonomā sistēmā, bet arī tas, kā var ļaut attīstīties cilvēku vērtībai un potenciālam cilvēku un mašīnu komandu kontekstā. .

Šis stāsts sākotnēji parādījās mūsu Webby nominētajā AI informatīvajā izdevumā The Algorithm. Lai vairāk šādu stāstu tiktu piegādāts tieši jūsu iesūtnē, reģistrējieties šeit. Tas ir par brīvu.

paslēpties