211service.com
Google medicīniskā AI laboratorijā bija ļoti precīza. Reālā dzīve bija cits stāsts.
Wikimedia Commons
Covid-19 pandēmija daudzās pasaules valstīs izstiepj slimnīcu resursus līdz lūzuma punktam. Nav pārsteigums, ka daudzi cilvēki cer, ka mākslīgais intelekts varētu paātrināt pacientu skrīningu un atvieglot klīniskā personāla slodzi. Taču Google Health pētījums — vispirms aplūkosim padziļinātas apmācības rīka ietekmi reālos klīniskos apstākļos — atklāj, ka pat visprecīzākie AI faktiski var pasliktināt situāciju, ja tie nav pielāgoti klīniskajai videi, kurā tie darbosies.
Spēkā esošie noteikumi mākslīgā intelekta izvietošanai klīniskajos apstākļos, piemēram, FDA atļaujas standarti ASV vai CE marķējums Eiropā, galvenokārt ir vērsti uz precizitāti. Nav skaidru prasību, ka AI jāuzlabo pacientu iznākums, galvenokārt tāpēc, ka šādi izmēģinājumi vēl nav veikti. Taču tas ir jāmaina, saka Emma Bīde, Google Health UX pētniece: Mums ir jāsaprot, kā AI rīki darbosies cilvēkiem kontekstā, jo īpaši veselības aprūpē, pirms tie tiek plaši izplatīti.
Google pirmā iespēja pārbaudīt rīku reālā vidē radās Taizemē. Valsts Veselības ministrija ir noteikusi ikgadēju mērķi pārbaudīt 60% cilvēku ar cukura diabētu, lai noteiktu diabētisko retinopātiju, kas var izraisīt aklumu, ja netiek agri konstatēta. Taču ar aptuveni 4,5 miljoniem pacientu līdz tikai 200 tīklenes speciālistiem — aptuveni divreiz vairāk nekā ASV — klīnikas cīnās, lai sasniegtu mērķi. Google ir CE marķējums, kas attiecas uz Taizemi, taču tas joprojām gaida FDA apstiprinājumu. Tāpēc, lai noskaidrotu, vai mākslīgais intelekts varētu palīdzēt, Bīde un viņas kolēģi aprīkoja 11 klīnikas visā valstī ar padziļinātas apmācības sistēmu, kas apmācīta pamanīt acu slimību pazīmes pacientiem ar cukura diabētu.
Sistēmā, ko izmantoja Taizeme, medmāsas pārbaužu laikā fotografē pacientu acis un nosūta tās speciālistam apskatīt citur — process var ilgt līdz pat 10 nedēļām. Google Health izstrādātais mākslīgais intelekts var identificēt diabētiskās retinopātijas pazīmes no acu skenēšanas ar vairāk nekā 90% precizitāti (ko komanda sauc par cilvēka speciālista līmeni) un principā dod rezultātu mazāk nekā 10 minūtēs. Sistēma analizē attēlus, lai noteiktu stāvokļa indikatorus, piemēram, bloķētus vai noplūdušus asinsvadus.
Vairāk par koronavīrusu
Mūsu vissvarīgākais Covid-19 pārklājums ir bezmaksas, tostarp:
Kas ir ganāmpulka imunitāte?
Kā darbojas koronavīruss?
Kādas ir iespējamās ārstēšanas metodes?
Kuras zāles darbojas vislabāk?
Kāds ir pareizais sociālās distancēšanās veids?
Citi bieži uzdotie jautājumi par koronavīrusu
---
Biļetens: Coronavirus Tech Report
Tālummaiņas raidījums: Radio Corona
Skatīt arī:
Viss mūsu Covid-19 pārklājums
Covid-19 īpašais izdevums
Lūdzu, noklikšķiniet šeit, lai abonētu un atbalstītu mūsu bezpeļņas žurnālistiku .
Skaņas iespaidīgi. Bet precizitātes novērtējums no laboratorijas sniedzas tikai tik tālu. Tajā nekas nav teikts par to, kā AI darbosies reālās vides haosā, un to vēlējās noskaidrot Google Health komanda. Vairākus mēnešus viņi novēroja medmāsas, kas veica acu skenēšanu, un intervēja viņas par viņu pieredzi, izmantojot jauno sistēmu. Atsauksmes nebija gluži pozitīvas.
Kad tas darbojās labi, AI paātrināja lietas. Bet tas reizēm nedeva rezultātu vispār. Tāpat kā lielākā daļa attēlu atpazīšanas sistēmu, dziļās mācīšanās modelis bija apmācīts augstas kvalitātes skenēšanai; lai nodrošinātu precizitāti, tas tika izstrādāts, lai noraidītu attēlus, kas nokrita zem noteikta kvalitātes sliekšņa. Tā kā medmāsas stundā skenēja desmitiem pacientu un bieži fotografēja slikta apgaismojuma apstākļos, vairāk nekā piektā daļa attēlu tika noraidīti.
Pacientiem, kuru attēli tika izslēgti no sistēmas, tika paziņots, ka viņiem citā dienā būs jāapmeklē speciālists citā klīnikā. Ja viņiem bija grūti paņemt atvaļinājumu vai viņiem nebija automašīnas, tas acīmredzami bija neērti. Medmāsas jutās neapmierinātas, it īpaši, ja uzskatīja, ka noraidītajos skenējumos nebija slimības pazīmju, un pēcpārbaudes bija nevajadzīgas. Viņi dažreiz tērēja laiku, mēģinot atkārtoti uzņemt vai rediģēt attēlu, kuru AI bija noraidījis.
Medmāsa pārvalda tīklenes skeneri, uzņemot pacienta acs aizmugures attēlus. (Google)
Tā kā sistēmai bija jāaugšupielādē attēli apstrādei mākonī, aizkavēšanos izraisīja arī sliktais interneta savienojums vairākās klīnikās. Pacientiem patīk tūlītēji rezultāti, taču internets ir lēns, un pacienti pēc tam sūdzas, sacīja viena medmāsa. Viņi šeit gaidīja kopš pulksten 6:00, un pirmajās divās stundās mēs varējām pārbaudīt tikai 10 pacientus.
Google veselības komanda tagad sadarbojas ar vietējo medicīnas personālu, lai izstrādātu jaunas darbplūsmas. Piemēram, medmāsas varētu apmācīt izmantot savu spriedumu robežgadījumos. Arī pašu modeli varētu pielāgot, lai labāk apstrādātu nepilnīgos attēlus.
Riskējot ar pretreakciju
Šis ir būtisks pētījums ikvienam, kurš vēlas sasmērēt savas rokas un reāli ieviest AI risinājumus reālās pasaules apstākļos, saka Hamids Tižošs no Vaterlo universitātes Kanādā, kurš strādā pie MI medicīniskās attēlveidošanas jomā. Tizhoosh ir ļoti kritisks pret to, ko viņš uzskata par steigu paziņot par jauniem AI rīkiem, reaģējot uz Covid-19. Dažos gadījumos rīkus izstrādā un modeļus izlaiž komandas, kurām nav veselības aprūpes pieredzes, viņš saka. Viņš uzskata, ka Google pētījums ir savlaicīgs atgādinājums, ka precizitātes noteikšana laboratorijā ir tikai pirmais solis.
Maikls Abramofs, acu ārsts un datorzinātnieks no Aiovas Slimnīcu un klīniku universitātes, vairākus gadus ir izstrādājis mākslīgo intelektu, lai diagnosticētu tīklenes slimību, un ir izpilddirektors jaunizveidotajā uzņēmumā IDx Technologies, kas ir sadarbojies ar IBM Watson. Abramofs jau agrāk ir bijis veselības aprūpes AI karsējmeitene, taču viņš arī brīdina nesteigties, brīdinot par pretreakciju, ja cilvēkiem ir slikta pieredze ar AI. Esmu ļoti priecīgs, ka Google parāda, ka viņi vēlas izpētīt faktisko darbplūsmu klīnikās, viņš saka. Veselības aprūpē ir daudz vairāk nekā algoritmi.
Abramoff arī apšauba AI rīku salīdzināšanas ar cilvēku speciālistiem lietderību, kad runa ir par precizitāti. Protams, mēs nevēlamies, lai AI veiktu sliktu zvanu. Bet cilvēku ārsti visu laiku nepiekrīt, viņš saka, un tas ir labi. AI sistēmai ir jāiekļaujas procesā, kurā nenoteiktības avoti tiek apspriesti, nevis vienkārši noraidīti.
Saprotiet to pareizi un ieguvumi varētu būt milzīgi . Kad tas darbojās labi, Bīde un viņas kolēģi redzēja, kā mākslīgais intelekts padarīja cilvēkus, kuri labi veica savu darbu, vēl labākus. Viņa saka, ka viena medmāsa viena pati pārbaudīja 1000 pacientu, un ar šo rīku viņa ir neapturama. Pacientiem nebija īsti vienalga, ka tas ir AI, nevis cilvēks, kas lasa viņu attēlus. Viņiem vairāk rūpēja, kāda būs viņu pieredze.
Labojums: sākuma rinda tika grozīta, lai būtu skaidrs, ka ne visas valstis ir pārņemtas.