211service.com
Domu lasīšanas algoritmi rekonstruē to, ko redzat, izmantojot smadzeņu skenēšanas datus
Smadzeņu attēla rekonstrukcijas metožu salīdzinājums. Sākotnējie attēli ir parādīti augšējā rindā, savukārt jaunā dziļā ģeneratīvā multivew modeļa rezultāti ir parādīti apakšējā rindā.
Viens no interesantākajiem neirozinātnes mērķiem ir rekonstruēt uztvertos attēlus, analizējot smadzeņu skenējumus. Ideja ir noskaidrot, uz ko cilvēki skatās, uzraugot aktivitāti viņu redzes garozā.
Grūtības, protams, ir atrast veidus, kā efektīvi apstrādāt datus no funkcionālās magnētiskās rezonanses (fMRI) skenēšanas. Uzdevums ir kartēt aktivitāti trīsdimensiju vokseļos smadzenēs ar divdimensiju pikseļiem attēlā.
Tas izrādās grūti. fMRI skenēšana ir ļoti trokšņaina, un ir labi zināms, ka aktivitāti vienā vokselī ietekmē darbība citos vokseļos. Šāda veida korelācija ir skaitļošanas ziņā dārga; Patiešām, lielākā daļa pieeju to vienkārši ignorē. Un tas ievērojami samazina to radīto attēlu rekonstrukciju kvalitāti.
Tāpēc svarīgs mērķis ir atrast labākus veidus, kā apkopot datus no fMRI skenēšanas un tādējādi radīt precīzākas smadzeņu attēla rekonstrukcijas.
Šodien Changde Du no Smadzeņu iedvesmotās inteliģences pētniecības centra Pekinā, Ķīnā, un pāris draugi saka, ka viņi ir izstrādājuši tieši šādu tehniku. Viņu triks ir datu apstrāde, izmantojot padziļinātas mācīšanās metodes, kas spēj efektīvāk apstrādāt nelineārās korelācijas starp vokseļiem. Rezultāts ir daudz labāks veids, kā rekonstruēt veidu, kā smadzenes uztver attēlus.
Changde un co sāk ar vairākām cilvēka subjekta vizuālās garozas fMRI skenēšanas datu kopām, aplūkojot vienkāršu attēlu — piemēram, vienu ciparu vai vienu burtu. Katra datu kopa sastāv no skenētajiem attēliem un oriģinālā attēla.
Uzdevums ir atrast veidu, kā izmantot fMRI skenējumus, lai reproducētu uztverto attēlu. Kopumā komandai ir pieejami vairāk nekā 1800 fMRI skenējumi un oriģinālie attēli.
Viņi to uzskata par vienkāršu dziļas mācīšanās uzdevumu. Viņi izmanto 90 procentus datu, lai apmācītu tīklu, lai saprastu korelāciju starp smadzeņu skenēšanu un sākotnējo attēlu.
Pēc tam viņi pārbauda tīklu, izmantojot atlikušos datus, ievadot tai skenētos datus un lūdzot rekonstruēt sākotnējos attēlus.
Šīs pieejas lielā priekšrocība ir tā, ka tīkls uzzina, kurus vokseļus izmantot attēla rekonstrukcijai. Tas ļauj izvairīties no nepieciešamības apstrādāt datus no tiem visiem.
Tas arī uzzina, kā tiek korelēti dati no šiem vokseļiem. Tas ir svarīgi, jo, ja korelācijas tiek ignorētas, tās tiek uzskatītas par troksni un tiek izmestas. Tātad jaunā pieeja — tā sauktais dziļi ģeneratīvais daudzskatu modelis — izmanto šīs korelācijas un atšķir tās no reāla trokšņa.
Lai novērtētu dziļo ģeneratīvo daudzskatu modeli, Changde un kolēģi salīdzina tā rezultātus no vairāku citu smadzeņu attēla rekonstrukcijas metožu rezultātiem. Viņi to dara, izmantojot standarta attēlu salīdzināšanas metodes, lai redzētu, cik precīzi rekonstruētie attēli atbilst oriģināliem.
Rezultāti rada interesantu lasīšanu. Kopumā rekonstruētie attēli skaidri atspoguļo oriģinālus. Daudzos gadījumos tie ir ievērojami precīzāki, nekā var pārvaldīt citas metodes.
Attēlu salīdzināšanas metrika to apstiprina. Plaši eksperimentālie salīdzinājumi parāda, ka mūsu pieeja var precīzāk rekonstruēt vizuālos attēlus no fMRI mērījumiem, saka Changde un citi.
Tas ir interesants darbs ar būtiskām sekām. Spēja rekonstruēt smadzeņu attēlus ir svarīgs atspēriena punkts darbā, lai izveidotu labākas smadzeņu un mašīnas saskarnes. Nākamās darbības ietvers veidus, kā analizēt sarežģītākas ainas un kustīgus attēlus. Changde un co saka, ka viņu pieeju varētu izmantot arī citām smadzeņu kodēšanas problēmām, piemēram, audio un fiziskiem uzdevumiem.
Tālāk, kas zina. No šejienes tas ir tikai īss iztēles lēciens līdz smadzeņu skenēšanas metodēm, kas atklāj, ko cilvēki domā vai sapņo. Tikai iedomājies!
Atsauce: arxiv.org/abs/1704.07575 : Dziļas ģeneratīvās reprezentācijas kopīgošana uztvertā attēla rekonstrukcijai no cilvēka smadzeņu darbības