Radikāli jauna tehnika ļauj AI mācīties praktiski bez datiem

Mītiskais degunradzis. Ms Tech / Pixabay

Mašīnmācībai parasti ir nepieciešams daudz piemēru. Lai mākslīgā intelekta modelis atpazītu zirgu, jums ir jāparāda tūkstošiem zirgu attēlu. Tas padara tehnoloģiju skaitļošanas ziņā dārgu un ļoti atšķirīgu no cilvēka mācīšanās. Bērnam bieži ir jāredz tikai daži objekta piemēri vai pat tikai viens, lai viņš varētu to atpazīt uz mūžu.

Patiesībā bērniem dažreiz tas nav vajadzīgs jebkura piemēri, lai kaut ko identificētu. Parādīti zirga un degunradžu fotoattēli un teikts, ka vienradzis ir kaut kas pa vidu, viņi var atpazīt mītisko radījumu bilžu grāmatā, pirmo reizi to ieraugot.

Hmm... labi, ne gluži.

MS TECH / PIXABAY

Tagad uz jauns papīrs no Vaterlo universitātes Ontārio štatā, ierosina, ka AI modeļiem arī vajadzētu būt iespējai to izdarīt — procesu, ko pētnieki sauc par mazāk nekā vienreizēju vai LO-shot mācīšanos. Citiem vārdiem sakot, AI modelim jāspēj precīzi atpazīt vairāk vairāk nekā piemēru, uz kuriem tas tika apmācīts. Tas varētu būt liels darījums jomā, kas ir kļuvusi arvien dārgāka un nepieejama, jo izmantotās datu kopas kļūst arvien lielākas.

Kā darbojas mazāk par vienu reizi mācīšanās

Pētnieki vispirms demonstrēja šo ideju, eksperimentējot ar populāro datorredzes datu kopu, kas pazīstama kā MNIST . MNIST, kas satur 60 000 apmācību attēlu ar roku rakstītiem cipariem no 0 līdz 9, bieži tiek izmantots, lai pārbaudītu jaunas idejas šajā jomā.

In iepriekšējo papīru MIT pētnieki bija ieviesuši paņēmienu milzu datu kopu destilēšanai sīkās, un kā koncepcijas pierādījumu viņi bija saspieduši MNIST līdz tikai 10 attēliem. Attēli netika atlasīti no sākotnējās datu kopas, bet gan rūpīgi izstrādāti un optimizēti, lai saturētu līdzvērtīgu informācijas daudzumu kā pilnai kopai. Rezultātā, apmācot tikai 10 attēlus, mākslīgā intelekta modelis varētu sasniegt gandrīz tādu pašu precizitāti kā tas, kas apmācīts visos MNIST attēlos.

Attēlu paraugi no MNIST datu kopas.

WIKIMEDIA

10 attēli, kas “destilēti” no MNIST, kas var apmācīt AI modeli, lai ar roku rakstītiem cipariem sasniegtu 94% atpazīšanas precizitāti.

TONGZHOU WANG ET AL.

Vaterlo pētnieki vēlējās turpināt destilācijas procesu. Ja ir iespējams samazināt 60 000 attēlu līdz 10, kāpēc gan nesaspiest tos piecos? Viņi saprata, ka triks bija izveidot attēlus, kas apvieno vairākus ciparus un pēc tam ievada tos AI modelī ar hibrīda vai mīkstajām etiķetēm. (Padomājiet par zirgu un degunradžu, kam ir daļējas vienradža pazīmes.)

Ja domājat par ciparu 3, tas arī izskatās kā cipars 8, bet nelīdzinās ciparam 7, saka Ilia Sucholutsky, doktorante no Vaterlo un darba vadošā autore. Mīkstās etiķetes mēģina tvert šīs koplietotās funkcijas. Tā vietā, lai pateiktu iekārtai: 'Šis attēls ir cipars 3', mēs sakām: 'Šis attēls ir 60% cipars 3, 30% cipars 8 un 10% cipars 0.'

LO-shot mācīšanās robežas

Kad pētnieki veiksmīgi izmantoja mīkstās etiķetes, lai panāktu LO-shot mācīšanos MNIST, viņi sāka brīnīties, cik tālu šī ideja varētu iet. Vai ir ierobežots to kategoriju skaits, kuras varat iemācīt AI modelim identificēt no neliela skaita piemēru?

Pārsteidzoši, šķiet, ka atbilde ir nē. Izmantojot rūpīgi izstrādātas mīkstās etiķetes, pat divi piemēri teorētiski varētu kodēt neierobežotu skaitu kategoriju. Ar diviem punktiem jūs varat atdalīt tūkstoš klases vai 10 000 klašu vai miljonu klašu, saka Sucholutsky.

Ābolu (zaļi un sarkani punktiņi) un apelsīnu (oranži punktiņi) uzzīmēšana pēc svara un krāsas.

PIEMĒROTS NO JASON MAYES MACHINE LEARNING 101 SLIDE KORMA

Tas ir tas, ko pētnieki demonstrē savā jaunākajā rakstā, izmantojot tīri matemātisko izpēti. Viņi izspēlē šo koncepciju ar vienu no vienkāršākajiem mašīnmācīšanās algoritmiem, kas pazīstami kā k-tuvākie kaimiņi (kNN), kas klasificē objektus, izmantojot grafisku pieeju.

Lai saprastu, kā darbojas kNN, kā piemēru ņemiet uzdevumu klasificēt augļus. Ja vēlaties apmācīt kNN modeli, lai saprastu atšķirību starp āboliem un apelsīniem, vispirms ir jāatlasa funkcijas, kuras vēlaties izmantot, lai attēlotu katru augli. Iespējams, jūs izvēlaties krāsu un svaru, tāpēc katram ābolam un apelsīnam ievadāt kNN vienu datu punktu ar augļa krāsu kā tā x vērtību un svaru kā y vērtību. Pēc tam kNN algoritms attēlo visus datu punktus 2D diagrammā un novelk robežlīniju tieši pa vidu starp āboliem un apelsīniem. Šajā brīdī grafiks tiek precīzi sadalīts divās klasēs, un algoritms tagad var izlemt, vai jaunie datu punkti attēlo vienu vai otru, pamatojoties uz to, kurā līnijas pusē tie atrodas.

Lai izpētītu LO-shot mācīšanos ar kNN algoritmu, pētnieki izveidoja virkni mazu sintētisko datu kopu un rūpīgi izstrādāja to mīkstās etiķetes. Pēc tam viņi ļāva kNN uzzīmēt robežlīnijas, kuras tas redzēja, un atklāja, ka tas veiksmīgi sadalīja diagrammu vairākās klasēs nekā datu punktos. Pētniekiem bija arī augsta līmeņa kontrole pār robežlīniju kritumu. Izmantojot dažādus mīksto etiķešu pielāgojumus, viņi varētu iegūt kNN algoritmu, lai uzzīmētu precīzus ziedu formas modeļus.

Pētnieki izmantoja mīksto marķējumu piemērus, lai apmācītu kNN algoritmu, lai kodētu arvien sarežģītākas robežlīnijas, sadalot diagrammu daudz vairāk klasēs nekā datu punktos. Katrs no krāsainajiem laukumiem diagrammās attēlo citu klasi, savukārt sektoru diagrammas katra diagrammas malā parāda mīksto etiķešu sadalījumu katram datu punktam.

ILIJA SUCHOLUTSKY u.c.

Protams, šiem teorētiskajiem pētījumiem ir daži ierobežojumi. Lai gan idejai par LO-shot mācībām vajadzētu pāriet uz sarežģītākiem algoritmiem, uzdevums izstrādāt mīksto marķējumu piemērus kļūst ievērojami grūtāks. kNN algoritms ir interpretējams un vizuāls, kas ļauj cilvēkiem veidot etiķetes; neironu tīkli ir sarežģīti un necaurlaidīgi, kas nozīmē, ka tas pats var nebūt taisnība. Datu destilācijai, kas paredzēta neironu tīklu mīksto apzīmējumu piemēru izstrādei, ir arī būtisks trūkums: jums ir jāsāk ar milzīgu datu kopu, lai to samazinātu līdz kaut kam efektīvākam.

Sucholutsky saka, ka viņš tagad strādā, lai noskaidrotu citus veidus, kā izstrādāt šīs mazās sintētisko datu kopas — neatkarīgi no tā, vai tas nozīmē to izveidi ar rokām vai ar citu algoritmu. Tomēr, neskatoties uz šiem papildu pētniecības izaicinājumiem, raksts sniedz teorētiskos pamatus LO-shot mācībām. Secinājums ir tāds, ka atkarībā no tā, kāda veida datu kopas jums ir, iespējams, jūs varat iegūt milzīgus efektivitātes pieaugumus, viņš saka.

Tas ir tas, kas visvairāk interesē Tongdžou Vanu, MIT doktorantu, kurš vadīja iepriekšējos pētījumus par datu destilāciju. Raksta pamatā ir patiešām jauns un svarīgs mērķis: spēcīgu modeļu apgūšana no mazām datu kopām, viņš saka par Sucholutsky ieguldījumu.

Raiens Khurana, Monreālas AI Ētikas institūta pētnieks, piebalso šim viedoklim: Visbūtiskāk, ja mācīšanās “mazāk par vienu” varētu radikāli samazināt datu prasības, lai izveidotu funkcionējošu modeli. Tas varētu padarīt AI pieejamāku uzņēmumiem un nozarēm, kuras līdz šim ir apgrūtinājušas lauka datu prasības. Tas varētu arī uzlabot datu privātumu, jo no indivīdiem būtu jāiegūst mazāk informācijas, lai apmācītu noderīgus modeļus.

Sucholuckis uzsver, ka pētījumi vēl ir agri, taču viņš ir sajūsmā. Katru reizi, kad viņš sāk prezentēt savu rakstu kolēģiem pētniekiem, viņu sākotnējā reakcija ir teikt, ka ideja nav iespējama, viņš saka. Kad viņi pēkšņi saprot, ka tā nav, tas paver pilnīgi jaunu pasauli.

paslēpties