Datorredze AI: dati, kas nepieciešami, lai gūtu panākumus

Nodrošina Allegion

Liela datu apjoma anotēšanas spējas attīstīšana, vienlaikus saglabājot kvalitāti, ir modeļa izstrādes dzīves cikla funkcija, ko uzņēmumi bieži nenovērtē. Tas ir resursietilpīgs un prasa īpašas zināšanas.

Jebkuras veiksmīgas mašīnmācīšanās/mākslīgā intelekta (ML/AI) iniciatīvas pamatā ir apņemšanās nodrošināt augstas kvalitātes apmācības datus un ceļu uz kvalitatīviem datiem, kas ir pierādīti un precīzi definēti. Bez šī kvalitatīvā datu cauruļvada iniciatīva ir lemta neveiksmei.

Datorredzes vai datu zinātnes komandas bieži vēršas pie ārējiem partneriem, lai izstrādātu savu datu apmācības cauruļvadu, un šīs partnerības veicina modeļa veiktspēju.

Nav vienas kvalitātes definīcijas: kvalitātes dati ir pilnībā atkarīgi no konkrētā datora redzējuma vai mašīnmācīšanās projekta. Tomēr pastāv vispārīgs process, ko visas komandas var ievērot, strādājot ar ārēju partneri, un šo ceļu uz kvalitatīviem datiem var iedalīt četrās prioritārās fāzēs.

Anotācijas kritēriji un kvalitātes prasības

Apmācības datu kvalitāte ir datu kopas piemērotības novērtējums, lai tas atbilstu mērķim noteiktā ML/AI lietošanas gadījumā.

Datorredzes komandai ir jāizveido nepārprotams noteikumu kopums, kas apraksta, ko kvalitāte nozīmē viņu projekta kontekstā. Anotācijas kritēriji ir noteikumu kopums, kas nosaka, kurus objektus anotēt, kā tos pareizi anotēt un kādi ir kvalitātes mērķi.

Precizitātes vai kvalitātes mērķi nosaka zemāko pieņemamo rezultātu tādiem novērtējuma rādītājiem kā precizitāte, atsaukšana, precizitāte, F1 rezultāts utt. Parasti datorredzes komandai ir kvalitātes mērķi, lai noteiktu, cik precīzi tika klasificēti interesējošie objekti, cik precīzi objekti tika lokalizēti un cik precīzi tika identificētas attiecības starp objektiem.

Darbaspēka apmācība un platformas konfigurācija n

Platformas konfigurācija. Uzdevumu izstrādei un darbplūsmas iestatīšanai ir nepieciešams laiks un zināšanas, un precīzai anotācijai nepieciešami uzdevumam specifiski rīki. Šajā posmā datu zinātnes komandām ir nepieciešams partneris ar pieredzi, lai palīdzētu tām noteikt, kā vislabāk konfigurēt marķēšanas rīkus, klasifikācijas taksonomijas un anotāciju saskarnes, lai nodrošinātu precizitāti un caurlaidspēju.

Strādnieku pārbaude un punktu noteikšana. Lai precīzi marķētu datus, anotētājiem ir nepieciešama labi izstrādāta apmācības programma, lai viņi pilnībā izprastu anotācijas kritērijus un domēna kontekstu. Anotācijas platformai vai ārējam partnerim ir jānodrošina precizitāte, aktīvi izsekojot anotatora prasmes attiecībā uz zelta datu uzdevumiem vai gadījumos, kad augstāk kvalificēts darbinieks vai administrators maina spriedumu.

Pamata patiesība vai zelta dati. Pamata patiesības dati ir ļoti svarīgi šajā procesa posmā, jo tie ir bāze, lai novērtētu darbiniekus un novērtētu produkcijas kvalitāti. Daudzas datorredzes komandas jau strādā ar pamata patiesības datu kopu.

Autoritātes un kvalitātes nodrošināšanas avoti

Nav universālas kvalitātes nodrošināšanas (QA) pieejas, kas atbilstu visu ML lietošanas gadījumu kvalitātes standartiem. Konkrēti biznesa mērķi, kā arī risks, kas saistīts ar zemas veiktspējas modeli, noteiks kvalitātes prasības. Daži projekti sasniedz mērķa kvalitāti, izmantojot vairākus anotatorus. Citām ir nepieciešama sarežģīta pārskatīšana, salīdzinot ar pamatpatiesības datiem vai eskalācijas darbplūsmām, pārbaudot lietas ekspertu.

Ir divi galvenie autoritātes avoti, ko var izmantot, lai novērtētu anotāciju kvalitāti un ko izmanto darbinieku vērtēšanai: zelta dati un ekspertu pārskats.

• Zelta dati: zelta datus vai pamata patiesības ierakstu kopu var izmantot gan kā kvalifikācijas rīku, lai pārbaudītu un novērtētu darbiniekus procesa sākumā, gan arī kā produkcijas kvalitātes mēraukla. Ja kvalitātes mērīšanai izmantojat zelta datus, jūs salīdzināt darbinieku anotācijas ar ekspertu anotācijām tai pašai datu kopai, un atšķirību starp šīm divām neatkarīgajām, aklo atbildēm var izmantot, lai iegūtu kvantitatīvus mērījumus, piemēram, precizitāti, atsaukšanu, precizitāti un F1 rādītājus. .

• Ekspertu pārskats: šī kvalitātes nodrošināšanas metode balstās uz ekspertu vērtējumu, ko sniedz augsti kvalificēts darbinieks, administrators vai klienta eksperts, dažreiz visi trīs. To var izmantot kopā ar zelta datu kvalitātes nodrošināšanu. Recenzents eksperts izskata kvalificētā darbinieka sniegto atbildi un vai nu apstiprina to, vai vajadzības gadījumā veic labojumus, sagatavojot jaunu pareizo atbildi. Sākotnēji ekspertu pārbaude var tikt veikta par katru marķēto datu gadījumu, taču laika gaitā, uzlabojoties darbinieku kvalitātei, ekspertu pārbaudē var izmantot izlases veida paraugus pastāvīgai kvalitātes kontrolei.

Datu panākumu atkārtošana

Kad datorredzes komanda ir veiksmīgi ieviesusi augstas kvalitātes apmācības datu cauruļvadu, tā var paātrināt virzību uz ražošanai gatavu modeli. Izmantojot pastāvīgu atbalstu, optimizāciju un kvalitātes kontroli, ārējais partneris var viņiem palīdzēt:

• Izsekošanas ātrums: lai mērogotu efektīvi, ir lietderīgi izmērīt anotācijas caurlaidspēju. Cik ilgs laiks nepieciešams datu pārvietošanai procesā? Vai process kļūst ātrāks?
• Uzlabojiet darbinieku apmācību: projektam paplašinās, marķējuma un kvalitātes prasības var mainīties. Tam nepieciešama pastāvīga darbaspēka apmācība un punktu skaitīšana.
• Apmācība uz malas: laika gaitā apmācības datos jāietver arvien vairāk malu gadījumu, lai padarītu modeli pēc iespējas precīzāku un robustāku.

Bez augstas kvalitātes apmācības datiem pat vislabāk finansētie, ambiciozākie ML/AI projekti nevar gūt panākumus. Datorredzes komandām ir nepieciešami partneri un platformas, kurām tās var uzticēties, lai nodrošinātu tām nepieciešamo datu kvalitāti un nodrošinātu dzīvi mainīgus ML/AI modeļus pasaulei.

Alegion ir pārbaudīts partneris, lai izveidotu apmācību datu cauruļvadu, kas nodrošinās jūsu modeli visā tā dzīves ciklā. Sazinieties ar Alegion pa tālr [email protected] .

Šo saturu veidoja Alegion. To nav rakstījuši MIT Technology Review redakcijas darbinieki.

paslēpties