211service.com
Kāpēc un kā Baidu apkrāpa mākslīgā intelekta testu
Programmatūras apmācības sporta veids saprātīgai rīcībai tikko ieguva savu pirmo krāpšanās skandālu. Pagājušajā mēnesī Ķīnas meklēšanas uzņēmums Baidu paziņoja, ka tā attēlu atpazīšanas programmatūra standartizētajā precizitātes pārbaudē ir apsteigusi Google. Otrdien uzņēmums atzina, ka ir sasniedzis šos rezultātus, pārkāpjot šī testa noteikumus.
To saka akadēmiskie eksperti, kas uztur šo testu padara Baidu apgalvojumus par Google pārspētu bezjēdzīgu . Ren Wu, Baidu pētnieks, kurš vadīja darbu pie attiecīgās programmatūras, ir atvainojies un teica, ka uzņēmums pārskata rezultātus. Uzņēmumam ir grozīja tehnisko dokumentu tas tika izlaists savā programmatūrā.
Mēs nezinām, vai tā bija viena cilvēka darbība vai visas komandas stratēģija. Bet kāpēc daudzu miljardu dolāru korporācija varētu apnikt krāpties ar neskaidru testu, ko brīvprātīgi veic akadēmiķi, patiesībā ir diezgan skaidrs.
Baidu, Google, Facebook un citi lielākie skaitļošanas uzņēmumi pēdējos gados ir ieguldījuši lielus izdevumus, lai izveidotu pētniecības grupas, kas veltītas dziļai apmācībai — pieejai mašīnmācīšanās programmatūras izveidei, kas ir guvusi lielus panākumus runas un attēlu atpazīšanas jomā. Šie uzņēmumi ir smagi strādājuši, lai nolīgtu vadošos ekspertus mazā jomā — bieži vien viens no otra (skatiet sadaļu Vai Google virza tirgu padziļinātas mācīšanās virzienā ). Saujiņa akadēmiskajā vidē izstrādātu standartizētu testu ir valūta, pēc kuras šīs pētniecības grupas salīdzina viena otras progresu un popularizē savus sasniegumus.
Baidu ieguva negodīgas priekšrocības, izmantojot testa dizainu. Lai jūsu programmatūra atbilstu ImageNet izaicinājumam, vispirms apmāciet to ar standartizētu 1,5 miljonu attēlu komplektu. Pēc tam jūs iesniedzat kodu ImageNet Challenge serverim, lai tā precizitāti varētu pārbaudīt 100 000 validācijas attēlu kolekcijā, ko programmatūra vēl nekad nav redzējusi.
Izaicinājuma noteikumos teikts, ka jums ir jāpārbauda savs kods tikai divas reizes nedēļā, jo rezultāti ir nejauši.
Baidu ir atzinis, ka izmantojis vairākus e-pasta kontus, lai pārbaudītu savu kodu aptuveni 200 reižu nepilnu sešu mēnešu laikā — vairāk nekā četras reizes, ko atļauj noteikumi.
Orens Etcioni, uzņēmuma izpilddirektors Allena Mākslīgā intelekta institūts , salīdzina Baidu paveikto ar vairāku loterijas biļešu iegādi. Ja jums ir iespēja iegādāties divas biļetes nedēļā, jums ir zināma iespēja, ja jūs pērkat 200 biļetes nedēļā, jums ir lielāka iespēja, viņš saka. Turklāt nedaudz atšķirīga koda testēšana daudzos testos varētu palīdzēt pētnieku komandai optimizēt savu programmatūru, ņemot vērā validācijas attēlu kolekcijas īpatnības, kas nav atspoguļotas reālās pasaules fotoattēlos.
Tādi ir padziļinātās mācīšanās panākumi šajā konkrētajā testā, ka pat neliela priekšrocība varētu mainīties. Baidu ziņoja, ka kļūdu līmenis ir tikai 4,58 procenti, pārspējot iepriekšējo labāko rādītāju 4,82 procenti. ziņoja Google martā. Faktiski daži eksperti ir atzīmējuši, ka nelielā uzvaras starpība sacīkstēs, lai sasniegtu labākus rezultātus šajā konkrētajā testā, padara to arvien bezjēdzīgāku. Tas, ka Baidu un citi turpina sludināt savus rezultātus un, iespējams, pat vēlas pārkāpt noteikumus, liecina, ka viņiem ir ļoti svarīgi būt labākajam mašīnmācībā.