211service.com
Kā iTunes Genius patiešām darbojas
Kopš funkcijas debijas 2008. gadā ir bijis daudz spekulācijas par to, kā iTunes Genius paveic savu atskaņošanas sarakstu veidošanas burvību. Tagad Apple inženieris, kas strādā iTune Genius komandā, ir atklājis dažus vilinošas norādes – reta atklāsme bēdīgi slepenajam uzņēmumam.
Apkopojot to, ko Stīvs Džobss iepriekš ir teicis par iTunes Genius, Apple inženieris Ēriks Goldmens savā ziņojumā raksta. ziņu vietnē Quora ka Genius pakalpojuma sākumpunkts ir lietošanas datu pakete — kādas dziesmas lietotājam ir bibliotēkā (un, iespējams, cik bieži viņš tās atskaņo), — kas nosūtīta no iTunes lietojumprogrammas, kas ir salocīta lielākā lietotāju un dziesmu datubāze.
Būtībā jūsu ierakstu bibliotēka tiek salīdzināta ar visu citu Genius lietotāju dziesmu bibliotēkām. Pēc tam Apple palaiž iepriekš slepenu algoritmu kopu, ko Goldmens raksturoja kā vienkāršus ieteikumu algoritmus, kas līdzīgi tiem, ko izmanto citi pakalpojumi, piemēram, Netflix kad tā iesaka lietotājam filmas, ko skatīties tūlīt vai pievienot savai karalienei, lai ģenerētu statistiku par katru dziesmu. Šī statistika tiek aprēķināta globāli ar regulāriem intervāliem un saglabāta kešatmiņā, atzīmē Goldmens, jo dati par jebkuru divu dziesmu līdzību mainās lēnām — tiek pieņemts, ka vienīgais iemesls, kāpēc tā vispār mainās, ir klausītāju gaumes mainīgums, un jaunu dziesmu un mākslinieku ieviešana.
Goldmens joko, ja viņš jums pastāstītu, kā Genius strādā, viņam jūs būtu jānogalina (vai vismaz jāsaņem policistu komanda iebrukt jūsu smadzenēs lai atgūtu Apple likumīgo īpašumu), taču viņš turpina aprakstīt, kā programma tik un tā darbojas.
Lai atklātu daļu no tā, kā darbojas iTunes Genius, saka Goldmens, apskatiet informācijas izguves algoritmus, īpaši tos, kas izmanto vektora telpas modeli. Taču, pirms varat salīdzināt faktorus, piemēram, konkrēta izpildītāja vai žanra biežumu lietotāja bibliotēkā vai atskaņošanas sarakstos, iTunes bibliotēkās, izmantojot Vector-Space modeli, jums ir nepieciešams gudrs veids, kā noteikt faktoru, kas piešķir lielāku nozīmi lietām. tam tiešām ir nozīme.
Vienkāršs veids, kā pareizi nosvērt faktorus salīdzināšanai, ir tas, kas pazīstams kā terminu biežums-apgriezts dokumenta biežums (tf-idf). Tas ir vienkārši veids, kā salīdzināt, cik bieži konkrēts faktors ir sastopams vienā dokumentā (vai dziesmā vai bibliotēkā), ar to, cik bieži šis faktors notiek lielākā daļā, piemēram, visu Genius serveros saglabāto iTunes bibliotēku summā. Tādējādi faktors, kas diezgan bieži sastopams konkrētā lietotāja bibliotēkā, piemēram, afinitāte pret neskaidru indy joslu, parasti ir spēcīgāks noteicošais faktors, ja vien tas nenotiek diezgan bieži arī kopējā datu kopā, piemēram, tas būtu gadījumā, ja faktors būtu radniecība ar Bītliem.
Kad tf-idf svari ir sakārtoti, varat tos attēlot vektoru telpas modelī kā vektorus.
Šajā piemērā (pieklājīgi Wikipedia ) diviem dažādiem dokumentiem (vai dziesmām) visi dažādie tf-idf svari ir attēloti kā viens vektors (piemēram, d1), ko pēc tam var salīdzināt ar otru dokumentu/vektoru (piemēram, d2) un vaicājumu (q) — piemēram, no šīm divām dziesmām visvairāk līdzinās tai, kurai es tikko noklikšķināju uz pogas “ģeniāls”. Kurš no tiem ir tuvāk jūsu vaicājuma vektoram, ir līdzīgāks.
Iedziļinoties iTune Genius sistēmā, Goldman stāsta par latento faktoru algoritmu izmantošanu. Jo īpaši latentā faktora algoritmi mēdz ļoti labi strādāt ar milzīgām datu kopām ar milzīgu izmēru skaitu un lielu troksni, saka Goldmens.
Latentie faktori ir tas, kas satricina, veicot noteikta veida statistisko analīzi, ko sauc par a faktoru analīze , uz datu kopas, meklējot slēptos, neredzamos mainīgos, kas izraisa atšķirības visos dažādajos pārbaudāmajos mainīgajos. Pieņemsim, ka duci dažādu mainīgo mainīgumu izraisa tikai četri vai pieci slēptie mainīgie — tie ir jūsu latentie faktori. Tie liek daudziem citiem mainīgajiem pārvietoties vairāk vai mazāk bloķēšanas solī.
Slēpto vai latento faktoru atklāšana datu kopā ir ērts veids, kā samazināt problēmas apjomu, kas jums jāaprēķina, un tas darbojas, jo cilvēki ir paredzami: cilvēki, kuriem patīk Emo mūzika, ir skumji, un skumjiem cilvēkiem patīk arī skaņu celiņi. vampīru romānu filmu versijām, kas stāsta par ilgām utt. Jūs to varētu uzskatīt par stereotipa matemātisko izpausmi – tikai tā darbojas.
Ja vēlaties iedziļināties šajā tēmā, Goldmens iesaka izlasīt papīri kas tika iegūta no miljonu dolāru vērtās Netflix balvas, kuru ieguva AT&T inženieru vadīto komandu kombinācija. Viņu uzdevums bija uzlabot Netflix ieteikumu dzinēju, un viens no viņu galvenajiem jauninājumiem bija ieteikumu dzinējos izmantoto algoritmu skaitļošanas intensitātes samazināšana.
Iepriekš aprēķinu apjoms, kas nepieciešams, lai veiktu jebkuru divu vienumu salīdzināšanu pa pāriem Netflix (un, iespējams, Apple) bibliotēkā, tika mērogots kā veicamo salīdzinājumu skaita kvadrātiskā funkcija. Taču AT&T komanda izdomāja, kā pārrakstīt fundamentālu algoritmu, lai problēma tiktu mērogota tikai lineāri atkarībā no iesaistīto datu apjoma. Tātad, vienalga Apple jaunais datu centrs ir paredzēts, iespējams, tas nav paredzēts Genius rezultātu aprēķināšanai.