Datori, kas runā jūsu valodā

Es gribu lidot no Bostonas uz Milvokīnu
Sestdienformisteri
dzimšanas diena un es nevēlos apstāties
Čikāga un es negribu
maksā vairāk nekā četri simti dolāru
un ballīte sākas trijos pulksten I
jāiegūst jau iepriekš.

Skaisti pasakiet to kādam aviokompānijas aģentam, un viņš vai viņa ātri atšķetinās jūsu vārdus un atradīs lidojumus, kas atbilst jūsu kritērijiem. Tomēr pasakiet to aviokompānijas automatizētās rezervēšanas līnijai, un viss, ko jūs, visticamāk, iegūsit, ir jautra digitālā balss intonācija. Atvainojiet, es to nesapratu.

Nevajag vainot balsi. Pat pieņemot, ka aviokompānijas datori pārvarēja izkropļotos vārdus, fona troksni un Bostonas akcentu, lai pārvērstu pieprasījumu precīzā tekstā, nevienai valodas apstrādes sistēmai nav skaitļošanas spēka, lai saprastu jūsu cenas un maršrutēšanas ierobežojumus, ignorējot neatbilstības, piemēram, faktu, ka sestdiena. ir tavas māsas dzimšanas diena, un saproti, ka, ja ballīte sākas pulksten 15:00, tevi neinteresē lidojumi, kas Milvoki ierodas pulksten 4:00.

Ja datori varētu Ja saprastu un atbildētu uz šādiem ikdienišķiem dabiskās valodas pieprasījumiem, rezultāti būtu abpusēji izdevīgi: aviokompānijām nebūtu jāalgo tik daudz aģentu, un patērētājiem nebūtu jācīnās ar apjukumu, ko rada skārienjutīgās saskarnes, kas viņus aizrauj nikni. pieskaroties pogai 0, veltīgi cenšoties sasniegt tiešo operatoru.

Futūristi šādu pasauli ir iztēlojušies vismaz kopš 1968. gada, kad 2001: Kosmosa odiseja HAL 9000 kļuva par arhetipisku balss interaktīvo datoru. Akadēmiskie un korporatīvie pētnieki, kurus ir ieintriģējis šīs idejas vēsums, tikpat ilgi ir izdomājuši sistēmas cilvēka runas atpazīšanai un reaģēšanai uz to. Taču tehnoloģijas nenotiek, jo tās ir foršas: tām ir nepieciešama uzņēmējdarbība. Valodas apstrādei tie ir milzīgie klientu apkalpošanas izdevumi, kas beidzot izstumj tehnoloģijas no laboratorijas. Vienkārši nospiediet vai sakiet, ka telefona koki strauji virzās uz lūžņu kaudzi, jo tādi uzņēmumi kā Nuance Communications un SpeechWorks apvieno iepriekš konkurējošās stratēģijas programmatūrā, kas izsecina cilvēku dabiski izteikto vai rakstisko pieprasījumu nolūku. Lielākās aviokompānijas, bankas un patēriņa preču uzņēmumi jau izmanto sistēmas, un, lai gan tehnoloģija vēl nevar noturēt sarunas beigas, tā palīdz zvanītājiem, uzdodot vienkāršus jautājumus, izvairīties no garām rindām un atbrīvo cilvēku aģentus sarežģītāki pieprasījumi.

Šādi uzlabojumi ir izveidojuši dabiskās valodas sistēmas straujai izaugsmei: 43 procenti Ziemeļamerikas uzņēmumu ir vai nu iegādājušies interaktīvu balss atbildes programmatūru saviem zvanu centriem, vai arī veic izmēģinājuma pētījumus, liecina tehnoloģiju analīzes firmas Forrester Research. Tā kā arvien vairāk uzņēmumu nomainīs savas vecās skārienjutīgo tālruņu izvēlnes, mūsdienu tālruņu runas lietojumprogrammu tirgus 500 miljonu ASV dolāru apmērā līdz 2007. gadam pieaugs, sasniedzot 3,5 miljardus ASV dolāru, norāda Stīvs Makklūrs, tirgus analīzes uzņēmuma IDC programmatūras izpētes grupas viceprezidents. Piemēram, 2002. gada beigās uzņēmums Bell Canada uzstādīja 4,5 miljonus ASV dolāru balss atbildes sistēmu, ko izveidoja Menlo Park, Kalifornijā bāzētā Nuance. Pamatojoties uz rezultātiem, ko mēs redzam, faktiskā ieguldījumu atdeve prasīs tikai aptuveni 10 mēnešus, saka Belinda Banks, Bell Canada klientu apkalpošanas asociētā direktore. Kopumā uzņēmums plāno ietaupīt 5,3 miljonus ASV dolāru klientu apkalpošanas izmaksās vien šogad.

Un tas ir tikai pirmais posms valodas apstrādes sistēmu izvietošanā. Uzņēmumi, piemēram, Nuance un Boston’s SpeechWorks, divi tirgus līderi interaktīvo balss atbildes sistēmu jomā, gūst panākumus daļēji tāpēc, ka tie ir pielāgojuši savas tehnoloģijas šaurām jomām, piemēram, informācijai par ceļojumiem, kur ir ierobežots vārdu krājums un jēdzieni, kas tiem jāapgūst. Pat tad, kad šādas sistēmas pārņem klientu apkalpošanas nišu, citi uzņēmumi joprojām cenšas panākt patiesu dabiskās valodas izpratni. Ja, piemēram, IBM un Palo Alto pētniecības centra (PARC) pētījumi nesīs augļus, datori drīzumā varēs interpretēt gandrīz jebkuru sarunu vai izgūt gandrīz jebkuru informāciju, ko tīmekļa lietotājs vēlas, pat ja tā ir bloķēta video failu vai svešvalodu, kas atver tirgus visur, kur cilvēki meklē zināšanas, izmantojot datortīklus. Prognozē IDC McClure, kamēr GUI [grafiskā lietotāja saskarne] bija interfeiss deviņdesmitajos gados, NUI jeb dabiskais lietotāja interfeiss būs interfeiss šajā desmitgadē.

Ko tu teici?

Lai izveidotu patiesi interaktīvu klientu apkalpošanas sistēmu, piemēram, Nuance’s, ir jārisina katra lielākā dabiskās valodas apstrādes problēma: cilvēka runas precīza pārveidošana mašīnlasāmā tekstā; analizēt teksta vārdu krājumu un struktūru, lai iegūtu nozīmi; saprātīgas atbildes ģenerēšana; un atbildot cilvēciski skanošā balsī.

Zinātnieki MIT, Kārnegija Melona universitātē un citās universitātēs, kā arī pētnieki no tādiem uzņēmumiem kā IBM, AT&T un Stenfordas pētniecības institūts (tagad SRI International) gadu desmitiem ir cīnījušies ar problēmas pirmo daļu: runāto vārdu pavēršanu. kaut ko, ar ko datori var strādāt. Pirmie praktiskie produkti parādījās 90. gadu sākumā patērētāju runas atpazīšanas programmu veidā, piemēram, IBM Voice Type, kas diktēja, bet piespieda lietotājus apstāties pēc katra vārda, tādējādi ierobežojot pārņemšanu. Deviņdesmito gadu vidum tehnoloģija bija attīstījusies un noveda pie tādām diktēšanas sistēmām kā Dragon Systems NaturallySpeaking un IBM ViaVoice, kas var pārrakstīt nepārtrauktu runu ar līdz pat 99 procentu precizitāti.

Aptuveni tajā pašā laikā daži zinātnieki atdalījās no akadēmiskajām un korporatīvajām laboratorijām, lai izveidotu jaunuzņēmumus, kuru mērķis ir risināt vēl sarežģītākas problēmas — un lielākus potenciālos tirgus — otrajā valodas apstrādes jomā, ko sauc par valodas izpratni. Tas lielā mērā ir sasniegumi šajā jomā, kas ir pozicionējuši jomu tā reālajam izaugsmes spurtam. Šie sasniegumi balstās uz divām svarīgām atziņām, norāda SpeechWorks galvenais tehnoloģiju darbinieks Maikls Filipss, bijušais MIT Datorzinātņu laboratorijas pētnieks. Pirmais bija tas, ka nav jēgas ķerties pie mēness — gadu desmitiem vecais sapnis par sistēmām, kas spēj HAL līdzīgas sarunas. Pastāv mīts, ka cilvēki vēlas runāt ar mašīnām tāpat kā viņi runā ar cilvēkiem, saka Filipss. Cilvēki vēlas efektīvu, draudzīgu, izpalīdzīgu mašīnu, nevis kaut ko tādu, kas mēģina viņus pievilt, liekot viņiem domāt, ka viņi sarunājas ar cilvēku. Šis pieņēmums ievērojami vienkāršo dabiskās valodas sistēmas izveides un apmācības darbu.

Otra atziņa bija tāda, ka ir pienācis laiks apvienot filozofijas, kuras valodas apstrādes kopienā jau sen turēja konkurējošās frakcijas. Viena filozofija būtībā saka, ka runas izpratne ir tās gramatiskās struktūras noteikšana, savukārt otrā uzskata, ka statistiskā analīze — vārdu vai frāžu salīdzināšana ar vēsturisku runas piemēru datubāzi — ir efektīvāks līdzeklis teikuma nozīmes uzminēšanai. Hibrīdsistēmas, kurās tiek izmantotas abas metodes, ir precīzākas par katru no tām atsevišķi.

Taču šis ieskats nenāca vienas nakts laikā. MIT Filipss bija palīdzējis izstrādāt eksperimentālu programmatūru, kas varētu atpazīt runu un, pamatojoties uz gramatikas izpratni, saprast pieprasījumu un loģiski atbildēt. Tāpat kā citas uz gramatiku balstītas sistēmas, tas sadalīja teikumu tā sintaktiskajos komponentos, piemēram, priekšmetā, darbības vārdā un objektā. Pēc tam sistēma sakārtoja šos komponentus kokam līdzīgās diagrammās, kas atspoguļoja teikuma semantisko saturu vai iekšējo loģiku — kurš un kad ko darīja ar kuru. Programmatūra aprobežojās ar to, lai palīdzētu lietotājiem pārvietoties pa Kembridžu, MA, skaidro Filips. Jūs teiktu: “Kur ir tuvākais restorāns?”, un tas teiktu: “Kādu restorānu jūs vēlaties?” Jūs teiktu, ķīniešu, un tas atrastu jums vietu.

Neilgi pēc tam, kad Phillips 1994. gadā licencēja tehnoloģiju no MIT un aizgāja, lai sāktu SpeechWorks, gan viņš, gan konkurenta Nuance pētnieki saprata, ka vienai no viņu mērķa lietojumprogrammām, zvana vadīšanai, ir nepieciešams kaut kas vairāk. Ir uzņēmumi, kuriem ir 300 dažādi 800 numuri, skaidro Filips. Klients nesaprot organizācijas struktūru - viņi vienkārši zina, kāda problēma viņiem ir. Pareizi ir uzdot jautājumu, piemēram, kāda ir jūsu problēma?” Taču, salīdzinot ar pieprasījumu pēc tuvējā ķīniešu restorāna, šādi jautājumi ir bīstami atklāti.

Problēma kļūst grūtāka, ja ņem vērā, ka daudzās cilvēku runas neskaidrība — iedomājieties tādu frāzi, kā viņš redzēja meiteni ar teleskopu — nozīmē, ka daudzi lūgumi ir dažādi interpretējami. Ir tik daudz dažādu veidu, kā kāds var runāt ar sistēmu, ka mēģinājums visu to aptvert gramatikā ir pārmērīgs, saka Džons Šī, Nuance mārketinga un produktu pārvaldības viceprezidents.

SpeechWorks beidzot atrada praktisku risinājumu 2000. gadā, kad tā apvienoja MIT programmatūru ar statistikas valodas apstrādes tehnoloģiju, kas izstrādāta AT&T Labs-Research in Florham Park, NJ. AT&T sistēma ir veidota, balstoties uz datubāzi ar izplatītiem teikuma fragmentiem, kas iegūti no desmitiem tūkstošu ierakstītu tālruņa zvanu, kas ietver gan cilvēku savstarpējo, gan cilvēka-mašīnas saziņu. Katrs datu bāzes fragments tiek novērtēts pēc tā statistiskās saistības ar noteiktu tēmu un attiecīgi klasificēts. Piemēram, fragments, piemēram, zvani, kurus es neveicu, varētu cieši korelēt ar tēmu neatpazīta numura norēķinu vaicājumi, un sistēma novirzītu zvanu aģentam, kurš varētu kreditēt zvanītāja kontu. Ja sistēma nav pārliecināta par savu izvēli, tā pieprasa zvanītājam papildu informāciju, izmantojot runas sintēzes tehnoloģiju. Galu galā, saskaņā ar AT&T datiem, sistēma pareizi maršrutē vairāk nekā 90 procentus zvanu — tas ir daudz augstāks panākumu līmenis nekā zvanītāji, kuri paši pārvietojas vecmodīgos tālruņu kokus.

Nuance izstrādāja līdzīgu sistēmu, kuras pamatā ir SRI tehnoloģija, kas var izmantot gramatikas vai statistikas metodes, vai abas, lai iegūtu nozīmi no zvanītāja runas. Mēs izmantojam dažādas pieejas atkarībā no klienta vajadzībām, saka Fēlikss Gofmans, Nuance produktu mārketinga vadītājs. Jūs varat sajaukt un saskaņot. Konkrētā jomā, piemēram, banku jomā, zvanītāju jautājumu tēmas un vārdu krājums būs ierobežots, un sistēma var darboties, tikai izmantojot iepriekš definētus klientu sacīto sarakstus. Jaunām vai plašākām jomām, piemēram, tālruņa pakalpojuma pasūtīšanai, sistēma katru uzklausīto jautājumu saglabā datu bāzē, pēc tam izmanto statistikas metodes, lai salīdzinātu jaunos jautājumus ar vecajiem ierakstiem, meklējot iespējamās atbilstības, tādējādi laika gaitā uzlabojot precizitāti.

SpeechWorks zvanu centra tehnoloģiju izmanto tādi dažādi uzņēmumi kā Office Depot, ASV pasta dienests, Thrifty Car Rental un United Airlines. Bet uzņēmums, kas tehnoloģiju virza vistuvāk tās robežām, ir Amtrak. Ceļotāji, zvanot uz Amtrak automatizēto tālruņu sistēmu, var ne tikai uzzināt vilcienu grafikus, bet arī rezervēt rezervācijas un iekasēt biļetes no savām kredītkartēm. Kad mēs nolēmām, galvenais mērķis bija palielināt klientu apmierinātības rādītājus, saka Mets Hardisons, dzelzceļa pārdošanas, izplatīšanas un klientu apkalpošanas nodaļas vadītājs. Bet kā bonuss, viņš saka, darbaspēka izmaksu ietaupījumi atmaksāja Amtrak ieguldījumus tehnoloģijā 4 miljonu dolāru apmērā 18 mēnešu laikā.

Tikmēr uzņēmumam Nuance ir lieli klienti finanšu un telekomunikāciju nozarēs, tostarp Schwab, Sprint PCS un Bell Canada. British Airways paziņoja uzņēmumam, ka pēc Nuance runas atpazīšanas sistēmu izvietošanas pagājušajā gadā tā vidējā maksa par vienu klienta zvanu samazinājās no 3,00 USD līdz 0,16 USD. Un saskaņā ar Bell Canada's Banks datiem, 40 procenti klientu izmantoja nulles punktu vai pieprasīja reāllaika operatoru, navigējot uzņēmuma skārienjutīgo tālruņu kokā. Laikā no 2002. gada decembra, kad uzņēmums ieviesa sistēmu, līdz 2003. gada martam šis skaitlis samazinājās līdz 15 procentiem, saka Banks.

Dziļāka Izpratne

Tomēr, neskatoties uz visiem saviem panākumiem, šīs sistēmas nekādā ziņā īsti nesaprot to, ko tās dzird. Tie attiecas tikai uz gramatikas likumiem, varbūtībām un saglabātajiem piemēriem. Tie patiešām ir izcili tieši tāpēc, ka to veidotāji ir novērsušies no meklējumiem pēc sistēmas, kas ir pietiekami inteliģenta, lai lasītu un apkopotu grāmatu vai uzturētu vispārēju sarunu.

Taču citi pētnieki saglabā plašāku skatījumu uz dabiskās valodas apstrādes iespējām. Tāpat kā Rons Kaplans, PARC pētnieks, kurš izstrādāja lielu daļu pamata gramatikas teorijas daudzu mūsdienu dabisko valodu sistēmu pamatā, viņi veido programmatūru, kas spēj tikt galā ar daudz plašāku ievades dažādību — no avīžu stāstiem līdz nesakārtotai multivides masai. informāciju tīmeklī. Kaplāns kritiski vērtē to, ko viņš sauc par seklajām metodēm, ko izmanto nišas lietojumprogrammām, piemēram, zvanu vadīšanai. Viņš saka, ka salīdzinājumā ar alternatīvu — dārgu klientu apkalpošanas aģentu personāla uzturēšanu — tie patiesībā nav slikti. Bet, salīdzinot ar to, ko jūs vēlētos, viņi smird. Kaplan saka, ka efektīvāka dabiskās valodas saskarne novērstu nepieciešamību rūpīgi pielāgot sistēmas un ļautu lietotājiem brīvi runāt vai rakstīt.

Divas problēmas, kas kavē šo redzējumu, pēc Kaplana domām, ir tādas, ka valodu paraugu datu bāzes, uz kurām balstās vienkāršākas sistēmas, ir pārāk mazas, un statistikas algoritmi, ko tās izmanto, ir paredzēti, lai novērstu neskaidrības lielākajā daļā cilvēku teiktā, un tie nonāk tik ātri, kā iespējams ar visticamāko nozīmi. Kaplāns uzskata, ka, ja šī neskaidrība tiek novērsta pārāk ātri, izteikuma pareizā nozīme var tikt zaudēta, jo īpaši garš vai sarežģīts teikums. Tāpēc viņš pēdējo desmit gadu laikā ir strādājis pie gramatikas vadītas sistēmas, ko sauc par Xerox lingvistisko vidi, kas faktiski cenšas saglabāt neskaidrība. Sistēma parsē izteikumu katrā iespējamā teikuma diagrammā, kas atļauta saskaņā ar 314 noteikumiem, kas regulē attiecības starp dažādām runas daļām (PARC pētnieki trīs gadu laikā apkopoja noteikumus manuāli). Piemēram, sarežģītu teikumu ar 40 vai vairāk vārdiem var interpretēt pat 1000 dažādos veidos.

Sistēmas gramatikas analīze ir tik rūpīga, ka tā pareizi uztver vidēji 75 procentus teikuma loģisko sakarību, kas patiesībā ir ļoti augsts salīdzinājumā ar to, ko dara lielākā daļa statistikas metožu, saka Kaplāns. Šo precizitātes līmeni var palielināt līdz aptuveni 80 procentiem, ja programmatūra izmanto šīs statistikas metodes, salīdzinot katru iespējamo interpretāciju ar līdzīgām diagrammām apmācītā datu bāzē - PARC programmatūras gadījumā, simtiem tūkstošu precīzu sastādītu teikumu diagrammu krātuvē. no Wall Street Journal rakstus.

Kaplan plāno vispirms atbrīvot sistēmu, izmantojot Xerox milzīgo digitālo zināšanu bāzi par kopētāju remonta metodēm, ko pastāvīgi konsultē un atjaunina uzņēmuma speciālisti. Tur tas salīdzinās tūkstošiem atsevišķu ierakstu, lai atsijātu atlaišanas un pretrunas. Iespējams, ka daudzi tehniķi ir atklājuši tādu pašu risinājumu kādai izplatītai problēmai, piemēram, kopētāja cilindra nomaiņai, skaidro Kaplans. Jūs saņemat virkni ierakstu, kuros teikts viens un tas pats, tikai dažādos veidos. Viņš piebilst, ka šādas atlaišanas automātiska atrašana un atgriešana var palīdzēt tehniķiem tērēt mazāk laika iespēju šķirošanai. Programmatūra galu galā varētu kļūt arī par kodolu progresīvai sistēmai dokumentu tulkošanai dažādās valodās — šo uzdevumu īpaši nomoka neskaidrības ( skatiet Tulkošanas izaicinājums ).

Tomēr, lai dators varētu saprast vai tulkot saglabāto informāciju, kas izteikta dabiskajā valodā, tam tā ir jāatrod. Tas kļūst grūtāk, jo digitālais visums paplašinās, tāpēc IBM īsteno vērienīgu projektu, lai izmantotu dabiskās valodas apstrādi nestrukturētas informācijas, digitālā teksta, attēlu, video un audio, kas glabājas datortīklos, pārvaldībā. Liela daļa IBM biznesa balstās uz datu bāzes produktu DB2, taču tradicionālā datu bāze var izgūt tikai informāciju, kas jau ir sakārtota un indeksēta. IBM vēlas sniegt biznesa lietotājiem un patērētājiem tūlītēju piekļuvi neindeksētiem datiem, kas glabājas miljoniem cieto disku visā pasaulē, efektīvi paplašinot savu dominējošo stāvokli strukturēto datu pārvaldībā nestrukturētas informācijas jomā. Lai to sasniegtu, uzņēmums īsteno iniciatīvu, kuras mērķis ir apvienot dažādas valodu apstrādes pieejas jaudīgā programmatūrā, kas var gudri meklēt, sakārtot un tulkot visus šos datus. Projekts, ko sauc par nestrukturētu informācijas pārvaldības arhitektūru, varētu veicināt uzņēmuma biznesu interneta laikmetā. Ņemot vērā derības par pētniecību, tas ir liels, saka Alfrēds Spektors, nodaļas vecākais viceprezidents.

Tulkošanas programmatūra un citi produkti, kas izmanto jauno arhitektūru, joprojām ir prototipa stadijā. Taču galu galā, saka projekta vadošais programmatūras arhitekts Deivids Feruči, arhitektūra palīdzēs IBM izveidot sistēmas, kas no jebkura digitālā avota jebkurā valodā iegūst jaunāko informāciju, ko lietotājs vēlas, un nodrošina to organizētā veidā. Jau tagad ASV uzņēmumi tērē 900 miljonus ASV dolāru gadā uzņēmumu informācijas portālos, kas palīdz darbiniekiem atrast nepieciešamos ierakstus, liecina Giga Information Group Kembridžā, MA, un iespējas IBM un citiem uzņēmumiem, kas izstrādā programmatūru nestrukturētas informācijas pārvaldībai, tikai palielināsies, ka informācija uzkrājas. Tagad ir nepārprotami biznesa pamatojums rīkoties ar nestrukturētiem datiem, secina Spector.

Ja centieni tikt galā ar neskaidrību, nestrukturētu informāciju un citām valodas sarežģītībām gūs panākumus, mēs galu galā varam pārstāt izturēties pret datoriem kā pret maziem bērniem, vienkāršojot visu, ko sakām, lai tas atbilstu viņu nenobriedušajai pasaules izpratnei. Kad pienāks šī diena, un tā varētu nākt drīz, patērētāji var sagaidīt, ka ik uz soļa atradīs automatizētas balss saskarnes, ļaujot viņiem izmantot vienkāršu angļu (vai franču vai ķīniešu) valodu, lai mijiedarbotos ar visu, sākot ar tīmekļa arhīviem un beidzot ar ierīcēm un automašīnām.

Un tas tiešām būtu par ko runāt.

Valodu apstrādes Babel UZŅĒMUMS TEHNOLOĢIJA ATRAŠANĀS VIETA AT&T Automatizēta runas atpazīšana; dabiskas skaņas runas sintēze
Ņujorka, NY Banter Automatizēta e-pasta klasifikācija un atbildes Sanfrancisko, Kalifornijā un Jeruzaleme, Izraēlā IBM Automatizēta runas atpazīšana;
tulkošana; standarta arhitektūras nestrukturētas informācijas pārvaldībai Armonk, NY Intel Audiovizuālā runas atpazīšana Santaklara, Kalifornija Inxight Programmatūra teksta datu atklāšanai, izpētei un kategorizēšanai korporatīvajos tīklos Saniveilā, Kalifornijā iPhrase tehnoloģijas Teksta meklēšana dabiskajā valodā korporatīvajās tīmekļa vietnēs Cambridge, MA Microsoft Gramatikas pārbaude; vaicājumu saskarnes; tulkojums Redmond, WA Nuance Communications Interaktīvas balss atbildes sistēmas klientu apkalpošanai pa telefonu Menlo Park, CA Palo Alto pētniecības centrs Uzlaboti algoritmi nozīmes iegūšanai no rakstīta teksta Palo Alto, CA SpeechWorks Interaktīvas balss atbildes sistēmas klientu apkalpošanai pa telefonu Boston, MA StreamSage Video un audio materiālu meklēšana un indeksēšana dabiskajā valodā Vašingtona, DC

paslēpties