Kaip mokėme dirbtinį intelektą suprasti lietuviškus skambučius
Žodį „traumatologas“ mūsų kalbos atpažinimo modelis iš telefoninių skambučių garso interpretuodavo kaip „tromotologas“, o terminas „ortopedas“ virto į „orsopėdą“. Tokios klaidos pasirodė ypač keistos, žinant jog to paties modelio rezultatai dirbant su aukštos kokybės lietuviškais garso įrašais yra dvigubai geresni.
Lietuvos DI bendrovė „AAI Labs“ šiais metais vienai Lietuvos gydymo įstaigai sukūrė sistemą, kuri vertina skambučių (tiksliau, registratūros darbuotojų pokalbių) kokybę. Šiuo metu Sistema per dieną sėkmingai apdoroja bei įvertina iki 10 tūkst. pokalbių. Tam kad dirbtinis intelektas (DI) galėtų tinkamai įvertinti pokalbį, pirmiausia visgi jį reikia teisingai suprasti bei paversti tekstu - būtent šis žingsnis ir sukėlė daugiausiai bėdų.
Problema – telefono linijos kokybė
Aukštos kokybės garso įrašus modelio apmokymui buvome iš anksto apdoroję bei pavertę į reikiamą (telefoninį) formatą, tačiau galutinė kokybė dirbant su tikrais skambučiais po pirminio apmokymo vis vien buvo prasta. Dėl to, išanalizavome, kuo tikri skambučiai skiriasi nuo apmokymui naudotų garso duomenų.
Pasirodo, jog įprastų skambučių garsas yra duslus: aukšti dažniai, praktikoje padedantys atskirti priebalsius, realiuose įrašuose buvo labai silpni. Taip pat skambučių įrašuose dažnu atveju buvo jaučiamas triukšmas. Kalbos ir triukšmo santykis mokymo įrašuose buvo apie 26 dB (kuo jis didesnis, tuo kalba yra švaresnė ir aiškesnė). Skambučių įrašuose šis santykis siekė tik 8 dB, tad atskirti triukšmą nuo kalbos buvo ganėtinai sudėtinga.
Tai reiškia, kad mūsų modelis buvo apmokytas švarių įrašų garsu, tačiau praktikoje gaunami įrašai buvo triukšmingi ir sunkiai suprantami, kas sugadindavo rezultatus.
Mokymo įrašus „sugadinome“ tyčia
Šios problemos sprendimas paprastas - apmokymo duomenis priartinome prie tikrų skambučių. Kitaip tariant, į turimus įrašus pridėjome įvairaus stiprumo triukšmo, įrašus pagreitinome ir sulėtinome bei panaudojome skirtingus telefonijos kodavimo metodus siekiant užtikrinti kuo didesnę įrašų kokybės įvairovę.
Po šių pakeitimų, klaidingai atpažintų žodžių dalis sumažėjo nuo 28,8 iki 12,6 proc. Stebėtinai, modelio rezultatai pagerėjo tiek įrašuose su foniniu triukšmu, tiek be jo, tad toks sintetinis įrašų sugadinimas stipriai padėjo padidinti modelio kokybę dirbant realiomis sąlygomis.
Ne kiekviena klaida yra klaida
Modelio rezultatų analizė taip pat parodė, jog dalį „klaidų“ lemia smulkios intonacijos, pavyzdžiui: „mhm“, „hm“, ir kt. Modeliui šiuos garsus aptikti yra sudėtinga, tačiau pokalbio prasmei jie didelės įtakos neturi, dėl ko nusprendėme juos pašalinti iš apmokymui naudojamų duomenų bei netraktuoti tokių atvejų kaip klaidingų.
Šiuo metu modelis geba suprantamai interpretuoti įvairaus triukšmingumo įrašus, o pasitaikančios klaidos yra neesminės. Pavyzdžiui, painiojami linksniai („daktarę“ virsta į „daktarė“), praleidžiami trumpi žodžiai, „taip“ suprantamas kaip „tai“ ir pan. Sunkiausiai modeliui suprasti sekasi medicininiai terminai, kadangi mokymo duomenyse jų yra mažai.
Ateityje planuojame dabartinį kalbos modelį apmokyti didesniu duomenų kiekiu, aprėpiančių dar platesnę kokybės bei naudojamų terminų įvairovę.
Ką verta žinoti prieš diegimą
Jei planuojate analizuoti prastos kokybės skambučius, kalbos atpažinimo modelio apmokymui naudokite garso įrašus, kuo artimesnius naudojamiems praktikoje. Mūsų atveju toks pakeitimas lėmė du kartus geresnius rezultatus.
Šiuo metu Sistemoje veikiantis modelis yra apmokytas iš trijų šaltinių: aukštos kokybės įrašų, triukšmu „sugadintų“ įrašų bei tikrų skambučių, kuriuos mūsų komanda parengė rankiniu būdu. Toks duomenų derinys davė geriausius rezultatus (klaidingai atpažintų žodžių dalis siekia tik 9 proc.) ir, tikėtina, su laiku galės būti pagerintas dar labiau.