[ MATRIX arhitektuur ]

MATRIX lähtub küsimusest, kas osa tehisintellekti ülesandeid saab lahendada väiksema mudeliga ilma, et vajalik praktiline võimekus kaoks. Eesmärk ei ole teha võimalikult väikest mudelit, vaid leida ülesande jaoks võimalikult väike piisav mudel.

MATRIX-i arhitektuur kasutab ternary-kaalude põhimõtet:

Kolme kaaluväärtuse kasutamine võimaldab vähendada mudeli esitamiseks vajalikku täpsust ning loob võimaluse väiksemaks mälukasutuseks ja lihtsamaks arvutuseks. Tegelik kasu tuleb siiski mõõta koos mudeli kvaliteedi, treenitavuse ja käituskiirusega.

MATRIX-is käsitleme arhitektuuri, treenimist, mudeliformaati ja runtime'i ühe tehnoloogilise tervikuna. Ternary-esitus ei ole lihtsalt valmis mudelile hiljem lisatav kvantimisvõte.

[ MATRIX EST ]

MATRIX EST on esimene terviklik MATRIX-i mudel ja projekti peamine katseplatvorm. Esimese versiooni fookus on eesti keel, lokaalne kasutus ja praktilised ülesanded.

Eesmärk ei ole ainult eestikeelse teksti genereerimine. Mudelit arendatakse nii, et see suudaks mõista loomulikku eesti keelt, järgida juhiseid, lahendada talle sobivaid ülesandeid, töötada tekstide ja dokumentidega ning eristada kindlat teadmist olukorrast, kus informatsioon vajab kontrollimist.

MATRIX EST abil saame samal ajal mõõta, millistes ülesannetes on selle suurusklassi mudel piisav ja millal on vaja suuremat või eraldi spetsialiseeritud mudelit.

1. 01Eesti keel
2. 02Juhiste järgimine
3. 03Probleemilahendus
4. 04Eesti teadmised
5. 05Programmeerimine
6. 06Faktikindlus
7. 07Dokumentidega töötamine

[ Mudel ]

Praegune MATRIX EST konfiguratsioon kuulub ligikaudu 300 miljoni parameetriga mudelite klassi. See on arendus- ja mõõteplatvorm, mitte lõplik tootespetsifikatsioon.

Järgmiste mudelivariantide suurus ja konfiguratsioon otsustatakse mõõtmiste põhjal ning need võivad sõltuvalt ülesandest olla nii väiksemad kui suuremad.

[ Andmed ja treenimine ]

Väikese mudeli puhul on treeningandmete kvaliteet eriti oluline. MATRIX EST korpust ei käsitleta ainult suure tekstikogumina — materjali puhastatakse, struktureeritakse ja tasakaalustatakse vastavalt sellele, milliseid võimeid mudelilt oodatakse.

Treeningmaterjal hõlmab üldkeelt, eestikeelset sisu, juhiste järgimist, probleemilahendust, Eesti teadmisi, programmeerimist ja dokumentidega töötamist. Andmeallikate päritolu ning litsentsid dokumenteeritakse eraldi.

Mudelit treenitakse etappide kaupa ja vaheversioone hinnatakse püsivate testide põhjal. Eesmärk ei ole võimalikult suur treeningsammude arv, vaid mõõdetav paranemine keeles, juhiste järgimises ja ülesannete lahendamises.

[ Hetkeseis ]

MATRIX EST on aktiivses arenduses. Praegused mõõdikud kirjeldavad käimasoleva mudeliversiooni tehnilist valideerimist ja neid uuendatakse koos järgmiste treeninguetappidega.

5.0303

Hard validation CE

5.023

Võrdlusväärtus

Hard validation CE ja võrdlusväärtus on arenduse ning reprodutseeritavuse kontrollmõõdikud, mitte kasutajale suunatud kvaliteediskoorid.

[ Runtime ja spetsialiseerumine ]

MATRIX-i eesmärk ei piirdu mudeli treenimisega. Lokaalseks kasutuseks peab mudel töötama efektiivselt ka pärast treeningut, mistõttu arendame paralleelselt MATRIX-i mudeliformaati ja käituskihti CPU- ning GPU-kasutuseks.

Sama tehnoloogiline alus peab võimaldama luua hiljem väiksemaid spetsialiseeritud mudeleid konkreetsete ülesannete jaoks. Näiteks programmeerimise, dokumentide töötlemise, ettevõttesiseste teadmiste või konkreetse eriala mudel ei pea sisaldama kogu üldmudeli võimekust.

Eesmärk on kasutada iga ülesande jaoks võimalikult väikest mudelit, mille võimekus on selle töö jaoks piisav.

[ Järgmine etapp ]

MATRIX EST järgmine eesmärk on saada terviklik baasversioon, mida saab kogu edasise arenduse jooksul võrrelda sama hindamiskomplektiga.

Järgmised tööd keskenduvad treeningandmete laiendamisele ja tasakaalustamisele, mudeli treenimisele, võimekuste hindamisele ning MATRIX-i runtime'i ja mudeliformaadi edasiarendamisele.

Edasised otsused mudeli suuruse, spetsialiseerumise ja arhitektuuri kohta tehakse mõõtmiste põhjal.