Menetelmien kehittäminen Karvissa saa myös kansainvälistä huomiota

Tiedon tuotanto on yksi Karvin keskeisistä tehtävistä. Vaikka Karvi ei ensisijaisesti ole tutkimuslaitos, se tuottaa uskottavaa tietoa koulutuksesta arvioinnin näkökulmasta. Tiedon uskottavuus perustuu siihen, että esimerkiksi tieto oppimistuloksista ja niitä selittävistä tekijöistä pyritään tuottamaan samanlaisilla prosesseilla ja menetelmillä kuin akateemisessa tutkimuksessakin. Osa Karvin metodiasiantuntijoiden roolia on kehittää arviointimetodologiaa, joka tukee uskottavan tiedon tuottamista. Tämä blogikirjoitus käsittelee esimerkin avulla sitä, minkälainen Karvissa tehty metodologinen kehittäminen on viime aikoina saanut kansainvälisestä huomiota.

Useinkaan teoreettisen tieteellisen tiedon lisääntyminen tai julkaiseminen ei tapahdu niin, että keksitään jotain aivan muusta poikkeavaa. Uusia ajattelutapoja eli paradigmoja syntyy harvoin. Toisaalta joskus tehdään sellaisia keksintöjä, jotka voivat muuttaa menetelmällisten käsikirjojen ja ohjelmistojen manuaalien tekstejä kaikkialla maailmassa. Eräs tällainen innovaatio syntyi osana metodologista kehittämistyötä Karvissa ja julkaistiin hiljattain tunnustetussa Behaviormetrika-julkaisusarjassa (Metsämuuronen, 2021a); artikkelissa tutkitaan Goodmanin ja Kruskalin gamma -kertoimen (G) ominaisuuksia. Kerron hieman, miksi kyseinen artikkeli voi muuttaa kansainvälisten menetelmäoppaiden ja manuaalien tekstejä.

Uusi tieto auttaa arvioimaan arviointikokeen tehtäviä tarkemmin

Oppimistulosarvioinnin yhteydessä kehitettävän arviointikokeen rakentamisessa keskeinen työvaihe on tutkia yksittäisen tehtävän eli osion erottelukykyä. Jos yksittäiset osiot pystyvät erottelemaan testattavia toisistaan, myös osioista muodostettava summa pystyy erottelemaan vastaajia toisistaan; summasta eli osaamisen arvioinnissa käytettävästä mittarista tulee tarkka eli reliaabeli. Erottelukykyä kuvataan kertoimilla, joista tunnetuin ja useimmin käytetty on Pearsonin korrelaatiokerroin (R) tai siihen suoraan liittyvät kertoimet. Vanhastaan tiedetään, että testaamisen yhteydessä R antaa yksittäisen osion ja summan välille aina aliarvion niiden välisen yhteyden suuruudesta. Varteenotettava vaihtoehto olisi edellä mainittu G, joka perustuu todennäköisyyteen, että koko kokeessa hyvin suoriutuneet vastaajat antavat myös osiossa oikean vastauksen. Aiemmin julkaistussa tutkimuksessa olen osoittanut, että osioanalyysin yhteydessä G on tarkempi kuin R (Metsämuuronen, 2021b). Siksi G on kiinnostava.

Perinteisesti oppikirjoissa ja ohjelmistojen käsikirjoissa opetetaan, että G on symmetrinen kerroin, toisin kuin sen sisarkerroin Somersin delta (D), joka saa kolme erilaista arvoa sen mukaan, kumpi muuttujista asetetaan selittäväksi ja kumpi selitettäväksi tekijäksi. Käytännössä kaikissa alan oppikirjoissa ja tilasto-ohjelmistojen manuaaleissa symmetrisyys esitetään G:n keskeisenä olemuksena, samalla tavalla kuin R:n ajatellaan olevan symmetrinen; on sama kuinka päin muuttujia tarkastellaan – tulos on aina identtinen. Artikkelissa (2021a) kuitenkin osoitin, että G ei olekaan symmetrinen, vaan sillä on salainen suunnattu luonne; G on identtinen vain yhden D:n suunnan kanssa. Tämä suunta osoittautuu mielekkääksi nimenomaan testiteorian kannalta: testauksen teoria sanoo, että taustalla oleva osaaminen, joka ilmenee osioista muodostettavana summana, selittää todennäköisyyttä saada osiossa oikea vastaus eikä päinvastoin. Tämä tekee G:stä testiteoreettisesti entistäkin kiinnostavamman kertoimen. Samassa yhteydessä osoitin G:lle uuden tulkinnan: G kuvaa loogisesti järjestyneiden vastaajien suhteellista osuutta osiossa. Tämä tuli siitä, että osoitin G:n olevan suoraan yhteydessä toiseen tilastolliseen tunnuslukuun, Jonckheere–Terpstra -tunnuslukuun, jonka tuntee vieläkin harvempi kuin G:n.

Täytynee siis ehkä alkaa ottaa yhteyttä oppikirjojen ja manuaalien tekijöihin, että osaavat muuttaa sanan ”symmetric” sanaksi ”directional”. Ehkä G:n uusi tulkinta voi myös olla testaamisen ammattilaisten ymmärrystä laajentava.

Ainakin meille metodikoille Karvissa tulkinta on hyödyllinen, kun analysoimme arviointikokeen osioiden erottelukykyä.

Kirjallisuutta

Metsämuuronen J (2021a). Directional nature of Goodman–Kruskal gamma and some consequences. Identity of Goodman–Kruskal gamma and Somers delta, and their connection to Jonckheere–Terpstra test statistic. Behaviormetrika, 48(2), http://dx.doi.org/10.1007/s41237-021-00138-8

Metsämuuronen J (2021b). Goodman–Kruskal gamma and dimension-corrected gamma in educational measurement settings. International Journal of Educational Methodology, 7(1), 95–118. https://doi.org/10.12973/ijem.7.1.95