Tietokonepohjainen adaptiivinen testaus - Computerized adaptive testing

Tietokonepohjainen adaptiivinen testaus ( CAT ) on tietokonepohjaisen testin muoto, joka mukautuu tutkittavan kykyihin. Tästä syystä sitä on kutsuttu myös räätälöityksi testaukseksi . Toisin sanoen, se on tietokoneavusteisen testin muoto, jossa seuraava annettava kohde tai kohteiden sarja riippuu testaajan vastausten oikeellisuudesta viimeisimpiin annettuihin kohteisiin.

Kuinka se toimii

CAT valitsee peräkkäin kysymyksiä kokeen tarkkuuden maksimoimiseksi sen perusteella, mitä tutkittavasta tiedetään aiemmista kysymyksistä. Tutkittavan näkökulmasta kokeen vaikeus näyttää räätälöivän heidän kykyjensä mukaan. Esimerkiksi, jos tutkittava suoriutuu hyvin keskivaikeista esineistä, heille esitetään sitten vaikeampaa kysymystä. Tai jos he suorittavat heikosti, heille esitettäisiin yksinkertaisempi kysymys. Verrattuna staattisiin monivalintakokeisiin, jotka melkein kaikki ovat kokeneet, ja kaikille tutkittaville annetaan kiinteä joukko esineitä, tietokoneisiin mukautuvat testit vaativat vähemmän testikohteita yhtä tarkkojen pisteiden saamiseksi. (Tietysti CAT-metodologiassa ei ole mitään, joka edellyttää, että kohteet ovat monivalintakysymyksiä; mutta kuten useimmat kokeet ovat monivalintakysymyksiä, useimmat CAT-kokeet käyttävät myös tätä muotoa.)

Perustietokonetestausmenetelmä on iteratiivinen algoritmi, jossa on seuraavat vaiheet:

  1. Käytettävissä olevien esineiden joukosta haetaan optimaalinen kohde tutkittavan kyvyn nykyisen arvion perusteella
  2. Valittu kohde esitetään tutkittavalle, joka sitten vastaa siihen oikein tai väärin
  3. Kykyarvio päivitetään kaikkien aikaisempien vastausten perusteella
  4. Vaiheet 1–3 toistetaan, kunnes lopetuskriteeri täyttyy

Mitään ei tiedetä tutkittavasta ennen ensimmäisen kappaleen antamista, joten algoritmi aloitetaan yleensä valitsemalla keskipitkän tai keskitason helppo vaikeusaste ensimmäiseksi kohteeksi.

Adaptiivisen hallinnon seurauksena eri tutkittavat saavat melko erilaisia ​​testejä. Psykometrinen tekniikka, joka mahdollistaa tasapuolisten pisteiden laskemisen eri tuotesarjoille, on nimikkeen vastausteoria (IRT). IRT on myös suositeltava menetelmä optimaalisten kohteiden valinnassa, jotka valitaan tyypillisesti tietojen eikä vaikeuksien perusteella sinänsä.

Yhdysvalloissa Graduate Management Admission Test -tutkintoa hallinnoidaan tällä hetkellä ensisijaisesti tietokoneeseen mukautuvana testinä. Luettelo aktiivisista CAT-ohjelmista löytyy International Association for Computerized Adaptive Testing -sovelluksesta , luettelo nykyisistä CAT-tutkimusohjelmista ja lähes kattava bibliografia kaikista julkaistuista CAT-tutkimuksista.

Aiheeseen liittyvää menetelmää, jota kutsutaan monivaiheiseksi testaukseksi (MST) tai CAST: ksi, käytetään Uniform Certified Public Accountant Examination -opinnoissa . MST välttää tai vähentää joitain CAT: n haittoja jäljempänä kuvatulla tavalla. Katso vuoden 2006 erikoisnumero Applied Measurement in Education saadaksesi lisätietoja MST: stä.

Edut

Sopeutuvat testit voivat tarjota tasaisesti tarkat pisteet useimmille testin tekijöille. Sitä vastoin vakiomuotoiset kiinteät testit tarjoavat melkein aina parhaan tarkkuuden keskikykyisille testaajille ja yhä huonommalle tarkkuudelle testaajille, joilla on äärimmäisemmät testipisteet.

Adaptiivista testiä voidaan tyypillisesti lyhentää 50% ja pitää silti korkeampi tarkkuus kuin kiinteässä versiossa. Tämä tarkoittaa ajan säästöä testin tekijälle. Testaajat eivät tuhlaa aikaa yrittäessään esineitä, jotka ovat liian vaikeita tai triviaalisesti helppoja. Lisäksi testausorganisaatio hyötyy ajansäästöistä; tutkittavan istumapaikan kustannukset vähenevät huomattavasti. Koska CAT: n kehittäminen vaatii paljon enemmän kustannuksia kuin tavallinen kiinteämuotoinen testi, tarvitaan suuri joukko, jotta CAT-testausohjelma olisi taloudellisesti hedelmällinen.

Suuria kohdepopulaatioita voidaan yleensä esitellä tieteellisillä ja tutkimukseen perustuvilla aloilla. Näiden näkökohtien CAT-testausta voidaan käyttää vammaisten tai sairauksien varhaisen puhkeamisen kiinni saamiseksi. CAT-testauksen kasvu näillä aloilla on lisääntynyt huomattavasti viimeisten 10 vuoden aikana. Kun CAT-testausta ei ole hyväksytty lääketieteellisissä tiloissa ja laboratorioissa, sitä suositellaan nyt diagnostiikan alalla.

Kuten kaikki tietokonepohjaiset testit , adaptiiviset testit voivat näyttää tuloksia heti testauksen jälkeen.

Mukautuva testaaminen, riippuen kohteen valintaan algoritmi , voi vähentää altistumista joitakin kohteita, koska tutkittavien tyypillisesti vastaanottamaan erilaista eivätkä niinkään koko väestön, jolle annetaan yhdet. Se voi kuitenkin lisätä muiden altistumista (nimittäin keskisuuri tai keskitasoinen / helppo esine, joka esitetään useimmille tutkittaville testin alussa).

Haitat

Ensimmäinen CAT: n kohtaama ongelma on tuotepoolin kalibrointi. Kohteiden ominaisuuksien mallintamiseksi (esim. Optimaalisen kohteen valitsemiseksi) kaikki testin kohteet on annettava etukäteen suurelle näytteelle ja sitten analysoitava. Tämän saavuttamiseksi kokeen operatiivisiin kohteisiin on sekoitettava uusia kohtia (vastaukset kirjataan, mutta eivät vaikuta testaajien pisteisiin), nimeltään "pilottitestaus", "ennakkotestaus" tai "kylvö" . Tämä esittelee logistisia, eettisiä ja turvallisuuskysymyksiä. Esimerkiksi toiminnallista adaptiivista testiä on mahdotonta asettaa upouusilla, näkymättömillä tuotteilla; kaikki kohteet on esitestattava riittävän suurella otoksella vakaiden tuotetilastojen saamiseksi. Tämän otoksen voidaan vaatia olevan niin suuri kuin 1000 tutkittavaa. Jokaisen ohjelman on päätettävä, mikä prosenttiosuus testistä voi kohtuudella koostua pisteyttämättömistä pilottikokeista.

Vaikka adaptiivisissa testeissä on altistumisenhallinta- algoritmeja, jotka estävät muutaman kohteen liikakäytön, kykyyn perustuvaa altistusta ei usein hallita ja se voi helposti tulla lähellä 1. Toisin sanoen on tavallista, että jotkut kohteet yleistyvät testeissä sama kyky. Tämä on vakava turvallisuusongelma, koska kohteita jakavilla ryhmillä voi olla samanlainen toiminnallinen kyky. Itse asiassa täysin satunnaistettu tentti on turvallisin (mutta myös vähiten tehokas).

Aiempien tuotteiden tarkastelu on yleensä kielletty. Sopeutuvilla testeillä on tapana hallinnoida helpompia kohteita, kun henkilö vastaa väärin. Oletettavasti älykäs testin tekijä voisi käyttää tällaisia ​​vihjeitä virheellisten vastausten havaitsemiseksi ja korjaamiseksi. Tai testaajia voidaan valmentaa valitsemaan tarkoituksellisesti vääriä vastauksia, mikä johtaa yhä helpompaan testiin. Kun huijataan sopeutumistesti mahdollisimman helpon kokeen rakentamiseen, he voisivat sitten tarkistaa kohteet ja vastata niihin oikein - mahdollisesti saavuttaen erittäin korkeat pisteet. Testaajat valittavat usein kyvyttömyydestä tarkistaa.

Hienostuneisuuden vuoksi CAT: n kehittämisellä on useita edellytyksiä. IRT-kalibrointien edellyttämien suurten näytekokojen (tyypillisesti satoja tutkittavia) on oltava läsnä. Kohteiden on oltava pisteytettävissä reaaliajassa, jos uusi kohde halutaan valita välittömästi. IRT-kalibroinneista ja CAT-simulaatiotutkimuksista kokeneet psykometrikot ovat välttämättömiä validiteettidokumentaation toimittamiseksi. Lopuksi on oltava käytettävissä ohjelmistojärjestelmä, joka kykenee todelliseen IRT-pohjaiseen CAT: ään.

Määräaikaisessa CAT-testissä tutkittavan on mahdotonta budjetoida tarkasti aikaa, jonka he voivat käyttää kullekin testikohdalle, ja selvittää, ovatko he tahdissa suorittamaan ajoitetun testiosan. Testinottajia voidaan siten rangaista siitä, että he viettivät liikaa aikaa hankalaan kysymykseen, joka esitettiin alussa osassa, ja jättivät sitten täyttämättä tarpeeksi kysymyksiä voidakseen mitata tarkasti taitojaan alueilla, joita ei ole testattu ajan päättyessä. Vaikka ajastamattomat CAT: t ovat erinomaisia ​​työkaluja myöhempää opetusta ohjaaviin muotoileviin arviointeihin, ajastetut CAT: t eivät sovellu korkean panoksen yhteenvetoarviointeihin, joita käytetään mittaamaan kykyjä työhön ja koulutusohjelmiin.

Komponentit

CAT: n rakentamisessa on viisi teknistä komponenttia (seuraava on mukautettu julkaisusta Weiss & Kingsbury, 1984). Tämä luettelo ei sisällä käytännön asioita, kuten esineiden ennakkotestausta tai live-kentän julkaisua.

  1. Kalibroitu tuotealue
  2. Lähtökohta tai lähtötaso
  3. Kohteen valinnan algoritmi
  4. Pisteytysmenettely
  5. Irtisanomiskriteeri

Kalibroitu tuotealue

CAT-tuotteiden on oltava käytettävissä joukko kohteita. Tällaiset kohteet voidaan luoda perinteisellä tavalla (ts. Manuaalisesti) tai automaattisen tuotekehityksen avulla . Allas on kalibroitava psykometrisellä mallilla, jota käytetään lopun neljän komponentin perustana. Tyypillisesti erä vaste teoriaa käytetään, kun psykometrisen mallia. Yksi syy, miksi tuotevastausteoria on suosittu, johtuu siitä, että se sijoittaa henkilöt ja kohteet samalle metrikalle (merkitty kreikkalaisella teeta-kirjaimella), mikä on hyödyllistä tuotevalinnassa (katso alla).

Lähtökohta

CAT: ssä kohteet valitaan tutkittavan suorituksen perusteella testin tiettyyn pisteeseen saakka. CAT ei kuitenkaan tietenkään pysty tekemään mitään erityistä estimaattia tutkittavan kyvystä, kun mitään esineitä ei ole annettu. Joten jokin muu alkuperäinen arvio tutkittavan kyvystä on tarpeen. Jos jotkut aikaisemmat tutkittavaa koskevat tiedot ovat tiedossa, niitä voidaan käyttää, mutta usein CAT olettaa vain, että tutkittavalla on keskimääräinen kyky - joten ensimmäinen esine on usein keskitasoa.

Kohteen valinnan algoritmi

Kuten edellä mainittiin, kohta vastauksena teoria paikkoja tutkittavien ja kohteita samalla metristä. Siksi, jos CAT: llä on arvio tutkittavan kyvystä, se pystyy valitsemaan kyseisen estimaatin kannalta sopivimman kohteen. Teknisesti tämä tehdään valitsemalla kohde, jolla on eniten tietoa kyseisessä vaiheessa. Tiedot ovat kohteen erotteluparametrin sekä ehdollisen varianssin ja näennäisparametrin (jos käytetään) funktio.

Pisteytysmenettely

Kun kohde on annettu, CAT päivittää arvionsa tutkittavan kykytasosta. Jos tutkittava vastaa kysymykseen oikein, CAT arvioi todennäköisesti heidän kykynsä olevan jonkin verran korkeampi, ja päinvastoin. Tämä tehdään käyttämällä kohteen vasteen toiminto tuote vastaus teoria saamiseksi uskottavuuden funktio on tutkittavan kykyä. Kaksi tätä menetelmää kutsutaan suurimman todennäköisyyden estimoinniksi ja Bayesin estimaatiksi . Jälkimmäisessä oletetaan tutkittavan kyvyn a priori jakauma, ja sillä on kaksi yleisesti käytettyä estimaattoria: odotus a posteriori ja maximum a posteriori . Suurin todennäköisyys vastaa Bayesin suurinta jälkiarviointia, jos oletetaan yhtenäinen (f (x) = 1) priori. Suurin todennäköisyys on asymptoottisesti puolueeton, mutta se ei voi antaa teeta-estimaattia sekoittumattomalle (kaikki oikein tai väärät) vastevektorille, jolloin Bayesin menetelmää voidaan joutua käyttämään väliaikaisesti.

Irtisanomiskriteeri

CAT- algoritmi on suunniteltu toistuvasti hallinnoimaan kohteita ja päivittämään tutkittavan kykyarvio. Tämä jatkuu, kunnes tuoteryhmä on käytetty loppuun, ellei lopetuskriteeriä sisällytetä CAT: ään. Usein testi lopetetaan, kun tutkittavan vakiomittausvirhe putoaa tietyn käyttäjän määrittelemän arvon alapuolelle, joten edellä oleva lausunto, jonka mukaan etuna on, että tutkittavan pisteet ovat tasaisesti tarkat tai "vastaavia". Muita lopetuskriteereitä on olemassa testin eri tarkoituksiin, kuten jos testi on tarkoitettu vain sen selvittämiseen, pitäisikö tutkittavan suorittaa "läpäisevän" vai "hylkäävän" kokeen, sen sijaan, että saadaan tarkka arvio heidän kyvystään.

Muut ongelmat

Hyväksy

Monissa tilanteissa testin tarkoituksena on luokitella tutkittavat kahteen tai useampaan toisiaan poissulkevaan ja tyhjentävään luokkaan. Tähän sisältyy yhteinen "hallitsemistesti", jossa kaksi luokitusta ovat "läpäisty" ja "hylätty", mutta sisältää myös tilanteita, joissa on vähintään kolme luokitusta, kuten "Riittämätön", "Perus" ja "Edistynyt" tietotaso tai pätevyys. Tässä artikkelissa kuvattu sellainen "alkutason mukautuva" CAT sopii parhaiten testeihin, jotka eivät ole "läpäisseet / hylätyt", tai hyväksytty / hylätty -testeihin, joissa hyvän palautteen antaminen on erittäin tärkeää. Jotkut muutokset ovat välttämättömiä hyväksytyn / hylätyn CAT-tunnuksen saamiseksi, joka tunnetaan myös nimellä tietokoneistettu luokitustesti (CCT) . Tutkittaville, joiden todelliset pisteet ovat hyvin lähellä läpäisevää pistemäärää, tietokoneavusteiset luokitustestit johtavat pitkiin testeihin, kun taas niiden, joiden tosi pisteet ovat selvästi yli tai alle läpäisevien pisteiden, on lyhyimmät kokeet.

Esimerkiksi on käytettävä uutta lopetuskriteeriä ja pisteytysalgoritmia, joka luokittelee tutkittavan luokkaan sen sijaan, että tarjoaisi pistearvion kyvystä. Tähän on käytettävissä kaksi ensisijaista menetelmää. Merkittävin näistä kahdesta on peräkkäinen todennäköisyyssuhdetesti (SPRT). Tämä muotoilee tutkittavan luokitteluongelman hypoteesitestiksi, jonka mukaan tutkittavan kyky on yhtä suuri kuin joko jokin tietty piste leikkauspisteen yläpuolella tai jokin muu määritetty piste leikkauspisteen alapuolella. Huomaa, että tämä on pistehypoteesiformulaatio eikä yhdistelmähypoteesiformulaatio, joka on käsitteellisesti sopivampi. Yhdistetty hypoteesiformulaatio olisi, että tutkittavan kyky on alueella leikkauspisteen yläpuolella tai alueella leikkauspisteen alapuolella.

Käytetään myös luottamusvälilähestymistapaa , jossa jokaisen kohteen annon jälkeen algoritmi määrittää todennäköisyyden, että tutkittavan tosi pisteet ovat yli tai alle läpäisevien pisteiden. Esimerkiksi algoritmi voi jatkua, kunnes todellisen pistemäärän 95%: n luottamusväli ei enää sisällä läpäisypistettä. Siinä vaiheessa muita kohteita ei tarvita, koska läpäisemis- ja hylkäämispäätös on jo 95 prosentin tarkkuus olettaen, että adaptiivisen testauksen taustalla olevat psykometriset mallit sopivat tutkittavalle ja testattavalle. Tätä lähestymistapaa kutsuttiin alun perin "adaptiiviseksi hallinnan testaukseksi", mutta sitä voidaan soveltaa kahden tai useamman leikkauspisteen ei-adaptiiviseen valintaan ja luokittelutilanteisiin (tyypillisellä hallintatestillä on yksi leikkauspiste).

Käytännössä algoritmi on yleensä ohjelmoitu siten, että sillä on testin vähimmäis- ja enimmäispituus (tai pienin ja suurin hallintoaika). Muuten olisi mahdollista, että tutkittavalle, jolla on kyky hyvin lähellä tuloskorttia, hallita kaikkia pankin kohteita ilman, että algoritmi tekee päätöstä.

Käytetty kohteen valinnan algoritmi riippuu lopetuskriteeristä. Tietojen maksimointi leikkauspisteissä on sopivampi SPRT: lle, koska se maksimoi todennäköisyyksien suhteen käytettyjen todennäköisyyksien eron . Informaation maksimointi kykyarviossa on sopivampi luottamusväli-lähestymistavalle, koska se minimoi ehdollisen vakiomittausvirheen, mikä vähentää luokituksen tekemiseen tarvittavan luottamusvälin leveyttä.

Sopeutumiskäytännön käytännöt

Päästökauppajärjestelmän tutkija Martha Stocking on todennut, että useimmat mukautuvat testit ovat tuskin tuskin mukautuvia testejä (BAT), koska käytännössä tuotteiden valinnalle asetetaan monia rajoituksia. Esimerkiksi CAT-kokeiden on yleensä täytettävä sisältövaatimukset; suullinen tentti saattaa joutua muodostamaan yhtä monta analogia-, täyteaine- ja synonyymikohdetyyppiä. CAT: llä on tyypillisesti jonkinlaiset altistumisrajoitukset, jotta vältetään informatiivisimpien tuotteiden ylivalotus. Joissakin testeissä pyritään myös tasapainottamaan esineiden pintaominaisuuksia, kuten esineiden ihmisten sukupuoli tai heidän nimissään olevat etniset ryhmät. Siksi CAT-kokeet ovat usein rajoitettuja, mistä kohteista se voi valita, ja joillekin kokeille rajoitukset voivat olla merkittäviä ja vaativat monimutkaisia ​​hakustrategioita (esim. Lineaarinen ohjelmointi ) sopivien kohteiden löytämiseksi.

Yksinkertainen menetelmä esineiden altistumisen hallitsemiseksi on "Randomesque" tai kerrostumismenetelmä. Sen sijaan, että valitaan kaikkein informatiivisin kohde testin jokaisessa kohdassa, algoritmi valitsee satunnaisesti seuraavan kohteen seuraavien viiden tai kymmenen informatiivisimman kohteen joukosta. Tätä voidaan käyttää koko testin ajan tai vasta alussa. Toinen menetelmä on Sympson-Hetter-menetelmä, jossa satunnaisluku vedetään U: sta (0,1) ja verrataan testikäyttäjän kullekin tuotteelle määrittämään k i -parametriin. Jos satunnaisluku on suurempi kuin k i , harkitaan seuraavaa informatiivisinta kohdetta.

Wim van der Linden ja hänen kollegansa ovat kehittäneet vaihtoehtoisen lähestymistavan, jota kutsutaan varjotestiksi, johon sisältyy kokonaisia varjotestejä osana kohteiden valintaa. Kohteiden valitseminen varjotesteistä auttaa adaptiivisia testejä täyttämään valintaperusteet keskittymällä maailmanlaajuisesti optimaalisiin valintoihin (toisin kuin tietylle tuotteelle optimaaliset valinnat ).

Moniulotteinen

Kun otetaan huomioon joukko tuotteita, moniulotteinen tietokonesovitin (MCAT) valitsee ne pankista opiskelijan arvioidun kyvyn mukaan, mikä johtaa yksilölliseen testiin. MCAT: t pyrkivät maksimoimaan testin tarkkuuden, joka perustuu useaan samanaikaiseen tutkintakykyyn (toisin kuin tietokoneen adaptiivinen testi - CAT - joka arvioi yhden kyvyn) käyttäen aiemmin vastattujen kohteiden sarjaa (Piton-Gonçalves ja Aluisio, 2012).

Katso myös

Viitteet

Lisälähteet

Lisälukemista

Ulkoiset linkit