Datastyrt adaptiv testing - Computerized adaptive testing

Datastyrt adaptiv testing ( CAT ) er en form for datamaskinbasert test som tilpasser seg eksaminandens evnenivå. Av denne grunn har det også blitt kalt skreddersydd testing . Med andre ord er det en form for datamaskintestert test der neste element eller sett med elementer valgt å bli administrert avhenger av riktigheten av testtakers svar på de siste administrerte elementene.

Hvordan det fungerer

CAT velger suksessivt spørsmål for å maksimere presisjonen til eksamen basert på det som er kjent om eksaminanden fra tidligere spørsmål. Fra eksaminandens perspektiv ser det ut til at vanskeligheten ved eksamen tilpasser seg deres evne. For eksempel, hvis en eksaminand presterer godt på et element med mellomliggende vanskeligheter, vil de bli presentert for et vanskeligere spørsmål. Eller hvis de presterte dårlig, ville de få et enklere spørsmål. Sammenlignet med statiske flervalgstester som nesten alle har opplevd, med et fast sett med gjenstander administrert til alle undersøkere, krever datatilpasningstester færre testelementer for å oppnå like nøyaktige score. (Selvfølgelig er det ingenting om CAT-metoden som krever at elementene er flervalg, men akkurat som de fleste eksamener er flervalg, bruker de fleste CAT-eksamener også dette formatet.)

Den grunnleggende datamaskinadaptive testmetoden er en iterativ algoritme med følgende trinn:

  1. Utvalget av tilgjengelige gjenstander blir søkt etter den optimale varen, basert på det nåværende estimatet av eksaminandens evne
  2. Det valgte elementet blir presentert for eksaminanden, som deretter svarer riktig eller feil
  3. Evne estimat er oppdatert, basert på alle tidligere svar
  4. Trinn 1–3 gjentas til et oppsigelseskriterium er oppfylt

Det er ikke kjent noe om eksaminanden før administrasjonen av det første elementet, så algoritmen startes vanligvis ved å velge et element av medium, eller middels lett, vanskelighetsgrad som det første elementet.

Som et resultat av adaptiv administrasjon, mottar forskjellige undersøkere ganske forskjellige tester. Den psykometriske teknologien som gjør det mulig å beregne likeverdige poengsummer på tvers av forskjellige sett med elementer er varesvarsteori (IRT). IRT er også den foretrukne metoden for å velge optimale gjenstander som vanligvis er valgt på grunnlag av informasjon i stedet for vanskeligheter.

I USA blir Graduate Management Admission Test for tiden primært administrert som en datamaskintilpassende test. En liste over aktive CAT-programmer finnes hos International Association for Computerized Adaptive Testing , sammen med en liste over gjeldende CAT-forskningsprogrammer og en nær inkluderende bibliografi over all publisert CAT-forskning.

En relatert metodikk kalt multistage testing (MST) eller CAST brukes i Uniform Certified Public Accountant Examination . MST unngår eller reduserer noen av ulempene med CAT som beskrevet nedenfor. Se spesialutgaven av 2006 for anvendt måling i utdanning for mer informasjon om MST.

Fordeler

Adaptive tester kan gi jevnt presise score for de fleste testtakere. I motsetning til dette gir standard faste tester nesten alltid den beste presisjonen for testtakere med middels evne og stadig dårligere presisjon for testtakere med mer ekstreme testresultater.

En adaptiv test kan vanligvis forkortes med 50% og fremdeles opprettholde et høyere presisjonsnivå enn en fast versjon. Dette betyr en tidsbesparelse for testtakeren. Testtakere kaster ikke bort tiden sin på å prøve ting som er for harde eller trivielt enkle. I tillegg har testorganisasjonen nytte av tidsbesparelser; kostnaden for eksaminandets setetid reduseres betydelig. Men fordi utviklingen av en CAT innebærer mye mer kostnad enn en standard test i fast form, er det en stor befolkning nødvendig for at et CAT-testprogram skal være økonomisk fruktbart.

Store målpopulasjoner kan generelt vises i vitenskapelige og forskningsbaserte felt. CAT-testing i disse aspektene kan brukes til å fange tidlig begynnelse av funksjonshemninger eller sykdommer. Veksten av CAT-testing i disse feltene har økt kraftig de siste 10 årene. Når det ikke er akseptert i medisinske fasiliteter og laboratorier, oppfordres det nå til CAT-testing innen diagnostikk.

Som enhver datamaskibasert test , kan adaptive tester vise resultater umiddelbart etter testing.

Adaptiv testing, avhengig av varevalgalgoritmen , kan redusere eksponeringen av noen elementer fordi undersøkere vanligvis mottar forskjellige sett med elementer i stedet for at hele populasjonen administreres et enkelt sett. Imidlertid kan det øke eksponeringen til andre (nemlig de middels eller middels / enkle elementene som presenteres for de fleste undersøkere i begynnelsen av testen).

Ulemper

Det første problemet i CAT er kalibrering av varepuljen. For å modellere egenskapene til elementene (f.eks. For å velge den optimale gjenstanden), må alle testelementene administreres på forhånd i en betydelig prøve og deretter analyseres. For å oppnå dette må nye elementer blandes inn i de operative elementene i en eksamen (svarene blir registrert, men bidrar ikke til testtakernes poeng), kalt "pilot testing", "pre-testing" eller "seeding" . Dette presenterer logistiske, etiske og sikkerhetsmessige spørsmål. For eksempel er det umulig å stille en operasjonell tilpasningstest med helt nye, usynlige gjenstander; alle elementene må testes med et stort nok utvalg for å oppnå stabil varestatistikk. Det kan hende at denne prøven må være så stor som 1000 undersøkere. Hvert program må bestemme hvilken prosentandel av testen som med rimelighet kan bestå av uscorerte pilottestelementer.

Selv om adaptive tester har eksponeringskontrollalgoritmer for å forhindre overbruk av noen få ting, blir eksponeringen betinget av evne ofte ikke kontrollert og kan lett bli nær 1. Det vil si at det er vanlig at noen gjenstander blir veldig vanlige på tester for folk av den samme evnen. Dette er en alvorlig sikkerhetsbekymring fordi grupper som deler ting, kan ha et lignende funksjonsevnenivå. Faktisk er en helt randomisert eksamen den sikreste (men også minst effektive).

Gjennomgang av tidligere gjenstander er generelt ikke tillatt. Adaptive tester har en tendens til å administrere lettere gjenstander etter at en person svarer feil. Angivelig kan en kløktig testtaker bruke slike ledetråder for å oppdage feil svar og rette dem. Eller testtakere kan bli trent til å bevisst velge feil svar, noe som fører til en stadig enklere test. Etter å ha lurt den adaptive testen til å bygge en maksimalt enkel eksamen, kunne de deretter gå gjennom elementene og svare på dem riktig - muligens oppnå en veldig høy score. Testtakere klager ofte over manglende evne til å gjennomgå.

På grunn av raffinementet har utviklingen av en CAT en rekke forutsetninger. De store prøvestørrelsene (vanligvis hundrevis av undersøkere) som kreves av IRT-kalibreringer, må være til stede. Varene må være poenggivbare i sanntid hvis et nytt element skal velges øyeblikkelig. Psykometrikere med IRT-kalibreringer og CAT-simuleringsforskning er nødvendige for å gi gyldighetsdokumentasjon. Til slutt må et programvaresystem som er i stand til ekte IRT-basert CAT være tilgjengelig.

I en CAT med en tidsbegrensning er det umulig for eksaminanden å nøyaktig budsjettere tiden de kan bruke på hvert testelement, og å avgjøre om de er i tempo for å fullføre en tidsbestemt testseksjon. Testtakere kan dermed straffes for å bruke for mye tid på et vanskelig spørsmål som presenteres tidlig i en seksjon, og deretter unnlate å fullføre nok spørsmål til å nøyaktig måle ferdighetene deres i områder som ikke blir testet når tiden går ut. Mens tidsbestemte CAT-er er ypperlige verktøy for formative vurderinger som styrer påfølgende instruksjon, er tidsbestemte CAT-er uegnet for summative vurderinger med høy innsats som brukes til å måle egnethet for jobber og utdanningsprogrammer.

Komponenter

Det er fem tekniske komponenter i å bygge en CAT (det følgende er tilpasset Weiss & Kingsbury, 1984). Denne listen inkluderer ikke praktiske problemer, som forprøving av varer eller utgivelse av direkte felt.

  1. Kalibrert varepool
  2. Startpunkt eller inngangsnivå
  3. Sak utvalg algoritme
  4. Poengprosedyre
  5. Oppsigelseskriterium

Kalibrert varepool

Et utvalg av ting må være tilgjengelig for CAT å velge mellom. Slike gjenstander kan opprettes på tradisjonell måte (dvs. manuelt) eller gjennom automatisk varegenerering . Bassenget må kalibreres med en psykometrisk modell, som brukes som grunnlag for de resterende fire komponentene. Vanligvis element reaksjon teori anvendes som psykometrisk modell. En grunn til at varesvarsteori er populær, er fordi den plasserer personer og gjenstander på samme måling (betegnet med den greske bokstaven theta), noe som er nyttig for problemer i valg av varer (se nedenfor).

Utgangspunktet

I CAT velges gjenstander basert på eksaminandens ytelse opp til et gitt punkt i testen. Imidlertid er CAT åpenbart ikke i stand til å gjøre noe spesifikt estimat for undersøkelsesevne når ingen gjenstander har blitt administrert. Så noe annet innledende estimat av undersøkelsesevne er nødvendig. Hvis noe tidligere informasjon angående eksaminanden er kjent, kan den brukes, men ofte antar CAT bare at eksaminanden har gjennomsnittlig evne - derav at den første gjenstanden ofte har middels vanskeligheter.

Varevalgalgoritme

Som nevnt tidligere, elementet respons teori steder kandidatene og elementer på samme beregning. Derfor, hvis CAT har et estimat av undersøkelsesevne, er det i stand til å velge et element som er best egnet for det estimatet. Teknisk sett gjøres dette ved å velge varen med størst informasjon på det tidspunktet. Informasjon er en funksjon av diskrimineringsparameteren til varen, så vel som den betingede variansen og pseudoguessing-parameteren (hvis den brukes).

Poengprosedyre

Etter at en vare er administrert, oppdaterer CAT estimatet av eksaminandens evnenivå. Hvis eksaminanden besvarte varen riktig, vil CAT sannsynligvis estimere deres evne til å være noe høyere, og omvendt. Dette gjøres ved å bruke elementresponsfunksjonen fra elementresponssteori for å oppnå en sannsynlighetsfunksjon av eksaminandens evne. To metoder for dette kalles estimering av maksimal sannsynlighet og Bayesisk estimering . Sistnevnte antar en a priori fordeling av eksaminandens evne, og har to ofte brukte estimatorer: forventning a posteriori og maksimal a posteriori . Maksimal sannsynlighet tilsvarer et Bayes maksimalt anslag etterpå hvis en antatt en uniform (f (x) = 1) tidligere. Maksimal sannsynlighet er asymptotisk upartisk, men kan ikke gi et theta-estimat for en ikke-blandet (alt riktig eller feil) responsvektor, i hvilket tilfelle en Bayesisk metode kanskje må brukes midlertidig.

Oppsigelseskriterium

CAT- algoritmen er designet for gjentatte ganger å administrere elementer og oppdatere estimatet av undersøkelsesevne. Dette vil fortsette til varepoolen er oppbrukt med mindre et oppsigelseskriterium er innlemmet i CAT. Ofte avsluttes testen når eksaminandens standardmålefeil faller under en bestemt brukerdefinert verdi, derav utsagnet over at en fordel er at eksamenspoengene vil være jevnt presise eller "likeverdige." Andre oppsigelseskriterier eksisterer for forskjellige formål med testen, for eksempel hvis testen bare er utformet for å avgjøre om eksaminanden skal "bestå" eller "mislykkes" i stedet for å oppnå et presist estimat av deres evne.

Andre problemer

Pass-fail

I mange situasjoner er formålet med testen å klassifisere undersøkere i to eller flere gjensidig utelukkende og uttømmende kategorier. Dette inkluderer den vanlige "mestringstesten" der de to klassifiseringene er "bestått" og "mislykkes", men inkluderer også situasjoner der det er tre eller flere klassifiseringer, for eksempel "Utilstrekkelig", "Grunnleggende" og "Avansert" kunnskapsnivå eller kompetanse. Den typen "adaptiv CAT" på varenivå som er beskrevet i denne artikkelen, er mest hensiktsmessig for tester som ikke er "bestått / ikke bestått" eller for bestått / ikke bestått tester der det er ekstremt viktig å gi god tilbakemelding. Noen modifikasjoner er nødvendige for en bestått / ikke bestått CAT, også kjent som en datastyrt klassifiseringstest (CCT) . For undersøkere med sanne poeng veldig nær bestått poengsum, vil datastyrte klassifiseringstester resultere i lange tester, mens de med sanne poeng langt over eller under bestått poeng vil ha korteste eksamener.

For eksempel må det brukes et nytt avslutningskriterium og poengalgoritme som klassifiserer eksaminanden i en kategori i stedet for å gi et poengestimat av evnen. Det er to primære metoder tilgjengelig for dette. Den mer fremtredende av de to er den sekvensielle sannsynlighetstesten (SPRT). Dette formulerer eksaminandens klassifiseringsproblem som en hypotesetest om at eksaminandens evne er lik enten et spesifisert punkt over cutscore eller et annet spesifisert punkt under cutscore. Merk at dette er en poenghypoteseformulering snarere enn en sammensatt hypoteseformulering som er mer konseptuelt passende. En sammensatt hypoteseformulering ville være at eksaminandens evne er i regionen over cutscore eller regionen under cutscore.

En konfidensintervall- tilnærming brukes også, der algoritmen bestemmer sannsynligheten for at eksaminandens sanne poengsum er over eller under bestått poengsum etter hvert element er administrert. For eksempel kan algoritmen fortsette til 95% konfidensintervall for den sanne poengsummen ikke lenger inneholder bestått poengsum. På det tidspunktet er det ikke behov for ytterligere ting fordi vedtaket om ikke bestått allerede er 95% nøyaktig, forutsatt at de psykometriske modellene som ligger til grunn for den adaptive testen, passer til eksaminanden og testen. Denne tilnærmingen ble opprinnelig kalt "adaptiv mestringstesting", men den kan brukes på ikke-adaptive varevalg og klassifisering av to eller flere kuttscorer (den typiske mestringstesten har en enkelt kuttscore).

Som en praktisk sak er algoritmen vanligvis programmert til å ha en minimum og en maksimal testlengde (eller en minimum og maksimal administrasjonstid). Ellers ville det være mulig for en eksaminand med evne veldig nær kuttpoengene å administrere hvert element i banken uten at algoritmen tar en beslutning.

Den valgte algoritmen for varevalg avhenger av avslutningskriteriet. Maksimering av informasjon i kuttscoren er mer hensiktsmessig for SPRT fordi den maksimerer forskjellen i sannsynlighetene som brukes i sannsynlighetsforholdet . Maksimering av informasjon ved evneestimatet er mer hensiktsmessig for konfidensintervalltilnærmingen fordi det minimerer den betingede standardmålefeilen, noe som reduserer bredden på konfidensintervallet som trengs for å lage en klassifisering.

Praktiske begrensninger av tilpasningsevne

ETS- forsker Martha Stocking har sagt at de fleste adaptive tester faktisk er knapt adaptive tester (BAT) fordi det i praksis er mange begrensninger for varevalg. For eksempel må CAT-eksamener vanligvis oppfylle spesifikasjoner for innhold; en muntlig eksamen må kanskje bestå av like mange analogier, fyll-ut-det-tomme og synonyme varetyper. CAT-er har vanligvis noen form for begrensninger for eksponering av varer, for å forhindre at de mest informative elementene blir overeksponert. På noen tester blir det også gjort et forsøk på å balansere overflateegenskapene til gjenstandene som kjønnet til folket i varene eller etnisitetene som er underforstått av navnene deres. Dermed er CAT-eksamener ofte begrenset i hvilke gjenstander den kan velge, og for noen eksamener kan begrensningene være betydelige og kreve kompliserte søkestrategier (f.eks. Lineær programmering ) for å finne passende elementer.

En enkel metode for å kontrollere eksponering av varer er "randomesque" eller strata metoden. I stedet for å velge det mest informative elementet på hvert punkt i testen, velger algoritmen tilfeldig neste element fra de neste fem eller ti mest informative elementene. Dette kan brukes gjennom hele testen, eller bare i begynnelsen. En annen metode er den Sympson-hetter metode, hvor et tilfeldig tall trekkes fra U (0,1), og sammenlignet med en k- i -parameteren bestemmes for hvert element av testbrukeren. Hvis det tilfeldige tallet er større enn k i , blir det neste mest informative elementet vurdert.

Wim van der Linden og kollegaer har avansert en alternativ tilnærming kalt skyggetesting som innebærer å lage hele skyggetester som en del av valg av varer. Å velge elementer fra skyggetester hjelper tilpasningstester med å oppfylle utvalgskriteriene ved å fokusere på globalt optimale valg (i motsetning til valg som er optimale for et gitt element ).

Flerdimensjonalt

Gitt et sett med gjenstander, velger en flerdimensjonal datamaskinadaptiv test (MCAT) disse elementene fra banken i henhold til studentens estimerte evner, noe som resulterer i en individualisert test. MCATs søker å maksimere testens nøyaktighet, basert på flere samtidige undersøkelsesevner (i motsetning til en datamaskintilpasset test - CAT - som evaluerer en enkelt evne) ved å bruke sekvensen av gjenstander som tidligere er besvart (Piton-Gonçalves og Aluisio, 2012).

Se også

Referanser

Ytterligere kilder

Videre lesning

Eksterne linker