Datastyrt klassifiseringstest - Computerized classification test

En datastyrt klassifiseringstest ( CCT ) refererer til, som navnet antyder, en test som administreres av datamaskiner med det formål å klassifisere undersøkere. Den vanligste CCT er en mestringstest der testen klassifiserer eksaminenter som "Bestått" eller "Ikke bestått", men begrepet inkluderer også tester som klassifiserer eksaminenter i mer enn to kategorier. Mens begrepet generelt kan betraktes som å referere til alle datamaskinadministrerte tester for klassifisering, brukes det vanligvis til å referere til tester som administreres interaktivt eller med variabel lengde, ligner på datastyrt adaptiv testing (CAT). I likhet med CAT kan CCT-er med variabel lengde oppnå målet med testen (nøyaktig klassifisering) med en brøkdel av antall gjenstander som brukes i en konvensjonell fast-form-test.

En CCT krever flere komponenter:

  1. En varebank kalibrert med en psykometrisk modell valgt av testdesigneren
  2. Et utgangspunkt
  3. En algoritme for valg av elementer
  4. Et avslutningskriterium og poengprosedyre

Utgangspunktet er ikke et stridstema; forskning på CCT undersøker primært anvendelsen av forskjellige metoder for de tre andre komponentene. Merk: Avslutningskriteriet og scoringsprosedyren er separate i CAT, men de samme i CCT fordi testen avsluttes når en klassifisering blir gjort. Derfor er det fem komponenter som må spesifiseres for å designe en CAT.

En introduksjon til CCT finnes i Thompson (2007) og en bok av Parshall, Spray, Kalohn og Davey (2006). En bibliografi over publisert CCT-forskning finner du nedenfor.

Hvordan det fungerer

En CCT er veldig lik en CAT. Elementer administreres en om gangen til en undersøkt. Etter at eksaminanden har svart på elementet, scorer datamaskinen det og avgjør om eksaminanden kan klassifiseres ennå. Hvis det er tilfelle, avsluttes testen og sensoren klassifiseres. Hvis ikke, administreres en annen vare. Denne prosessen gjentas til eksaminanden er klassifisert eller et annet sluttpunkt er oppfylt (alle elementene i banken har blitt administrert, eller en maksimal testlengde er nådd).

Psykometrisk modell

To tilnærminger er tilgjengelige for den psykometriske modellen av en CCT: klassisk testteori (CTT) og item response theory (IRT). Klassisk testteori forutsetter en tilstandsmodell fordi den brukes ved å bestemme elementparametere for et utvalg av eksaminenter som er bestemt å være i hver kategori. For eksempel kan det tas prøver av flere hundre "mestere" og flere hundre "ikke-mestere" for å bestemme vanskelighetsgraden og diskriminering for hver, men å gjøre det krever at du enkelt kan identifisere et distinkt sett med mennesker som er i hver gruppe. IRT på sin side legger til grunn en trekkmodell; kunnskapen eller evnen målt ved testen er et kontinuum. Klassifiseringsgruppene vil måtte være mer eller mindre vilkårlig definert langs kontinuumet, for eksempel bruk av en cutcore for å avgrense mestere og ikke-mestere, men spesifikasjonen av elementparametere forutsetter en trekkmodell.

Det er fordeler og ulemper med hver. CTT tilbyr større konseptuell enkelhet. Enda viktigere er at CTT krever færre undersøkere i prøven for kalibrering av elementparametere som til slutt skal brukes i utformingen av CCT, noe som gjør det nyttig for mindre testprogrammer. Se Frick (1992) for en beskrivelse av en CTT-basert CCT. De fleste CCT-er bruker imidlertid IRT. IRT tilbyr større spesifisitet, men den viktigste grunnen kan være at utformingen av et CCT (og en CAT) er dyrt, og derfor er det mer sannsynlig gjort av et stort testprogram med omfattende ressurser. Et slikt program vil sannsynligvis bruke IRT.

Utgangspunktet

En CCT må ha et spesifisert utgangspunkt for å aktivere visse algoritmer. Hvis den sekvensielle sannsynlighetsforholdstesten brukes som avslutningskriterium, antar den implisitt et startforhold på 1,0 (lik sannsynlighet for at eksaminanten er en master eller ikke-master). Hvis avslutningskriteriet er en konfidensintervalltilnærming , må et spesifisert utgangspunkt på theta spesifiseres. Vanligvis er dette 0,0, midtpunktet for distribusjonen , men det kan også trekkes tilfeldig fra en viss distribusjon hvis parametrene for den undersøkte fordelingen er kjent. Tidligere informasjon om en individuell undersøkt, for eksempel poengsum for siste gang de tok testen, kan også brukes.

Varevalg

I en CCT blir elementer valgt for administrasjon gjennom hele testen, i motsetning til den tradisjonelle metoden for å administrere et fast sett med elementer til alle undersøkere. Selv om dette vanligvis gjøres av individuelle elementer, kan det også gjøres i grupper av elementer kjent som testlets (Leucht & Nungester, 1996; Vos & Glas, 2000).

Metoder for valg av elementer faller inn i to kategorier: kuttpoengbasert og estimeringsbasert. Cutscore-baserte metoder (også kjent som sekvensiell seleksjon) maksimerer informasjonen som gis av elementet på kuttpraten, eller kuttescore hvis det er flere enn en, uavhengig av undersøkelsens evne. Estimatbaserte metoder (også kjent som adaptivt utvalg) maksimerer informasjonen ved det nåværende estimatet av eksaminandens evne, uavhengig av plasseringen av kuttprøver. Begge jobber effektivt, men effektiviteten avhenger delvis av termineringskriteriet som benyttes. Fordi den sekvensielle sannsynlighetsforholdstesten bare evaluerer sannsynligheter i nærheten av kuttprøven, er kuttpunktsbasert varevalg mer passende. Fordi kriteriet for avslutning av konfidensintervall er sentrert rundt undersøkernes evneestimat, er estimeringsbasert varevalg mer passende. Dette fordi testen vil lage en klassifisering når konfidensintervallet er lite nok til å være helt over eller under kuttprøven (se nedenfor). Konfidensintervallet vil være mindre når standard feilfeil er mindre, og standard feilfeil vil være mindre når det er mer informasjon på undersøkerens theta-nivå.

Oppsigelseskriterium

Det er tre avslutningskriterier som ofte brukes for CCT-er. Bayesiske beslutningsteorimetoder tilbyr stor fleksibilitet ved å presentere et uendelig valg av tap / bruksstrukturer og vurderingshensyn, men innfører også større vilkårlighet. En konfidensintervalltilnærming beregner et konfidensintervall rundt eksaminandens nåværende thetaestimat på hvert punkt i testen, og klassifiserer undersøkt når intervallet faller fullstendig innenfor et område av theta som definerer en klassifisering. Dette ble opprinnelig kjent som adaptiv mestringstesting (Kingsbury & Weiss, 1983), men krever ikke nødvendigvis valg av adaptivt element, og er heller ikke begrenset til situasjonen med to-klassifisering av mestringstest. Den sekvensielle sannsynlighetsforholdstesten (Reckase, 1983) definerer klassifiseringsproblemet som en hypotesetest om at undersøkerens teta er lik et spesifisert punkt over kuttprøven eller et spesifisert punkt under kuttprøven.

referanser

Bibliografi om CCT-forskning

  • Armitage, P. (1950). Sekvensiell analyse med mer enn to alternative hypoteser, og dens forhold til diskriminerende funksjonsanalyse. Journal of the Royal Statistical Society , 12, 137-144.
  • Braun, H., Bejar, II, og Williamson, DM (2006). Regelbaserte metoder for automatisert skåring: Søknad i lisensieringskontekst. I Williamson, DM, Mislevy, RJ og Bejar, II (Eds.) Automatisert poengsum for komplekse oppgaver i datamaskinbasert testing. Mahwah, NJ: Erlbaum.
  • Dodd, BG, De Ayala, RJ, & Koch, WR (1995). Datastyrt adaptiv testing med polytome gjenstander. Anvendt psykologisk måling, 19, 5-22.
  • Eggen, TJHM (1999). Valg av elementer i adaptiv testing med sekvensiell sannsynlighetsforholdstest. Anvendt psykologisk måling, 23, 249-261.
  • Eggen, TJH M, & Straetmans, GJJM (2000). Datastyrt adaptiv testing for klassifisering av undersøkte i tre kategorier. Pedagogisk og psykologisk måling, 60, 713-734.
  • Epstein, KI, & Knerr, CS (1977). Anvendelser av sekvensielle testprosedyrer for ytelsestesting. Paper presentert på Computerised Adaptive Testing Conference 1977, Minneapolis, MN.
  • Ferguson, RL (1969). Utvikling, implementering og evaluering av en datamaskinassistert forgrenet test for et program med individuelt foreskrevet instruksjon. Upublisert doktorgradsavhandling, University of Pittsburgh.
  • Frick, TW (1989). Bayesiansk tilpasning under databaserte tester og datastyrte øvelser. Journal of Educational Computing Research, 5, 89-114.
  • Frick, TW (1990). En sammenligning av tre beslutningsmodeller for å tilpasse lengden på datamaskinbaserte mestringstester. Journal of Educational Computing Research, 6, 479-513.
  • Frick, TW (1992). Datastyrte adaptive mestringstester som ekspertsystemer. Journal of Educational Computing Research, 8, 187-213.
  • Huang, C.-Y., Kalohn, JC, Lin, C.-J., og Spray, J. (2000). Estimere elementparametere fra klassiske indekser for utvikling av bassengutvikling med en datastyrt klassifiseringstest. (Forskningsrapport 2000-4). Iowa City, IA: ACT, Inc.
  • Jacobs-Cassuto, MS (2005). En sammenligning av adaptiv mestringstesting ved bruk av testlets

Med 3-Parameter Logistic Model. Upublisert doktorgradsavhandling, University of Minnesota, Minneapolis, MN.

  • Jiao, H., & Lau, AC (2003). Effektene av feilaktig modell i datastyrt klassifiseringstest. Paper presentert på det årlige møtet for National Council of Educational Measurement, Chicago, IL, april 2003.
  • Jiao, H., Wang, S., & Lau, CA (2004). En utredning av to kombinasjonsprosedyrer for SPRT for klassifikasjonsvedtak i tre kategorier i datastyrt klassifiseringstest. Paper presentert på det årlige møtet i American Education Research Association, San Antonio, april 2004.
  • Kalohn, JC, & Spray, JA (1999). Effekten av feilspesifikasjon av modellen på beslutninger om klassifisering tatt ved hjelp av en datastyrt test. Journal of Educational Measurement, 36, 47-59.
  • Kingsbury, GG, & Weiss, DJ (1979). En adaptiv teststrategi for mestringsbeslutninger. Forskningsrapport 79-05. Minneapolis: University of Minnesota, Psychometric Methods Laboratory.
  • Kingsbury, GG, & Weiss, DJ (1983). En sammenligning av IRT-basert adaptiv mestringstesting og en sekvensiell mestringsprosedyre. I DJ Weiss (Ed.), New horizon in testing: Latent trait theory and computerized adaptive testing (s. 237–254). New York: Academic Press.
  • Lau, CA (1996). Robusthet av en unidimensjonal datamaskinisert testing mestringsprosedyre med flerdimensjonale testdata. Upublisert doktorgradsavhandling, University of Iowa, Iowa City IA.
  • Lau, CA, & Wang, T. (1998). Sammenligning og kombinasjon av dikotome og polytome gjenstander med SPRT-prosedyre i datastyrt klassifiseringstesting. Paper presentert på det årlige møtet i American Educational Research Association, San Diego.
  • Lau, CA, & Wang, T. (1999). Datastyrt klassifiseringstesting under praktiske begrensninger med en polytom modell. Paper presentert på det årlige møtet i American Educational Research Association, Montreal, Canada.
  • Lau, CA, & Wang, T. (2000). En ny valg av prosedyre for blandet varetype i datastyrt klassifiseringstesting. Paper presentert på årsmøtet til American Educational Research Association, New Orleans, Louisiana.
  • Lewis, C., & Sheehan, K. (1990). Ved å bruke Bayesian beslutningsteori for å designe en datastyrt mestringstest. Anvendt psykologisk måling, 14, 367-386.
  • Lin, C.-J. & Spray, JA (2000). Effekter av kriterier for valg av elementer på klassifiseringstesting med den sekvensielle sannsynlighetsratetesten. (Forskningsrapport 2000-8). Iowa City, IA: ACT, Inc.
  • Linn, RL, Rock, DA, & Cleary, TA (1972). Sekvensiell testing for dikotomme beslutninger. Pedagogisk og psykologisk måling, 32, 85-95.
  • Luecht, RM (1996). Flerdimensjonal datastyrt adaptiv testing i sertifisering eller lisensskontekst. Anvendt psykologisk måling, 20, 389-404.
  • Reckase, MD (1983). En prosedyre for beslutningstaking ved bruk av skreddersydd testing. I DJ Weiss (Ed.), New horizon in testing: Latent trait theory and computerized adaptive testing (s. 237–254). New York: Academic Press.
  • Rudner, LM (2002). En undersøkelse av tilpasningsmessige testprosedyrer for beslutningsteori. Paper presentert på det årlige møtet i American Educational Research Association, 1–5 april 2002, New Orleans, LA.
  • Sheehan, K., & Lewis, C. (1992). Datastyrt mestringstest med ikke-testede testlets. Anvendt psykologisk måling, 16, 65-76.
  • Spray, JA (1993). Klassifisering i flere kategorier ved bruk av en sekvensiell sannsynlighetsforholdstest (Research Report 93-7). Iowa City, Iowa: ACT, Inc.
  • Spray, JA, Abdel-fattah, AA, Huang, C., og Lau, CA (1997). Unidimensjonale tilnærminger for en datastyrt test når varepoolen og det latente rommet er flerdimensjonalt (Forskningsrapport 97-5). Iowa City, Iowa: ACT, Inc.
  • Spray, JA, & Reckase, MD (1987). Effekten av estimatfeil for elementparameter på beslutninger som er tatt ved bruk av testen for sekvensiell sannsynlighetsforhold (Research Report 87-17) Iowa City, IA: ACT, Inc.
  • Spray, JA, & Reckase, MD (1994). Valg av testelementer for beslutningstaking med en datastyrt adaptiv test. Paper presentert på årsmøtet for National Council for Measuring in Education (New Orleans, LA, 5. - 7. april 1994).
  • Spray, JA, & Reckase, MD (1996). Sammenligning av SPRT og sekvensielle Bayes-prosedyrer for klassifisering av undersøkere i to kategorier ved bruk av en datastyrt test. Journal of Educational & Behavioural Statistics, 21, 405-414.
  • Thompson, NA (2006). Variabel lengde datastyrt klassifiseringstesting med elementresponsteori. CLEAR Exam Review, 17 (2).
  • Vos, HJ (1998). Optimale sekvensielle regler for datamaskinbasert instruksjon. Journal of Educational Computing Research, 19, 133-154.
  • Vos, HJ (1999). Bruksområder av Bayesiansk beslutningsteori til sekvensiell mestringstesting. Journal of Pedagogisk og atferdsstatistikk, 24, 271-292.
  • Wald, A. (1947). Sekvensiell analyse. New York: Wiley.
  • Weiss, DJ, & Kingsbury, GG (1984). Anvendelse av datastyrt adaptiv testing på pedagogiske problemer. Journal of Educational Measurement, 21, 361-375.
  • Weissman, A. (2004). Valg av gjensidig informasjon i kategorien CAT-kategori i flere kategorier. Paper presentert på årsmøtet for det nasjonale rådet for måling i utdanning, San Diego, CA.
  • Weitzman, RA (1982a). Sekvensiell testing for valg. Anvendt psykologisk måling, 6, 337-351.
  • Weitzman, RA (1982b). Bruk av sekvensiell testing for å forhåndsvise potensielle deltakere i militærtjeneste. I DJ Weiss (red.), Proceedings of the Computerised Adaptive Testing Conference (1982). Minneapolis, MN: University of Minnesota, Department of Psychology, Psychometric Methods Program, 1982.

Eksterne linker