Computeret klassificeringstest - Computerized classification test

En edb-klassificeringstest ( CCT ) henviser til, som navnet antyder, en test , der administreres af computeren med det formål at klassificere undersøgende. Den mest almindelige CCT er en mestringstest, hvor testen klassificerer eksaminenter som "bestået" eller "mislykkes", men udtrykket inkluderer også test, der klassificerer eksaminenter i mere end to kategorier. Mens udtrykket generelt kan betragtes som at henvise til alle computeradministrerede tests til klassificering, bruges det normalt til at henvise til test, der administreres interaktivt eller med variabel længde, svarende til edb-adaptiv testning(KAT). Ligesom CAT kan CCT'er med variabel længde nå målet med testen (nøjagtig klassificering) med en brøkdel af antallet af genstande, der er brugt i en konventionel fast form test.

En CCT kræver flere komponenter:

  1. En varebank kalibreret med en psykometrisk model valgt af testdesigneren
  2. Et udgangspunkt
  3. En vareudvælgelsesalgoritme
  4. Et afslutningskriterium og scoringsprocedure

Udgangspunktet er ikke et emne om strid; forskning på CCT undersøger primært anvendelsen af ​​forskellige metoder til de andre tre komponenter. Bemærk: Afslutningskriteriet og scoringsproceduren er adskilt i CAT, men det samme i CCT, fordi testen afsluttes, når en klassificering foretages. Derfor er der fem komponenter, der skal specificeres for at designe en CAT.

En introduktion til CCT findes i Thompson (2007) og en bog af Parshall, Spray, Kalohn og Davey (2006). En bibliografi over offentliggjort CCT-forskning findes nedenfor.

Hvordan det virker

En CCT ligner meget en CAT. Elementer administreres en ad gangen til en eksaminand. Når eksaminanden reagerer på emnet, scorer computeren det og bestemmer, om eksaminanden er i stand til at klassificeres endnu. Hvis det er tilfældet, afsluttes testen, og den studerende klassificeres. Hvis ikke, administreres en anden vare. Denne proces gentages, indtil eksaminanden er klassificeret, eller et andet slutpunkt er opfyldt (alle poster i banken er administreret, eller en maksimal testlængde er nået).

Psykometrisk model

Der er to tilgange til rådighed for den psykometriske model for en CCT: klassisk testteori (CTT) og elementresponssteori (IRT). Klassisk testteori antager en tilstandsmodel, fordi den anvendes ved at bestemme elementparametre for en prøve af eksaminer, der er bestemt til at være i hver kategori. For eksempel kan der udtages prøver på flere hundrede "mestre" og flere hundrede "ikke-mestre" for at bestemme vanskeligheden og forskelsbehandlingen for hver enkelt, men at gøre det kræver, at du let kan identificere et særskilt sæt mennesker, der er i hver gruppe. IRT på den anden side antager en trækmodel; viden eller evnen målt ved testen er et kontinuum. Klassificeringsgrupperne bliver nødt til at være mere eller mindre vilkårligt defineret langs kontinuummet, f.eks. Brugen af ​​en cutcore til at afgrænse mestre og ikke-mestre, men specifikationen af ​​elementparametre forudsætter en trækmodel.

Der er fordele og ulemper ved hver. CTT tilbyder større konceptuel enkelhed. Vigtigere er det, at CTT kræver færre undersøgere i prøven til kalibrering af elementparametre, der til sidst skal bruges til design af CCT, hvilket gør det nyttigt til mindre testprogrammer. Se Frick (1992) for en beskrivelse af en CTT-baseret CCT. De fleste CCT'er bruger imidlertid IRT. IRT tilbyder større specificitet, men den vigtigste grund kan være, at design af et CCT (og en CAT) er dyrt, og derfor er det mere sandsynligt, at det udføres af et stort testprogram med omfattende ressourcer. Et sådant program vil sandsynligvis bruge IRT.

Udgangspunktet

En CCT skal have et specificeret udgangspunkt for at aktivere bestemte algoritmer. Hvis den sekventielle sandsynlighedsforholdstest bruges som termineringskriteriet, antager den implicit et startforhold på 1,0 (lige sandsynlighed for, at den studerende er en master eller ikke-master). Hvis afslutningskriteriet er en konfidensinterval- tilgang, skal der specificeres et specificeret startpunkt på theta. Normalt er dette 0,0, centret for fordelingen , men det kan også trækkes tilfældigt fra en bestemt fordeling, hvis parametrene for eksaminandefordelingen er kendte. Også tidligere oplysninger om en individuel undersøgt, som f.eks. Deres score, sidste gang de aflagde testen (hvis genoptagelse) kan anvendes.

Valg af vare

I en CCT vælges poster til administration under hele testen i modsætning til den traditionelle metode til administration af et fast sæt af poster til alle undersøgende. Selvom dette normalt udføres af individuel vare, kan det også gøres i grupper af genstande kendt som testlets (Leucht & Nungester, 1996; Vos & Glas, 2000).

Metoder til valg af emner falder i to kategorier: cutcore-baseret og estimeringsbaseret. Cutscore-baserede metoder (også kendt som sekventiel markering) maksimerer informationen, der leveres af elementet ved den cutcore, eller klippekorerne, hvis der er mere end én, uanset eksaminandens evne. Estimationsbaserede metoder (også kendt som adaptiv selektion) maksimerer information ved det aktuelle estimat af eksaminandens evne, uanset placeringen af ​​cutcore. Begge fungerer effektivt, men effektiviteten afhænger delvist af det anvendte afslutningskriterium. Fordi den sekventielle sandsynlighedsforholdstest kun evaluerer sandsynligheder i nærheden af ​​den udskårne pointer, er kortscore-baseret varevalg mere passende. Da kriteriet for afslutning af konfidensintervallet er centreret omkring vurderingsevnenes estimat, er estimeringsbaseret vareudvalg mere passende. Dette skyldes, at testen foretager en klassificering, når konfidensintervallet er lille nok til at være helt over eller under cutcore (se nedenfor). Konfidensintervallet vil være mindre, når standardmålingsfejlen er mindre, og standardfejlen til måling vil være mindre, når der er mere information på undersøgerens theta-niveau.

Afslutningskriterium

Der er tre afslutningskriterier, der ofte bruges til CCT'er. Bayesiske beslutningsteorimetoder tilbyder stor fleksibilitet ved at præsentere et uendeligt valg af tab / brugsstrukturer og vurderingsovervejelser, men indfører også større vilkårlighed. En konfidensinterval- tilgang beregner et konfidensinterval omkring eksaminandens aktuelle thetaestimat på hvert punkt i testen og klassificerer eksaminanden, når intervallet falder fuldstændigt inden for et område af theta, der definerer en klassificering. Dette blev oprindeligt kendt som adaptiv mestringstestning (Kingsbury & Weiss, 1983), men kræver ikke nødvendigvis adaptivt valg af emner, og det er heller ikke begrænset til situationen med to-klassificering af mestringstest. Den sekventielle sandsynlighed kvotientkriteriet (Reckase, 1983) definerer klassifikationsproblem som en hypotese test at eksaminandens theta er lig med en angiven punkt over cutscore eller en specificeret punkt under cutscore.

Referencer

Bibliografi over CCT-forskning

  • Armitage, P. (1950). Sekventiel analyse med mere end to alternative hypoteser og dens forhold til diskriminerende funktionsanalyse. Journal of the Royal Statistical Society , 12, 137-144.
  • Braun, H., Bejar, II og Williamson, DM (2006). Regelbaserede metoder til automatiseret score: Anvendelse i en licenskontekst. I Williamson, DM, Mislevy, RJ og Bejar, II (Eds.) Automatisk score af komplekse opgaver i computerbaseret test. Mahwah, NJ: Erlbaum.
  • Dodd, BG, De Ayala, RJ, & Koch, WR (1995). Computeriseret adaptiv test med polytomme genstande. Anvendt psykologisk måling, 19, 5-22.
  • Eggen, TJHM (1999). Valg af elementer i adaptiv test med den sekventielle sandsynlighedsforholdstest. Anvendt psykologisk måling, 23, 249-261.
  • Eggen, TJH M, & Straetmans, GJJM (2000). Computeriseret adaptiv test til klassificering af undersøgende i tre kategorier. Uddannelsesmæssig og psykologisk måling, 60, 713-734.
  • Epstein, KI, & Knerr, CS (1977). Anvendelse af sekventielle testprocedurer til performance testing. Paper præsenteret på Computerized Adaptive Testing Conference 1977, Minneapolis, MN.
  • Ferguson, RL (1969). Udvikling, implementering og evaluering af en computerassisteret forgrenet test til et program med individuelt ordineret instruktion. Ikke offentliggjort doktorafhandling, University of Pittsburgh.
  • Frick, TW (1989). Bayesiansk tilpasning under computerbaserede tests og computerstyrede øvelser. Journal of Educational Computing Research, 5, 89-114.
  • Frick, TW (1990). En sammenligning af tre beslutningsmodeller til tilpasning af længden af ​​computerbaserede mestringstests. Journal of Educational Computing Research, 6, 479-513.
  • Frick, TW (1992). Computerstyrede adaptive mestringstests som ekspertsystemer. Journal of Educational Computing Research, 8, 187-213.
  • Huang, C.-Y., Kalohn, JC, Lin, C.-J. og Spray, J. (2000). Estimering af elementparametre fra klassiske indekser til udvikling af poolposter med en edb-klassificeringstest. (Forskningsrapport 2000-4). Iowa City, IA: ACT, Inc.
  • Jacobs-Cassuto, MS (2005). En sammenligning af adaptiv mestringstest ved hjælp af testlets

Med den 3-parameter logistiske model. Ikke offentliggjort doktorafhandling, University of Minnesota, Minneapolis, MN.

  • Jiao, H., & Lau, AC (2003). Effekterne af forkert model i computeriseret klassificeringstest. Papir præsenteret på det årlige møde i det nationale råd for uddannelsesmæssig måling, Chicago, IL, april 2003.
  • Jiao, H., Wang, S., & Lau, CA (2004). En undersøgelse af to kombinationsprocedurer for SPRT til klassificeringsafgørelser i tre kategorier i edb-klassificeringstest. Paper præsenteret på det årlige møde i den amerikanske foreningsuddannelsesundersøgelsesforening, San Antonio, april 2004.
  • Kalohn, JC, & Spray, JA (1999). Effekten af ​​forkert beskrivelse af modellen på klassificeringsbeslutninger truffet ved hjælp af en edb-test. Tidsskrift for uddannelsesmæssig måling, 36, 47-59.
  • Kingsbury, GG, & Weiss, DJ (1979). En adaptiv teststrategi til mestringsbeslutninger. Forskningsrapport 79-05. Minneapolis: University of Minnesota, Psychometric Methods Laboratory.
  • Kingsbury, GG, & Weiss, DJ (1983). En sammenligning af IRT-baseret adaptiv mestringstest og en sekventiel masteringtestprocedure. I DJ Weiss (red.), Nye horisonter inden for testning: Latent egenskabsteori og edb-adaptiv testning (s. 237–254). New York: Academic Press.
  • Lau, CA (1996). Robusthed af en unidimensionel computeriseret test mestringsprocedure med multidimensionelle testdata. Ikke offentliggjort doktorafhandling, University of Iowa, Iowa City IA.
  • Lau, CA, & Wang, T. (1998). Sammenligning og kombination af dikotome og polytomøse genstande med SPRT-procedure i edb-klassificeringstestning. Paper præsenteret på det årlige møde i American Diego Research Research Association, San Diego.
  • Lau, CA, & Wang, T. (1999). Computeriseret klassificeringstest under praktiske begrænsninger med en polytom model. Papir præsenteret på det årlige møde i American Educational Research Association, Montreal, Canada.
  • Lau, CA, & Wang, T. (2000). En ny udvælgelsesprocedure for blandet varetype ved computeriseret klassificeringstest. Paper præsenteret på det årlige møde i den amerikanske foreningsuddannelsesforskningsforening, New Orleans, Louisiana
  • Lewis, C., & Sheehan, K. (1990). Brug af Bayesiansk beslutningsteori til at designe en computerstyret mestringstest. Anvendt psykologisk måling, 14, 367-386.
  • Lin, C.-J. & Spray, JA (2000). Effekter af kriterier for valg af vare på klassificeringstest med den sekventielle sandsynlighedsforholdstest (Forskningsrapport 2000-8). Iowa City, IA: ACT, Inc.
  • Linn, RL, Rock, DA og Cleary, TA (1972). Sekventiel test for dikotomme beslutninger. Uddannelsesmæssig og psykologisk måling, 32, 85-95.
  • Luecht, RM (1996). Multidimensionel edb-adaptiv testning i en certificerings- eller licenskontekst. Anvendt psykologisk måling, 20, 389-404.
  • Reckase, MD (1983). En procedure for beslutningstagning ved hjælp af skræddersyet test. I DJ Weiss (red.), Nye horisonter inden for testning: Latent egenskabsteori og edb-adaptiv testning (s. 237–254). New York: Academic Press.
  • Rudner, LM (2002). En undersøgelse af adaptive testprocedurer for beslutningsteori. Papir præsenteret på det årlige møde i den amerikanske foreningsuddannelsesundersøgelsesforening, den 1. april, 2002, New Orleans, LA.
  • Sheehan, K., & Lewis, C. (1992). Computerstyret test med ikke-ækvivalente testlets. Anvendt psykologisk måling, 16, 65-76.
  • Spray, JA (1993). Klassificering i flere kategorier ved hjælp af en sekventiel sandsynlighedsforholdstest (forskningsrapport 93-7). Iowa City, Iowa: ACT, Inc.
  • Spray, JA, Abdel-fattah, AA, Huang, C. og Lau, CA (1997). Unidimensionelle tilnærmelser til en edb-test, når emnepuljen og det latente rum er multidimensionelt (Forskningsrapport 97-5). Iowa City, Iowa: ACT, Inc.
  • Spray, JA, & Reckase, MD (1987). Effekten af ​​elementparameterestimationsfejl på beslutninger truffet ved hjælp af den sekventielle sandsynlighedsforholdstest (Forskningsrapport 87-17). Iowa City, IA: ACT, Inc.
  • Spray, JA, & Reckase, MD (1994). Valg af testelementer til beslutningstagning med en computeriseret adaptiv test. Papir præsenteret på det årlige møde i det nationale råd for måling i uddannelse (New Orleans, LA, 5. til 7. april, 1994).
  • Spray, JA, & Reckase, MD (1996). Sammenligning af SPRT og sekventielle Bayes-procedurer til klassificering af undersøgende i to kategorier under anvendelse af en edb-test. Tidsskrift for uddannelses- og adfærdsstatistikker, 21, 405-414.
  • Thompson, NA (2006). Computertestning med variabel længde med klassificeringstest. CLEAR Exam Review, 17 (2).
  • Vos, HJ (1998). Optimale sekventielle regler til computerbaseret instruktion. Journal of Educational Computing Research, 19, 133-154.
  • Vos, HJ (1999). Anvendelser af Bayesiansk beslutningsteori til sekventiel mestringstest. Tidsskrift for uddannelses- og adfærdsstatistik, 24, 271-292.
  • Wald, A. (1947). Sekventiel analyse. New York: Wiley.
  • Weiss, DJ, & Kingsbury, GG (1984). Anvendelse af computeriseret adaptiv test til uddannelsesproblemer. Tidsskrift for uddannelsesmåling, 21, 361-375.
  • Weissman, A. (2004). Valg af gensidig information i kategori CAT-kategori i flere kategorier. Paper præsenteret på det årlige møde i det nationale råd for måling i uddannelse, San Diego, CA.
  • Weitzman, RA (1982a). Sekventiel test til valg. Anvendt psykologisk måling, 6, 337-351.
  • Weitzman, RA (1982b). Brug af sekventiel test for at forcreene potentielle deltagere i militærtjeneste. I DJ Weiss (red.), Proceedings of the Computerised Adaptive Testing Conference (1982). Minneapolis, MN: University of Minnesota, Department of Psychology, Psychometric Methods Program, 1982.

eksterne links