Test de clasificare computerizată - Computerized classification test

Un test computerizat de clasificare ( CCT ) se referă, așa cum sugerează și numele său, la un test care este administrat de calculator în scopul clasificării examinatorilor. Cel mai frecvent CCT este un test de măiestrie în care testul îi clasifică pe cei examinați drept „Trece” sau „Eșuează”, dar termenul include și teste care clasifică examinatorii în mai mult de două categorii. În timp ce termenul poate fi în general considerat ca referindu-se la toate testele administrate de calculator pentru clasificare, de obicei este folosit pentru a face referire la teste care sunt administrate în mod interactiv sau cu lungime variabilă, asemănătoare testării computerizate adaptive (CAT). Ca și CAT, CCT-uri cu lungime variabilă pot atinge obiectivul testului (clasificare precisă) cu o fracțiune din numărul de articole utilizate într-un test convențional de formă fixă.

Un CCT necesită mai multe componente:

  1. O bancă de articole calibrată cu un model psihometric selectat de proiectantul testului
  2. Un punct de plecare
  3. Un algoritm de selectare a elementelor
  4. Un criteriu de reziliere și o procedură de notare

Punctul de plecare nu este un subiect de contenție; cercetarea CCT investigează în primul rând aplicarea diferitelor metode pentru celelalte trei componente. Notă: Criteriul de terminare și procedura de notare sunt separate în CAT, dar la fel în CCT, deoarece testul este încheiat atunci când se face o clasificare. Prin urmare, există cinci componente care trebuie specificate pentru a proiecta un CAT.

O introducere în CCT se găsește în Thompson (2007) și o carte de Parshall, Spray, Kalohn și Davey (2006). Mai jos găsiți o bibliografie a cercetării CCT publicate.

Cum functioneaza

Un CCT este foarte similar cu un CAT. Articolele sunt administrate pe rând unui examinator. După ce examinatorul răspunde la articol, computerul îl notează și stabilește dacă examinatorul este în măsură să fie clasificat încă. Dacă există, testul este încheiat și examinatorul este clasificat. Dacă nu, se administrează un alt element. Acest proces se repetă până la clasificarea examinatorului sau până la îndeplinirea unui alt punct final (toate elementele din bancă au fost administrate sau se ajunge la o lungime maximă a testului).

Model psihometric

Două abordări sunt disponibile pentru modelul psihometric al unui CCT: teoria testelor clasice (CTT) și teoria răspunsului elementelor (IRT). Teoria de testare clasică presupune un model de stare, deoarece este aplicată prin determinarea parametrilor elementului pentru un eșantion de examinări determinat să fie în fiecare categorie. De exemplu, sute de „maeștri” și câteva sute de „non-stăpâni” ar putea fi eșantionați pentru a determina dificultatea și discriminarea pentru fiecare, dar acest lucru necesită să fiți capabil să identificați cu ușurință un grup distinct de oameni care se află în fiecare grup. IRT, pe de altă parte, presupune un model de trăsătură; cunoștințele sau abilitățile măsurate de test sunt un continuum. Grupurile de clasificare vor trebui definite mai mult sau mai puțin în mod arbitrar de-a lungul continuumului, cum ar fi utilizarea unei scoruri pentru a demarca stăpânii și stăpânii, dar specificarea parametrilor elementului presupune un model de trăsătură.

Există avantaje și dezavantaje pentru fiecare. CTT oferă o simplitate conceptuală mai mare. Mai important, CTT necesită mai puțini examinați în eșantion pentru calibrarea parametrilor articolului pentru a fi folosiți în cele din urmă în proiectarea CCT, ceea ce îl face util pentru programele de testare mai mici. Vezi Frick (1992) pentru o descriere a unui CCT bazat pe CTT. Majoritatea CCT folosesc însă IRT. IRT oferă specificitate mai mare, dar cel mai important motiv poate fi faptul că proiectarea unui CCT (și a unui CAT) este costisitoare și, prin urmare, este mai probabil făcută de un program de testare mare, cu resurse extinse. Un astfel de program ar utiliza probabil IRT.

Punct de start

Un CCT trebuie să aibă un punct de pornire specificat pentru a activa anumite algoritmi. Dacă testul raportului de probabilitate secvențial este utilizat ca criteriu de încheiere, presupune implicit un raport de pornire de 1,0 (probabilitatea egală a examinatului fiind un maestru sau un maestru). Dacă criteriul de încheiere este o abordare a intervalului de încredere , trebuie specificat un punct de plecare specificat pe theta. De obicei, acesta este 0,0, centrul distribuției , dar ar putea fi extras la întâmplare și dintr-o anumită distribuție dacă sunt cunoscuți parametrii distribuției examinate. De asemenea, pot fi utilizate informații anterioare cu privire la un individ examinat, cum ar fi scorul acestora la ultima dată când au luat testul (dacă a fost prelevat).

Selectarea articolului

Într-un CCT, elementele sunt selectate pentru administrare pe parcursul testului, spre deosebire de metoda tradițională de administrare a unui set fix de articole tuturor examinatorilor. Deși acest lucru este de obicei realizat de fiecare element individual, acesta poate fi realizat și în grupuri de articole cunoscute sub numele de testule (Leucht & Nungester, 1996; Vos și Glas, 2000).

Metodele de selecție a articolului se încadrează în două categorii: bazate pe scoruri și bazate pe estimare. Metodele bazate pe decortaj (cunoscute și sub denumirea de selecție secvențială) maximizează informațiile furnizate de elementul de la decupaj, sau decupaje dacă există mai multe, indiferent de capacitatea examinatului. Metodele bazate pe estimare (cunoscute și sub denumirea de selecție adaptativă) maximizează informațiile la estimarea actuală a capacității de examinare, indiferent de locația scorului. Ambele funcționează eficient, dar eficiența depinde în parte de criteriul de reziliere utilizat. Deoarece testul raportului de probabilitate secvențială evaluează doar probabilitățile în apropierea scorurilor, selecția elementelor bazate pe decupaj este mai potrivită. Deoarece criteriul de încheiere a intervalului de încredere este centrat în jurul estimării capacității examinatorilor, selecția elementelor bazate pe estimare este mai adecvată. Acest lucru se datorează faptului că testul va face o clasificare atunci când intervalul de încredere este suficient de mic pentru a fi complet deasupra sau sub scorul (vezi mai jos). Intervalul de încredere va fi mai mic atunci când eroarea standard de măsurare este mai mică, iar eroarea standard de măsurare va fi mai mică atunci când există mai multe informații la nivelul de examinare.

Criteriul de reziliere

Există trei criterii de reziliere utilizate frecvent pentru CCT. Metodele teoretice ale deciziei bayesiene oferă o mare flexibilitate prin prezentarea unei alegeri infinite a structurilor de pierdere / utilitate și a considerațiilor de evaluare, dar introduc și o mai mare arbitrare. O abordare a intervalului de încredere calculează un interval de încredere în jurul valorii curente a examinării theta la fiecare punct al testului și îl clasifică atunci când intervalul se încadrează complet într-o regiune a theta care definește o clasificare. Aceasta a fost cunoscută inițial sub denumirea de teste de măiestrie adaptativă (Kingsbury & Weiss, 1983), dar nu necesită în mod necesar selecția elementelor adaptive și nici nu se limitează la situația de testare cu două clasificări. Testul secvențial al raportului de probabilitate (Reckase, 1983) definește problema de clasificare ca un test de ipoteză conform căruia theta examinator este egal cu un punct specificat deasupra decuajului sau cu un punct specificat sub scor.

Referințe

Bibliografia cercetării CCT

  • Armitage, P. (1950). Analiza secvențială cu mai mult de două ipoteze alternative și relația acesteia cu analiza funcțională discriminantă. Journal of the Royal Statistical Society , 12, 137-144.
  • Braun, H., Bejar, II, și Williamson, DM (2006). Metode bazate pe reguli pentru notare automată: Aplicație într-un context de licențiere. În Williamson, DM, Mislevy, RJ și Bejar, II (Eds.) Notare automată a sarcinilor complexe în testarea computerizată. Mahwah, NJ: Erlbaum.
  • Dodd, BG, De Ayala, RJ, & Koch, WR (1995). Testare adaptativă computerizată cu articole poltomice. Măsurarea psihologică aplicată, 19, 5-22.
  • Eggen, TJHM (1999). Selectarea articolului în testarea adaptivă cu testul secvențial al raportului de probabilitate. Aplicat Măsurare psihologică, 23, 249-261.
  • Eggen, TJH M, & Straetmans, GJJM (2000). Testare adaptativă computerizată pentru clasificarea examinatorilor în trei categorii. Măsurarea educațională și psihologică, 60, 713-734.
  • Epstein, KI, & Knerr, CS (1977). Aplicații ale procedurilor de testare secvențială la testarea performanței. Lucrare prezentată la Conferința de testare computerizată adaptativă din 1977, Minneapolis, MN.
  • Ferguson, RL (1969). Dezvoltarea, implementarea și evaluarea unui test ramificat asistat de computer pentru un program de instrucțiuni prescrise individual. Teză de doctorat nepublicată, Universitatea din Pittsburgh.
  • Frick, TW (1989). Adaptare bayesiană în timpul testelor computerizate și a exercițiilor ghidate de computer. Journal of Educational Computing Research, 5, 89-114.
  • Frick, TW (1990). O comparație a trei modele de decizii pentru adaptarea lungimii testelor de măiestrie bazate pe computer. Journal of Educational Computing Research, 6, 479-513.
  • Frick, TW (1992). Teste computerizate de stăpânire adaptivă ca sisteme de expertiză. Journal of Educational Computing Research, 8, 187-213.
  • Huang, C.-Y., Kalohn, JC, Lin, C.-J. și Spray, J. (2000). Estimarea parametrilor articolului din indici clasici pentru dezvoltarea pool-ului de articole cu un test de clasificare computerizat. (Raport de cercetare 2000-4). Iowa City, IA: ACT, Inc.
  • Jacobs-Cassuto, MS (2005). O comparație a testării de măiestrie adaptivă folosind testule

Cu modelul logistic cu 3 parametri. Teză de doctorat nepublicată, Universitatea din Minnesota, Minneapolis, MN.

  • Jiao, H., & Lau, AC (2003). Efectele incapacității modelului în testul de clasificare computerizată. Lucrare prezentată la reuniunea anuală a Consiliului Național de Măsurare Educațională, Chicago, IL, aprilie 2003.
  • Jiao, H., Wang, S., & Lau, CA (2004). O investigație a două proceduri combinate ale SPRT pentru decizii de clasificare cu trei categorii în testul de clasificare computerizată. Lucrare prezentată la reuniunea anuală a Asociației Americane de Cercetare Educațională, San Antonio, aprilie 2004.
  • Kalohn, JC, & Spray, JA (1999). Efectul specificării greșite a modelului asupra deciziilor de clasificare luate cu ajutorul unui test computerizat. Journal of Educational Measurement, 36, 47-59.
  • Kingsbury, GG, & Weiss, DJ (1979). O strategie de testare adaptivă a deciziilor de stăpânire. Raport de cercetare 79-05. Minneapolis: Universitatea din Minnesota, Laborator de metode psihometrice.
  • Kingsbury, GG, & Weiss, DJ (1983). O comparație între testarea de masterizare adaptivă bazată pe IRT și o procedură de testare secvențială de măiestrie. În DJ Weiss (Ed.), Noi orizonturi în testare: teoria trăsăturilor latente și testarea adaptativă computerizată (pp. 237-254). New York: Academic Press.
  • Lau, CA (1996). Robustețea unei proceduri unidimensionale de testare computerizată cu date de testare multidimensionale. Disertație de doctorat nepublicată, Universitatea din Iowa, IA City IA.
  • Lau, CA, & Wang, T. (1998). Compararea și combinarea articolelor dicotomice și politone cu procedura SPRT în testarea computerizată a clasificării. Lucrare prezentată la reuniunea anuală a Asociației Americane de Cercetare Educațională, San Diego.
  • Lau, CA, & Wang, T. (1999). Testarea computerizată a clasificării în condiții de constrângere practică cu un model politom. Lucrare prezentată la reuniunea anuală a Asociației Americane de Cercetare Educațională, Montreal, Canada.
  • Lau, CA, și Wang, T. (2000). O nouă procedură de selectare a elementelor pentru tipul de articol mixt în testarea computerizată a clasificării. Lucrare prezentată la reuniunea anuală a Asociației Americane de Cercetare Educațională, New Orleans, Louisiana.
  • Lewis, C., & Sheehan, K. (1990). Utilizarea teoriei deciziei bayesiene pentru a proiecta un test computerizat de măiestrie. Aplicat Măsurare psihologică, 14, 367-386.
  • Lin, C.-J. & Spray, JA (2000). Efectele criteriilor de selecție a elementelor asupra testării de clasificare cu testul secvențial al raportului de probabilitate. (Raport de cercetare 2000-8). Iowa City, IA: ACT, Inc.
  • Linn, RL, Rock, DA, & Cleary, TA (1972). Testare secvențială pentru decizii dicotomice. Măsurare educațională și psihologică, 32, 85-95.
  • Luecht, RM (1996). Testare adaptativă computerizată multidimensională într-un context de certificare sau licență. Aplicat Măsurare psihologică, 20, 389-404.
  • Reckase, MD (1983). O procedură pentru luarea deciziilor utilizând teste personalizate. În DJ Weiss (Ed.), Noi orizonturi în testare: teoria trăsăturilor latente și testarea adaptativă computerizată (pp. 237-254). New York: Academic Press.
  • Rudner, LM (2002). O examinare a procedurilor de testare adaptivă în teorie a deciziei. Lucrare prezentată la reuniunea anuală a Asociației Americane de Cercetare Educațională, 1 - 5 aprilie 2002, New Orleans, LA.
  • Sheehan, K., & Lewis, C. (1992). Testare computerizată de măiestrie cu testule inegalabile. Măsurarea psihologică aplicată, 16, 65-76.
  • Spray, JA (1993). Clasificare cu mai multe categorii folosind un test secvențial al raportului de probabilitate (Raport de cercetare 93-7). Iowa City, Iowa: ACT, Inc.
  • Spray, JA, Abdel-fattuh, AA, Huang, C. și Lau, CA (1997). Aproximații unidimensionale pentru un test computerizat atunci când setul de elemente și spațiul latent sunt multidimensionale (Raport de cercetare 97-5). Iowa City, Iowa: ACT, Inc.
  • Spray, JA, și Reckase, MD (1987). Efectul erorii de estimare a parametrilor elementului asupra deciziilor luate cu ajutorul raportului secvențial al raportului de probabilitate (Raport de cercetare 87-17). Iowa City, IA: ACT, Inc.
  • Spray, JA, & Reckase, MD (1994). Selectarea articolelor de testare pentru luarea deciziilor cu un test adaptiv computerizat. Lucrare prezentată la reuniunea anuală a Consiliului Național pentru Măsurarea în Educație (New Orleans, LA, 5-7 aprilie 1994).
  • Spray, JA, și Reckase, MD (1996). Comparația dintre procedurile SPRT și secvențiale Bayes pentru clasificarea examinărilor în două categorii folosind un test computerizat. Jurnalul de statistică educațională și comportamentală, 21, 405-414.
  • Thompson, NA (2006). Încercări computerizate de clasificare pe lungime variabilă, cu teoria răspunsului elementului. CLEAR Exam Review, 17 (2).
  • Vos, HJ (1998). Reguli secvențiale optime pentru instrucțiuni bazate pe computer. Journal of Educational Computing Research, 19, 133-154.
  • Vos, HJ (1999). Aplicații ale teoriei deciziei bayesiene la testarea secvențială de stăpânire. Jurnalul de statistică educațională și comportamentală, 24, 271-292.
  • Wald, A. (1947). Analiza secvențială. New York: Wiley.
  • Weiss, DJ, & Kingsbury, GG (1984). Aplicarea testării adaptative computerizate la problemele educaționale. Journal of Educational Measurement, 21, 361-375.
  • Weissman, A. (2004). Selectarea elementelor de informații reciproce în clasificarea cu mai multe categorii CAT. Lucrare prezentată la reuniunea anuală a Consiliului Național pentru Măsurare în Educație, San Diego, CA.
  • Weitzman, RA (1982a). Testare secvențială pentru selecție. Aplicat Măsurare psihologică, 6, 337-351.
  • Weitzman, RA (1982b). Folosirea testării secvențiale pentru a preveni potențialii intrați în serviciul militar. În DJ Weiss (Ed.), Proceedings of the Computerized Adaptive Testing Conference Conference din 1982. Minneapolis, MN: Universitatea din Minnesota, Departamentul de Psihologie, Programul Metode Psiometrice, 1982.

linkuri externe