prova di classificazione computerizzata - Computerized classification test

Una prova di classificazione computerizzato ( CCT ) si riferisce, come il suo nome suggerisce, una prova che è amministrato dal calcolatore allo scopo di classificare esaminandi. Il CCT più comune è una prova la padronanza in cui il test classifica esaminandi come "Pass" o "Fail", ma il termine comprende anche le prove che classificano gli esaminandi in più di due categorie. Mentre il termine può essere generalmente considerato per riferirsi a tutti i test computer somministrata per la classificazione, esso viene solitamente usato per riferirsi a test che vengono somministrati interattivamente o di lunghezza variabile, simile al test adattativi computerizzata (CAT). Come CAT, CCT lunghezza variabile possono raggiungere l'obiettivo della prova (classificazione accurata) con una frazione del numero di elementi utilizzati in un saggio forma fissa tradizionale.

Una CCT richiede diversi componenti:

  1. Una banca oggetto calibrato con un modello psicometrico selezionato dal designer di prova
  2. Un punto di partenza
  3. Una selezione della voce algoritmo
  4. Un criterio di terminazione e la procedura di scoring

Il punto di partenza non è un argomento di contesa; la ricerca su CCT indaga in primo luogo l'applicazione di metodi diversi per gli altri tre componenti. Nota: Il criterio di terminazione e la procedura di punteggio sono separati in CAT, ma lo stesso in CCT perché il test viene interrotto quando una classificazione è fatta. Pertanto, ci sono cinque componenti che devono essere specificati per la progettazione di un gatto.

Un'introduzione al CCT si trova in Thompson (2007) e un libro di Parshall, Spray, Kalohn e Davey (2006). Una bibliografia di ricerca pubblicato CCT si trova al di sotto.

Come funziona

Una CCT è molto simile a un gatto. I prodotti che vengono somministrati uno alla volta a un candidato. Dopo il candidato risponde alla voce, gli informatici colonne sonore It e determina se il candidato è in grado di essere ancora classificato. Se lo sono, il test è terminato e il candidato è classificato. In caso contrario, un altro elemento viene somministrato. Questo processo si ripete fino a quando il candidato è classificato o un altro punto finale è soddisfatta (tutti gli elementi della banca sono state somministrate, o si raggiunge una lunghezza massima di prova).

modello psicometrico

Due approcci sono disponibili per il modello psicometrico di un CCT: la teoria classica di prova (CTT) e teoria della risposta elemento (IRT). Teoria classica prova assume un modello di Stato in quanto viene applicato determinando parametri della voce per un campione di examinees determinato essere in ciascuna categoria. Per esempio, diverse centinaia di "maestri" e diverse centinaia "nonmasters" potrebbero essere campionate per determinare la difficoltà e la discriminazione per ciascuno, ma in questo modo richiede che siate in grado di identificare facilmente una serie distinta di persone che sono in ogni gruppo. IRT, invece, assume una caratteristica modello; la conoscenza o capacità misurata con il test è un continuum. I gruppi di classificazione dovranno essere più o meno arbitrariamente definito lungo il continuum, come l'uso di un cutscore per delimitare maestri e nonmasters, ma la specifica dei parametri della voce assume un modello tratto.

Ci sono vantaggi e svantaggi di ciascuno. CTT offre una maggiore semplicità concettuale. Ancora più importante, CTT richiede meno esaminati nel campione per la calibrazione dei parametri della voce da utilizzare eventualmente nella progettazione della TDC, rendendolo utile per programmi di test più piccoli. Vedere Frick (1992) per una descrizione di un CCT CTT-based. La maggior parte dei CCT, tuttavia, utilizzano IRT. IRT offre una maggiore specificità, ma la ragione più importante potrebbe essere che il progetto di un CCT (e un gatto) è costoso, ed è quindi più probabile fatto da un ampio programma di test con ampie risorse. Tale programma sarebbe probabilmente usare IRT.

Punto di partenza

Un CCT deve avere un punto di partenza specificato per abilitare determinati algoritmi. Se il test di rapporto di probabilità sequenziale è utilizzato come criterio di terminazione, assume implicitamente un rapporto iniziale di 1,0 (probabilità pari del candidato essere un master o non master). Se il criterio di terminazione è un intervallo di confidenza approccio, è necessario specificare un punto di partenza specificato theta. Di solito, questo è 0,0, il centro della distribuzione , ma potrebbe anche essere disegnata in modo casuale da una certa distribuzione se sono noti i parametri della distribuzione candidato. Inoltre, le informazioni precedenti per quanto riguarda un candidato individuale, come ad esempio il loro punteggio l'ultima volta che hanno fatto il test (se ri-assunzione) può essere utilizzato.

selezione della voce

In un CCT, sono selezionati per la somministrazione durante la prova, a differenza del metodo tradizionale di somministrare un insieme fisso di articoli a tutti esaminati. Anche se questo di solito è fatto per singolo articolo, può anche essere fatto in gruppi di oggetti conosciuti come testlets (Leucht & Nungester, 1996; Vos & Glas, 2000).

I metodi di selezione della voce si dividono in due categorie: cutscore-based e stima-based. Metodi Cutscore-basati (noto anche come selezione sequenziale) massimizzare le informazioni fornite dal prodotto al cutscore, o cutscores se vi sono più di uno, indipendentemente dalla capacità del candidato. Metodi di stima basati (noto anche come selezione adattativa) massimizzano informazioni alla stima corrente di capacità examinee, indipendentemente dalla posizione del cutscore. Entrambi funzionano in modo efficiente, ma l'efficienza dipende in parte sul criterio di terminazione impiegato. Poiché il test di rapporto di probabilità sequenziale valuta solo probabilità vicino al cutscore, selezione delle voci cutscore-based è più appropriato. Poiché l' intervallo di confidenza criterio di terminazione è centrata intorno alla stima esaminandi capacità, selezione delle voci stima basata è più appropriato. Questo perché il test farà una classificazione quando l'intervallo di confidenza è abbastanza piccolo da essere completamente al di sopra o al di sotto del cutscore (vedi sotto). L'intervallo di confidenza sarà minore quando l'errore standard di misura è più piccolo, e l'errore standard di misura sarà minore quando c'è più informazioni a livello theta del candidato.

criterio di terminazione

Ci sono tre criteri di terminazione comunemente usati per CCT. Bayesiani Teoria delle decisioni metodi offrono una grande flessibilità presentando una scelta infinita di strutture di utilità / perdita e considerazioni di valutazione, ma introducono anche una maggiore arbitrarietà. Un intervallo di confidenza approccio calcola un intervallo di confidenza intorno stima theta corrente del candidato in ciascun punto del test, e classifica il candidato quando l'intervallo rientra completamente all'interno di una regione di theta che definisce una classificazione. Questo è stato originariamente conosciuto come adattivo test padronanza (Kingsbury & Weiss, 1983), ma non richiede necessariamente selezione elemento adattativo, né è limitata ai due classificazione situazione test padronanza. La sequenziale test del rapporto di probabilità (Reckase, 1983) definisce il problema classificazione come test di ipotesi che theta dell'esaminando è uguale a un punto specificato sopra la cutscore o un punto specificato sotto la cutscore.

Riferimenti

Bibliografia della ricerca CCT

  • Armitage, P. (1950). Analisi sequenziale con più di due ipotesi alternative, e il suo rapporto analisi discriminante. Ufficiale della Royal Statistical Society , 12, 137-144.
  • Braun, H., Bejar, II, e Williamson, DM (2006). metodi basati su regole per il punteggio automatizzato: Applicazione in un contesto di licenza. In Williamson, DM, Mislevy, RJ, e Bejar, II (Eds.) Di punteggio automatico di compiti complessi in test basati su computer. Mahwah, NJ: Erlbaum.
  • Dodd, BG, De Ayala, RJ, & Koch, WR (1995). test adattativi computerizzato con oggetti politomica. Applied psicologica di misura, 19, 5-22.
  • Eggen, TJHM (1999). selezione della voce in fase di test adattativo con il test rapporto di probabilità sequenziale. Applied psicologica di misura, 23, 249-261.
  • Eggen, TJH M, e Straetmans, GJJM (2000). test adattivo computerizzato per classificare gli esaminandi in tre categorie. Educativi e psicologici di misura, 60, 713-734.
  • Epstein, KI, e Knerr, CS (1977). Applicazioni di procedure di test sequenziali per il test delle prestazioni. Paper presentato al 1977 computerizzata Adaptive Testing Conferenza, Minneapolis, MN.
  • Ferguson, RL (1969). Lo sviluppo, l'implementazione e la valutazione di un test ramificato assistita da computer per un programma d'istruzione prescritto individualmente. Tesi di dottorato non, Università di Pittsburgh.
  • Frick, TW (1989). adattamento Bayesiano durante i test basati su computer ed esercizi di computer-guidata. Journal of Educational Computing Research, 5, 89-114.
  • Frick, TW (1990). Un confronto tra tre modelli decisioni per adattare la lunghezza del test di padronanza basati su computer. Journal of Educational Computing Research, 6, 479-513.
  • Frick, TW (1992). Computerizzati test padronanza adattivi i sistemi esperti. Journal of Educational Computing Research, 8, 187-213.
  • Huang, C.-Y., Kalohn, JC, Lin, C.-J., e spray, J. (2000). La stima dei parametri elemento dalla indici classici per Item Pool Sviluppo con un test di classificazione computerizzata. (Rapporto di ricerca 2000-4). Iowa City, IA: ACT, Inc.
  • Jacobs-Cassuto, MS (2005). Un confronto di Adaptive Mastery Test con Testlets

Con il 3-Parameter Logistic Model. Tesi di dottorato non, Università del Minnesota, Minneapolis, MN.

  • Jiao, H., e Lau, CA (2003). Gli effetti del modello Misfit in computerizzato test di classificazione. Relazione presentata in occasione della riunione annuale del Consiglio Nazionale di Formazione di misura, Chicago, IL, aprile 2003.
  • Jiao, H., Wang, S., & Lau, CA (2004). Un'indagine di due procedure di combinazione di SPRT per tre categorie decisioni di classificazione in computerizzato prova di classificazione. Relazione presentata al meeting annuale della American Educational Research Association, San Antonio, aprile 2004.
  • Kalohn, JC, & Spray, JA (1999). L'effetto del modello di misspecificazione sulle decisioni di classificazione effettuata utilizzando un test computerizzato. Journal of Educational misura, 36, 47-59.
  • Kingsbury, GG, e Weiss, DJ (1979). Una strategia di sperimentazione adattiva per le decisioni maestria. Rapporto di ricerca 79-05. Minneapolis: University of Minnesota, psicometrici metodi di laboratorio.
  • Kingsbury, GG, e Weiss, DJ (1983). Un confronto di test adattativi padronanza IRT-based e una procedura di prova padronanza sequenziale. In DJ Weiss (Ed.), Nuovi orizzonti in fase di test: la teoria tratto latente e la sperimentazione adattiva computerizzata (pp 237-254.). New York: Academic Press.
  • Lau, CA (1996). Robustezza di una procedura di prova la padronanza computerizzata unidimensionale con i dati di test multidimensionali. Tesi di dottorato non, University of Iowa, Iowa City IA.
  • Lau, CA, e Wang, T. (1998). Confrontando e combinando elementi dicotomici e politomica con procedura SPRT nei test di classificazione computerizzato. Relazione presentata al meeting annuale della American Educational Research Association, San Diego.
  • Lau, CA, e Wang, T. (1999). Computerizzato test classificazione in vincoli pratici con un modello politomica. Relazione presentata al meeting annuale della American Educational Research Association, Montreal, Canada.
  • Lau, CA, e Wang, T. (2000). Una nuova procedura di selezione della voce per il tipo di articolo misto nei test di classificazione computerizzato. Relazione presentata al meeting annuale della American Educational Research Association, New Orleans, Louisiana.
  • Lewis, C., & Sheehan, K. (1990). Utilizzando la teoria della decisione bayesiana per la progettazione di un test di padronanza computerizzato. Applied psicologica di misura, 14, 367-386.
  • Lin, C.-J. & Spray, JA (2000). Effetti di criteri oggetto di selezione sulla sperimentazione di classificazione con il test di rapporto di probabilità sequenziale. (Rapporto di ricerca 2000-8). Iowa City, IA: ACT, Inc.
  • Linn, RL, Roccia, DA, e Cleary, TA (1972). sperimentazione sequenziale per le decisioni dicotomiche. Educational & psicologica di misura, 32, 85-95.
  • Luecht, RM (1996). Multidimensionale computerizzato test Adaptive in una certificazione o Licensure Contesto. Applied psicologica di misura, 20, 389-404.
  • Reckase, MD (1983). Una procedura per il processo decisionale tramite test su misura. In DJ Weiss (Ed.), Nuovi orizzonti in fase di test: la teoria tratto latente e la sperimentazione adattiva computerizzata (pp 237-254.). New York: Academic Press.
  • Rudner, LM (2002). Un esame delle procedure di test adattativo decisionale teoria. Relazione presentata al meeting annuale della American Association Ricerca Educativa, 1-5 aprile 2002, New Orleans, LA.
  • Sheehan, K., & Lewis, C. (1992). test padronanza computerizzato con testlets non equivalenti. Applied psicologica di misura, 16, 65-76.
  • Spray, JA (1993). Multiple-categoria di classificazione utilizzando un test rapporto di probabilità sequenziale (Research Report 93-7). Iowa City, Iowa: ACT, Inc.
  • Spruzzo, JA, Abdel-Fattah, AA, Huang, C., e Lau, CA (1997). approssimazioni unidimensionali per un test computerizzato quando la piscina oggetto e lo spazio latente sono multidimensionale (Research Report 97-5). Iowa City, Iowa: ACT, Inc.
  • Spray, JA, & Reckase, MD (1987). L'effetto di errore di stima dei parametri oggetto su decisioni prese utilizzando il sequenziale test di rapporto di probabilità (Rapporto di ricerca 87-17). Iowa City, IA: ACT, Inc.
  • Spray, JA, & Reckase, MD (1994). La selezione di elementi di prova per il processo decisionale con un test computerizzato adattiva. Paper presentato al Meeting annuale del Consiglio Nazionale per la misura in materia di istruzione (New Orleans, LA, 05-07 APRILE, 1994).
  • Spray, JA, & Reckase, MD (1996). Confronto di SPRT e procedure di Bayes sequenziali per la classificazione dei soggetti esaminati in due categorie utilizzando un test computerizzato. Journal of Educational & Behavioral Statistica, 21, 405-414.
  • Thompson, NA (2006). Di lunghezza variabile test di classificazione computerizzata con teoria della risposta elemento. CANCELLA Exam Review, 17 (2).
  • Vos, HJ (1998). regole sequenziali ottimali per l'istruzione basata su computer. Journal of Educational Computing Research, 19, 133-154.
  • Vos, HJ (1999). Applicazioni della teoria della decisione bayesiana alla sperimentazione padronanza sequenziale. Journal of Formazione e comportamentali statistiche, 24, 271-292.
  • Wald, A. (1947). analisi sequenziale. New York: Wiley.
  • Weiss, DJ, e Kingsbury, GG (1984). L'applicazione di test adattativi computerizzato a problemi educativi. Journal of Educational misura, 21, 361-375.
  • Weissman, A. (2004). Informazione reciproca selezione della voce in molteplici-categoria di classificazione CAT. Paper presentato al Meeting annuale del Consiglio Nazionale per la misura in materia di istruzione, San Diego, CA.
  • Weitzman, RA (1982a). sperimentazione sequenziale per la selezione. Applied psicologica di misura, 6, 337-351.
  • Weitzman, RA (1982b). L'uso del test sequenziale per prende visione potenziali partecipanti in servizio militare. In DJ Weiss (Ed.), Atti del Computerized Adaptive Testing Conference 1982. Minneapolis, MN: Università del Minnesota, Dipartimento di Psicologia, psicometrici Metodi Programma, 1982.

link esterno