Test de classification informatisé - Computerized classification test

Un test de classification informatisé ( CCT ) fait référence, comme son nom l'indique, à un test administré par ordinateur dans le but de classer les candidats. Le CCT le plus courant est un test de maîtrise où le test classe les candidats comme «Réussite» ou «Échec», mais le terme comprend également des tests qui classent les candidats en plus de deux catégories. Bien que le terme puisse généralement être considéré comme désignant tous les tests administrés par ordinateur pour la classification, il est généralement utilisé pour désigner des tests administrés de manière interactive ou de longueur variable, similaires aux tests adaptatifs informatisés (CAT). À l'instar de la TAO, les CCT de longueur variable peuvent atteindre l'objectif du test (classification précise) avec une fraction du nombre d'éléments utilisés dans un test conventionnel de forme fixe.

Un CCT nécessite plusieurs composants:

  1. Une banque d'articles calibrée avec un modèle psychométrique sélectionné par le concepteur de test
  2. Un point de départ
  3. Un algorithme de sélection d'articles
  4. Un critère de terminaison et une procédure de notation

Le point de départ n'est pas un sujet de discorde; la recherche sur le CCT étudie principalement l'application de différentes méthodes pour les trois autres composants. Remarque: Le critère de terminaison et la procédure de notation sont séparés dans CAT, mais les mêmes dans CCT parce que le test est terminé lors d'une classification. Par conséquent, cinq composants doivent être spécifiés pour concevoir un CAT.

Une introduction au CCT se trouve dans Thompson (2007) et dans un livre de Parshall, Spray, Kalohn et Davey (2006). Une bibliographie des recherches publiées sur le CCT se trouve ci-dessous.

Comment ça fonctionne

Un CCT est très similaire à un CAT. Les articles sont administrés un par un à un candidat. Une fois que le candidat a répondu à l'item, l' ordinateur le note et détermine si le candidat peut encore être classé. Si tel est le cas, le test est terminé et le candidat est classé. Sinon, un autre élément est administré. Ce processus se répète jusqu'à ce que le candidat soit classé ou qu'un autre point final soit satisfait (tous les éléments de la banque ont été administrés ou une longueur maximale de test est atteinte).

Modèle psychométrique

Deux approches sont disponibles pour le modèle psychométrique d'un CCT: la théorie classique des tests (CTT) et la théorie de la réponse aux items (IRT). La théorie classique des tests suppose un modèle d'état, car elle est appliquée en déterminant les paramètres d'item pour un échantillon de candidats déterminés comme appartenant à chaque catégorie. Par exemple, plusieurs centaines de «maîtres» et plusieurs centaines de «non-maîtres» peuvent être échantillonnés pour déterminer la difficulté et la discrimination de chacun, mais cela nécessite que vous soyez en mesure d'identifier facilement un ensemble distinct de personnes appartenant à chaque groupe. IRT, d'autre part, suppose un modèle de trait; la connaissance ou la capacité mesurée par le test est un continuum. Les groupes de classification devront être définis plus ou moins arbitrairement le long du continuum, comme l'utilisation d'un score de coupure pour délimiter les maîtres et les non-maîtres, mais la spécification des paramètres d'item suppose un modèle de trait.

Il ya des avantages et des inconvénients pour chacun. CTT offre une plus grande simplicité conceptuelle. Plus important encore, le CTT nécessite moins de candidats dans l'échantillon pour l'étalonnage des paramètres des items à utiliser éventuellement dans la conception du CCT, ce qui le rend utile pour les programmes de test plus petits. Voir Frick (1992) pour une description d'un CCT basé sur le CTT. Cependant, la plupart des CCT utilisent l'IRT. L'IRT offre une plus grande spécificité, mais la raison la plus importante peut être que la conception d'un CCT (et d'un CAT) est coûteuse et est donc plus probablement effectuée par un vaste programme de test avec des ressources étendues. Un tel programme utiliserait probablement IRT.

Point de départ

Un CCT doit avoir un point de départ spécifié pour activer certains algorithmes. Si le test du rapport de probabilité séquentiel est utilisé comme critère de terminaison, il suppose implicitement un rapport de départ de 1,0 (probabilité égale que le candidat soit maître ou non maître). Si le critère de terminaison est une approche d' intervalle de confiance , un point de départ spécifié sur thêta doit être spécifié. Habituellement, il s'agit de 0,0, le centre de la distribution , mais il pourrait également être tiré au hasard d'une certaine distribution si les paramètres de la distribution des candidats sont connus. De plus, des informations antérieures concernant un candidat individuel, comme son score la dernière fois qu'il a passé le test (en cas de reprise) peuvent être utilisées.

Sélection d'articles

Dans un CCT, les items sont sélectionnés pour être administrés tout au long du test, contrairement à la méthode traditionnelle consistant à administrer un ensemble fixe d'items à tous les candidats. Bien que cela soit généralement fait par élément individuel, cela peut également être fait dans des groupes d'éléments appelés testlets (Leucht & Nungester, 1996; Vos & Glas, 2000).

Les méthodes de sélection des articles se divisent en deux catégories: basées sur les scores de coupe et basées sur les estimations. Les méthodes basées sur le score de coupure (également connues sous le nom de sélection séquentielle) maximisent les informations fournies par l'élément au score de coupure, ou les scores de coupure s'il y en a plusieurs, quelle que soit la capacité du candidat. Les méthodes basées sur l'estimation (également connues sous le nom de sélection adaptative) maximisent les informations à l'estimation actuelle de la capacité du candidat, quel que soit l'emplacement du score de coupure. Les deux fonctionnent efficacement, mais l'efficacité dépend en partie du critère de terminaison utilisé. Étant donné que le test du rapport de probabilité séquentielle évalue uniquement les probabilités proches du score de coupure, la sélection des éléments basée sur le score de coupure est plus appropriée. Étant donné que le critère de fin de l' intervalle de confiance est centré sur l'estimation de la capacité des candidats, la sélection des éléments basée sur l'estimation est plus appropriée. En effet, le test effectuera une classification lorsque l'intervalle de confiance est suffisamment petit pour être complètement supérieur ou inférieur au score de coupure (voir ci-dessous). L'intervalle de confiance sera plus petit lorsque l'erreur standard de mesure est plus petite, et l'erreur standard de mesure sera plus petite lorsqu'il y a plus d'informations au niveau thêta du candidat.

Critère de résiliation

Il existe trois critères de terminaison couramment utilisés pour les CCT. Les méthodes de théorie de la décision bayésienne offrent une grande flexibilité en présentant un choix infini de structures de perte / utilité et de considérations d'évaluation, mais introduisent également un plus grand arbitraire. Une approche d' intervalle de confiance calcule un intervalle de confiance autour de l'estimation thêta actuelle du candidat à chaque point du test, et classe le candidat lorsque l'intervalle se situe complètement dans une région de thêta qui définit une classification. Ceci était à l'origine connu sous le nom de test de maîtrise adaptative (Kingsbury et Weiss, 1983), mais ne nécessite pas nécessairement une sélection d'item adaptative, ni ne se limite à la situation de test de maîtrise à deux classifications. Le test du rapport de probabilité séquentielle (Reckase, 1983) définit le problème de classification comme un test d'hypothèse selon lequel le thêta du candidat est égal à un point spécifié au-dessus du score de coupure ou à un point spécifié en dessous du score de coupure.

Les références

Bibliographie de la recherche CCT

Liens externes