Bilgisayarlı sınıflandırma testi - Computerized classification test

Bir bilgisayar sınıflandırma testi ( SKK adını, bir çağrıştırdığı gibi) anlamına gelir testi ile tatbik edilmektedir bilgisayar amacıyla sınıflandırma examinees. En yaygın CCT "Fail" test "Pass" ya da examinees sınıflandıran ustalık test fakat bu terim fazla iki kategoriye examinees sınıflandırmak testleri içerir. Terim, genel olarak sınıflandırılması için bütün bilgisayar-deneylere değinmektedirler için kabul edilebilir olsa da, genellikle interaktif olarak veya benzer değişken uzunlukta, testler arasına ifade etmek için kullanılır bilgisayarlı adaptif test (CAT). CAT gibi, değişken uzunluklu SKK bir geleneksel sabit bir şekilde testinde kullanılan öğeleri sayının bir payına sahip testi (tam sınıflandırması) hedefi gerçekleştirmek için.

Bir CCT çeşitli bileşenler gerekir:

  1. Bir öğe banka testi tasarımcı tarafından seçilen bir psikometrik modeli ile kalibre
  2. Bir başlangıç ​​noktası
  3. Bir öğe seçme algoritması
  4. Bir sonlandırma kriteri ve puanlama prosedürü

Başlangıç noktası çekişme konusu değildir; CCT araştırma esas olarak diğer üç bileşen için farklı yöntemler uygulanmasını inceler. Not: bir sınıflandırma yapıldığında test sona erdirilir için sonlandırma kriteri ve puanlama prosedürü CAT ayrı, ancak CCT aynıdır. Bu nedenle, bir CAT tasarım belirtilmelidir beş bileşen vardır.

SKK bir giriş Parshall, Sprey, Kalohn ve Davey (2006) tarafından Thompson (2007) ve bir kitapta bulunur. yayınlanan SKK araştırmanın bir kaynakça aşağıda bulunmaktadır.

Nasıl çalışır

Bir CCT bir CAT çok benzer. Öğeleri bir sınava teker teker uygulanır. Sınava giren öğeye yanıt sonra bilgisayar sınava henüz sınıflandırılabilir mümkün olup olmadığını puanları buna ve belirler. Böyle bir durumda, deney sonlandırılır ve sınava sınıflandırılır. Değilse, başka öğe uygulanır. Sınava sınıflandırılır veya başka bir bitiş noktası memnun olduğunu (bankada tüm öğeleri tatbik edilmiş veya maksimum test uzunluğu ulaşılana) kadar bu işlem tekrarlanır.

psikometrik modeli

: İki yaklaşım psikometrik bir CCT model için mevcuttur Klasik test teorisi (CTT) ve madde tepki kuramı (IRT). Her kategoride olduğu belirlenen sınava bir numune için öğe parametrelerini belirleyerek uygulandığı için klasik test teorisi bir devlet modeli varsayar. Örneğin, birkaç yüz "ustaları" ve birkaç yüz "nonmasters" her biri için zorluk ve ayrımcılık tespiti için numune, ama bunu yaparken kolayca her grupta olan insanlar belli bir takım belirleyebilecektir gerektirir olabilir. IRT, diğer taraftan, bir özellik modeli varsayar; testi ile ölçülen bilgi veya kabiliyeti bir sürekliliğidir. Sınıflandırma grupları az ya da çok keyfi böyle ustalar ve nonmasters ayırmak için bir cutscore kullanımı gibi süreklilik boyunca tanımlanmış olması gerekir, ancak madde parametrelerinin şartname bir özellik modeli varsayar.

Her avantajları ve dezavantajları vardır. CTT daha kavramsal sadelik sunar. Daha da önemlisi, CTT küçük test programları için kullanışlı hale CCT tasarımında en sonunda kullanılacak kalem parametrelerinin kalibrasyonu numunede az examinees gerektirir. Bir CTT tabanlı CCT bir açıklaması için (1992) Frick bakınız. Çoğu ŞNT Ancak IRT kullanmaktadır. IRT daha fazla özgüllük sunmaktadır, ama en önemli nedeni, bir SKK (ve bir CAT) tasarımı pahalı ve bu nedenle daha muhtemel geniş kaynaklara sahip büyük test programı tarafından yapıldığını olabilir. Böyle bir program olasılıkla IRT kullanırsınız.

Başlangıç ​​noktası

Bir CCT belli algoritmaları etkinleştirmek için belirli bir başlangıç noktası olması gerekir. Eğer ardışık olasılık oran testi sonlandırma kriteri olarak kullanılır, bu dolaylı olarak 1,0 (bir ana ya da nonmaster olmak sınava eşit olasılık) bir başlangıç oranı varsayar. Sonlandırma kriteri bir ise güven aralığı yaklaşımı, teta üzerinde belirli bir başlangıç noktası belirtilmelidir. Genellikle, 0.0, merkezi dağıtım ancak, değerlendirilecek dağılımı parametreleri bilinen durumunda aynı zamanda rastgele belirli bir dağılımdan çekilebilir. (Yeniden alma durumunda) kullanılabilir Ayrıca, bireysel bir sınava ilişkin önceki bilgi, bu tür aldıkları puanlara son kez olarak onlar testi yaptırdı.

Ürün seçimi

Bir CCT olarak, ürün tüm sınava öğelerin sabit bir dizi uygulanmasının geleneksel yöntemden farklı olarak, testin boyunca uygulanmak üzere seçilir. Bu genellikle bireysel öğe tarafından yapılır, aynı zamanda olarak bilinen kalemlerin gruplar halinde yapılabilir testlets (Leucht & Nungester 1996; Vos'u & Glas, 2000).

Cutscore tabanlı ve tahmine dayalı: Öğe seçimi yöntemleri iki kategoriye ayrılır. (Aynı zamanda sıralı seleksiyon) Cutscore bazlı yöntemler maksimize bilgileri bağımsız olarak sınava yeteneğinin, birden fazla varsa cutscore öğeye tarafından sağlanan veya cutscores. (Aynı zamanda adaptif bir seçim olarak da bilinir) tahmin bazlı yöntemler bağımsız cutscore konumu,, değerlendirilecek kabiliyetinin mevcut tahminin bilgiler en üst düzeye çıkarmak. Hem verimli çalışır, ancak verimlilik kullanılan sonlandırma kriterine kısmen bağlıdır. Çünkü ardışık olasılık oran testi sadece cutscore yakın olasılıkları değerlendirir cutscore dayalı öğe seçimi daha uygundur. Çünkü güven aralığı sonu kriteri imtihanla yeteneği tahmin etrafında odaklanmıştır, tahmin tabanlı öğesi seçimi daha uygundur. Güven aralığı tamamen (aşağıya bakınız) üstünde veya cutscore altında olacak kadar küçük olduğunda testi bir sınıflandırma yapacak olmasıdır. Standart ölçme hatası küçük olduğunda güven aralığı daha küçük olacak ve sınava ait teta seviyesinde fazla bilgi olduğunda standart ölçme hatası daha küçük olacaktır.

Sonlandırma kriter

Yaygın CCT'ler için kullanılan üç sonlandırma kriterleri vardır. Bayes karar teorisi yöntemleri kaybı / yarar yapıları ve değerlendirme hususlar sonsuz seçenek sunarak büyük esneklik sağlar, ancak aynı zamanda daha büyük keyfilik tanıtmak. Bir güven aralığı yaklaşım testinde her noktada, değerlendirilecek mevcut teta tahmin çevresinde bir güven aralığı hesaplar ve aralık bir sınıflandırma tanımlayan teta bir bölge içinde tamamen düştüğünde sınava sınıflandırır. Bu başlangıçta adaptif ustalık testi (Kingsbury & Weiss, 1983) olarak bilinen, ancak mutlaka adaptif madde seçimi gerektirmez, ne de iki sınıflandırma ustalık test duruma sınırlıdır. Ardışık olasılık oran testi (Reckase, 1983) bir Sınıflandırma sorunu tanımlar hipotez testi , değerlendirilecek en teta cutscore veya cutscore altında belli bir noktadan üzerinde belirli bir noktada eşittir.

Referanslar

SKK araştırma Kaynakça

  • Armitage, P. (1950). Sıralı fazla iki alternatif hipotez ile analiz ve ayırıcı fonksiyon analizi ile ilişkisi. Kraliyet İstatistik Derneği Dergisi , 12, 137-144.
  • Braun, H., Bejar, II ve Williamson, DM (2006). Otomatik puanlama için Kurala dayalı yöntemler: Bir lisans bağlamında Uygulama. Williamson, DM, Mislevy, RJ ve Bejar, II (ed.), Bilgisayar tabanlı testler karmaşık görevler otomatik puanlama olarak. Mahwah, NJ: Erlbaum.
  • Dodd, BG, De Ayala, RJ ve Koch, WR (1995). düzeyli eşyalarla Bilgisayarlı adaptif testi. Uygulanan Psikolojik Ölçüm, 19, 5-22.
  • Eggen, TJHM (1999). ardışık olasılık oran testi ile uyarlanabilir test Ürün seçimi. Uygulanan Psikolojik Ölçüm, 23, 249-261.
  • Eggen, TJH M, ve STRAETMANS, GJJM (2000). üç kategoriye examinees sınıflandırmak için Bilgisayarlı adaptif testi. Eğitim ve Psikolojik Ölçme, 60, 713-734.
  • Epstein, KI, & Knerr CS (1977). performans testi için ardışık test prosedürlerinin uygulanması. Kağıt 1977 Bilgisayarlı Adaptive Test Konferansı, Minneapolis sunulan.
  • Ferguson, RL (1969). bireysel olarak öngörülen öğretim programına yönelik bir bilgisayar destekli dallı testin geliştirilmesi, uygulanması ve değerlendirilmesi. Yayınlanmamış doktora tezi, Pittsburgh Üniversitesi.
  • Frick, TW (1989). bilgisayar tabanlı testler ve bilgisayar güdümlü egzersizler sırasında Bayes adaptasyon. Eğitim Bilişim Araştırma Dergisi, 5, 89-114.
  • Frick, TW (1990). bilgisayar tabanlı bir ustalık testleri uzunluğunu adapte etmek için üç karar modellerin karşılaştırılması. Eğitim Bilişim Araştırma Dergisi, 6, 479-513.
  • Frick, TW (1992). Uzman sistemleri gibi Bilgisayarlı adaptif ustalık testleri. Eğitim Bilişim Araştırma Dergisi, 8, 187-213.
  • Huang, C.-Y., Kalohn, Jc, Lin, C.-J., ve Sprey, J. (2000). Bir Bilgisayarlı Sınıflandırma Testi ile Öğe Havuz Kalkınma Klasik Endeksler gelen Öğe Parametrelerinin Tahmini. (Araştırma Raporu 2000-4). Iowa City, IA: ACT, Inc.
  • Jacobs-Cassuto, MS (2005). Testlets kullanma Adaptif Ustalık Testi Karşılaştırılması

3-parametreli lojistik modeli, ile. Yayınlanmamış doktora tezi, Minnesota, Minneapolis Üniversitesi.

  • Jiao H., & Lau, AC (2003). Bilgisayarlı Sınıflandırma Testi Modeli Misfit Etkileri. Eğitimsel Ölçüm, Chicago, IL, Nisan 2003 Ulusal Konseyi yıllık toplantısında sunulan tebliğ.
  • Jiao H., Wang, S., & Lau, CA (2004). Bilgisayarlı Sınıflandırma Testi Üç kategori Sınıflandırma Kararlarına için SPRT iki Kombinasyon Usul Açısından İncelenmesi. Amerikan Eğitim Araştırmaları Derneği, San Antonio, Nisan 2004 yıllık toplantısında sunulan tebliğ.
  • Kalohn, JC, ve Spreyi, JA (1999). sınıflandırma kararlarının model mlama etkisi bilgisayarlı testi kullanılarak yapılmıştır. Eğitimsel Ölçüm Dergisi, 36, 47-59.
  • Kingsbury, GG, ve Weiss, DJ (1979). ustalık kararları için bir adaptif test stratejisi. Araştırma 79-05 bildirmektedir. Minneapolis: Minnesota Üniversitesi, Psikometrik Yöntemler Laboratuvarı.
  • Kingsbury, GG, ve Weiss, DJ (1983). IRT tabanlı adaptif ustalık testleri karşılaştırılması ve sıralı bir ustalık test prosedürü. Latent özellik teori ve bilgisayarlı adaptif test (s 237-254.) DJ Weiss (Ed.), Test yeni ufuklar. New York: Academic Press.
  • Lau, CA (1996). Çok boyutlu test verileri ile tek boyutlu bilgisayar test ustalık prosedürünün Sağlamlık. Yayınlanmamış doktora tezi, Iowa, Iowa City IA Üniversitesi.
  • Lau, CA, ve Wang, T (1998). Karşılaştırılması ve bilgisayarlı sınıflandırma test SPRT prosedüre ayrılmalar ve düzeyli ürün birleştirilmesi. Amerikan Eğitim Araştırmaları Derneği, San Diego yıllık toplantısında sunulan tebliğ.
  • Lau, CA, ve Wang, T (1999). çok düzeyli modeli ile pratik kısıtlamalar altında Bilgisayarlı sınıflandırma testi. Amerikan Eğitim Araştırmaları Derneği, Montreal, Kanada yıllık toplantısında sunulan tebliğ.
  • Lau, CA, ve Wang, T (2000). bilgisayarlı sınıflandırma testinde karışık öğe türü için yeni bir ürün seçim prosedürü. Amerikan Eğitim Araştırmaları Derneği, New Orleans, Louisiana yıllık toplantısında sunulan tebliğ.
  • Lewis, C., Sheehan, K. (1990). Bayes karar teorisi kullanılarak bilgisayarlı ustalık testi tasarlama. Uygulanan Psikolojik Ölçüm, 14, 367-386.
  • Lin, C.-J. Ve, JA (2000) püskürtün. ardışık olasılık oran testi ile sınıflandırma testi madde seçim kriterleri etkileri. (Araştırma Raporu 2000-8). Iowa City, IA: ACT, Inc.
  • Linn, RL, kaya, DA, ve Cleary, TA (1972). dikotom kararlar için Sıralı testi. Eğitim & Psikolojik Ölçme, 32, 85-95.
  • Luecht RM (1996). Sertifika veya Licensure Bağlamında Boyutlu Bilgisayarlı Adaptive Test. Uygulanan Psikolojik Ölçüm, 20, 389-404.
  • Reckase, MD (1983). özel test kullanılarak karar verme için bir prosedür. Latent özellik teori ve bilgisayarlı adaptif test (s 237-254.) DJ Weiss (Ed.), Test yeni ufuklar. New York: Academic Press.
  • Özlü, LM (2002). Karar teorisi adaptif test prosedürlerinin incelenmesi. Amerikan Eğitim Araştırmaları Derneği, 1-5 Nisan 2002, New Orleans, LA yıllık toplantısında sunulan tebliğ.
  • Sheehan, K., ve Lewis C (1992). eşdeğer olmayan testlets ile Bilgisayarlı ustalık testi. Uygulanan Psikolojik Ölçüm, 16, 65-76.
  • , JA (1993) püskürtün. Bir ardışık olasılık oran testi (Araştırma Raporu 93-7) kullanılarak Çoklu kategori sınıflandırılması. Iowa City: ACT, Inc.
  • , JA, Abdel-Fattah, AA, Huang, C., ve Lau, CA (1997) püskürtün. madde havuzu ve gizli uzay boyutlu olan bilgisayarlı testi (Araştırma Raporu 97-5) için tek boyutlu yaklaşımları. Iowa City: ACT, Inc.
  • , JA, ve Reckase, MD (1987) püskürtün. ardışık olasılık oran testi (Araştırma Raporu 87-17) kullanılarak yapılan kararlarda madde parametre tahmin hatasının etkisi. Iowa City, IA: ACT, Inc.
  • , JA, ve Reckase, MD (1994) püskürtün. bilgisayarlı adaptif testi ile karar verme test maddelerinin seçimi. Eğitimde Ölçme (New Orleans, LA, 5-7 Nisan, 1994) Ulusal Konseyi Yıllık Toplantısında sunulan bildiri.
  • , JA, ve Reckase, MD (1996) püskürtün. SPRT karşılaştırılması ve bilgisayarlı testi kullanılarak iki kategoriye examinees sınıflandırmak için sıralı Bayes işlemleri. Eğitim & Davranış İstatistik Dergisi, 21, 405-414.
  • Thompson, NA (2006). madde tepki teorisi ile değişken uzunlukta bilgisayarlı sınıflandırma testi. SİL Sınav İnceleme, 17 (2).
  • Vos, HJ (1998). bilgisayar tabanlı öğretim için optimum sıralı kurallardır. Eğitim Bilişim Araştırma Dergisi, 19, 133-154.
  • Vos, HJ (1999). Sıralı ustalık testleri için Bayes karar teorisi uygulamaları. Eğitim ve Davranış İstatistik Dergisi, 24, 271-292.
  • Wald, A. (1947). Sıralı analizi. New York: Wiley.
  • Weiss, DJ, ve Kingsbury, GG (1984). eğitim sorunlarına bilgisayarlı adaptif testlerinin uygulaması. Eğitimsel Ölçüm Dergisi, 21, 361-375.
  • Weissman, A. (2004). Çoklu kategori sınıflandırması CAT Karşılıklı bilgi öğesi seçimi. Eğitimde Ölçme Ulusal Konseyi Yıllık Toplantısı, San Diego, CA sunulan bildiri
  • Weitzman RA (1982a). seçimi için Sıralı testi. Uygulanan Psikolojik Ölçüm, 6, 337-351.
  • Weitzman RA (1982b). ardışık test kullanımı askeri hizmete müstakbel girenler prescreen için. DJ Weiss (Ed.) İse, 1982 Bilgisayarlı Adaptive Test Konferansı Bildirileri. Minneapolis, MN: Minnesota Üniversitesi, Psikometrik Yöntemler Programı, 1982 Psikoloji Bölümü.

Dış bağlantılar