Teste adaptativo computadorizado - Computerized adaptive testing

O teste adaptativo computadorizado ( CAT ) é uma forma de teste baseado em computador que se adapta ao nível de habilidade do examinando. Por esse motivo, também foi chamado de teste personalizado . Em outras palavras, é uma forma de teste administrado por computador em que o próximo item ou conjunto de itens selecionados para serem administrados depende da exatidão das respostas do candidato aos itens mais recentes administrados.

Como funciona

O CAT seleciona sucessivamente questões com o objetivo de maximizar a precisão do exame com base no que se sabe sobre o examinando a partir de questões anteriores. Do ponto de vista do examinando, a dificuldade do exame parece se adequar ao seu nível de habilidade. Por exemplo, se um examinando tem um bom desempenho em um item de dificuldade intermediária, será apresentado a ele uma pergunta mais difícil. Ou, se eles tivessem um desempenho ruim, eles seriam apresentados a uma pergunta mais simples. Comparados aos testes estáticos de múltipla escolha que quase todos já experimentaram, com um conjunto fixo de itens administrados a todos os examinandos, os testes adaptativos por computador requerem menos itens de teste para chegar a pontuações igualmente precisas. (Claro, não há nada sobre a metodologia CAT que exija que os itens sejam de múltipla escolha; mas, assim como a maioria dos exames são de múltipla escolha, a maioria dos exames CAT também usa esse formato.)

O método de teste adaptativo por computador básico é um algoritmo iterativo com as seguintes etapas:

  1. O conjunto de itens disponíveis é pesquisado para o item ideal, com base na estimativa atual da capacidade do examinando
  2. O item escolhido é apresentado ao examinando, que então responde corretamente ou incorretamente
  3. A estimativa de capacidade é atualizada, com base em todas as respostas anteriores
  4. As etapas 1–3 são repetidas até que um critério de rescisão seja atendido

Nada é conhecido sobre o examinando antes da administração do primeiro item, então o algoritmo geralmente é iniciado selecionando um item de dificuldade média ou fácil como o primeiro item.

Como resultado da administração adaptativa, examinandos diferentes recebem testes bastante diferentes. A tecnologia psicométrica que permite que pontuações equitativas sejam calculadas em diferentes conjuntos de itens é a teoria de resposta ao item (TRI). A IRT também é a metodologia preferida para selecionar itens ótimos, que são normalmente selecionados com base em informações e não na dificuldade per se.

Nos Estados Unidos, o Graduate Management Admission Test é atualmente administrado principalmente como um teste adaptativo por computador. Uma lista de programas CAT ativos é encontrada na International Association for Computerized Adaptive Testing , junto com uma lista de programas de pesquisa CAT atuais e uma bibliografia quase inclusiva de todas as pesquisas CAT publicadas.

Uma metodologia relacionada chamada teste de vários estágios (MST) ou CAST é usada no Exame Uniforme de Contador Público Certificado . O MST evita ou reduz algumas das desvantagens da CAT conforme descrito abaixo. Consulte a edição especial de 2006 da Applied Measurement in Education para obter mais informações sobre o MST.

Vantagens

Os testes adaptativos podem fornecer pontuações uniformemente precisas para a maioria dos participantes. Em contraste, os testes fixos padrão quase sempre fornecem a melhor precisão para os que fazem o teste de habilidade média e uma precisão cada vez menor para os que fazem o teste com pontuações mais extremas.

Um teste adaptativo pode normalmente ser reduzido em 50% e ainda manter um nível mais alto de precisão do que uma versão fixa. Isso se traduz em uma economia de tempo para o candidato. Os participantes do teste não perdem tempo tentando itens que são muito difíceis ou trivialmente fáceis. Além disso, a organização de teste se beneficia da economia de tempo; o custo do tempo de assento do examinando é substancialmente reduzido. No entanto, como o desenvolvimento de um CAT envolve muito mais despesas do que um teste padrão de forma fixa, uma grande população é necessária para que um programa de teste CAT seja financeiramente frutífero.

Geralmente, grandes populações-alvo podem ser exibidas em campos científicos e baseados em pesquisas. O teste CAT nesses aspectos pode ser usado para detectar o início precoce de deficiências ou doenças. O crescimento dos testes CAT nessas áreas aumentou muito nos últimos 10 anos. Antes não aceito em laboratórios e instalações médicas, o teste CAT é agora incentivado no âmbito do diagnóstico.

Como qualquer teste baseado em computador , os testes adaptativos podem mostrar resultados imediatamente após o teste.

O teste adaptativo, dependendo do algoritmo de seleção de itens , pode reduzir a exposição de alguns itens porque os examinandos geralmente recebem diferentes conjuntos de itens, em vez de toda a população recebendo um único conjunto. No entanto, pode aumentar a exposição de outras pessoas (nomeadamente os itens médios ou médios / fáceis apresentados à maioria dos examinandos no início do teste).

Desvantagens

O primeiro problema encontrado no CAT é a calibração do pool de itens. Para modelar as características dos itens (por exemplo, escolher o item ideal), todos os itens do teste devem ser pré-administrados a uma amostra considerável e, em seguida, analisados. Para conseguir isso, novos itens devem ser misturados aos itens operacionais de um exame (as respostas são registradas, mas não contribuem para as pontuações dos participantes), chamados de "teste piloto", "pré-teste" ou "semeadura" . Isso apresenta questões logísticas, éticas e de segurança. Por exemplo, é impossível realizar um teste adaptativo operacional com itens inéditos e inéditos; todos os itens devem ser pré-testados com uma amostra grande o suficiente para obter estatísticas estáveis ​​de itens. Pode ser necessário que essa amostra tenha até 1.000 examinandos. Cada programa deve decidir qual porcentagem do teste pode ser razoavelmente composta de itens de teste piloto não pontuados.

Embora os testes adaptativos tenham algoritmos de controle de exposição para evitar o uso excessivo de alguns itens, a exposição condicionada à capacidade muitas vezes não é controlada e pode facilmente se tornar próxima de 1. Ou seja, é comum que alguns itens se tornem muito comuns em testes para pessoas de a mesma habilidade. Esta é uma preocupação séria de segurança porque os grupos que compartilham itens podem muito bem ter um nível de habilidade funcional semelhante. Na verdade, um exame completamente aleatório é o mais seguro (mas também o menos eficiente).

A revisão de itens anteriores geralmente não é permitida. Os testes adaptativos tendem a administrar itens mais fáceis depois que uma pessoa responde incorretamente. Supostamente, um candidato astuto poderia usar essas pistas para detectar respostas incorretas e corrigi-las. Ou os participantes do teste podem ser treinados para escolher deliberadamente as respostas erradas, o que torna o teste cada vez mais fácil. Depois de enganar o teste adaptativo para construir um exame extremamente fácil, eles poderiam revisar os itens e respondê-los corretamente - possivelmente alcançando uma pontuação muito alta. Os participantes do teste freqüentemente reclamam da incapacidade de revisar.

Por causa da sofisticação, o desenvolvimento de um CAT possui vários pré-requisitos. Os grandes tamanhos de amostra (normalmente centenas de examinandos) exigidos pelas calibrações IRT devem estar presentes. Os itens devem ser pontuados em tempo real se um novo item for selecionado instantaneamente. Psicometristas experientes com calibrações IRT e pesquisa de simulação CAT são necessários para fornecer documentação de validade. Finalmente, um sistema de software capaz de verdadeira CAT baseado em IRT deve estar disponível.

Em um CAT com um limite de tempo, é impossível para o examinando calcular com precisão o tempo que pode gastar em cada item de teste e determinar se eles estão no ritmo para concluir uma seção de teste cronometrada. Os participantes do teste podem, portanto, ser penalizados por gastar muito tempo em uma questão difícil apresentada no início de uma seção e, em seguida, deixar de responder a perguntas suficientes para avaliar com precisão sua proficiência em áreas que não foram testadas quando o tempo expirou. Enquanto os CATs não cronometrados são ferramentas excelentes para avaliações formativas que orientam a instrução subsequente, os CATs cronometrados são inadequados para avaliações sumativas de alto risco usadas para medir a aptidão para empregos e programas educacionais.

Componentes

Existem cinco componentes técnicos na construção de um CAT (o seguinte foi adaptado de Weiss & Kingsbury, 1984). Esta lista não inclui questões práticas, como pré-teste de item ou liberação de campo ao vivo.

  1. Conjunto de itens calibrados
  2. Ponto de partida ou nível de entrada
  3. Algoritmo de seleção de item
  4. Procedimento de pontuação
  5. Critério de rescisão

Conjunto de itens calibrados

Um pool de itens deve estar disponível para o CAT escolher. Esses itens podem ser criados da maneira tradicional (ou seja, manualmente) ou por meio da Geração automática de itens . A piscina deve ser calibrada com um modelo psicométrico, que é usado como base para os quatro componentes restantes. Normalmente, a teoria da resposta ao item é empregada como modelo psicométrico. Uma razão pela qual a teoria da resposta ao item é popular é porque ela coloca pessoas e itens na mesma métrica (denotada pela letra grega theta), o que é útil para problemas na seleção de itens (veja abaixo).

Ponto de partida

No CAT, os itens são selecionados com base no desempenho do examinando até um determinado ponto do teste. No entanto, o CAT obviamente não é capaz de fazer qualquer estimativa específica da habilidade do examinando quando nenhum item foi administrado. Portanto, alguma outra estimativa inicial da habilidade do examinado é necessária. Se alguma informação anterior a respeito do examinado for conhecida, ela pode ser usada, mas freqüentemente o CAT apenas assume que o examinado é de habilidade média - portanto, o primeiro item geralmente é de dificuldade média.

Algoritmo de seleção de item

Conforme mencionado anteriormente, a teoria de resposta ao item coloca examinando e itens na mesma métrica. Portanto, se o CAT tem uma estimativa da habilidade do examinado, é capaz de selecionar um item que seja mais apropriado para essa estimativa. Tecnicamente, isso é feito selecionando o item com a maior informação naquele ponto. A informação é função do parâmetro de discriminação do item, bem como da variância condicional e do parâmetro de pseudo-avaliação (se usado).

Procedimento de pontuação

Depois que um item é administrado, o CAT atualiza sua estimativa do nível de habilidade do examinando. Se o examinando respondeu o item corretamente, o CAT provavelmente estimará sua habilidade como um pouco mais alta e vice-versa. Isso é feito usando a função de resposta ao item da teoria de resposta ao item para obter uma função de verossimilhança da habilidade do examinando. Dois métodos para isso são chamados de estimativa de máxima verossimilhança e estimativa Bayesiana . Este último assume uma distribuição a priori da habilidade do examinando e tem dois estimadores comumente usados: expectativa a posteriori e máximo a posteriori . A probabilidade máxima é equivalente a uma estimativa máxima de Bayes a posteriori se um uniforme (f (x) = 1) anterior for assumido. A probabilidade máxima é assintoticamente não enviesada, mas não pode fornecer uma estimativa teta para um vetor de resposta não misto (todos corretos ou incorretos), caso em que um método bayesiano pode ter que ser usado temporariamente.

Critério de rescisão

O algoritmo CAT é projetado para administrar itens repetidamente e atualizar a estimativa da habilidade do examinando. Isso continuará até que o pool de itens se esgote, a menos que um critério de rescisão seja incorporado ao CAT. Freqüentemente, o teste é encerrado quando o erro padrão de medição do examinado cai abaixo de um determinado valor especificado pelo usuário, portanto, a afirmação acima de que uma vantagem é que as pontuações do examinado serão uniformemente precisas ou "equiprecisas". Existem outros critérios de rescisão para diferentes propósitos do teste, como se o teste é projetado apenas para determinar se o examinando deve "Passar" ou "Reprovar" no teste, em vez de obter uma estimativa precisa de sua capacidade.

Outros problemas

Aprovado

Em muitas situações, o objetivo do teste é classificar os examinandos em duas ou mais categorias mutuamente exclusivas e exaustivas . Isso inclui o "teste de domínio" comum em que as duas classificações são "aprovado" e "reprovado", mas também inclui situações em que há três ou mais classificações, como os níveis de conhecimento "Insuficiente", "Básico" e "Avançado" ou competência. O tipo de CAT "adaptável em nível de item" descrito neste artigo é mais apropriado para testes que não são "passa / falha" ou para testes de aprovação / reprovação em que fornecer um bom feedback é extremamente importante. Algumas modificações são necessárias para um CAT aprovado / reprovado, também conhecido como teste de classificação computadorizado (CCT) . Para os examinandos com pontuações verdadeiras muito próximas da pontuação para aprovação, os testes de classificação computadorizados resultarão em testes longos, enquanto aqueles com pontuações verdadeiras muito acima ou abaixo da pontuação para aprovação terão os exames mais curtos.

Por exemplo, um novo critério de rescisão e algoritmo de pontuação deve ser aplicado para classificar o examinando em uma categoria, em vez de fornecer uma estimativa pontual de habilidade. Existem duas metodologias principais disponíveis para isso. O mais proeminente dos dois é o teste de razão de probabilidade sequencial (SPRT). Isso formula o problema de classificação do examinado como um teste de hipótese de que a habilidade do examinado é igual a algum ponto especificado acima da pontuação do corte ou a outro ponto especificado abaixo da pontuação do corte. Observe que esta é uma formulação de hipótese pontual, em vez de uma formulação de hipótese composta que é conceitualmente mais apropriada. Uma formulação de hipótese composta seria que a habilidade do examinado está na região acima do ponto do corte ou na região abaixo do ponto do corte.

Uma abordagem de intervalo de confiança também é usada, onde após cada item ser administrado, o algoritmo determina a probabilidade de que a pontuação verdadeira do examinando esteja acima ou abaixo da pontuação de aprovação. Por exemplo, o algoritmo pode continuar até que o intervalo de confiança de 95% para a pontuação verdadeira não contenha mais a pontuação de aprovação. Nesse ponto, nenhum item adicional é necessário porque a decisão de aprovação / reprovação já é 95% precisa, assumindo que os modelos psicométricos subjacentes ao teste adaptativo se ajustam ao examinando e ao teste. Essa abordagem foi originalmente chamada de "teste de domínio adaptativo", mas pode ser aplicada a situações de seleção e classificação de itens não adaptativos de dois ou mais cutscores (o teste de domínio típico tem um único cutscores).

Na prática, o algoritmo é geralmente programado para ter um comprimento de teste mínimo e máximo (ou um tempo de administração mínimo e máximo). Caso contrário, seria possível para um examinado com habilidade muito próxima ao corte central administrar todos os itens no banco sem que o algoritmo tomasse uma decisão.

O algoritmo de seleção de itens utilizado depende do critério de encerramento. A maximização das informações na pontuação de corte é mais apropriada para o SPRT porque maximiza a diferença nas probabilidades usadas na razão de verossimilhança . A maximização das informações na estimativa da capacidade é mais apropriada para a abordagem do intervalo de confiança porque minimiza o erro padrão condicional de medição, o que diminui a largura do intervalo de confiança necessário para fazer uma classificação.

Restrições práticas de adaptabilidade

A pesquisadora do ETS , Martha Stocking, brincou que a maioria dos testes adaptativos são, na verdade, apenas testes adaptativos (BATs) porque, na prática, muitas restrições são impostas à escolha do item. Por exemplo, os exames CAT geralmente devem atender às especificações de conteúdo; um exame verbal pode precisar ser composto por um número igual de analogias, tipos de itens de preenchimento de lacunas e sinônimos. Os CATs normalmente têm alguma forma de restrição de exposição de itens, para evitar que os itens mais informativos sejam superexpostos. Além disso, em alguns testes, é feita uma tentativa de equilibrar as características superficiais dos itens, como gênero das pessoas nos itens ou as etnias implícitas em seus nomes. Assim, os exames CAT são frequentemente restringidos quanto aos itens que podem escolher e, para alguns exames, as restrições podem ser substanciais e exigir estratégias de pesquisa complexas (por exemplo, programação linear ) para encontrar itens adequados.

Um método simples para controlar a exposição do item é o "randomesco" ou método de estratos. Em vez de selecionar o item mais informativo em cada ponto do teste, o algoritmo seleciona aleatoriamente o próximo item entre os próximos cinco ou dez itens mais informativos. Isso pode ser usado durante todo o teste ou apenas no início. Outro método é o método Sympson-Hetter, no qual um número aleatório é extraído de U (0,1) e comparado a um parâmetro k i determinado para cada item pelo usuário de teste. Se o número aleatório for maior que k i , o próximo item mais informativo é considerado.

Wim van der Linden e seus colegas desenvolveram uma abordagem alternativa chamada teste de sombra, que envolve a criação de testes de sombra inteiros como parte da seleção de itens. A seleção de itens de testes de sombra ajuda os testes adaptativos a atender aos critérios de seleção, concentrando-se nas escolhas globalmente ideais (em oposição às escolhas que são ótimas para um determinado item ).

Multidimensional

Dado um conjunto de itens, um teste adaptativo computacional multidimensional (MCAT) seleciona esses itens do banco de acordo com as habilidades estimadas do aluno, resultando em um teste individualizado. Os MCATs buscam maximizar a acurácia do teste, com base em múltiplas habilidades de exame simultâneas (ao contrário de um teste adaptativo por computador - CAT - que avalia uma única habilidade) usando a sequência de itens respondidos anteriormente (Piton-Gonçalves e Aluisio, 2012).

Veja também

Referências

Fontes adicionais

Leitura adicional

links externos