O SAT está para os testes padronizados assim uma vez que o disquete está para o armazenamento de dados.
Os fornecedores de alguns dos testes padronizados mais populares estão repensando suas ofertas à medida que novas ferramentas de IA desafiam as técnicas tradicionais para desenredar o que os alunos sabem – e permitem novas maneiras de infligir e pontuar testes.
Por exemplo, o ETS, um dos maiores e mais antigos intervenientes em testes padronizados, está a afastar-se dos exames tradicionais de recepção à faculdade, uma vez que o SAT, para se concentrar em novas abordagens para medir as competências e a persistência dos alunos.
Tem sido um período de turbulência para os testes acadêmicos em universal e para a organização sem fins lucrativos ETS, de 75 anos, em pessoal. Durante a pandemia, preocupações com a justiça e acessibilidade levaram pelo menos 1.600 faculdades a fazer testes de recepção uma vez que o SAT opcionalpelo menos temporariamente. Portanto, no início deste ano, o ETS disse que não administrará mais o SAT para o Juízo da Faculdade. Uma porta-voz do College Board, Holly Stepp, diz que uma vez que o grupo mudou totalmente para um formato do dedo, “agora desenvolvemos e administramos as avaliações relacionadas ao SAT e PSAT diretamente”.
A ETS lançou um esforço de reformulação da marca em abril para se concentrar no que chamou de “soluções de talentos”, em vez de somente testes acadêmicos. E reduziu o tamanho para se reajustar – ofereceu aquisições no início deste ano a um grande número de seus funcionários, depois de demitindo 6% de seu pessoal em setembro pretérito.
“As avaliações que o ETS fornecerá no porvir serão mais comportamentais do que cognitivas”, afirma Kara McWilliams, vice-presidente de inovação e desenvolvimento de produtos do ETS. “O que isso significa é que vamos gerar experiências que nos permitam medir o comportamento de um usuário, e não qual é a resposta à pergunta”, acrescenta. “Portanto, queremos ver coisas uma vez que perseverança. E quando pensamos em uma vez que construímos essas experiências (de avaliação), estamos criando estímulos dentro delas (para que) possamos entender coisas uma vez que: ‘Você pediu uma dica? Você entrou em contato com um companheiro? Você pediu mais tempo? Portanto, quais são os comportamentos que você está usando para chegar à resposta? Realmente não nos importamos qual seja a resposta, mas uma vez que você chegou lá?
Um exemplo desse trabalho é que o novo foco do grupo é a sua Habilidades para o Horizonte iniciativa, um esforço conjunto com a Instauração Carnegie para o Progressão do Ensino para reimaginar avaliações.
O objetivo do esforço é deixar de exigir que os alunos parem tudo e se sentem em uma sala para responder perguntas por algumas horas, diz Timothy Knowles, presidente da Carnegie Foundation. Em vez disso, diz ele, o grupo está a testar a utilização de dados que as escolas têm sobre os seus alunos – incluindo de atividades extracurriculares, uma vez que desportos, clubes e estágios – para medir e escoltar o progresso em competências, incluindo notícia, colaboração e pensamento crítico.
“A teoria é edificar um sistema de insights que seja útil para crianças, famílias e educadores”, diz ele. “Assim, eles entenderiam onde as pessoas estão no roda de desenvolvimento em termos de desenvolvimento dessas habilidades que sabemos que são preditivas de sucesso. Portanto, estamos descobrindo maneiras de visualizar isso de uma forma que não seja punitiva ou problemática para as crianças.”
As escolas e os sistemas escolares já possuem dados valiosos dos quais não utilizam muito, diz ele. A questão, diz ele, é “é verosímil olhar para esses dados de diferentes maneiras e extrapolar a partir deles até que ponto um jovem está a desenvolver certas competências?”
O esforço fez parceria com líderes educacionais em cinco estados – Indiana, Nevada, Carolina do Setentrião, Rhode Island e Wisconsin – para ajudar a testar a abordagem a partir de janeiro, diz Knowles. Funcionários da ETS e da Instauração Carnegie dizem que usarão novas formas de IA para fazer coisas uma vez que revisar e marcar trabalhos de alunos existentes, estudar dados educacionais estaduais e realizar avaliações interativas – embora nem todos esses usos estejam prontos até janeiro.
Os especialistas pedem cautela, no entanto, principalmente quando a IA é usada na estudo de dados e na construção de questões de teste.
“Ainda temos muito que aprender sobre se os preconceitos estão incluídos no uso da IA”, diz Nicol Turner Lee, diretor do Meio de Inovação Tecnológica da Brookings Institution. “A IA é tão boa quanto os dados de formação, e se os dados de formação ainda forem direcionados para alunos mais privilegiados que têm muito mais recursos do que os de escolas desfavorecidas, isso terá um impacto negativo sobre eles.”
Ela aponta para uma polêmica testar em 2020durante o auge da pandemia, quando muitas escolas tiveram que fechar e funcionar remotamente. Porquê muitos alunos não puderam fazer o inspecção presencial de final de ano oferecido pela International Baccalaureate Organization, o grupo decidiu edificar um protótipo para prever quais teriam sido as notas dos alunos com base em dados históricos.
“Eles desenvolveram um algoritmo que essencialmente previa quais escolas teriam maior verosimilhança de graduados com qualidade de diploma”, diz ela.
Milhares de estudantes queixaram-se das pontuações obtidas e alguns governos lançaram investigações formais. “O algoritmo em si não levou em consideração a localização da escola e os recursos das escolas”, diz Turner Lee.
O pesquisador diz que funcionários do ETS trouxe ela para falar num evento recente, onde partilhou a sua perspectiva e preocupações sobre a abordagem da utilização da IA em testes e avaliações.
“Pense em uma vez que trabalhamos arduamente para resolver a desigualdade nos testes padronizados”, diz ela. “Você deve ser cordato ao apostar tudo porque os próprios conjuntos de dados que estão treinando a IA têm maior verosimilhança de serem historicamente tendenciosos.”
Outros provedores de testes estão experimentando o uso de IA para gerar novos tipos de perguntas de teste.
A edição do próximo ano do inspecção do Programa para Avaliação Internacional de Alunos, ou PISA – um teste internacional que mede a alfabetização em leitura, matemática e ciências de jovens de 15 anos – deverá incluir novos tipos de “tarefas de desempenho”Projetado para ver uma vez que os alunos abordam um problema e qual será pontuado pela IA.
McWilliams, da ETS, diz que teve uma “mudança de mentalidade” no ano pretérito sobre uma vez que ela pensa sobre IA em testes.
Enquanto no ano pretérito seu foco estava no uso de IA para ajudar a gerar questões tradicionais de múltipla escolha, agora, diz ela, “o que estou realmente focada agora é na geração dinâmica de teor em tempo real. E não para questões de múltipla escolha, mas para tarefas mais experienciais que permitem aos indivíduos provar o que sabem e podem fazer de forma mais significativa.”
Um exemplo é uma novidade utensílio de IA chamada Authentic Interview Prep, que usa IA para ajudar as pessoas a aprimorar suas habilidades em entrevistas de trabalho.
“Muitas pessoas ficam nervosas quando fazem entrevistas”, diz ela. “E portanto o que estamos tentando fazer é gerar experiências que permitam às pessoas entender uma vez que realizar entrevistas de forma mais significativa. E a IA faz coisas uma vez que me dar feedback sobre o tom da minha voz, a velocidade da minha fala ou o contato visual com você. E portanto, na hora, ele me dará uma sensação tátil no meu relógio e dirá: ‘Kara, acalme-se. Você está falando rápido demais. Ou ‘Faça melhor contato visual’”.
É simples que esse tipo de teste não visa entrar na faculdade ou pós-graduação. É um tipo de mensuração dissemelhante do SAT – que ela diz que ainda terá qualquer papel no porvir próximo: “O que estou pensando agora é: ‘Qual é o teor que queremos gerar para ajudar as pessoas com as experiências que elas’ Você está se envolvendo diariamente?’”