Desde o lançamento do ChatGPT em 2022, os instrutores se preocuparam com a forma porquê os alunos podem contornar o estágio, utilizando o bot de bate -papo para concluir a prelecção de vivenda e outras tarefas. Ao longo dos anos, o grande padrão de linguagem permitiu à IA expandir seu banco de dados e sua capacidade de responder a perguntas mais complexas, mas pode substituir completamente os esforços de um aluno?
Estudantes de pós-graduação da Universidade de Illinois no College of Engineering de Urbana-Champaign integraram um grande padrão de linguagem em um curso de engenharia aeroespacial de graduação Para determinar seu desempenho em confrontação com o trabalho médio do aluno.
Os pesquisadores, Gokul Puthumanaillam e Melkior Ornik, descobriram que o ChatGPT ganhou uma nota de aprovação no curso sem muita engenharia rápida, mas o bot de bate-papo não demonstrou entendimento ou compreensão de conceitos de basta nível. O trabalho deles ilustrando suas capacidades e limitações foi publicado Na plataforma de entrada desimpedido Arxiv, operado pela Cornell Tech.
O projecto de fundo: Os LLMs podem enfrentar uma variedade de tarefas, incluindo escrita criativa e estudo técnica, provocando preocupações sobre os alunos ‘ Integridade acadêmica no ensino superior.
Um número significativo de estudantes admitem Usando perceptibilidade sintético generativa para complete suas tarefas de curso (e professores Admita usar a IA generativa para dar feedbackAssim, Crie materiais do curso e trabalho acadêmico de classificação). De conformidade com uma pesquisa de 2024 de Wiley, a maioria dos estudantes diz que se tornou mais fácil de trapaceargraças à AI.
Os pesquisadores procuraram entender porquê um aluno que investia um esforço mínimo seria executado em um curso, descarregando o trabalho para conversar.
A classe avaliada, sistemas de controle aeroespacial, oferecida no outono de 2024, é um curso necessário para estudantes de engenharia aeroespacial. Durante o período, os alunos enviam aproximadamente 115 entregas, incluindo problemas de vivenda, dois exames intermediários e três projetos de programação.
“A estrutura do curso enfatiza a complicação progressiva, tanto na compreensão teórica quanto na emprego prática”, escreveram os autores de pesquisa em seu cláusula.
Eles copiaram e colaram perguntas ou enviaram capturas de tela de perguntas em uma versão gratuita do bot de bate -papo sem orientação suplementar, imitando um aluno que está investindo um tempo mínimo em seus cursos.
Os resultados: No final do período, o ChatGPT alcançou um intensidade B (82,2 %), ligeiramente aquém da média da classe de 85 %. Mas não se destacou em todos os tipos de tarefas.
Em problemas práticos, o LLM ganhou uma média de 90,4 % (em confrontação com a média da classe de 91,4 %), realizando o melhor em perguntas de múltipla escolha. O ChatGPT recebeu uma média de fiscalização mais subida (89,7 %) em confrontação com a classe (84,8 %), mas vacilou muito mais nas seções escritas do que nos componentes autogrogados.
O ChatGPT demonstrou seu pior desempenho em projetos de programação. Embora tivesse um bom raciocínio matemático para questões teóricas, a explicação do padrão era rígida e semelhante a modelos, não se adaptando às nuances específicas do problema, escreveram os pesquisadores. Ele também criou soluções ineficientes ou excessivamente complexas para a programação, sem “a otimização e a robustez das considerações que caracterizam os envios de estudantes de subida qualidade”, de conformidade com o cláusula.
As descobertas demonstram que a IA é capaz de passar em um curso rigoroso de graduação, mas que os sistemas LLM só podem realizar o reconhecimento de padrões, em vez de uma profunda compreensão. Os resultados também indicaram aos pesquisadores que os cursos muito projetados podem determinar as capacidades dos alunos em engenharia.
E daí? Com base em suas descobertas, os pesquisadores recomendam que os membros do corpo docente integram o trabalho do projeto e os desafios de design desimpedido para determinar os recursos e as capacidades técnicas dos alunos, particularmente na sintetização de informações e nos julgamentos práticos.
Na mesma risco, eles sugeriram que o corpo docente projetasse perguntas que avaliam a experiência humana, exigindo que os alunos expliquem sua lógica ou justifiquem sua resposta, em vez de somente chegar à resposta correta.
O ChatGPT também não conseguiu compreender a integração, a robustez e a otimização da implementação básica, portanto, o foco nesses requisitos forneceria melhores métricas de avaliação.
Os pesquisadores também observaram que, porquê o ChatGPT é capaz de responder a problemas práticos, a instrução deve se concentrar menos no trabalho técnico de rotina e mais sobre conceitos de engenharia de nível superior e habilidades de solução de problemas. “O repto adiante não reside na prevenção do uso de IA, mas no desenvolvimento de abordagens educacionais que alavancam essas ferramentas, continuando a cultivar conhecimentos de engenharia genuínos”, escreveram os pesquisadores.
