As ferramentas de IA supera os resultados da pesquisa com muito mais frequência do que os seres humanos, com um estudo sugerindo que os bots mais novos são os piores criminosos – particularmente quando são especificamente instruídos a não exagerar.
Pesquisadores holandeses e britânicos descobriram que os resumos de IA dos artigos científicos são muito mais propensos do que os autores originais ou revisores especializados de “generalizar demais” os resultados.
A estudo, relatado no quotidiano Royal Society Open Sciencesugere que os resumos de IA – de maneira mais importante para ajudar a espalhar o conhecimento científico, reformando -o em “linguagem facilmente compreensível” – tendo ignorar “incertezas, limitações e nuances” na pesquisa “omitindo qualificadores” e “simplificando demais” o texto.
Isso é particularmente “aventuroso” quando aplicado à pesquisa médica, alerta o relatório. “Se os chatbots produzem resumos que ignoram os qualificadores (sobre) a generalização dos resultados dos ensaios clínicos, os profissionais que dependem desses chatbots podem prescrever tratamentos inseguros ou inadequados”.
A equipe analisou quase 5.000 resumos de IA de 200 resumos de periódicos e 100 artigos completos. Os tópicos variaram da influência da cafeína nos batimentos cardíacos irregulares e nos benefícios da cirurgia bariátrica na redução do risco de cancro para os impactos da desinformação e das comunicações do governo no comportamento dos residentes e nas crenças das pessoas sobre a mudança climática.
Resumos produzidos por aplicativos de IA mais antigos – porquê Openai GPT-4 e o Llama 2 da Meta, ambos lançados em 2023 – forneceu tapume de 2,6 vezes mais provável que os resumos originais de moderar conclusões generalizadas.
A verosimilhança de generalização aumentou para nove vezes em resumos por ChatGPT -4O, que foi lançado em maio pretérito e 39 vezes em sinopses pelo LLAMA 3.3, que surgiu em dezembro.
As instruções para “manter -se fiéis ao material de origem” e “não introduzirem nenhuma imprecisão” produziram o efeito oposto, com os resumos provando duas vezes mais chances de moderar conclusões generalizadas do que as geradas quando os bots foram simplesmente solicitados a “fornecer um resumo das principais descobertas”.
Isso sugeriu que a IA generativa pode ser vulnerável a efeitos de “rebote irônico”, onde as instruções não pensam em um pouco – por exemplo, “um elefante rosa” – provocou maquinalmente imagens do tema proibido.
Os aplicativos de IA também pareciam propensos a falhas porquê “esquecimento catastrófico”, onde novas informações desalojaram conhecimentos ou habilidades adquiridas anteriormente e “crédito injustificada”, onde “fluidez” preferiu a precedência sobre “cautela e precisão”.
O ajuste fino dos bots pode exacerbar esses problemas, especulam os autores. Quando os aplicativos de IA são “otimizados para obter ajuda”, eles se tornam menos inclinados a “expressar incerteza sobre questões além de seu conhecimento paramétrico”. Uma instrumento que “fornece uma resposta altamente precisa, mas complexa … pode receber classificações mais baixas de avaliadores humanos”, explica o cláusula.
Um resumo citado no cláusula reinterpretou a invenção de que um medicamento para diabetes era “melhor que o placebo” porquê um endosso da opção “tratamento eficiente e seguro”. “Tais … generalizações genéricas poderiam enganar os profissionais a usar intervenções inseguras”, diz o cláusula.
Oferece cinco estratégias para “mitigar os riscos” das generalizações excessivas nos resumos de IA. Eles incluem o uso da família de bots Claude da empresa de AI, que foram encontrados para produzir os resumos “mais fiéis”.
Outra recomendação é diminuir a formato de “temperatura” do bot. A temperatura é um parâmetro ajustável que controla a aleatoriedade do texto gerado.
Uwe Peters, professor assistente de filosofia teórica em Universidade de Utrecht E o comparte do relatório disse que as generalizações “ocorreram com frequência e sistematicamente”.
Ele disse que as descobertas significavam que havia o risco de que mesmo mudanças sutis nas descobertas da IA pudessem “enganar os usuários e ampliar a desinformação, principalmente quando os resultados parecem polidos e confiáveis”.
As empresas de tecnologia devem calcular seus modelos para tais tendências, acrescentaram e compartilhá -las claramente. Para as universidades, mostrou uma “premência urgente de alfabetização de IA mais potente” entre funcionários e estudantes.
