Pular para o conteúdo
Home » Pesquisadores tentam usar chatbots de IA para conduzir entrevistas para estudos de ciências sociais

Pesquisadores tentam usar chatbots de IA para conduzir entrevistas para estudos de ciências sociais

[ad_1]

À medida que as eleições legislativas em França se aproximavam neste verão, uma equipa de investigação decidiu contactar centenas de cidadãos para entrevistá-los sobre as suas opiniões sobre questões fundamentais. Mas o entrevistador que fez as perguntas não era um pesquisador humano – era um chatbot de IA.

Para preparar o ChatGPT para assumir essa função, os pesquisadores começaram solicitando que o bot de IA se comportasse da mesma forma que observou os professores se comunicando em seus dados de treinamento. O prompt específico, de contrato com um item publicado pelos pesquisadoresfoi: “Você é professor em uma das principais universidades de pesquisa do mundo, especializado em métodos de pesquisa qualitativa com foco na realização de entrevistas. A seguir, você conduzirá uma entrevista com um entrevistado humano para desenredar as motivações e o raciocínio do participante em relação à sua escolha de voto durante as eleições legislativas de 30 de junho de 2024, na França, poucos dias posteriormente a entrevista.”

Enquanto isso, os seres humanos foram informados de que um chatbot faria a entrevista on-line, e não uma pessoa, e foram identificados para participar usando um sistema chamado Prolific, que é comumente usado por pesquisadores para encontrar participantes da pesquisa.

Secção da questão de pesquisa do projeto era se os participantes estariam dispostos a compartilhar suas opiniões com um bot e se o ChatGPT permaneceria no tópico e, muito, agiria de maneira profissional o suficiente para solicitar respostas úteis.

O entrevistador do chatbot faz secção de um experimento realizado por dois professores da London School of Economics, que argumentam que a IA pode mudar o jogo quando se trata de medir a opinião pública em diversos campos.

“Isso poderia realmente estugar o ritmo da pesquisa”, diz Xavier Jaravel, um dos professores que lideram o experimento. Ele observou que a IA já está sendo usada nas ciências físicas para automatizar partes do processo experimental. Por exemplo, o Prémio Nobel da Química deste ano foi para estudiosos que usaram IA para prever dobras de proteínas.

E Jaravel espera que os entrevistadores de IA possam permitir que mais investigadores em mais áreas obtenham amostras das opiniões do público do que é viável e rentável com entrevistadores humanos. Isso poderia ultimar causando grandes mudanças para professores de todo o país, acrescentando amostras da opinião pública e da experiência uma vez que secção do manual para muito mais acadêmicos.

Mas outros investigadores questionam se os bots de IA deveriam substituir os investigadores na tarefa profundamente humana de determinar as opiniões e sentimentos das pessoas.

“É uma perspectiva muito quantitativa pensar que somente ter mais participantes melhora involuntariamente o estudo – e isso não é necessariamente verdade”, diz Andrew Gillen, professor assistente no programa de engenharia do primeiro ano da Northeastern University. Ele argumenta que, em muitos casos, “entrevistas aprofundadas com um grupo seleto são geralmente mais significativas” – e que deveriam ser feitas por humanos.

Sem julgamento

Na experiência com eleitores franceses, e num outro experiência que utilizou a abordagem para perguntar sobre o que dá sentido à vida, muitos participantes afirmaram, numa avaliação pós-inquérito, que preferiam o chatbot quando se tratava de partilhar as suas opiniões sobre temas altamente pessoais.

“Metade dos entrevistados disse que preferiria fazer a entrevista novamente, ou fazer uma entrevista semelhante novamente, com uma IA”, diz Jaravel. “E a razão é que eles sentem que a IA é uma entidade que não faz julgamentos. Que eles pudessem compartilhar livremente seus pensamentos e não seriam julgados. E eles pensaram que com um humano, eles se sentiriam potencialmente julgados.”

Murado de 15 por cento dos participantes disseram que prefeririam um entrevistador humano e muro de 35 por cento disseram que eram indiferentes ao chatbot ou aos humanos.

Os pesquisadores também forneceram transcrições das entrevistas do chatbot a sociólogos treinados para verificar a qualidade das entrevistas, e os especialistas determinaram que o entrevistador de IA era comparável a um “entrevistador perito humano médio”, diz Jaravel. UM item sobre seu estudo salienta, no entanto, que “as entrevistas conduzidas por IA nunca correspondem aos melhores especialistas humanos”.

Os pesquisadores estão encorajados com as descobertas e divulgaram sua plataforma de entrevistas gratuito para qualquer outro pesquisador testar.

Jaravel concorda que as entrevistas aprofundadas, mais típicas da pesquisa etnográfica, são muito superiores a qualquer coisa que o seu sistema de chatbot possa fazer. Mas ele argumenta que o entrevistador do chatbot pode recolher informações muito mais ricas do que o tipo de inquéritos estáticos online que são típicos quando os investigadores pretendem obter amostras de grandes populações. “Portanto, acreditamos que o que podemos fazer com a utensílio cá é realmente continuar nesse tipo de pesquisa, porque é provável obter muito mais detalhes”, disse ele ao EdSurge.

Gillen, pesquisador da Northeastern, argumenta que há um pouco importante que nenhum chatbot nunca será capaz de fazer e que é importante mesmo ao comandar pesquisas – um pouco que ele chamou de “posicionalidade.” O chatbot de IA não tem zero em jogo e não consegue entender o que ou por que está fazendo perguntas, e isso por si só mudará as respostas, argumenta ele. “Você está mudando a mediação ao fazer com que ela seja um bot e não uma pessoa”, acrescenta.

Gillen diz que certa vez, quando estava passando pelo processo de entrevista para se candidatar a um tarefa docente, uma faculdade pediu-lhe que gravasse em vídeo as respostas a uma série de perguntas definidas, no que foi chamado de “entrevista unilateral”. E ele diz que achou o formato alienante.

“Tecnicamente é o mesmo” que responder a perguntas numa chamada Zoom com humanos, diz ele, “e ainda assim foi muito pior”. Embora essa experiência não envolvesse IA, ele diz que imagina que um chatbot que o entrevistasse teria parecido também impessoal.

Trazendo vozes

Para Jaravel, porém, a esperança é que a abordagem possa ajudar campos que atualmente não pedem contribuições públicas a começarem a fazê-lo.

“Em economia, raramente falamos com as pessoas”, diz ele, observando que os investigadores da dimensão recorrem mais frequentemente a grandes conjuntos de dados de indicadores económicos uma vez que a principal natividade de investigação.

O próximo passo dos pesquisadores é tentar aditar recursos de voz à sua plataforma, para que o bot possa fazer as perguntas verbalmente, em vez de por chat de texto.

Portanto, o que revelou a pesquisa envolvendo eleitores franceses?

Com base em entrevistas via chatbot com 422 eleitores franceses, os investigadores descobriram que os participantes se concentraram em questões muito diferentes, dependendo da sua inclinação política. “Os entrevistados da esquerda são movidos pelo libido de reduzir a desigualdade e promover a transição virente através de várias políticas”, concluíram os investigadores no seu item. “Em contraste, os entrevistados no meio destacam a valia de prometer a perpetuidade das políticas em curso e a segurança económica, ou seja, preservar a agenda e o legado do Presidente. Finalmente, os eleitores da extrema direita destacam a imigração (77 por cento), a instabilidade e o delito (47 por cento) e as políticas que favorecem os cidadãos franceses em detrimento dos estrangeiros (30 por cento) uma vez que as principais razões para o seu base.”

Os investigadores argumentam que as descobertas “lançam uma novidade luz sobre estas questões, ilustrando que a nossa utensílio simples pode ser implementada muito rapidamente para investigar mudanças no envolvente político em tempo real”.

[ad_2]

Source link

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *