Jeremy Price estava curioso para ver se os novos chatbots de IA, incluindo o ChatGPT, são tendenciosos em relação a questões de raça e classe. Logo ele planejou um experimento incomum para deslindar.
Price, que é professor associado de tecnologia, inovação e pedagogia em ensino urbana na Universidade de Indiana, foi a três grandes chatbots – ChatGPT, Claude e Google Bard (agora chamado Gemini) – e pediu-lhes que lhe contassem uma história sobre duas pessoas. saber e aprender uns com os outros, com detalhes uma vez que nomes das pessoas e envolvente. Em seguida, ele compartilhou as histórias com especialistas em raça e classe e pediu-lhes que as codificassem em procura de sinais de preconceito.
Ele esperava encontrar alguns, uma vez que os chatbots são treinados em grandes volumes de dados extraídos da Internet, refletindo a demografia da nossa sociedade.
“Os dados que alimentam o chatbot e a forma uma vez que a sociedade diz que a aprendizagem deve ser, parecem muito brancos”, diz ele. “É um espelho da nossa sociedade.”
Sua teoria maior, porém, é testar a construção de ferramentas e estratégias para ajudar a orientar esses chatbots para reduzir preconceitos baseados em raça, classe e gênero. Uma possibilidade, diz ele, é desenvolver um chatbot suplementar que analise uma resposta, digamos, do ChatGPT, antes de ser enviada a um usuário para reconsiderar se contém preconceito.
“Você pode colocar outro agente em seu ombro”, diz ele, “para que, enquanto ele gera o texto, ele interrompa o protótipo de linguagem e diga: ‘OK, espere um segundo. O que você está prestes a vulgarizar é tendencioso? Será profícuo e útil para as pessoas com quem você está conversando?’ E se a resposta for sim, logo continuará a divulgá-lo. Se a resposta for não, logo será necessário retrabalhá-lo para que isso aconteça.”
Ele espera que essas ferramentas possam ajudar as pessoas a se tornarem mais conscientes dos seus próprios preconceitos e a tentar neutralizá-los.
E sem tais intervenções, ele teme que a IA possa substanciar ou mesmo exacerbar os problemas.
“Devemos continuar a usar IA generativa”, argumenta. “Mas temos que ser muito cuidadosos e conscientes à medida que avançamos com isso.”
Ouça a história completa do trabalho de Price e suas descobertas no cláusula desta semana Podcast EdSurge.
Ouça o incidente em Spotify, Podcasts da Appleou no player aquém.
