Cal Fire lançou um chatbot da AI. Não pergunte sobre ordens de evacuação

Da mesma forma, quando perguntado sobre as vagas atuais na dependência, o chatbot disse que não havia nenhum. Uma pesquisa no sítio de trabalho do estado mostrou duas posições na Cal Fire aceitando pedidos na estação.

Mila Gascó-Hernandez é diretora de pesquisa da Universidade do Núcleo de Tecnologia de Albany no governo e estudou uma vez que os órgãos públicos usam chatbots movidos a IA. Dois fatores -chave que ela usa para determinar esses chatbots são a precisão das informações que eles fornecem e com que consistência eles respondem às mesmas perguntas, mesmo que a pergunta seja feita de maneiras diferentes.

“Se um incêndio está chegando e você precisa saber uma vez que reagir a ele, você precisa de precisão e consistência na resposta”, disse ela. “Você não vai pensar em ‘Qual é a boa maneira de perguntar ao chatbot?'”

Atualmente, o chatbot não pode fornecer informações sobre ordens de evacuação associadas a incêndios. Quando perguntado quem emite ordens de evacuação, às vezes dizia corretamente a emprego da lei, enquanto outras vezes dizia que não sabia. Sanchez, de Cal Fire, disse que é razoável esperar que o chatbot possa responder a perguntas sobre evacuações.

Se não houver ordens de evacuação para um incêndio em pessoal, ele disse: “A resposta deve ter ‘não parece ter nenhuma evacuação associada a esse incidente’.”

Sanchez disse que ele e sua equipe de muro de quatro pessoas testaram o chatbot antes de trespassar enviando perguntas que esperavam que o público fizesse. Atualmente, a Cal Fire está fazendo melhorias nas respostas do bot, vasculhando as consultas que as pessoas fazem e garantindo que o chatbot superça corretamente a resposta necessária.

Quando Calmatters perguntou ao bot: “Com o que você pode me ajudar?” No início de maio, respondeu: “Desculpe, não tenho a resposta para essa pergunta agora” e perguntou se a Calmatters tinha perguntas sobre informações sobre o site de bombeiros. Em meados de junho, essa resposta foi atualizada para poder “fornecer respostas a perguntas relacionadas às informações localizadas nesta página, uma vez que detalhes sobre incêndios atuais, classificações de ofício de bombeiros, requisitos de fiscalização e vários programas de Cal Fire”.

“A grande mensagem que queremos transmitir”, disse Sanchez, “é paciente”.

Mas especialistas disseram que o processo de chutar os pneus em um chatbot deve suceder muito antes do início das compras.

O processo preposto, disse o HO de Stanford, é estabelecer critérios para o desempenho do chatbot antes que um fornecedor seja selecionado; portanto, existem benchmarks claros para determinar a instrumento. Idealmente, esses benchmarks são criados por terceiros independentes. Também deve ter uma avaliação dos benefícios e riscos antes que o chatbot seja lançado.

E em um cenário de melhor caso, o público estaria envolvido antes do lançamento, disse Gascó-Hernandez de Albany. As agências interessadas em usar os chatbots devem identificar as perguntas que o público provavelmente solicitará à instrumento de IA com antecedência, prometer que elas sejam representativas da população esperada que a dependência atende e refine o chatbot, fazendo com que os membros do Público Pilotem o sistema para prometer que ele forneça o tipo de informação que eles buscam.

“Essas experiências de envolvimento e usuário são muito importantes, logo o cidadão acaba usando o chatbot”, disse ela.