Classificação de estrelas ou pontuação de satisfação: o que o número significa?
História fictícia. Imagine que você está executando um serviço de transporte para indivíduos com deficiência, para que eles possam voltar e voltar dos lugares que precisam para viver vidas significativas. Oriente é um serviço compartilhado com assentos limitados e um conjunto restringido de motoristas. Você ainda tem um aplicativo para os usuários agendarem e monitorarem passeios. Você é orientado a dados; portanto, depois cada passeio, o aplicativo leva os usuários a qualificar seus drivers em uma graduação de classificação de uma a cinco estrelas com base em sua pontuação de satisfação. Você constrói um quadro e monitora isso com o tempo. A média sai para 4,67. Inicialmente, você definiu uma meta universal de 4,3 uma vez que um mínimo e 4,6 uma vez que uma meta de estiramento. Você vence seu gol! Yay. Simples: tudo está funcionando muito porque a pontuação de 4,67 de satisfação é muito boa, visível? Claro?
Depende
Muito, “o diabo está nos detalhes”, uma vez que dizem alguns … os humanos são complexos. Duas pessoas podem olhar para a mesma pergunta, o mesmo contexto, o mesmo tudo, e ainda assim chegar a uma tradução dissemelhante. Sem mencionar a perceptibilidade sintético (AI). Os ingredientes estão todos lá. No entanto, um pouco está desligado …
Portanto, 4,67 é a pontuação de satisfação? Aqueles que trabalham comigo em dados (mormente pesquisas e avaliações) provavelmente já estão ouvindo a resposta:
Depende de uma vez que você interpreta o resultado e do que está planejando fazer sobre isso.
Se você não planeja tomar nenhuma ação, é um resultado muito bom. Mas portanto por que estamos coletando os dados em primeiro lugar?
O que significa classificação de 4,67 estrelas?
Vamos torcer para que você não esteja planejando ações com base em uma única métrica (muito menos em uma média que você criou magicamente com as estrelas), mas assuma que esse número significa muito para sua organização. Vejamos os profissionais da abordagem de uma única pergunta primeiro:
- Você se importa.
Você mostra que se preocupa com os clientes e garante que todos os motoristas se comportem de pacto com os padrões estritos que você definiu. - Você coleta dados.
Sua coleta de dados é escalável, consistente e “confiável” enquanto o aplicativo funcionar. - Você não sobrecarrega os clientes com longas pesquisas.
Única pergunta. Sempre o mesmo, sempre no final, ao mesmo tempo, logo depois o término de um passeio. A consistência é fundamental. - Você monitora seus dados.
Não exclusivamente uma vez que uma única métrica, mas tende ao longo do tempo. Bom primórdio! - Você segmentando seus dados.
Por veículo, por rota, por motorista, etc., e você tem um projecto proativo de agir imediatamente se um pouco suceder. Ainda muito que você tem uma estratégia de dados. - Você planeja tomar decisões e agir nos resultados.
Você não tem idéia de quantos painéis morrem a longo prazo sem nenhuma decisão significativa tomada com base neles.
O que pode dar incorrecto com essa abordagem?
Ah, os detalhes … antes de entrarmos nos detalhes, vamos iniciar com um experimento. Onde quer que você esteja, lendo leste item, agora: diga a termo “muito” em voz subida. Simplesmente diga a termo. Espero que você não tenha causado alguma preocupação. Agora, imagine os seguintes cenários em que a resposta é a mesma termo “muito”. Você não precisa expressar isso em voz subida, a menos que realmente queira entreter as pessoas ao seu volta.
a) Cenário da mãe entediada
Depois de três ligações perdidas de sua mãe, você finalmente pega o telefone só para expressar a ela que está ocupada quando ela pergunta: “Porquê você está?” – Multar.
b) Cenário de susto do gerente
Seu gerente pede que você entre no escritório deles (ou uma rápida chamada virtual individual) inesperadamente e coloca a pergunta na frente: “Porquê você está?” – Multar (?)
c) Sua chamada é importante para o cenário dos EUA
Posteriormente 3 transferências e 45 minutos em espera com o atendimento ao cliente, o quarto agente do departamento finalmente atende a chamada. Com exaltação repleto, o agente abre o Convo: “Porquê você está?” – Multar!
Material de contexto e percepção
O que esse experimento tem a ver com pesquisas de satisfação? O contexto e a percepção são importantes! Quem faz a pergunta, quando eles fazem a pergunta, uma vez que eles fazem a pergunta, com que frequência eles fazem a pergunta … todos os detalhes são importantes.
Sua resposta pode ser a mesma, mas o que você quer expressar com isso pode não. Quando você está em uma conversa direta com alguém, eles podem ler seu tom, sua linguagem corporal etc. Mas, enviar uma pergunta de pesquisa é dissemelhante. Você está perdendo o contexto. Tem certeza de que está medindo o que está medindo? Tem certeza de que seus dados são confiáveis? Tem certeza de que suas “insights” estão corretas? Bamm, é muito a considerar!
Em meus workshops de alfabetização de dados, refiro -me a esses problemas em potencial coletivamente uma vez que Bamm (vieses, suposições, mitos e conceitos errôneos).
Cá estão alguns dos detalhes sobre o que pode dar incorrecto de ponta a ponta quando você é Bamm’ed:
- Falta de contexto
Você tem uma agenda e um objetivo em mente. No entanto, levaria muito tempo para explicar o contexto, portanto você exclusivamente o resume em uma pergunta. Todo o contexto permanece na sua cabeça. No papel, é uma única frase, para a tradução. - Viés de seleção
Você precisa sentenciar sobre seu público. Todos? Toda vez? Modelo? Anônimo, pseudo-anônimo, rastreando IDs de usuário? Isso traz privacidade e segurança de dados no mix. - Conceitos errôneos e interpretações errôneas
Você precisa portanto sentenciar as palavras exatas que você está usando. Todo. Solteiro. Termo. Assuntos. (Você já tentou obter um consenso sobre uma pergunta simples de pesquisa em marketing, permitido, resultado, RH, etc.?) - Classificação de dados conceitos errôneos
Você precisa sentenciar que tipo de dados está coletando. O tipo de pergunta que você fará determinará o tipo de dados (não entra na classificação de dados cá, mas você deve). Verdadeiro ou falso? Likert Scale? Slider? Selecionar único? Multi-Select? Matriz? Texto cândido? Combinação? - Tempo da pesquisa
Finalmente, você pousa em uma pergunta e o tipo. Quem vai conseguir essa pergunta? Quando? Porquê? - Problemas de validade
Em nossa história, eles decidem incluir a pergunta no aplicativo, logo depois o término de um passeio, concentrando -se no motorista. Os dados podem ser válidos para um propósito, mas não para outro. Por exemplo, não há problema em usar cartas de disco para ter uma conversa sobre preferências, mas não deve ser usado para colocar pessoas em empregos. - Tradução e contexto
O cliente recebe a pergunta. Lembra do experimento “fino”? O contexto em que o cliente responde à pergunta é importante, mas você não saberá zero, porque tudo o que você recebe é o número de estrelas. As estrelas podem conquistar emoções não relacionadas ao que você está realmente pedindo. - Preconceitos
Fatores conscientes e inconscientes podem interferir na maneira uma vez que os clientes respondem. Por exemplo, as rações da estrada são muitas vezes reações impulsivas a experiências passadas. - Perguntas carregadas
Todo. Termo. Assuntos. Para perguntas carregadas, você recebe respostas carregadas. Por exemplo, redigir a pergunta com palavras positivas, uma vez que “Conte -nos sobre o quão bom nosso representante de atendimento ao cliente …” pode influenciar a resposta. - Anfibologia
O que é uma estrela vs. duas partidas? O cliente seleciona o número de estrelas. Em sua mente, há um contexto associado a cada estrela. Um é um showstopper e requer mediação imediata. Cinco é uma ótima experiência. Muito, novamente, está em sua mente. Eu conheço pessoas que nunca dão um ou cinco. Eles o reservam para eventos extremos. - Manipulação de dados
Você recebe os dados. No entanto, não estamos mais falando de estrelas. Você transforma as classificações de cinco estrelas em números, assumindo uma graduação suave de um a cinco. É realmente o mesmo para chegar de três a quatro para chegar de quatro a cinco? Tecnicamente, você acabou de introduzir um erro de arredondamento. Se você tratar seus dados uma vez que um pausa contínuo de um a cinco, mas não permitir que os clientes selecionem nenhum número, estará arredondando os resultados deles em números inteiros. - Usando valores arredondados
Você calcula a média. O arredondamento é bom, mas você deve ter zelo usando valores arredondados para outros cálculos. Basicamente, você força os clientes a selecionar um número inteiro, mas depois afirma que os segundos dígitos são significativos na média? Aliás, vai ser a média? Mediana? Você vai olhar para a distribuição? Outliers? Forma de seus dados? Ou exclusivamente o número simples e simples.
E a lista pode continuar …
Que outros vieses podem interferir?
Seu aplicativo faz a questão da pontuação de satisfação no final do passeio. Isso potencialmente pode levar ao viés de sobrevivência, porque você só receberá feedback quando houve um passeio. Que tal cancelamentos? Você não gostaria de saber uma vez que seus clientes estão satisfeitos quando eles tiveram que cancelar uma carona?
Geralmente, as pessoas tendem a enviar respostas mais positivas nos escores de satisfação do que na veras. Isso pode ser uma combinação de fatores. Expectativas sociais, querendo manter o serviço porque não há selecção, selecionando a resposta que eles acham que é esperado versus uma vez que se sentem etc. Se você tiver várias perguntas, a ordem das perguntas pode interferir. A primeira resposta pode “ancorar” o resto. A ordem das opções também pode ser problemática. Existem maneiras de mitigar vieses, mas exclusivamente se você estiver cônscio de sua existência potencial e tiver um projecto com antecedência.
Porquê você poderia melhorar sua pergunta para mitigar vieses?
Uma abordagem é fornecer um texto cândido condicional quando a resposta não é preferida. Se você fizer isso com uma única pergunta, ele pode ajudar os clientes a expandir sua seleção, exclusivamente verifique se é opcional. Agora você tem dados quantitativos e qualitativos para trabalhar. É mais sutil.
Mas, se você tiver várias perguntas usando o mesmo método dentro de uma pesquisa, ele poderá ser percebido uma vez que irritante potencialmente porque está estendendo o tempo da pesquisa. As pessoas já não gostam de pesquisas, portanto, quando percebem você “trapaceando” por toda secção, isso pode permanecer mal-parecido.
Termo final sobre o 4.67
De volta à nossa história. Interpretar 4.67 uma vez que a pontuação universal da satisfação com o passeio pode ser enganosa. Sempre certifique -se de medir o que você pretendia medir e fornece informações acionáveis para a finalidade para a qual foi criado. Se você perguntar sobre o driver, os dados são sobre o driver e não sobre a própria unidade. Pessoalmente, para aprender pesquisas, descobri que o uso da abordagem de Will Thalheimer pode fornecer dados mais acionáveis e significativos mitigando muitos desses fatores mencionados supra (1).
Referências:
(1) Pesquisas para o aluno e eficiência do estágio com Will Thalheimer
Publicado originalmente em
www.linkedin.com
