Meça o que importa: Bright L&D Future

Você está fazendo a diferença? Medir o que importa

Você pode saber uma versão desta antiga história:

É meia -noite em uma rua tranquila, e uma figura solitária um tanto embriagada se agacha sob um bolo de rua, dando um tapinha na lajedo. Um viajante pergunta o que está fazendo. “Procurando a chave da minha porta”, ele suspira. O viajante se junta à procura por alguns minutos infrutíferos antes de perguntar: “Você tem certeza de que perdeu sua chave cá?” O varão balança a cabeça: “Não, eu a perdi no parque”. Intrigado, o ajudante responde: “Logo por que estamos pesquisando cá?” O varão gesticula para a piscina da luz lançada pela lâmpada, “porque a iluminação é muito melhor cá”.

Podemos rir do sem razão, mas esse efeito clássico da luz de rua (também publicado porquê pesquisa de bêbado) ilustra um viés humano generalidade: tendemos a procurar respostas onde é fácil pesquisar, não necessariamente onde está a verdade (1).

Efeito da luz da rua de L&D

No mundo da aprendizagem e desenvolvimento (L&D), geralmente atuamos em nossa própria versão desta história. Diante da pergunta assustadora: “Nós realmente fizemos a diferença?”, Muitos profissionais de L&D se vêem vasculhando as áreas muito iluminadas de seus dados: relatórios do Sistema de Gerenciamento de Aprendizagem (LMS), taxas de peroração de cursos e pesquisas de smile-folhas. Não porque é aí que o impacto é, mas simplesmente porque essas métricas estão prontamente à mão.

As verdadeiras “chaves” para o impacto do desempenho podem estar no escuro, espalhadas nos painéis de desempenho no trabalho, números de vendas ou notas de satisfação do cliente, mas essas áreas são mais difíceis de iluminar. Logo, sob a proverbial luz da rua, ficamos, gerando relatórios sobre itens porquê participação e pontuações pós-treinamento. Parece seguro e satisfatório. Oriente é o efeito da luz da rua na mensuração de L&D: medimos o que é fácil, não necessariamente o que importa.

O efeito da luz da rua em L&D: medindo o que é fácil, não o que é importante

O hábito de “pesquisar onde está a luz está” explica muitas armadilhas na mensuração de L&D. Considere porquê o sucesso do treinamento é frequentemente relatado:

“Tivemos 500 pessoas participando do workshop, e 95% delas disseram que recomendariam!” ou “Nosso LMS mostra 1200 conclusões do curso neste trimestre! O tempo totalidade de treinamento entregue por nossa equipe é de 600 horas”.

Essas métricas de vaidade brilham intensamente. Eles são fáceis de reunir (o LMS rastreia as conclusões maquinalmente e quem não nutriz uma boa pesquisa pós-treinamento que nos faz sentir apreciados?). Mas eles realmente nos dizem se os funcionários melhoraram suas habilidades ou se os negócios se beneficiaram? Os negócios interpretam suas 600 horas gastas no treinamento porquê valor entregue (em oposição ao investimento)? Freqüentemente, a resposta é não.

Um estudo descobriu que as empresas “dependem muito de métricas básicas, porquê taxas de peroração e folhas de sorriso” (3). Esses são exatamente o tipo de coisa sob a luz da rua L&D: são visíveis e simples de medir. É automatizado, profíquo e reconfortante – assim porquê o fulgor daquele pântano.

A novidade pesquisa da Association for Talent Development descobriu que somente 43% dos profissionais de desenvolvimento de talentos dizem que seus objetivos de negócios e aprendizagem estão alinhados. (n = 277) (4)

Se não estamos alinhados ou não temos certeza se estamos alinhados, estamos analisando o que importa?

O que não estamos olhando?

Uma das minhas perguntas favoritas ao investigar os problemas ou oportunidades de negócios: “Ok, o que não estamos olhando?”

Sim, fazer perguntas e desacelerar o processo pode ser dispendioso. Mas, portanto, pode incumbir somente em pontos de dados convenientes. A conveniência tem um dispêndio! Ao se concentrar em métricas fáceis sob a luz da rua, as organizações geralmente perdem a história real escondida em becos sombrios. Porquê disse um relatório, as empresas acabam assumindo que, se os alunos concluíram o treinamento e dão um polegar-se, o treinamento deve ser eficiente. É uma “suposição perigosa” de que a peroração é igual ao sucesso (3).

Na verdade, a peroração e a satisfação não garantem o aprendizagem, a mudança de comportamento ou os resultados. Um funcionário pode dar a 5 estrelas do curso porque foi risonho, mas não mudar zero sobre seu trabalho no dia seguinte. Uma equipe pode inferir 100% de peroração de treinamento obrigatório, mas você não vê melhorias nos incidentes de segurança relacionados ou nos números de vendas. Sob a aconchegante luz das taxas de peroração e médias da pesquisa, essas falhas em impulsionar mudanças reais permanecem nas sombras.

Não sou somente eu, portanto?

Não, você não está sozinho. Trabalhei em organizações maiores e menores em centenas de projetos ao longo de 25 anos: vi os mesmos padrões. Mensuração e avaliação geralmente ficando presas nas pesquisas “Nível 1” ou nas verificações de conhecimento. Eu não sou o único a manifestar isso. De conformidade com pesquisas do setor, a maioria das organizações lida para medir um impacto mais profundo. Por exemplo, 43% das empresas dizem que não fazem mensuração de nível 4 (3), referindo -se ao nível 4 de Kirkpatrick (resultados, o impacto nos negócios).

Por que nos mantivemos na luz: barreiras a medições significativas

Você sabe o que achei fascinante em todos esses estudos (incluindo minha própria experiência)? As equipes de L&D sabiam em teoria que deveriam medir o que importa. Eles sabiam o que era importante, o que importava. Logo por quê? Por que não medi -lo?

Se a mensuração do impacto real é tão importante, por que mais equipes de L&D não estão fazendo isso? Não é porque os profissionais de L&D são preguiçosos ou não se importam. De roupa, 91% das empresas acreditam que devem medir o impacto do aprendizagem além do obrigatório (somente 9% disseram que não há urgência de avaliação de nível superior) (3). A intenção está lá. O problema é que várias barreiras com raízes profundas mantêm a L&D presa na zona muito iluminada:

“Não sabemos por onde debutar.”
Mandar porquê medir a mudança de comportamento ou os resultados dos negócios pode ser esmagador. Muitas equipes não têm um roteiro simples. É revelador que um dos principais desafios relatados é simplesmente saber porquê ou por onde debutar com o planejamento de medidas (2). É muito mais fácil padrão para a rotina familiar de coleta de feedback do curso e pontuações de teste do que se aventurar em território analítico ignoto. Não há problema em debutar onde você está! A iteração e o progresso levam você mais longe do que esperar que as condições perfeitas iniciem.
Falta de chegada e integração de dados
Chegar a essas “áreas escuras” (porquê métricas de desempenho no trabalho ou KPIs de negócios) geralmente significa extrair dados de fora do silo L&D. Isso pode exigir explorar sistemas de vendas, dados de garantia de qualidade ou revisões de desempenho de RH. Para muitas equipes de L&D, isso é mais fácil manifestar do que o feito – os dados residem em diferentes sistemas, de propriedade de outros departamentos, e podem não ser facilmente compartilháveis. Não é de surpreender que “acessar os dados necessários” seja citado porquê uma barreira persistente à mensuração de aprendizagem (2). As regras de segurança de dados e privacidade também podem apresentar desafios devido ao potencial uso indevido de informações. Se você não conseguir obter os dados, digamos, as taxas de erro ou a satisfação do cliente pós-treinamento, será forçado a incumbir no que pode obter (estatísticas e pesquisas LMS).
Falta de alinhamento de negócios e adesão às partes interessadas
Medir o verdadeiro impacto geralmente requer cooperação em todos os negócios. Você pode precisar dos gerentes para observar e relatar alterações de comportamento ou executivos para priorizar os esforços de mensuração. Mas as partes interessadas convincentes de que medidas profundas vale o esforço podem ser difíceis. Muitas partes interessadas ficam satisfeitas desde que os funcionários verifiquem a caixa de treinamento. De roupa, obter a adesão de que a mensuração deve ser uma prioridade é outro duelo líder (2). Sem o base da liderança, a L&D pode não ter tempo ou recursos para perseguir essas métricas significativas escondidas no escuro. Nessa nota, pare e dê um passo para trás: que mais valor você poderia trazer para a tábua para ajudar suas partes interessadas a tomar decisões orientadas a dados? Pense nos dados não somente porquê uma “prova de impacto” em retrospecto, mas com informações acionáveis que podem fornecer valor para que os negócios agam proativamente! E se você pudesse manifestar a X% dos participantes precisará de mais suporte na transição?
Habilidades e crédito na estudo
Vamos ser sinceros: nem todo profissional de L&D é comentador de dados, nem precisa de um doutorado em estatísticas para ser eficiente. No entanto, as equipes de L&D de hoje devem usar vários chapéus. Projetar e fornecer aprendizagem é um conjunto de habilidades; Medir seu impacto nos negócios é outro. Muitos departamentos de P&D simplesmente não têm recursos fortes na estudo de dados ou técnicas de mensuração experimental. Eles podem não ter as ferramentas ou conhecimentos para executar avaliações robustas (por exemplo, conectando coortes de treinamento a grupos de controle, fazendo comparações estatísticas etc.). A falta de alfabetização de dados compartilhados, baixa crédito com grande vazio de habilidades pode contribuir para a vacilação – é mais seguro produzir um relatório obrigatório (número de horas de treinamento entregues – verifique!) Do que tentar uma estudo complexa que pode estar além da zona de conforto da equipe.
A dificuldade da mudança de comportamento
Mesmo com os dados e habilidades certos, o comportamento humano é multíplice. Pode ser difícil isolar o efeito de um programa de treinamento em ações no trabalho e medir o que importa. A mudança de comportamento geralmente se desenrola ao longo do tempo e pode ser influenciada por muitos fatores além do treinamento (suporte ao gerente, envolvente de trabalho, incentivos, motivação pessoal e assim por diante). Medir isso pode exigir reparo, avaliações de seguimento ou conexão a métricas de desempenho que flutuam por razões além do treinamento. Não é tão direto quanto qualificar um teste. Porquê é multíplice e às vezes lento para mudar, muitas organizações evitam a mudança de mudança de comportamento. No entanto, sem mudança de comportamento, realmente fizemos alguma diferença?

Essas barreiras explicam por que a mensuração de L&D tende a pairar à luz do que é fácil. Mas permanecer lá tem consequências. Quando deixamos de medir de maneira significativa, corremos o risco de voar cego. À medida que um comentador brincava, ao não estabelecer as métricas de resultados previamente, as organizações acabam “em um ciclo metódico de publicar teor e esperar o melhor” (3).

Aliás, a incapacidade de medir o impacto foi citada por 69% das empresas porquê o principal duelo para inferir resultados críticos de aprendizagem (3).

Em outras palavras, não medir o impacto não é somente um problema de mensuração; É um problema de negócios. Isso significa que a L&D não pode provar alinhamento com objetivos estratégicos e, portanto, não pode provar (ou melhorar) seu valor para a organização.

Porquê evoluir daqui? Medir o que importa

Nos próximos artigos desta série, exploraremos porquê passar da profíquo iluminação da rua para a trevas desconhecida, a término de ressaltar onde está o impacto real e medir o que importa. Vamos explorar porquê escolher seu protótipo de mensuração e avaliação e o que está lá fora além do publicado Kirkpatrick One. Por término, investigaremos porquê a IA pode ser usada porquê multiplicador de força, dimensionando o número restringido de holofotes que sua equipe pode mourejar com milhares e milhares em graduação.