Mensuração de L&D: das luzes da rua aos holofotes

Encontre seus holofotes de mensuração de L&D: comece com o objetivo de negócios

No item anterior desta série, exploramos o efeito Streetlight através da antiga história de um bêbado procurando sua chave sob a luz da rua, em vez de onde ele a perdeu. A mensuração de L&D geralmente luta com seu próprio efeito de luz da rua: medindo onde eles podem, em vez de onde deveriam.

É importante ter em mente que medimos e avaliamos o aprendizagem por diferentes razões. Você pode fazer uma melhoria contínua de seus programas, provar a conformidade ou medir o efeito (incluindo ROI). Saiba o seu motivo primeiro antes de encetar a medir!

Logo, porquê escapamos do mandinga da luz da rua em L&D? O primeiro passo é mudar onde começamos nossa pesquisa. Em vez de projetar um treinamento e depois perguntar: “Ok, porquê medimos seu impacto?”, Vire o roteiro: comece com o término em mente. Identifique qual resultado mercantil você está tentando perceber e deixe isso impulsionar o design de treinamento e o projecto de mensuração.

Construindo uma estratégia de dados para trás

Debutar com o objetivo dos negócios e trabalhar para trás pode parecer óbvio para alguns, mas representa uma grande mudança. Surpreendentemente, menos de 4% das empresas dizem que projetam programas de aprendizagem com base em métricas específicas e definidas previamente (1). Os 96%restantes? Muitos criam programas com base nas necessidades ou solicitações percebidas, entregam o treinamento e só logo pensam em avaliação (se é que existe). Ao não assar a mensuração na tempo de design, as equipes de L&D “não têm porquê medir seus esforços além do essencial”, daí a subordinação excessiva dessas métricas fáceis de pós-hoc (1).

Debutar com o objetivo de negócios significa esclarecer porquê é o sucesso em termos organizacionais. Por exemplo, se a empresa pretende reduzir os incidentes de segurança em 20%, essa é a sua estrela do setentrião. Com isso em foco, você pode trabalhar para trás:

Quem pode reduzir os incidentes de segurança? Direta e indiretamente? (Pode ser necessário escolher seu público -alvo com o impacto mais significativo, porquê você não pode servir a todos.)
Quais comportamentos precisam mudar para atingir essa redução de 20%?
Quais funcionários (público) precisam adotar esses comportamentos?
O que está impedindo -os atualmente (lacunas de habilidade, conhecimento, motivação, questões de processo)?
Somente logo decida se o treinamento faz segmento da solução e, nesse caso, projete a mediação para atingir esses comportamentos.
Fundamentalmente, você também identifica os indicadores de desempenho -chave (KPIs) na frente – nesse caso, a taxa de incidentes de segurança – e planeja rastreá -lo. Sua abordagem de mensuração pode envolver a coleta de dados de segurança da risco de base e compará -los em seguida o treinamento (e talvez contra um grupo de controle ou uma risco de tendência) para ver se a agulha se movia. Você também pode planejar observações ou avaliações no trabalho para verificar se os funcionários seguem novos procedimentos de segurança (uma medida de comportamento direto).

Essa abordagem às vezes é chamada de “design procrastinado”. Garante que o treinamento não seja um tiro no escuro. De traje, pode revelar que o treinamento não é a solução certa. Talvez a justificação raiz do problema seja um processo quebrado, a falta de ferramentas adequadas ou um sistema de incentivo que recompensa os comportamentos errados. Nesses casos, a solução pode ser alguma coisa fora do treinamento tradicional (por exemplo, corrigindo o processo ou fornecendo auxílios ao trabalho). Ao encetar com a meta mercantil e uma estudo completa das necessidades, a P&D pode evitar desperdiçar esforços em programas de treinamento que iluminam a luz no lugar inverídico.

Alinhamento com o negócio

A novidade pesquisa da Association for Talent Development descobriu que unicamente 43% dos profissionais de desenvolvimento de talentos dizem que seus objetivos de negócios e aprendizagem estão alinhados (2).

Quando a L&D faz esse design desempenado aos negócios, a mensuração se torna muito mais direta. Você define metas claras (os KPIs ou mudanças de comportamento) e coleta dados sobre esses alvos. Você não está pesquisando sem rumo; Você tem um planta que aponta para o parque onde as chaves foram perdidas, mesmo que esteja escuro no primícias.

Com o tempo, essa prática também gera credibilidade. Os líderes empresariais veem a L&D com foco nos resultados com os quais os líderes se preocupam (por exemplo, incremento de vendas, melhoria da qualidade, redução de rotatividade) em vez de relatar quantos funcionários participaram de um curso ou viram um recurso. E quando um treinamento não atinge o resultado desejado, é uma oportunidade de aprender e ajustar, em vez de um motivo para se esconder detrás das métricas de vaidade.

A mensuração deve ser sobre aprender o que funciona e o que não funciona, não unicamente provando sucesso. Quando a L&D se concentra principalmente no que acontece em seguida qualquer evento de aprendizagem para prometer o resultado desejado, ele muda de um núcleo de custos sob o posto de rua para um parceiro estratégico que iluminou informações orientadas a dados que as empresas podem usar para tomar decisões.

Estruturas e modelos para orientar a mensuração de L&D: Kirkpatrick, ROI e LTEM

Felizmente, os profissionais de L&D não estão inteiramente navegando no escuro. Existem modelos e estruturas estabelecidas para avaliação do treinamento que agem porquê sinalizações (ou talvez diferentes tipos de lanternas) para orientar nossos esforços de mensuração (3). Três dos principais são os quatro níveis de Kirkpatrick, o padrão Phillips ROI e o padrão de avaliação de transferência de aprendizagem (LTEM). Cada um oferece uma lente sobre o que medir, e juntos eles nos empurram para ir além das métricas fáceis.

Os quatro níveis de avaliação de Kirkpatrick são os mais conhecidos e muito documentados, logo não vou gastar tempo cá. O duelo que vi com o padrão está na implementação prática no aprendizagem do sítio de trabalho: a P&D começa com a avaliação de nível 1 e geralmente fica presa lá. Mesmo ao chegar ao nível 2 (aprendizagem), a mensuração é frequentemente sobre recall de limitado prazo (ou pior, memorização mecânica durante um curso).

Jack Phillips, através do Instituto ROI, adicionou um ROI de nível 5: no topo do padrão de Kirkpatrick. O ROI (retorno do investimento) pergunta essencialmente: o treinamento vale a pena financeiramente? O padrão Phillips envolve o cômputo dos benefícios monetários do treinamento e compará -los com os custos, produzindo uma porcentagem ou proporção de ROI (4). Por exemplo, se um programa de desenvolvimento de liderança custar US $ 100.000 e levar sobre US $ 300.000 em melhoria de produtividade ou vendas, o ROI seria de 200%. Isso agrada aos executivos porque fala a linguagem das finanças.

O cômputo do ROI para cada projeto pode ser complicado e às vezes duvidoso: isolar o efeito do treinamento em termos de dólares envolve algumas suposições. Phillips defende técnicas porquê transformar métricas de melhoria em verba e até pedir aos participantes que estimassem quanta melhoria foi devido ao treinamento (e depois descontente o otimismo). O argumento mais importante para mim é que isso enfatiza que nos preocupamos com os resultados, não unicamente a atividade. O Instituto ROI agora também possui TDRP porquê um conjunto padrão de livraria de medições. Confira (5)!

Kirkpatrick e Phillips destacam um ponto -chave: a avaliação do treinamento não está concluída até que você analisasse o impacto no trabalho e na organização. Ou, em outra maneira, mudou o comportamento e isso importava para o negócio?

O padrão de avaliação de transferência de aprendizagem

Nos últimos cinco anos, tenho implementado um padrão mais recente, o padrão de avaliação de transferência de aprendizagem (6). O LTEM foi desenvolvido por Will Thalheimer porquê uma resposta às deficiências que viu nas práticas comuns de mensuração. É um padrão de oito camadas que se concentra explicitamente na transferência de aprendizagem, significando: as pessoas estão realmente usando o que aprenderam?

Os níveis mais baixos do LTEM (camadas 1 e 2) abrangem coisas porquê participação e participação: basicamente, as pessoas apareceram ou completaram a atividade de aprendizagem? Por exemplo, estamos medindo o engajamento (definido porquê foco estendido na tarefa) nos componentes do Nível 2 a 3: físico (o que eles fazem), emocional (porquê eles se sentem ou porquê se conectaram) e cognitivos (quanto são desafiados e refletem). O nível 3 é a percepção do aluno, assim porquê o nível 1 de Kirkpatrick, mas com o LTEM, implementamos um novo conjunto de perguntas que são focadas no desempenho e giram em torno dos fatores de comportamento (mojo: porquê na motivação, oportunidade, capacidades de trabalho e resultado).

Os níveis 4-6 examinam o que foi aprendido de uma maneira mais substantiva, desde a simples retenção de fatos até a prova de habilidades em cenários realistas (realização de tarefas). Ainda assim, eles são frequentemente medidos em um contexto de treinamento (testes, simulações) – importante, mas ainda não o mundo real. O nível 7 é onde a mágica acontece: mede a transferência de aprendizagem – estão os alunos que se apresentam corretamente no trabalho (7)?

A mudança de comportamento não acontece por casualidade

O LTEM Tier 7 corresponde à mudança de comportamento no trabalho, semelhante ao nível 3 de Kirkpatrick, mas com ênfase na avaliação diretamente do desempenho no envolvente de trabalho. Finalmente, o Tier 8 analisa os efeitos desse desempenho melhorado em resultados mais amplos – basicamente o impacto organizacional, semelhante ao nível 4 de Kirkpatrick (e até além, a efeitos sobre os colegas ou clientes).

Uma das razões pelas quais escolhemos o LTEM é sua visão diferenciada e mensagens sobre o que importa: ele destaca o traje de que o valor do treinamento vem do que acontece em seguida o treinamento. Juntamente com o design de trabalho mencionado anteriormente, leste padrão fornece orientação prática para todas as funções de P&D para fazer a diferença. Mais sobre isso no próximo item.

Isolando o impacto do treinamento: mensuração de L&D

Uma das principais barreiras mencionadas pela Pesquisa ATD é que os profissionais da L&D acham que é muito difícil isolar o impacto do treinamento. Concordo. Eles não estão errados. E é por isso que eu recomendo fortemente não unicamente medir, mas projetar qualquer soluções para trás: começando com a meta mercantil e o retorno desejado (ou quaisquer outros efeitos indiretamente relacionados às principais métricas), as metas de desempenho de base, o público que pode fazer isso ocorrer e depois aos comportamentos. Se não houver mudança de comportamento, não há impacto.

Independentemente do padrão de mensuração ou estrutura que você usa, a emprego da prisão atrasada da empresa facilitará a isolamento do impacto do aprendizagem. Mas e a falta de tempo, recursos e experiência para fazer isso em graduação? No próximo item, final, veremos porquê a IA pode ajudar e porquê diferentes funções de L&D podem se beneficiar.