Training Evaluation Strategy Design

O Slideshare usa cookies para melhorar a funcionalidade e o desempenho e fornecer publicidade relevante. Se você continuar navegando no site, você concorda com o uso de cookies neste site. Veja nosso Contrato de Usuário e Política de Privacidade. O Slideshare usa cookies para melhorar a funcionalidade e o desempenho e fornecer publicidade relevante. Se você continuar navegando no site, você concorda com o uso de cookies neste site. Consulte nossa Política de Privacidade e Contrato de Usuário para obter detalhes. Explore todos os seus tópicos favoritos no aplicativo SlideShare Obtenha o aplicativo SlideShare para Salvar para mais tarde, mesmo offline Continue para o site móvel Fazer upload Fazer login Fazer login duplo para diminuir o zoom Avaliação do Treinamento Compartilhe SlideShare LinkedIn Corporation 2016 Slideshare usa cookies para melhorar a funcionalidade e desempenho e Para lhe fornecer publicidade relevante. Se você continuar navegando no site, você concorda com o uso de cookies neste site. Veja nosso Contrato de Usuário e Política de Privacidade. O Slideshare usa cookies para melhorar a funcionalidade e o desempenho e fornecer publicidade relevante. Se você continuar navegando no site, você concorda com o uso de cookies neste site. Consulte nossa Política de Privacidade e Contrato de Usuário para obter detalhes. Explore todos os seus tópicos favoritos no aplicativo SlideShare Obtenha o aplicativo SlideShare para Salvar para mais tarde, até mesmo offline Continue para o site móvel Fazer o upload Login Fazer login Toque duas vezes para diminuir o zoom Avaliação do treinamento Compartilhe SlideShare Corporation 2016 Kirkpatrick s Four Level Evaluation Model Talvez o mais conhecido A metodologia de avaliação para julgar os processos de aprendizagem é o Modelo de Avaliação de Quatro Níveis de Donald Kirkpatrick que foi publicado pela primeira vez em uma série de artigos em 1959 no Journal of American Society of Training Directors. A série foi posteriormente compilada e publicada como um artigo, Técnicas para Avaliação de Programas de Treinamento. Em um livro editado por Kirkpatrick, Evaluating Training Programs (1975). No entanto, não foi até seu livro de 1994 foi publicado, Avaliação de Programas de Treinamento. Que os quatro níveis se tornaram populares. Hoje em dia, seus quatro níveis permanecem uma pedra angular na indústria de aprendizagem. Enquanto a maioria das pessoas se refere aos quatro critérios para avaliar os processos de aprendizagem como (Craig, 1996). As quatro etapas da avaliação consistem em: Etapa 1: Reação - Como os aprendizes gostaram do processo de aprendizagem Passo 2: Aprendizagem - O que eles aprenderam (até que ponto os aprendentes ganham conhecimento e habilidades)? Etapas 4: Resultados - Quais são os resultados tangíveis do processo de aprendizagem em termos de redução de custos, melhoria da qualidade, aumento da produção, eficiência, Etc. O conceito de Kirkpatrick é muito importante, uma vez que faz uma excelente ferramenta de planejamento, avaliação e perturbação, especialmente se fizermos algumas melhorias ligeiras como mostram abaixo Não apenas para Treinamento Embora alguns assumam equivocadamente que os quatro níveis são apenas para processos de treinamento , O modelo pode ser usado para outros processos de aprendizagem. Por exemplo, a profissão de Desenvolvimento de Recursos Humanos (DRH) está preocupada não só em ajudar a desenvolver a aprendizagem formal, como a formação, mas outras formas, como a aprendizagem informal, o desenvolvimento ea educação (Nadler, 1984). Seu manual, editado por um dos fundadores do HRD, Leonard Nadler (1984), usa os quatro níveis de Kirkpatrick como um de seus principais modelos de avaliação. O próprio Kirkpatrick escreveu, (Craig, 1996, p294). Melhorando os Quatro Níveis Por causa de sua idade e com todos os avanços da nova tecnologia, o modelo de Kirkpatrick é muitas vezes criticado por ser muito velho e simples. No entanto, quase cinco décadas após a sua introdução, não houve uma opção viável para substituí-lo. E eu acredito que a razão é porque Kirkpatrick basicamente o pregou, mas ele conseguiu algumas coisas erradas: motivação, não reação Quando um aluno passa por um processo de aprendizagem, como um curso de e-learning, episódio de aprendizagem informal ou usando Uma ajuda de desempenho profissional, o aluno tem de tomar uma decisão sobre se ele ou ela vai prestar atenção a ele. Se o objetivo ou tarefa é julgado como importante e factível, então o aluno é normalmente motivado a participar nele (Markus, Ruvolo, 1990). No entanto, se a tarefa é apresentada como de baixa relevância ou há uma baixa probabilidade de sucesso, então um efeito negativo é gerado ea motivação para engajamento de tarefas é baixa. Além disso, pesquisas sobre avaliações de reação geralmente mostram que não é uma medida válida para o sucesso (ver a última seção, Críticas). Isto difere de Kirkpatrick (1996) que escreveu que a reação era como os learners gostaram de um processo de aprendizagem particular. No entanto, quanto menos relevante for o pacote de aprendizagem para um aluno, mais esforço terá de ser colocado no desenho e na apresentação do pacote de aprendizagem. Ou seja, se não é relevante para o aluno, então o processo de aprendizagem tem de enganchar o aluno através de design liso, humor, jogos, etc Isso não quer dizer que o design, humor ou jogos não são importantes no entanto, o seu uso em Um processo de aprendizagem deve ser para promover ou ajudar o processo de aprendizagem, em vez de apenas torná-lo divertido. E se um pacote de aprendizagem é construído de propósito e design de som, então ele deve apoiar os alunos na eliminação de uma lacuna de desempenho. Portanto, eles devem ser motivados a aprender se não, algo terrivelmente deu errado durante os processos de planejamento e design Se você encontrar-se ter que ligar os alunos através de design liso, então você provavelmente precisará reavaliar o propósito de seus processos de aprendizagem. Performance, Not Behaviour Como Gilbert observou (1998), o desempenho é um objetivo melhor do que o comportamento porque o desempenho tem dois aspectos: o comportamento sendo o meio e sua conseqüência sendo o fim. E é o fim que estamos mais preocupados. Lançá-lo em um modelo melhor O modelo está de cabeça para baixo, pois coloca os dois itens mais importantes últimos resultados e comportamento, que imprime a importância da ordem na maioria das pessoas mente. Resultado - Que impacto (resultado ou resultado) vai melhorar o nosso negócio Desempenho - O que os funcionários têm que executar para criar o impacto desejado Aprendizagem - Que conhecimento, habilidades , E os recursos que eles precisam para executar (cursos ou salas de aula são a última resposta, consulte Selecionando a configuração instrucional) Motivação - O que eles precisam perceber, a fim de aprender e executar (Eles vêem uma necessidade para o desempenho desejado) O modelo revisto agora pode ser usado para planejamento (coluna da esquerda) e avaliação (coluna da direita). Além disso, ele ajuda o processo perturbador-tiro. Por exemplo, se você souber que os atores aprenderam suas habilidades, mas não as usam no ambiente de trabalho, então as duas áreas problemáticas mais prováveis ​​se tornam aparentes, já que normalmente estão na própria célula (neste exemplo, a célula Desempenho) ou a célula À esquerda: Existe um processo no ambiente de trabalho que impede os artistas de usar suas novas habilidades, ou a premissa inicial de que as habilidades selecionadas para o treinamento traria mudanças é errado. O diagrama abaixo mostra como os processos de avaliação se encaixam: Aprendizagem e ambiente de trabalho Como mostra o diagrama acima, a avaliação de resultados é do maior interesse para os líderes empresariais, enquanto as outras três avaliações (desempenho, aprendizado e motivação) são essenciais para Os designers de aprendizagem para o planejamento e avaliação de seus processos de aprendizagem, é claro, a avaliação de resultados também é importante para eles, uma vez que lhes dá uma meta para melhorar o negócio. Para obter mais informações, consulte Avaliações formativas e sumárias. Nível Quatro - Resultados Resultados ou Impacto mede a eficácia da iniciativa. Embora seja normalmente mais difícil e demorado de executar do que os outros três níveis, ele fornece informações que são de valor cada vez mais significativo, uma vez que prova o valor de um processo de aprendizagem e desempenho. No entanto, usando o modelo de Avaliação Revisada que é mostrado acima deve facilitar o processo, como você terá agora uma imagem clara do que você está tentando alcançar. Ou seja, quando você planeja algo então você mais prontamente entender como avaliá-lo. Motivação, Aprendizagem e Desempenho são, em geral, medidas suaves, no entanto, os decisores que aprovam tais processos de aprendizagem preferem resultados (retornos ou impactos). Jack Phillips (1996), que provavelmente conhece os quatro níveis de Kirkpatrick melhor do que qualquer outro, escreve que o valor da informação se torna maior à medida que passamos da motivação para os resultados. Isso não significa que os outros três níveis são inúteis, na verdade, seus benefícios são capazes de localizar problemas dentro do pacote de aprendizagem: A avaliação de motivação informa você como relevante o processo de aprendizagem é para os alunos (que mede como bem os processos de análise de aprendizagem trabalhou ). Você pode ter todos os outros níveis corretos, mas se os alunos não vêem uma finalidade para aprender e realizar, então eles provavelmente não irão realizá-lo. A avaliação de aprendizagem informa o grau de relevância que o processo de aprendizagem teve para transferir as novas habilidades para os alunos (mede o quão bem os processos de design e desenvolvimento funcionaram). A avaliação de desempenho informa o grau em que suas habilidades realmente transferidas para o seu trabalho (que mede como bem o processo de análise de desempenho trabalhou). A avaliação dos resultados informa o retorno que a organização recebe do apoio ao processo de aprendizagem. Os tomadores de decisão normalmente preferem esse resultado mais difícil, embora não necessariamente em dólares e centavos. Por exemplo, um estudo de executivos financeiros e de tecnologia da informação descobriu que eles consideram retornos duros e suaves quando se trata de tecnologias centradas no cliente, mas dão mais peso a métricas não-financeiras (soft), como a satisfação e lealdade do cliente (Hayes , 2003). Observe a diferença em enquanto a medição de resultados dá-lhe os retornos para investir no processo de aprendizagem, que principalmente diz respeito aos líderes empresariais. Essa medida de resultados de um processo de aprendizagem pode ser atendida com uma abordagem mais equilibrada ou um balanced scorecard (Kaplan, Norton, 2001), que analisa o impacto ou retorno de quatro perspectivas: Financeira: Uma medida, como um ROI, que mostra Um retorno monetário, ou o impacto em si, como a forma como a saída é afetada. Financeiro pode ser macio ou duro resultados. Cliente: Melhorar uma área em que a organização se diferencia dos concorrentes para atrair, reter e aprofundar os relacionamentos com seus clientes direcionados. Interno: Alcance a excelência melhorando processos como gerenciamento da cadeia de suprimentos, processo de produção ou processo de suporte. Inovação e Aprendizagem: Assegurar que o pacote de aprendizagem apoie um clima propício à mudança organizacional, à inovação e ao crescimento dos indivíduos. Avaliação do impacto Mostrar o impacto da aprendizagem é importante, pois permite ao cliente saber exatamente como o processo de aprendizagem trará resultados positivos para o negócio. No entanto, embora as unidades de negócios valorizem mais a ligação de negócios (impacto ou resultado) e avaliação (medição), os departamentos de aprendizagem freqüentemente gastam menos tempo e recursos nestas duas atividades: Nível Três - Desempenho Esta avaliação envolve o teste da Capacidade de executar habilidades aprendidas no trabalho. Estas avaliações podem ser realizadas formalmente (teste) ou informalmente (observação). Ele determina se o desempenho correto está agora ocorrendo respondendo à pergunta: É importante medir o desempenho, porque o objetivo primário da aprendizagem na organização é melhorar os resultados, fazendo com que as pessoas aprendam novas habilidades e conhecimentos e, em seguida, realmente aplicá-los ao trabalho . Uma vez que as medições de desempenho devem ter lugar quando eles estão fazendo seu trabalho, a medição envolverá tipicamente alguém envolvido de perto com o aluno, como um supervisor ou um observador treinado ou entrevistador. Nível Dois - Aprendizagem Esta é a medida em que os alunos melhoram o conhecimento, aumentam a habilidade e mudam atitudes como resultado da participação em um processo de aprendizagem. A avaliação de aprendizagem normalmente requer algum tipo de pós-teste para verificar quais habilidades foram aprendidas durante o processo e quais habilidades eles já tinham. A medição da aprendizagem que se realiza é importante para validar os objectivos de aprendizagem. Avaliar a aprendizagem que ocorreu normalmente se concentra em questões como: Que conhecimento foi adquirido Quais habilidades foram desenvolvidas ou aprimoradas Quais atitudes foram mudadas Avaliações de aprendizes são criadas para permitir que se faça um julgamento sobre a capacidade de desempenho do aluno. Existem duas partes para esse processo: a coleta de informações ou provas (testando o aluno) eo julgamento da informação (o que os dados representam). Esta avaliação não deve ser confundida com a avaliação. A avaliação é sobre os progressos e realizações dos alunos individuais, enquanto a avaliação é sobre o programa de aprendizagem como um todo (Tovey, 1997). Nível Um - Motivação A avaliação neste nível mede como os alunos percebem e reagem ao processo de aprendizagem e desempenho. Este nível é muitas vezes medido com questionários atitude que são passados ​​para fora após a maioria das aulas de treinamento. Os alunos geralmente estão conscientes do que precisam saber para realizar uma tarefa. Se o processo de aprendizagem não consegue satisfazer as suas necessidades, uma determinação deve ser feita sobre se é a culpa do projeto do processo de aprendizagem ou os alunos não percebem os verdadeiros benefícios do processo. Quando um processo de aprendizagem é apresentado pela primeira vez, em vez de ser eLearning, mLearning, treinamento em sala de aula, uma ajuda de desempenho profissional, ou através de uma ferramenta de mídia social, o aluno tem de tomar uma decisão sobre se ele ou ela vai prestar atenção a ele. Se o objetivo ou tarefa é julgado como importante e factível, então o aluno é normalmente motivado a participar nele (Markus, Ruvolo, 1990). No entanto, se a tarefa é apresentada como de baixa relevância ou há uma baixa probabilidade de sucesso, então um efeito negativo é gerado ea motivação para engajamento de tarefas é baixa. Crítica Existem três suposições problemáticas do modelo de Kirkpatrick: 1) os níveis não estão organizados em ordem ascendente, 2) os níveis não estão causalmente ligados e 3) os níveis são positivamente inter-correlacionados (Alliger e Janak, 1989). A única parte de Kirkpatrick s quatro níveis que não conseguiu manter a escrutínio ao longo do tempo é Reação. Por exemplo, um formador do Century 21 com algumas das pontuações mais baixas do Nível um foi responsável pelos resultados de desempenho mais altos pós-treinamento (nível quatro), conforme medido pela produtividade de seus graduados. Este não é apenas um incidente isolado no estudo após estudo a evidência mostra muito pouca correlação entre as avaliações de Reação e como as pessoas realmente executar quando eles retornam ao seu trabalho (Boehle, 2006). Em vez de medir a reação, o que estamos descobrindo agora é que devemos pre-enquadrar os alunos fazendo com que seus gerentes ou líderes informais discutam a importância de participar de um processo de aprendizado (ramping) e depois segui-los para garantir Eles estão usando suas novas habilidades (Wick et al., 2006), portanto, outra razão para mudar o termo Kirkpatrick quatro níveis tratam a avaliação como um fim da atividade do processo, enquanto o objetivo deve ser tratar a avaliação como uma atividade contínua que deve começar Durante a fase de pré-aprendizagem. Na verdade, essa crítica é imprecisa. Por exemplo, The ASTD Training No capítulo, Kirkpatrick discute grupos de controle antes e depois do treinamento (como pré e pós-testes). Ele continua a discutir que o nível quatro também deve incluir uma avaliação pós-treinamento três ou mais meses após o processo de aprendizagem para garantir que os alunos colocar em prática o que aprenderam. Kirkpatrick observa ainda que acredita que as avaliações devem ser incluídas ao longo do processo de aprendizagem, obtendo avaliações não apenas durante cada sessão ou módulo, mas também após cada tema ou tópico. Os quatro níveis são apenas para o processo de formação, em vez de outras formas de aprendizagem. Como observado na segunda seção, não apenas para treinamento. Kirkpatrick escreveu sobre ser capaz de usar os quatro níveis em outros tipos de processos de aprendizagem ea profissão de Desenvolvimento de Recursos Humanos que ajudam a fornecer aprendizagem informal e formal usar os quatro níveis de Kirkpatrick como um dos seus principais modelos de avaliação. Talvez a verdadeira razão que os defensores da aprendizagem informal não vêem o modelo ser útil é porque Os quatro níveis de avaliações significam muito pouco para as outras unidades de negócios Um dos melhores livros de treinamento e desenvolvimento é As Seis Disciplinas de Breakthrough Learning por Wick, Pollock, Jefferson, Flanagan (2006). Eles oferecem talvez a melhor crítica que eu vi: Então, pode vir a ser que a melhor crítica não é nivelada para os quatro níveis em si, mas sim a maneira como usá-los ao falar com outros líderes empresariais. Dizemos às unidades de negócios que as avaliações de nível um mostram que os alunos estavam felizes e que nível dois mostram que todos passaram o teste com cores voadoras e assim por diante. No entanto, de acordo com as pesquisas que eu vi, os resultados ou o impacto raramente é usado, o que os líderes empresariais mais altamente valor. Os outros níveis de avaliação podem ser bastante úteis no processo de design, pois nos ajudam a discutir o tipo de avaliação que estamos falando e a identificar áreas problemáticas. No entanto, fora do departamento de aprendizagem e desenvolvimento que muitas vezes caem plana. Para a maior parte, a principal preocupação dos empresários é o IMPACTO fez os recursos que passamos no processo de aprendizagem contribuir para a saúde global e prosperidade da empresa Próximas etapas Páginas na fase de avaliação Referências Alliger, G. M. Janak, E. A. (1989). Kirkpatrick s níveis de critérios de formação: Trinta anos mais tarde. Psicologia do Pessoal. 42 (2): 331 342. Chyung, S. Y. (2008). Fundamentos da tecnologia de desempenho instrucional. Amherst, MA: HRD Press Inc. Gilbert, T. (1998). Um olhar tranquilo no desempenho digno. Woods, Gortada (eds). O Anuário de Treinamento e Desempenho de 1998 da ASTD. Nova Iorque: McGraw-Hill. Hayes, M. (2003). Quem está falando sobre ROI Information Week. Feb. 2003, p18. Kirkpatrick D. L. (1959). Técnicas de avaliação dos programas de formação. Jornal da Sociedade Americana de Diretores de Treinamento. 13 (3): pp21 26. Kirkpatrick, D. L. (1975). Técnicas de Avaliação de Programas de Treinamento. Kirkpatrick (ed.). Avaliação de programas de treinamento. Alexandria, VA: ASTD. Kirkpatrick, D. L. (1994). Avaliação de Programas de Treinamento. San Francisco: Berrett-Koehler Publishers, Inc. Markus, H. Ruvolo, A. (1990). Possíveis egos: representações personalizadas de metas. Pervin (ed). Conceitos de Meta em Psicologia. Hillsdale, NJ: Lawrence Erlbaum. Pp 211 241. Nadler, L. (1984). O Manual De Desenvolvimento De Recursos Humanos. Nova Iorque: John Wiley Sons. Phillips, J. (1996). Medindo os Resultados do Treinamento. O Manual de Treinamento e Desenvolvimento ASTD. Craig, R. (ed.). Nova Iorque: McGraw-Hill. Tovey, M. (1997). Treinamento na Austrália. Sydney: Prentice Hall Austrália, p88. (Nota: este é talvez um dos melhores livros sobre o processo ISD ou ADDIE) Notas Atualizado em 5 de outubro de 2015. Criado em 13 de julho de 1995.