Taxonomia de Bloom: entre a classificação de objetivos educacionais e a complexidade real da atividade cognitiva

Resumo
A taxonomia de objetivos educacionais de Benjamin Bloom continua sendo uma das ferramentas mais difundidas do design instrucional. Ela é usada para formular resultados de aprendizagem, classificar atividades de ensino, elaborar materiais de avaliação e determinar o suposto nível de complexidade cognitiva. No entanto, existe uma diferença fundamental entre a finalidade original da taxonomia e as práticas atuais de sua aplicação: uma ferramenta de classificação de objetivos educacionais costuma ser percebida como um modelo universal de pensamento e até como uma escala para medir a complexidade da atividade cognitiva.
O artigo examina os fundamentos históricos da taxonomia, a lógica de sua revisão em 2001, os estudos empíricos sobre a estrutura hierárquica, a validade do uso de verbos como indicadores de processos cognitivos, a influência do conteúdo disciplinar e do contexto, bem como as limitações da taxonomia na avaliação de resultados e na previsão da transferência da aprendizagem para a atividade profissional.
Mostra-se que a taxonomia mantém seu valor como linguagem comum para descrever objetivos educacionais e como meio de alinhar atividades de ensino. Ao mesmo tempo, as pesquisas disponíveis não oferecem fundamentos suficientes para considerá-la um modelo universal de medição da complexidade cognitiva. As categorias da taxonomia não devem ser identificadas com a dificuldade objetiva de uma tarefa, com a carga cognitiva ou com a qualidade do resultado demonstrado.
Na parte final, propõe-se um esquema prático de cinco facetas para descrever o resultado educacional, que reúne conteúdo, ação cognitiva, contexto, qualidade do resultado e transferência para a atividade. Ele é considerado não uma nova teoria validada, mas uma estrutura metodológica que ajuda os designers de aprendizagem a não reduzir um resultado educacional complexo a um único rótulo de classificação.
Palavras-chave: taxonomia de Bloom, objetivos educacionais, processos cognitivos, complexidade cognitiva, avaliação, validade, transferência da aprendizagem, treinamento corporativo, design instrucional.
1. Introdução: por que a popularidade da taxonomia ainda não prova sua universalidade
A taxonomia de Bloom ocupa um lugar especial na prática educacional contemporânea. Suas categorias — «conhecer», «compreender», «aplicar», «analisar», «avaliar» e «criar» — tornaram-se a linguagem habitual de pedagogos, metodólogos, professores e especialistas em treinamento corporativo. Com base na taxonomia, elaboram-se objetivos de aprendizagem, projetam-se testes, desenvolvem-se programas e formulam-se requisitos para os resultados da aprendizagem.
É especialmente difundida a abordagem em que a cada categoria se associa um determinado conjunto de verbos. Por exemplo, «definir» é atribuído ao conhecimento, «explicar» à compreensão, «aplicar» à aplicação, «comparar» à análise, «avaliar» à avaliação e «desenvolver» à criação. Supõe-se que a escolha do verbo certo permite definir o nível de pensamento necessário e tornar o objetivo educacional mensurável.
À primeira vista, trata-se de uma construção extremamente conveniente. Ela oferece uma sequência simples, das ações mentais relativamente simples às mais complexas, e ajuda a estruturar os programas de ensino. Mas é justamente a simplicidade de aplicação que cria o risco de ampliar excessivamente o seu significado.
Na prática, a taxonomia costuma ser usada simultaneamente em três papéis diferentes:
- Classificação de objetivos educacionais — uma forma de descrever que resultado se pretende alcançar.
- Modelo de atividade cognitiva — uma representação de quais processos mentais a pessoa realiza.
- Instrumento de design e avaliação — uma forma de determinar a complexidade das tarefas, construir materiais de avaliação e julgar a qualidade da aprendizagem.
Essas funções estão relacionadas, mas não são idênticas. Do fato de que a classificação ajuda a descrever um objetivo educacional não decorre que ela meça a complexidade real do pensamento. Do fato de que uma atividade de ensino foi enquadrada na categoria «análise» não decorre que o aprendiz realmente execute uma operação analítica no sentido exato que a classificação pressupõe. E, muito menos, é possível deduzir automaticamente desse rótulo o quão bem ele lidará com uma tarefa semelhante no local de trabalho.
A questão central desta pesquisa é formulada da seguinte maneira:
Para responder, é preciso examinar não apenas a estrutura da própria taxonomia, mas também a validade das passagens do objetivo educacional ao processo cognitivo, do processo cognitivo à complexidade da tarefa e, depois, da execução bem-sucedida de uma atividade de ensino ao resultado profissional.
A tese principal do artigo é a seguinte: a taxonomia de Bloom mantém valor prático como linguagem descritiva de objetivos educacionais, mas suas possibilidades como modelo de medição da complexidade cognitiva e como preditor da eficácia da aprendizagem são significativamente limitadas. O problema não está em as categorias da taxonomia serem inúteis, mas em lhes serem atribuídas, com frequência, funções para as quais faltam fundamentos teóricos e empíricos suficientes.
2. O que exatamente os autores da taxonomia estavam criando
Para avaliar a aplicação contemporânea do modelo, é importante voltar à sua finalidade original.
O trabalho sobre a taxonomia começou no fim da década de 1940, no âmbito da comunidade profissional de especialistas americanos em medidas educacionais. Um dos problemas práticos era a ausência de uma linguagem comum que permitisse a professores e examinadores comparar objetivos educacionais e tarefas de avaliação.
Os educadores podiam usar formulações diferentes para descrever resultados semelhantes, e os exames elaborados em diferentes instituições eram difíceis de comparar. Os autores buscavam desenvolver uma classificação que ajudasse a formular objetivos com mais precisão, discutir o conteúdo do ensino e sistematizar as formas de verificação de resultados.
Em 1956 foi publicado o primeiro volume de Taxonomy of Educational Objectives: The Classification of Educational Goals, dedicado ao domínio cognitivo (Bloom et al., 1956).
Nele foram identificadas seis categorias principais:
- Knowledge — conhecimento. Reprodução de fatos, termos, princípios, regularidades e teorias.
- Comprehension — compreensão. Interpretação, tradução de informações de uma forma para outra, explicação e extrapolação.
- Application — aplicação. Uso de abstrações e princípios aprendidos em situações concretas.
- Analysis — análise. Divisão do material em elementos, identificação das relações entre eles e compreensão dos princípios de organização.
- Synthesis — síntese. Combinação de elementos em uma nova estrutura, criação de um plano, de uma mensagem ou de uma solução.
- Evaluation — avaliação. Julgamento do valor de um material ou de um método com base em critérios internos e externos.
As categorias foram dispostas em uma determinada sequência, que reflete o suposto aumento da complexidade dos objetivos educacionais.
Entretanto, aqui é importante evitar um erro histórico comum. Os autores não criaram uma escala psicométrica que permitisse medir a complexidade do pensamento de uma pessoa. A taxonomia era, antes de tudo, um esquema de classificação destinado a organizar e discutir objetivos educacionais.
Além disso, o trabalho original não apresentava a hierarquia como uma regularidade do pensamento humano definitivamente comprovada. Ele se apoiava na suposição de uma complexidade crescente e sequencial das categorias, mas a própria classificação não era resultado da construção e da validação empírica de uma escala universal de processos cognitivos.
Essa distinção é fundamental. Uma classificação responde à pergunta: «A que tipo de objetivo educacional pertence este resultado?» Um modelo de medição deve responder a outra pergunta: «Quão acentuada é determinada propriedade e como ela pode ser medida com confiabilidade?»
A taxonomia original foi desenvolvida para resolver a primeira tarefa. A prática contemporânea frequentemente espera dela a solução de ambas.
3. A revisão de 2001: o que mudou e o que permaneceu
Em 2001, Lorin Anderson e David Krathwohl propuseram uma versão revisada da taxonomia (Anderson & Krathwohl, 2001). David Krathwohl, um dos participantes do grupo original, expôs separadamente a lógica das mudanças em um artigo de 2002.
A revisão não foi apenas a substituição de substantivos por verbos. Ela mudou a estrutura de representação dos objetivos educacionais e acrescentou uma segunda dimensão.
3.1. Das categorias aos processos cognitivos
No lugar dos nomes originais das categorias, passaram a ser usadas denominações verbais:
| Versão original | Versão revisada |
|---|---|
| Knowledge | Remember |
| Comprehension | Understand |
| Application | Apply |
| Analysis | Analyze |
| Synthesis | Evaluate |
| Evaluation | Create |
A ordem das duas últimas categorias mudou: criar passou a ficar acima de avaliar.
Cada categoria foi dividida, adicionalmente, em subcategorias. Por exemplo, o processo de compreensão incluía interpretar, classificar, resumir, inferir, comparar e explicar.
3.2. A segunda dimensão — o tipo de conhecimento
No modelo revisado, o objetivo educacional é descrito não apenas por meio do processo cognitivo, mas também do tipo de conhecimento:
- factual;
- conceitual;
- procedimental;
- metacognitivo.
Como resultado, surgiu a chamada tabela da taxonomia, na qual os processos cognitivos são relacionados aos tipos de conhecimento.
Foi um importante aprimoramento conceitual. Ele permitia descrever os objetivos com mais precisão, já que a mesma ação cognitiva pode se referir a diferentes tipos de conteúdo.
Por exemplo, aplicar um conhecimento factual e aplicar um procedimento profissional complexo não são a mesma coisa, embora ambos os resultados possam ser designados pela categoria Apply.
3.3. O problema da medição da complexidade foi resolvido?
A revisão tornou o modelo mais flexível e mais conveniente para descrever objetivos educacionais. Mas não eliminou a questão principal: em que medida é fundamentado considerar as categorias como etapas sucessivas de complexidade cognitiva?
Além disso, no novo modelo, a dimensão do conhecimento e a dimensão do processo cognitivo são apresentadas como duas dimensões independentes. Isso é conveniente para a classificação, mas pressupõe que seja possível distingui-las com suficiente nitidez.
Foram justamente essas suposições que mais tarde se tornaram objeto de verificação empírica.
Por conseguinte, a revisão de 2001 deve ser considerada um desenvolvimento do instrumento de classificação, e não a criação de um modelo de medição do pensamento empiricamente confirmado.
4. A hierarquia de Bloom: o pensamento realmente se desenvolve em seis degraus?
Uma das propriedades mais conhecidas da taxonomia é a sequência hierárquica do conhecimento à criação. Na prática educacional, ela costuma ser interpretada como uma ordem universal de desenvolvimento do pensamento: primeiro a pessoa memoriza, depois compreende, aplica, analisa, avalia e, por fim, cria.
Essa sequência é intuitivamente atraente. Ela permite estruturar programas de ensino e distribuir as atividades por níveis de complexidade. Mas a verificação empírica de uma hierarquia estrita produziu resultados mais ambíguos.
4.1. O que significa uma estrutura hierárquica
Se as seis categorias realmente formam uma hierarquia cumulativa, os processos mais complexos devem pressupor o domínio dos anteriores. Na estrutura estatística isso deveria se manifestar de determinada forma: os níveis adjacentes deveriam estar estreitamente relacionados, e as relações entre níveis não adjacentes deveriam ser em grande parte mediadas pelos intermediários.
No entanto, os estudos mostraram que a estrutura real do desempenho nas tarefas nem sempre corresponde a esse esquema.
Madaus, Woods e Nuttall (1973) usaram a análise de modelo causal para testar a hierarquia cumulativa. Os autores constataram que as relações supostas entre os níveis dependiam substancialmente de um fator geral de aptidão. Isso colocava em dúvida a possibilidade de interpretar as relações observadas como confirmação de uma estrutura sequencial independente da taxonomia.
Hill e McGaw (1981) testaram o chamado pressuposto de estrutura simplex com dados de um estudo anterior de Kropp e Stoker. O resultado exige uma interpretação particularmente precisa: o pressuposto de estrutura simplex foi sustentado após a exclusão da categoria Knowledge. Portanto, o estudo não refuta toda a hierarquia, mas mostra que a categoria original de conhecimento se encaixa mal na estrutura suposta.
Essa é uma ressalva importante. Do ponto de vista científico, é correto dizer não que todos os estudos refutaram completamente a hierarquia de Bloom, mas que uma interpretação universal estrita da sequência das categorias não recebeu confirmação empírica inequívoca.
4.2. Por que as categorias podem se sobrepor
Imaginemos duas tarefas de aprendizagem.
A primeira: o colaborador precisa lembrar a ordem das ações em um atendimento padrão ao cliente.
A segunda: o colaborador precisa explicar ao gestor por que escolheu determinada solução em uma situação fora do padrão.
A segunda tarefa pode exigir análise e avaliação. Mas isso não significa que a primeira seja sempre cognitivamente mais simples para qualquer colaborador. Se o procedimento foi mal assimilado, até sua reprodução pode exigir esforço considerável. Se o colaborador executa esse procedimento diariamente, ele pode estar praticamente automatizado.
Da mesma forma, a análise pode ser relativamente simples se a estrutura da tarefa for familiar, e a criação pode ser difícil ou fácil dependendo da área do conhecimento, dos recursos disponíveis e do nível de preparo.
Em outras palavras, a categoria da ação cognitiva, por si só, não determina a dificuldade da tarefa.
4.3. O que se pode concluir
A hierarquia de Bloom pode ser usada como referência para o design de objetivos educacionais variados. Ela ajuda a verificar se o programa não se limita exclusivamente à reprodução de informações.
Mas ela não deve ser entendida como uma escala universal em que cada categoria seguinte é automaticamente mais complexa que a anterior em quaisquer condições.
Uma formulação mais precisa é a seguinte: as categorias da taxonomia refletem diferenças entre tipos de objetivos educacionais, e a sequência suposta pode ser uma heurística de design útil. No entanto, ela não substitui a avaliação empírica da complexidade de uma tarefa concreta.
5. Verbo não é processo cognitivo
Na prática contemporânea de aplicação da taxonomia, as listas de verbos mensuráveis ocupam um lugar especial. Elas se tornaram uma espécie de instrumento de classificação rápida: basta escolher a palavra certa para determinar o nível do objetivo educacional.
Por exemplo, «descrever» é associado à compreensão, «aplicar» à aplicação, «comparar» à análise, «avaliar» à avaliação e «desenvolver» à criação.
O problema é que um mesmo verbo pode designar ações completamente diferentes, dependendo do conteúdo e das condições da tarefa.
Consideremos a palavra «comparar».
- Comparar duas definições previamente preparadas por um único critério evidente.
- Comparar duas estratégias de vendas levando em conta vários critérios e restrições.
- Comparar decisões alternativas de investimento com informação incompleta e interesses conflitantes dos participantes.
Nos três casos usa-se o mesmo verbo. Mas a natureza da atividade, o número de inter-relações, os requisitos de conhecimento e as consequências do erro diferem substancialmente.
A situação inversa também é possível: verbos diferentes podem descrever ações de complexidade semelhante. «Explicar», «fundamentar» e «argumentar» podem, em uma tarefa concreta, pressupor um trabalho intelectual parecido.
5.1. O que mostram as pesquisas
Stanny (2016) analisou 30 listas de verbos mensuráveis publicadas na internet e associadas às categorias de Bloom. O trabalho mostrou que essas listas não garantem uma correspondência inequívoca entre palavras e categorias. Os mesmos verbos aparecem em níveis diferentes, e as próprias listas nem sempre são consistentes.
Uma verificação empírica mais direta foi realizada por Larsen e colegas (2022). Os pesquisadores estudaram 940 tarefas de avaliação em biologia e testaram duas suposições da taxonomia revisada:
- se as dimensões do tipo de conhecimento e do processo cognitivo são independentes;
- se as palavras na formulação da tarefa, incluindo os verbos de ação, permitem determinar o processo cognitivo pretendido.
Os resultados mostraram uma associação estatística entre o tipo de conhecimento e o processo cognitivo. Consequentemente, as duas dimensões não se mostraram independentes.
Além disso, os pesquisadores não encontraram uma relação clara entre as palavras nas formulações das tarefas e os processos cognitivos a elas atribuídos. Em outras palavras, o verbo, por si só, não permitia determinar com confiabilidade qual processo mental está embutido na tarefa.
É importante compreender os limites desse resultado. O estudo foi realizado com tarefas de biologia, por isso não pode ser estendido automaticamente a todas as áreas do conhecimento e a todos os tipos de treinamento corporativo. No entanto, ele demonstra um problema fundamental da abordagem baseada em verbos: a forma linguística da tarefa não é uma medida confiável da atividade cognitiva real.
5.2. Por que as listas de verbos ainda assim são úteis
Disso não decorre que os verbos devam ser excluídos do design de aprendizagem.
Eles são úteis para formular resultados observáveis. Por exemplo, o objetivo «o colaborador deve conhecer as regras de tratamento de reclamações» é muito menos concreto do que «o colaborador deve classificar os atendimentos e escolher a ordem de ações correspondente».
Mas o verbo ajuda a descrever a ação esperada, não a provar sua complexidade cognitiva.
Por isso, a abordagem correta consiste em usar o verbo como ponto de partida, e não como classificação pronta. Para determinar os requisitos da tarefa, é preciso analisar adicionalmente o conteúdo, as condições de execução e os critérios de sucesso.
6. Complexidade da tarefa, carga cognitiva e dificuldade não são a mesma coisa
Uma das limitações mais significativas da taxonomia está ligada ao fato de que, na prática educacional, diferentes conceitos de complexidade são frequentemente usados como intercambiáveis.
Contudo, é preciso distinguir pelo menos quatro construtos.
Primeiro — o processo cognitivo. É a natureza da atividade mental: reprodução, explicação, aplicação, análise, avaliação ou criação.
Segundo — a complexidade estrutural da tarefa. Está relacionada ao número de elementos, às suas inter-relações, ao número de etapas e à necessidade de considerar várias condições simultaneamente.
Terceiro — a carga cognitiva. São as exigências que a execução da tarefa impõe aos recursos limitados da memória de trabalho de uma pessoa específica. Na teoria da carga cognitiva, a interatividade dos elementos tem importância especial: uma tarefa com grande número de elementos inter-relacionados pode ser particularmente difícil para um iniciante (Sweller et al., 2019).
Quarto — a dificuldade da tarefa. É uma característica empírica do quão bem determinado grupo de aprendizes lida com a tarefa. Pode ser expressa pela proporção de respostas corretas, pelo tempo de execução ou por outros indicadores.
Essas características estão relacionadas, mas não são idênticas.
Uma tarefa enquadrada na categoria Remember pode ser difícil para quem não assimilou o material. Uma tarefa da categoria Analyze pode ser relativamente simples para um especialista que executa regularmente operações semelhantes.
E, inversamente, um procedimento familiar pode ser simples para um colaborador experiente, mas extremamente difícil para um iniciante, sobretudo se incluir muitas etapas interdependentes.
Assim, a complexidade cognitiva não é uma propriedade constante de um verbo ou de uma categoria. Ela surge na interação entre a estrutura da tarefa, os conhecimentos da pessoa, sua experiência e as condições de execução.
6.1. O papel do conhecimento prévio
O estudo de Chi, Feltovich e Glaser (1981) mostrou que especialistas e iniciantes organizam e categorizam de maneira diferente os problemas de física. Os iniciantes orientam-se com mais frequência por características superficiais, enquanto os especialistas se orientam por princípios profundos e pela estrutura da solução.
Isso significa que a mesma tarefa pode provocar atividade cognitiva diferente em pessoas com diferentes níveis de preparo.
Para o treinamento corporativo isso é especialmente importante. Por exemplo, a tarefa de analisar um relatório financeiro pode exigir de um especialista iniciante a execução sequencial de várias operações e a consulta constante a instruções. Para um analista experiente, a mesma tarefa pode ser habitual e executada quase automaticamente.
Por isso, a afirmação «esta tarefa pertence a um nível elevado de Bloom» não permite concluir o quão difícil ela é para um público específico.
6.2. Consequência para o design de aprendizagem
O designer deve avaliar não apenas o processo cognitivo pretendido, mas também:
- que conhecimentos o aprendiz já possui;
- quão familiar lhe é a área do conhecimento;
- quantas condições precisam ser consideradas;
- quão bem definida é a tarefa;
- que restrições se aplicam;
- que recursos e dicas estão disponíveis;
- quais são as consequências do erro.
Essa análise está muito mais próxima da complexidade real da atividade profissional do que a classificação da tarefa por um único verbo.
7. A taxonomia pode garantir uma avaliação válida?
A taxonomia é amplamente usada na elaboração de testes e materiais de avaliação. Supõe-se que a distribuição das tarefas por categorias permite verificar não apenas a reprodução de informações, mas também formas mais complexas de pensamento.
É uma ideia útil, mas a classificação da tarefa ainda não garante a validade da avaliação.
Na teoria contemporânea das medidas educacionais, a validade é considerada não uma propriedade permanente de um teste ou de uma tarefa isolada, mas a fundamentação da interpretação dos resultados e das decisões tomadas com base neles (Messick, 1995; Kane, 2013).
Em outras palavras, a questão não é apenas qual tarefa foi apresentada ao aprendiz, mas também quais conclusões pretendemos tirar do resultado de sua execução.
Por exemplo, se um colaborador respondeu corretamente a uma pergunta sobre o procedimento de tratamento de reclamações, pode-se concluir que ele conhece a regra correspondente. Mas isso não basta para afirmar que ele é capaz de aplicá-la em uma conversa com um cliente insatisfeito, sobretudo sob pressão de tempo e com informação incompleta.
7.1. A lacuna entre a formulação da tarefa e os critérios de avaliação
O estudo de Demeter, Morris e Trajkovski (2021) foi dedicado à transparência das exigências cognitivas em tarefas de avaliação orientadas à prática.
Os autores compararam a complexidade que a formulação da tarefa pressupunha com as exigências cognitivas embutidas nos critérios de avaliação.
Constatou-se uma discrepância: em média, as exigências da rubrica eram superiores às exigências expressas na formulação da tarefa. Essa discrepância afetava negativamente a confiabilidade das notas, embora não afetasse a dificuldade das tarefas no que se refere ao indicador de aprovação.
Os autores também constataram que a complexidade cognitiva classificada segundo Bloom estava relacionada à dificuldade das tarefas práticas, ao passo que uma relação análoga para o DOK não foi encontrada neste estudo. Ao mesmo tempo, o efeito foi pequeno e se manifestou mais fortemente nas exigências da rubrica do que nas formulações da tarefa.
Esse resultado é importante por dois motivos.
Primeiro, ele mostra que a classificação pode ter valor prático no design de materiais de avaliação.
Segundo, demonstra que o rótulo de nível não substitui o alinhamento entre o que se propõe à pessoa fazer e aquilo pelo qual ela é efetivamente avaliada.
7.2. O que é necessário para uma avaliação de qualidade
Se o objetivo da aprendizagem é desenvolver uma habilidade profissional, a tarefa de avaliação deve verificar exatamente essa habilidade, e não apenas a capacidade de reproduzir informações sobre ela.
Para isso são necessários:
- descrição clara do resultado esperado;
- correspondência da tarefa com a competência real;
- critérios de qualidade transparentes;
- número suficiente de observações;
- confiabilidade da avaliação;
- fundamentação das conclusões sobre a competência.
A taxonomia de Bloom pode ajudar na formulação de requisitos, mas, por si só, não garante o cumprimento dessas condições.
8. A questão central do treinamento corporativo: a transferência para a atividade profissional
Para o treinamento corporativo, é fundamental distinguir dois resultados:
- a pessoa executou com sucesso a atividade de aprendizagem;
- a pessoa passou a executar melhor o trabalho profissional.
Esses resultados estão relacionados, mas não coincidem.
Um colaborador pode passar com sucesso em um teste sobre o produto e, ainda assim, ter dificuldade para explicar seu valor ao cliente. Um gestor pode identificar corretamente os sinais de conflito em um caso de estudo e não conseguir resolver de forma construtiva um conflito real na equipe. Um especialista em segurança da informação pode conhecer os sinais de phishing e cometer um erro ao tratar uma mensagem suspeita sob alta carga de trabalho.
Esse é o problema da transferência da aprendizagem.
8.1. O que se sabe sobre a transferência
O modelo clássico de Baldwin e Ford (1988) considera a transferência por meio de três grupos de fatores:
- características do aprendiz;
- design do treinamento;
- ambiente de trabalho.
A transferência inclui não apenas a generalização do material aprendido para as tarefas de trabalho, mas também a manutenção das habilidades ao longo do tempo.
Pesquisas posteriores confirmaram que a transferência depende de muitas condições. A revisão meta-analítica de Blume e colegas (2010), que incluiu 89 estudos empíricos, mostrou relações positivas da transferência com fatores como capacidade cognitiva, conscienciosidade, motivação e um ambiente de trabalho favorável. Também tiveram importância as características dos objetivos de aprendizagem e as formas de medir a transferência.
Grossman e Salas (2011) identificaram fatores relacionados às características do aprendiz, ao design do treinamento e ao ambiente de trabalho. Entre eles estão a autoeficácia, a motivação, o realismo do ambiente de aprendizagem, a modelagem de comportamento, o apoio do gestor e a possibilidade de aplicar as habilidades adquiridas.
Assim, a transferência não é uma consequência automática da conclusão bem-sucedida do treinamento. Ela depende do que exatamente a pessoa aprendeu, em que condições treinou e que oportunidades teve de aplicar a habilidade no trabalho.
8.2. Por que o nível de Bloom não prevê a transferência
A taxonomia descreve o tipo suposto de ação cognitiva em um objetivo educacional. Mas ela não descreve:
- quão semelhante é a tarefa de aprendizagem à tarefa de trabalho;
- que restrições se aplicam em uma situação real;
- quão capaz é o colaborador de agir com autonomia;
- que recursos e dicas estão disponíveis;
- se ele recebe feedback;
- se o ambiente de trabalho apoia o novo comportamento;
- se a habilidade se mantém depois de algum tempo.
Consequentemente, uma atividade de aprendizagem da categoria Create não garante necessariamente maior transferência do que uma atividade da categoria Apply. Se o colaborador deve dominar um procedimento padrão, um treinamento de qualidade na sua aplicação em condições realistas pode ser consideravelmente mais útil do que uma tarefa criativa abstrata.
E, inversamente, na atividade gerencial ou comercial, a capacidade de analisar uma situação incerta e criar uma nova solução pode ser fundamentalmente importante.
O que importa não é a posição da tarefa na taxonomia, mas a correspondência da prática de aprendizagem com as exigências reais da atividade.
8.3. O que isso significa para o L&D
Para o treinamento corporativo, a transferência deve ser um objeto autônomo de design e avaliação.
É necessário definir previamente:
- que comportamento deve mudar;
- em que situações de trabalho ele deve se manifestar;
- que condições são necessárias para aplicar a habilidade;
- como a prática será organizada;
- que apoio o colaborador receberá;
- por quais sinais a mudança será avaliada;
- após que período a estabilidade do resultado será verificada.
A taxonomia pode ajudar a descrever o componente cognitivo do objetivo de aprendizagem, mas não pode substituir um modelo de transferência.
9. Modelos alternativos: ferramentas diferentes para tarefas diferentes
As limitações da taxonomia de Bloom não significam que exista um único modelo alternativo que resolva todos os problemas listados. Abordagens diferentes descrevem aspectos diferentes do resultado educacional.
9.1. SOLO: a estrutura do resultado demonstrado
A taxonomia SOLO (Structure of the Observed Learning Outcome), desenvolvida por Biggs e Collis (1982), classifica não o tipo suposto de operação cognitiva, mas a estrutura do resultado que o aprendiz demonstra.
Nela são identificados cinco níveis:
- Prestructural — o resultado não reflete compreensão da tarefa.
- Unistructural — usa-se um único elemento relevante.
- Multistructural — há vários elementos, mas as relações entre eles não foram estabelecidas.
- Relational — os elementos são combinados em uma estrutura coerente.
- Extended abstract — a estrutura formada é transferida para um contexto mais amplo ou usada para construir novas generalizações.
A principal diferença em relação a Bloom é que o SOLO permite avaliar a qualidade e a organização do resultado demonstrado.
Por exemplo, dois colaboradores podem listar corretamente vários fatores que influenciam as vendas. Mas um simplesmente reproduz a lista, enquanto o outro explica as inter-relações entre os fatores e mostra como elas influenciam a decisão do cliente.
Do ponto de vista da quantidade de elementos, os resultados podem parecer semelhantes. Do ponto de vista da estrutura da compreensão, eles diferem substancialmente.
O SOLO é útil para avaliar respostas abertas, trabalhos analíticos e tarefas complexas. No entanto, ele também não descreve plenamente o contexto de trabalho, as condições de execução e a transferência efetiva.
9.2. DOK: a profundidade do trabalho com o conteúdo
O modelo Depth of Knowledge (DOK), associado aos trabalhos de Norman Webb, propõe avaliar a profundidade do conhecimento e a natureza do trabalho com o conteúdo no âmbito de uma tarefa específica.
Costumam ser identificados quatro níveis:
- Recall and Reproduction — reprodução de informações ou execução de um procedimento simples.
- Skills and Concepts — aplicação de conceitos e execução de operações mais complexas.
- Strategic Thinking — raciocínio estratégico, fundamentação, análise e solução de tarefas fora do padrão.
- Extended Thinking — trabalho prolongado, síntese de informações e solução de tarefas complexas.
Uma diferença importante do DOK em relação à prática difundida de aplicação de Bloom é a recusa em determinar o nível por um único verbo. O nível deve ser determinado pela natureza da tarefa como um todo.
Um mesmo verbo pode aparecer em níveis diferentes, dependendo do conteúdo, do número de etapas, dos requisitos de fundamentação e das condições de execução.
No entanto, o DOK também não é um modelo universal da complexidade do pensamento. Sua aplicação exige conhecimento especializado da disciplina, e as fronteiras entre os níveis podem ser ambíguas.
9.3. O modelo de Marzano: sistemas cognitivo, metacognitivo e motivacional
O modelo de Marzano e Kendall (2007) oferece uma visão mais ampla do processo de aprendizagem. Nele são identificados três sistemas:
- o cognitivo;
- o metacognitivo;
- o sistema do eu (self), ligado à motivação, à relevância e à atitude emocional diante da tarefa.
O sistema cognitivo inclui os processos de recuperação de informações, compreensão, análise e uso do conhecimento.
Um mérito importante da abordagem é o reconhecimento de que a execução de uma tarefa depende não apenas da operação cognitiva. A pessoa também precisa avaliar a relevância da tarefa, regular a própria atividade e sustentar um esforço direcionado a objetivos.
Isso é especialmente importante para o treinamento corporativo, em que a motivação e as condições de aplicação frequentemente se mostram tão relevantes quanto a assimilação do conteúdo.
9.4. Kirkpatrick: avaliação da eficácia, e não da complexidade do pensamento
O modelo de Kirkpatrick costuma ser mencionado ao lado da taxonomia de Bloom, mas resolve uma tarefa fundamentalmente diferente.
Seus quatro níveis referem-se à avaliação de um programa de treinamento:
- reação;
- aprendizagem;
- comportamento;
- resultados.
Não é uma taxonomia cognitiva nem uma classificação de operações mentais. Ele se destina a organizar a avaliação das consequências do treinamento em diferentes níveis.
Ao mesmo tempo, não deve ser entendido como uma cadeia causal comprovada: uma reação positiva não garante aprendizagem, a aprendizagem não garante mudança de comportamento, e a mudança de comportamento nem sempre leva a um resultado organizacional mensurável. Em particular, Holton (1996) criticou os pressupostos causais frequentemente associados ao modelo de Kirkpatrick.
9.5. Por que não é possível escolher um único modelo universal
A comparação das abordagens mostra que elas respondem a perguntas diferentes:
| Modelo | Pergunta principal |
|---|---|
| Taxonomia de Bloom | Que tipo de objetivo educacional se pretende alcançar? |
| SOLO | Quão estruturado e integrado é o resultado demonstrado? |
| DOK | Qual é a profundidade do trabalho com o conteúdo no âmbito de uma tarefa específica? |
| Marzano | Que sistemas cognitivos, metacognitivos e motivacionais participam da atividade? |
| Kirkpatrick | Que resultados e consequências do treinamento é necessário avaliar? |
Esses modelos não são concorrentes diretos. Eles podem ser usados em conjunto, desde que a finalidade de cada um seja compreendida com clareza.
Para o design do treinamento corporativo, isso significa que uma única classificação não basta. É preciso descrever separadamente o objetivo educacional, os requisitos da tarefa, a qualidade do resultado e as condições de transferência.
10. Cinco facetas para descrever o resultado educacional
A análise das limitações da taxonomia leva a uma questão prática: como descrever um resultado educacional sem reduzi-lo a um único verbo ou a um nível de processo cognitivo?
Como estrutura metodológica de trabalho, propõe-se usar cinco facetas inter-relacionadas:
- conteúdo;
- ação cognitiva;
- contexto;
- qualidade do resultado;
- transferência para a atividade.
10.1. Conteúdo
O que a pessoa deve saber ou compreender?
O conteúdo pode incluir fatos, conceitos, regularidades, procedimentos, princípios, modelos e padrões profissionais.
Por exemplo, para um gerente de vendas, isso pode ser o conhecimento do produto, dos segmentos de clientes, da proposta de valor, das alternativas concorrentes e das objeções típicas.
Sem a descrição do conteúdo, a formulação da ação cognitiva permanece geral demais.
10.2. Ação cognitiva
O que a pessoa deve ser capaz de fazer com esse conhecimento?
Aqui é possível usar as categorias de Bloom e outras classificações: lembrar, explicar, aplicar, analisar, avaliar, criar.
Mas é importante descrever não apenas o verbo, e sim a própria ação e o seu objeto.
Por exemplo, não simplesmente «analisar», mas «analisar a necessidade do cliente com base em informações sobre o seu negócio, suas restrições e seus critérios de escolha».
10.3. Contexto
Em que condições a pessoa deve executar a ação?
O contexto inclui:
- familiaridade ou novidade da situação;
- completude das informações;
- grau de incerteza;
- restrições de tempo;
- recursos disponíveis;
- nível de apoio;
- condições sociais e organizacionais;
- consequências do erro.
O contexto é especialmente importante para tarefas profissionais. A capacidade de aplicar um procedimento em um ambiente de aprendizagem tranquilo não é idêntica à capacidade de usá-lo sob pressão de tempo e conflito de interesses.
10.4. Qualidade do resultado
Por quais critérios é possível determinar que a ação foi bem executada?
Critérios possíveis:
- precisão;
- completude;
- fundamentação;
- autonomia;
- conformidade com os requisitos;
- pontualidade;
- estabilidade do resultado;
- qualidade da interação com os demais participantes.
Sem critérios de qualidade, o objetivo educacional pode ser cumprido formalmente, mas o resultado pode ser insuficiente para a atividade profissional.
10.5. Transferência para a atividade
A pessoa consegue aplicar o que aprendeu fora da atividade de aprendizagem?
A transferência pressupõe a aplicação de conhecimentos e habilidades em situações de trabalho, inclusive quando as condições mudam, surgem novas restrições ou faltam as dicas da aprendizagem.
Ela pode ser avaliada por meio de amostras de trabalho, observação, análise dos resultados da atividade, feedback do gestor e outros métodos.
É importante não confundir transferência com a qualidade da atividade de aprendizagem: a execução bem-sucedida de um caso realista ainda não prova que o colaborador agirá de maneira semelhante no local de trabalho.
10.6. Quão nova é esta proposta?
O esquema de cinco facetas tem sobreposições substanciais com modelos existentes.
É especialmente importante mencionar o trabalho de Gulikers, Bastiaens e Kirschner (2004), que propuseram uma estrutura de cinco dimensões para a avaliação autêntica. Nela são consideradas a tarefa, o contexto físico, o contexto social, a forma do resultado e os critérios de avaliação.
Além disso, o esquema está relacionado:
- ao modelo de resultados de aprendizagem de Kraiger, Ford e Salas (1993);
- à taxonomia da transferência de Barnett e Ceci (2002);
- às pesquisas sobre o papel do contexto no design instrucional de Tessmer e Richey (1997);
- ao conceito de alinhamento construtivo de Biggs (1996).
Por isso, seria incorreto afirmar que as cinco facetas representam um modelo fundamentalmente novo de resultado educacional.
Seu possível valor está em outro ponto: elas reúnem vários aspectos já conhecidos em uma estrutura compacta, adequada à descrição prática de objetivos educacionais corporativos.
10.7. Por que as facetas não devem ser consideradas dimensões independentes
As cinco facetas não são cinco eixos independentes que possam ser medidos e somados em um único indicador.
O conteúdo está relacionado à ação cognitiva: o tipo de conhecimento influencia quais operações a pessoa consegue executar.
O contexto influencia os critérios de qualidade: o que se considera um bom resultado em uma situação padrão pode ser insuficiente em condições de incerteza.
O contexto está relacionado à transferência: a semelhança entre a situação de aprendizagem e a de trabalho influencia a possibilidade de aplicar o que foi aprendido.
Por isso, é mais razoável considerar os cinco elementos como aspectos inter-relacionados da descrição, e não como escalas independentes.
10.8. Exemplo: treinamento de um colaborador de contact center
Suponhamos que um colaborador precise aprender a tratar solicitações de devolução de produtos, inclusive casos fora do padrão.
| Faceta | Descrição |
|---|---|
| Conteúdo | Política de devoluções, condições, exceções, limites, motivos típicos das solicitações |
| Ação cognitiva | Aplicar o procedimento levando em conta as exceções, interpretar informações incompletas, explicar a decisão |
| Contexto | Cliente insatisfeito, limite de tempo, dados incompletos, pressão emocional |
| Qualidade do resultado | A decisão está de acordo com a política, a explicação é compreensível, o escalonamento é feito corretamente, mantém-se um tom respeitoso |
| Transferência | Aplicação autônoma do procedimento em solicitações reais, inclusive em casos fora do padrão, algum tempo depois do treinamento |
Se o objetivo for descrito apenas por meio de Bloom, ele pode ficar assim: «aplicar o conhecimento procedimental da política de devoluções».
É uma formulação útil, mas incompleta. Ela não revela as condições de execução, os requisitos de qualidade nem o comportamento esperado no local de trabalho.
As cinco facetas permitem complementar a descrição e torná-la mais adequada ao design da prática e à avaliação do resultado.
11. Consequências práticas para o design do treinamento corporativo
Da análise realizada decorrem várias recomendações para especialistas de L&D, metodólogos e responsáveis pelo treinamento corporativo.
11.1. Usar Bloom para formular objetivos, e não para medir a complexidade
A taxonomia ajuda a discutir que tipo de resultado se espera do treinamento. Ela é útil para verificar a diversidade dos objetivos e identificar uma orientação excessiva para a reprodução de informações.
Mas o nível de Bloom não deve ser usado como prova independente da complexidade de uma tarefa ou da competência de um colaborador.
11.2. Não classificar tarefas apenas pelo verbo
O verbo deve ser considerado no contexto da tarefa completa.
Em vez de associar automaticamente uma palavra a uma categoria, é necessário analisar:
- o conteúdo;
- o número de etapas;
- a natureza das inter-relações;
- os requisitos de fundamentação;
- o grau de incerteza;
- a autonomia de execução.
11.3. Projetar a prática em torno da atividade profissional
Se o objetivo do treinamento é mudar o comportamento do colaborador, as atividades de aprendizagem devem reproduzir os requisitos essenciais do trabalho real.
Isso não significa que cada exercício de aprendizagem deva imitar integralmente o ambiente de trabalho. Mas ele deve dar a oportunidade de praticar justamente as ações que serão necessárias na situação profissional.
11.4. Descrever os critérios de qualidade antecipadamente
Formulações como «saber analisar», «saber aplicar» ou «saber tomar decisões» são insuficientes sem a descrição da qualidade do resultado.
É preciso definir o que significa uma execução bem-sucedida: quão precisa, completa, fundamentada e autônoma deve ser a solução.
11.5. Avaliar a transferência separadamente do resultado da aprendizagem
A conclusão de um curso, de um teste ou de uma simulação confirma um determinado resultado no ambiente de aprendizagem. Mas a transferência exige verificação separada.
Para isso, é possível usar:
- observação do trabalho;
- avaliação do gestor;
- amostras de trabalho;
- análise da qualidade das decisões;
- indicadores objetivos da atividade;
- medições repetidas após determinado período.
Ao mesmo tempo, é necessário considerar a influência do ambiente de trabalho e de outros fatores que podem afetar o resultado independentemente do treinamento.
11.6. Não buscar o nível máximo da taxonomia a qualquer custo
No treinamento corporativo não existe uma regra universal segundo a qual todo treinamento deva levar o colaborador à categoria Create.
Se a tarefa do colaborador é executar de forma precisa e segura um procedimento padrão, o resultado principal pode ser a aplicação confiável. Se a tarefa envolve desenvolver uma estratégia ou resolver problemas fora do padrão, podem ser necessárias análise, avaliação e criação de novas soluções.
O nível do objetivo educacional deve ser determinado pelos requisitos do trabalho, e não pelo desejo de usar formalmente as categorias «superiores» da taxonomia.
12. Limitações da pesquisa
A análise apresentada é uma revisão crítica integrativa da literatura e uma análise conceitual, e não uma revisão sistemática com busca exaustiva e avaliação formal da qualidade de todas as publicações disponíveis.
Os estudos examinados diferem quanto às áreas do conhecimento, às amostras, aos métodos e à operacionalização da complexidade cognitiva. Em particular, o trabalho de Larsen e colegas (2022) baseia-se em tarefas de biologia, e o estudo de Demeter e colegas (2021), em tarefas de avaliação no contexto do ensino superior baseado em competências.
Por isso, seus resultados não podem ser transferidos automaticamente para todos os contextos educacionais e corporativos.
Além disso, parte dos estudos clássicos sobre a hierarquia da taxonomia foi realizada várias décadas atrás e usou métodos que devem ser interpretados à luz do contexto histórico de desenvolvimento das medidas educacionais.
Essas limitações não anulam as conclusões principais, mas definem os limites de sua aplicabilidade.
13. Conclusão: o que manter e o que reconsiderar
A taxonomia de Bloom exerceu influência significativa no desenvolvimento do design instrucional. Sua permanência se explica não só pela tradição científica, mas também pela utilidade prática: ela oferece uma linguagem comum para descrever objetivos educacionais e ajuda a discutir a natureza do resultado esperado.
No entanto, a popularidade do modelo levou à ampliação de suas funções. Um instrumento de classificação de objetivos passou a ser usado como modelo de complexidade cognitiva, como forma de medir a qualidade das tarefas e até como base para prever a eficácia profissional.
É justamente aqui que surgem os problemas metodológicos.
A análise realizada permite formular sete proposições finais.
Primeira. A taxonomia de Bloom é, antes de tudo, uma classificação de objetivos educacionais. Sua finalidade original não deve ser confundida com as tarefas de medição psicométrica do pensamento.
Segunda. Uma hierarquia universal estrita de seis categorias não recebeu confirmação empírica inequívoca. As categorias podem ser úteis como referência de design, mas não devem ser entendidas como etapas obrigatórias do desenvolvimento do pensamento.
Terceira. Os verbos não são indicadores confiáveis de processos cognitivos. Eles ajudam a formular ações observáveis, mas não permitem determinar a complexidade de uma tarefa sem analisar o conteúdo e o contexto.
Quarta. Complexidade cognitiva, dificuldade da tarefa e carga cognitiva são construtos diferentes. Eles dependem da estrutura da tarefa, dos conhecimentos do aprendiz e das condições de execução.
Quinta. A classificação de uma tarefa não garante a validade da avaliação. É necessário alinhar o objetivo educacional, o conteúdo da tarefa, os critérios de qualidade e a interpretação do resultado obtido.
Sexta. A taxonomia não prevê a transferência da aprendizagem para a atividade profissional. Para isso, é necessário considerar o design da prática, as características do aprendiz, o ambiente de trabalho e as oportunidades de aplicar o que foi aprendido.
Sétima. O design do treinamento corporativo exige uma descrição mais completa do resultado educacional. As cinco facetas — conteúdo, ação cognitiva, contexto, qualidade e transferência — podem servir como estrutura prática dessa descrição, mas ainda não são um modelo independente validado.
Assim, a resposta à questão central da pesquisa não pode ser inequívoca.
Pode uma classificação de objetivos educacionais servir como modelo da complexidade do pensamento? No sentido estrito da medição, não: a taxonomia não oferece fundamentos suficientes para isso.
Pode ela ser útil no design da aprendizagem? Sim, se for usada como linguagem para formular objetivos e alinhar atividades de ensino, e não como escala universal de complexidade.
Pode ela servir de base para conclusões sobre a eficácia da aprendizagem? Apenas de forma limitada. Para avaliar o resultado profissional, são necessários modelos separados de avaliação e de transferência.
A conclusão principal não é que a taxonomia de Bloom esteja obsoleta ou deva ser rejeitada. Seu valor se mantém justamente na área para a qual foi criada: na descrição e na sistematização de objetivos educacionais.
Mas objetivo educacional, atividade mental, qualidade do resultado e comportamento profissional não são a mesma coisa. Quanto mais sério é o nosso compromisso com o design da aprendizagem, mais importante é não substituir uma coisa pela outra.
Perguntas frequentes
Referências
Agarwal, P. K. (2019). Retrieval practice & Bloom’s taxonomy: Do students need fact knowledge before higher order learning? Journal of Educational Psychology, 111(6), 995–1010.
Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives. Longman.
Baldwin, T. T., & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel Psychology, 41(1), 63–105. https://doi.org/10.1111/j.1744-6570.1988.tb00632.x
Barnett, S. M., & Ceci, S. J. (2002). When and where do we apply what we learn? A taxonomy for far transfer. Psychological Bulletin, 128(4), 612–637.
Biggs, J. (1996). Enhancing teaching through constructive alignment. Higher Education, 32, 347–364.
Biggs, J. B., & Collis, K. F. (1982). Evaluating the quality of learning: The SOLO taxonomy. Academic Press.
Bloom, B. S. (Ed.), Engelhart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. David McKay.
Blume, B. D., Ford, J. K., Baldwin, T. T., & Huang, J. L. (2010). Transfer of training: A meta-analytic review. Journal of Management, 36(4), 1065–1105. https://doi.org/10.1177/0149206309352880
Chi, M. T. H., Feltovich, P. J., & Glaser, R. (1981). Categorization and representation of physics problems by experts and novices. Cognitive Science, 5(2), 121–152.
Demeter, M., Morris, J. G., & Trajkovski, G. (2021). Transparency of cognitive complexity in performance assessments: A validity study. The Journal of Competency-Based Education, 6(2), e1244. https://doi.org/10.1002/cbe2.1244
Grossman, R., & Salas, E. (2011). The transfer of training: What really matters. International Journal of Training and Development, 15(2), 103–120. https://doi.org/10.1111/j.1468-2419.2011.00373.x
Gulikers, J. T. M., Bastiaens, T. J., & Kirschner, P. A. (2004). A five-dimensional framework for authentic assessment. Educational Technology Research and Development, 52(3), 67–86. https://doi.org/10.1007/BF02504676
Hill, P. W., & McGaw, B. (1981). Testing the simplex assumption underlying Bloom’s taxonomy. American Educational Research Journal, 18(1), 93–101. https://doi.org/10.3102/00028312018001093
Holton, E. F. (1996). The flawed four-level evaluation model. Human Resource Development Quarterly, 7(1), 5–21.
Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73.
Kraiger, K., Ford, J. K., & Salas, E. (1993). Application of cognitive, skill-based, and affective theories of learning outcomes to new methods of training evaluation. Journal of Applied Psychology, 78(2), 311–328.
Krathwohl, D. R. (2002). A revision of Bloom’s taxonomy: An overview. Theory Into Practice, 41(4), 212–218.
Larsen, T. M., Endo, B. H., Yee, A. T., Do, T., & Lo, S. M. (2022). Probing internal assumptions of the revised Bloom’s taxonomy. CBE—Life Sciences Education, 21(4), ar66. https://doi.org/10.1187/cbe.20-08-0170
Madaus, G. F., Woods, E. M., & Nuttall, R. L. (1973). A causal model analysis of Bloom’s taxonomy. American Educational Research Journal, 10(4), 253–262. https://doi.org/10.3102/00028312010004253
Marzano, R. J., & Kendall, J. S. (2007). The new taxonomy of educational objectives (2nd ed.). Corwin Press.
Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749.
Stanny, C. J. (2016). Reevaluating Bloom’s taxonomy: What measurable verbs can and cannot say about student learning. Education Sciences, 6(4), 37. https://doi.org/10.3390/educsci6040037
Sweller, J., van Merriënboer, J. J. G., & Paas, F. (2019). Cognitive architecture and instructional design: 20 years later. Educational Psychology Review, 31, 261–292.
Tessmer, M., & Richey, R. C. (1997). The role of context in learning and instructional design. Educational Technology Research and Development, 45(2), 85–115.
Webb, N. L. (1997). Criteria for alignment of expectations and assessments in mathematics and science education. National Institute for Science Education.



