Avaliar para aprender: reflexão crítica sobre a construção de um plano de avaliação em eLearning com apoio de IA

Nota inicial

O presente artigo nasce do trabalho final da Unidade Curricular Avaliação em Contextos de eLearning, desenvolvido no âmbito do Mestrado em Pedagogia do eLearning da Universidade Aberta. O trabalho, intitulado “Plano de Avaliação de um Módulo de Formação em eLearning”, foi realizado por Raquel Alexandra Costa Pedro Santos e Sérgio Manuel do Carmo Trigo e incidiu sobre o módulo “Conceção de Recursos Educativos Digitais com apoio de Inteligência Artificial para contextos de eLearning”.

Mais do que apresentar uma síntese do documento produzido, procuramos aqui refletir criticamente sobre o processo da sua construção, as decisões que tivemos de tomar, as tensões que encontrámos e, sobretudo, as aprendizagens que dele resultaram. A elaboração deste plano mostrou-nos que avaliar em eLearning não significa simplesmente transportar para uma plataforma digital os instrumentos utilizados no ensino presencial. Significa repensar a própria relação entre avaliação, aprendizagem, participação, feedback, tecnologia e responsabilidade.

Artigo geminado no portefólio de mestrado da colega Raquel Santos, O Prompt Certo.

Quando avaliar deixa de significar apenas classificar

Uma das aprendizagens mais importantes proporcionadas por este trabalho foi a compreensão de que um plano de avaliação não deve começar pela pergunta “Que classificação vamos atribuir?”, mas por uma questão anterior e pedagogicamente mais relevante: “Que aprendizagens queremos tornar visíveis e como podemos ajudar os formandos a desenvolvê-las?”

Esta mudança de perspetiva teve consequências em todo o processo de conceção. Obrigou-nos a abandonar uma visão da avaliação como momento terminal, centrado na verificação de resultados, e a assumir uma conceção mais ampla, na qual a avaliação acompanha, informa e regula a aprendizagem.

A distinção entre avaliação para a aprendizagem e avaliação como aprendizagem revelou-se particularmente significativa. Na primeira, a recolha de evidências permite ajustar o ensino e apoiar a progressão dos estudantes. Na segunda, os próprios estudantes aprendem a interpretar critérios, analisar o seu desempenho, tomar decisões e regular o percurso que estão a construir.

Foi precisamente esta segunda dimensão que mais nos desafiou. É relativamente simples prever momentos em que o docente comenta um trabalho. É muito mais exigente criar condições para que o formando compreenda esse comentário, o confronte com os critérios, decida o que deve alterar e justifique as suas opções.

Por essa razão, o plano incluiu autoavaliação, coavaliação, rubricas partilhadas desde o início e uma nota de resposta ao feedback. Esta última tornou-se, para nós, uma das componentes mais relevantes do design. Em vez de assumir que o feedback produz automaticamente aprendizagem, procurámos tornar visível o modo como é recebido, interpretado e mobilizado.

O modelo PrACT como estrutura de pensamento

O modelo PrACT, organizado em torno das dimensões da Praticabilidade, Autenticidade, Consistência e Transparência, constituiu o principal referencial para analisar as nossas decisões (Amante et al., 2017). Mais do que uma lista de princípios, funcionou como uma estrutura de interrogação permanente.

A autenticidade levou-nos a escolher como produto final a conceção de um minimódulo em eLearning. Esta tarefa aproxima-se de uma situação real da prática profissional de docentes e formadores. O formando não responde apenas a perguntas sobre design pedagógico, mas tem de transformar conhecimento em decisões, recursos, atividades e estratégias de avaliação.

A consistência obrigou-nos a verificar continuamente o alinhamento entre competências, tarefas, evidências, critérios, instrumentos e momentos de feedback. Se uma competência é considerada central, deve existir uma evidência que permita observá-la e um critério que possibilite interpretá-la. Esta constatação parece evidente quando formulada teoricamente, mas torna-se complexa no momento de construir uma matriz de avaliação coerente.

A transparência conduziu-nos à explicitação antecipada dos critérios e à construção de rubricas analíticas. Percebemos, contudo, que disponibilizar uma rubrica não garante, por si só, transparência. Um instrumento apenas é transparente quando os seus utilizadores compreendem a linguagem, discutem os descritores e conseguem reconhecer exemplos concretos dos diferentes níveis de desempenho. Daí a inclusão de um exercício de calibração entre avaliadores.

Por fim, a praticabilidade confrontou-nos com a dimensão menos visível, mas decisiva, do design avaliativo: a sua sustentabilidade. Um plano pode ser teoricamente sofisticado e, ainda assim, falhar se exigir uma carga incomportável ao docente ou aos formandos. A qualidade de uma proposta não depende apenas da sua ambição, mas também da possibilidade real de a concretizar.

A autenticidade não reside apenas no produto

Inicialmente, poderíamos ter entendido a autenticidade como uma característica exclusiva da tarefa final. Ao longo da elaboração do trabalho, compreendemos que ela depende também da qualidade do processo.

Um minimódulo pode parecer profissional e, ainda assim, esconder decisões pouco fundamentadas. Inversamente, um produto tecnicamente simples pode resultar de um processo pedagógico consistente, reflexivo e adequado ao contexto. Por isso, tornou-se necessário avaliar não apenas o artefacto produzido, mas também:

• a justificação das opções pedagógicas;
• a seleção e integração das ferramentas;
• a revisão das versões intermédias;
• a participação nas atividades coletivas;
• a apropriação do feedback;
• a reflexão crítica sobre o percurso;
• a capacidade de reconhecer limitações;
• a projeção das aprendizagens para contextos futuros.

Esta abordagem ajudou-nos a perceber que a avaliação autêntica não deve premiar apenas a aparência de um produto final. Deve procurar compreender a relação entre o produto, o raciocínio que o sustenta e a capacidade de o autor defender, rever e transferir para outras situações.

A apresentação síncrona foi, nesse sentido, concebida como defesa argumentada, e não como simples exposição. O formando deve ser capaz de explicar por que escolheu determinada metodologia, de que modo as ferramentas contribuem para os objetivos e quais as limitações da solução proposta.

O feedback como ação, e não apenas como informação

Outra aprendizagem central relacionou-se com o significado do feedback. Durante muito tempo, o feedback foi frequentemente concebido como informação transmitida pelo docente após a realização de uma tarefa. Contudo, a sua existência não garante que seja compreendido ou utilizado.

Carless e Winstone (2023) demonstram que a eficácia do feedback depende da interação entre a literacia do docente e a literacia do estudante. Isto significa que um comentário pode ser tecnicamente correto e, ainda assim, não produzir qualquer transformação.

Ao desenharmos três momentos de feedback, procurámos criar um ciclo de regulação:

1. Feed up, para clarificar objetivos, critérios e expectativas.
2. Feedback, para analisar o desempenho e identificar pontos fortes e aspetos a melhorar.
3. Feedforward, para orientar os passos seguintes e apoiar a transferência das aprendizagens.

Esta estrutura levou-nos a uma conclusão simples, mas decisiva: o feedback só cumpre plenamente a sua função quando existe tempo, espaço e responsabilidade para agir sobre ele.

Por isso, o momento mais importante não é necessariamente aquele em que o docente escreve o comentário. Pode ser o momento posterior, quando o formando o interpreta, compara com o seu próprio julgamento e decide se o aceita, adapta ou rejeita. Uma resposta crítica ao feedback não representa resistência à avaliação. Pode representar desenvolvimento de autonomia e de julgamento avaliativo.

As rubricas entre a transparência e a simplificação

A construção das cinco rubricas foi uma das tarefas mais exigentes do trabalho. Foram consideradas as seguintes dimensões:

1. produto final;
2. colaboração e participação;
3. reflexão crítica;
4. utilização da Inteligência Artificial;
5. qualidade do feedback.

As rubricas permitiram decompor conceitos abstratos, como “qualidade”, “reflexão” ou “integração crítica”, em critérios mais observáveis. Também nos obrigaram a distinguir níveis de desempenho sem recorrer apenas a adjetivos vagos, como “fraco”, “bom” ou “excelente”.

Este processo revelou, porém, uma tensão importante. Quanto mais detalhada é uma rubrica, maior pode ser a sua capacidade de orientação. Em contrapartida, uma rubrica excessivamente extensa pode fragmentar o desempenho e transformar a avaliação num exercício mecânico de preenchimento.

Aprendemos, assim, que uma rubrica não substitui o julgamento profissional. Deve apoiar esse julgamento, torná-lo mais transparente e favorecer o diálogo, sem criar a ilusão de que toda a complexidade da aprendizagem pode ser integralmente capturada por uma grelha.

A calibração entre avaliadores surgiu como resposta parcial a esse problema. Ao classificar um exemplo comum e discutir divergências, os participantes podem construir uma compreensão mais partilhada dos critérios. Esta prática é particularmente importante na coavaliação, em que diferentes experiências e interpretações podem gerar resultados muito distintos.

Avaliar a utilização da IA sem premiar apenas a sua utilização

A integração da Inteligência Artificial constituiu uma das dimensões mais atuais e complexas do plano. Desde o início, procurámos evitar duas posições extremas: a celebração acrítica da IA e a sua rejeição automática.

A questão central não foi determinar se o formando utilizou IA, mas compreender como, porquê e com que responsabilidade a utilizou. Consequentemente, a avaliação não se concentrou na quantidade de ferramentas mobilizadas, mas na qualidade da apropriação.

Foram considerados cinco aspetos principais:

• clareza e honestidade da declaração de uso;
• fundamentação pedagógica;
• processo de interação e iteração;
• validação crítica dos resultados;
• reflexão ética e responsabilidade.

Esta opção levou-nos a reconhecer que o não uso da IA também pode ser pedagogicamente válido, desde que resulte de uma decisão consciente e fundamentada. Obrigar à sua utilização seria tão redutor como proibi-la. Em ambos os casos, substituir-se-ia o julgamento pedagógico por uma regra tecnológica.

A IA pode apoiar a geração de ideias, a produção de versões preliminares, a tradução, a acessibilidade ou a criação de recursos. Contudo, não elimina a responsabilidade de quem concebe. O docente ou formando continua responsável pela exatidão, adequação, autoria, proteção de dados e qualidade do resultado final.

Também percebemos que declarar o uso de IA não deve ser entendido apenas como um mecanismo de vigilância. Uma declaração bem construída pode constituir uma evidência de aprendizagem, tornando visíveis as iterações realizadas, os resultados rejeitados, os critérios de validação e as decisões humanas que orientaram o processo.

A praticabilidade como teste de realidade

Ao longo do trabalho, fomos progressivamente confrontados com uma pergunta desconfortável: seria possível implementar tudo o que estávamos a propor?

A multiplicidade de momentos avaliativos, rubricas, feedbacks, atividades colaborativas e sessões síncronas aumenta a riqueza das evidências, mas também amplia a carga de trabalho. A viabilidade não pode ser acrescentada no final como uma nota administrativa. Deve fazer parte do próprio raciocínio pedagógico.

Procurámos responder a essa tensão através de:

• feedback coletivo sobre dificuldades comuns;
• comentários individuais breves e criteriais;
• templates de resposta;
• coavaliação estruturada;
• calibração prévia;
• reutilização de rubricas;
• sessões síncronas com funções claramente definidas;
• diferenciação dos apoios segundo a literacia digital.

Ainda assim, uma leitura crítica do documento permitiu-nos identificar aspetos que necessitam de maior harmonização numa futura versão. Entre eles encontram-se a uniformização da carga horária total, do número de sessões síncronas e da correspondência entre as componentes apresentadas nas diferentes tabelas de ponderação.

Também reconhecemos a necessidade de rever a soma interna dos pesos da rubrica do produto final e de tornar mais explícita a forma como cada critério se converte na classificação global. Estas questões não anulam a coerência conceptual do plano, mas mostram como pequenos desalinhamentos operacionais podem comprometer a transparência de um sistema avaliativo.

Esta constatação foi, por si só, uma aprendizagem importante. A consistência não deve ser apenas defendida teoricamente. Precisa de ser testada em todas as tabelas, rubricas, calendários e regras de decisão.

Diferenciar o apoio sem diminuir a exigência

A heterogeneidade dos participantes constituiu outra preocupação relevante. Num módulo sobre recursos digitais e IA, é previsível que alguns formandos revelem elevada fluência tecnológica, enquanto outros necessitem de apoio básico.

A nossa resposta consistiu em propor três percursos de apoio: iniciante, intermédio e avançado. O princípio orientador foi simples: o apoio pode variar, mas os critérios de qualidade devem permanecer comuns.

Esta distinção ajudou-nos a compreender melhor a relação entre equidade e igualdade. Tratar todos exatamente da mesma forma pode acentuar desigualdades já existentes. Oferecer tutoriais, sessões opcionais, documentação diferenciada ou mentoria entre pares não reduz o rigor. Pelo contrário, procura garantir que todos têm condições reais para demonstrar as competências previstas.

Também reconhecemos, contudo, que os grupos de apoio não devem transformar-se em rótulos fixos. A literacia digital é multidimensional e contextual. Uma pessoa pode dominar ferramentas tecnológicas e revelar pouca experiência pedagógica, ou apresentar o perfil inverso. A diferenciação deve, portanto, ser flexível e revista ao longo do percurso.

O que faríamos de forma diferente

Se retomássemos agora o trabalho, manteríamos a arquitetura geral, mas introduziríamos algumas melhorias.

Em primeiro lugar, realizaríamos uma auditoria final de consistência, verificando de forma cruzada cargas horárias, sessões síncronas, pesos, critérios e regras de aprovação.

Em segundo lugar, reduziríamos alguma redundância entre as rubricas. Certos aspetos, como a reflexão sobre a IA, aparecem simultaneamente na rubrica do produto final, na rubrica de utilização da IA e na reflexão crítica. A sobreposição pode ser pedagogicamente justificável, mas deve ser explicitada para evitar dupla penalização ou dupla valorização da mesma evidência.

Em terceiro lugar, definiríamos com maior precisão o tratamento da decisão fundamentada de não utilizar IA. Se a rubrica valoriza a apropriação crítica, deve permitir que essa decisão alcance um nível elevado quando sustentada por argumentos pedagógicos, éticos ou contextuais robustos.

Em quarto lugar, reforçaríamos as dimensões de acessibilidade e desenho universal. Embora a acessibilidade esteja presente em alguns descritores, poderia assumir uma posição mais transversal na matriz de competências e nas rubricas.

Por último, consideraríamos uma experiência-piloto com um pequeno grupo. Um plano de avaliação deve ser visto como uma hipótese pedagógica que necessita de ser testada, observada e aperfeiçoada. A implementação permitiria recolher dados sobre o tempo real exigido, a clareza dos critérios, a utilidade do feedback e a qualidade da coavaliação.

O que levamos deste percurso

A realização deste trabalho transformou a nossa compreensão da avaliação em contextos digitais. Aprendemos que desenhar um plano de avaliação implica construir uma arquitetura de relações entre objetivos, atividades, participantes, evidências, critérios, feedback e decisões.

Aprendemos também que:

• avaliar é tornar a aprendizagem visível, e não apenas produzir uma classificação;
• a transparência exige interpretação partilhada, e não apenas disponibilização de documentos;
• o feedback precisa de gerar ação;
• a autoavaliação e a coavaliação necessitam de treino;
• as rubricas devem orientar sem aprisionar;
• a autenticidade depende tanto do processo como do produto;
• a IA deve ser objeto de julgamento pedagógico e ético;
• a diferenciação deve incidir sobre o apoio, não sobre a exigência;
• a praticabilidade é uma dimensão pedagógica, não meramente logística;
• a consistência de um plano se verifica nos seus detalhes operacionais.

Talvez a conclusão mais significativa seja a de que um bom plano de avaliação não procura controlar integralmente a aprendizagem. Procura criar condições para que os formandos compreendam a qualidade, desenvolvam critérios próprios, participem no julgamento e assumam progressivamente responsabilidade pelo seu percurso.

Foi nesse sentido que a realização deste trabalho deixou de ser apenas um exercício académico. Tornou-se uma oportunidade para interrogarmos as nossas próprias conceções de ensino, autoria, feedback e responsabilidade. Ao desenharmos modos de avaliar os outros, fomos também levados a avaliar criticamente as nossas decisões.

No final, compreendemos que a avaliação não deve surgir como um apêndice do processo educativo. Quando é autêntica, transparente, participada e sustentável, torna-se um dos lugares mais importantes onde a aprendizagem efetivamente acontece.

Poderão consultar o resultado do nosso trabalho no leitor abaixo:

Referências

Amante, L., & Oliveira, I. (2019). Avaliação e feedback: Desafios atuais. Universidade Aberta.

Amante, L., Oliveira, I., & Pereira, A. (2017). Cultura da avaliação e contextos digitais de aprendizagem: O Modelo PrACT. Revista Docência e Cibercultura, 1(1), 135–159.

Bearman, M., Dawson, P., Boud, D., Bennett, S., Hall, M., & Molloy, E. (2016). Support for assessment practice: Developing the Assessment Design Decisions Framework. Teaching in Higher Education, 21(5), 545–556. https://doi.org/10.1080/13562517.2015.1115965

Boud, D., & Soler, R. (2016). Sustainable assessment revisited. Assessment & Evaluation in Higher Education, 41(3), 400–413. https://doi.org/10.1080/02602938.2015.1018133

Carless, D., & Winstone, N. (2023). Teacher feedback literacy and its interplay with student feedback literacy. Assessment & Evaluation in Higher Education, 48(8), 1187–1199. https://doi.org/10.1080/02602938.2023.2177613

Fernandes, D. (2021). Rubricas de avaliação. Direção-Geral da Educação.

Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., Rabatin, S., Kasneci, G., & outros. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Computers and Education: Artificial Intelligence, 4, Article 100118. https://doi.org/10.1016/j.caeai.2023.100118

Lo, C. K. (2024). Ensuring academic integrity in the age of ChatGPT: Rethinking exam design, assessment strategies, and ethical AI policies in higher education. Journal of University Teaching & Learning Practice, 21(6). https://doi.org/10.53761/1.21.6.02

Miao, F., & Holmes, W. (2023). Guidance for generative AI in education and research. UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000386693

Panadero, E., Jonsson, A., & Strijbos, J. W. (2023). The use and effects of rubrics in higher education: A systematic review. Educational Research Review, 38, Article 100497. https://doi.org/10.1016/j.edurev.2022.100497