Protocolo PRISMA, Modelo PICO e IA na Educação: Notas de um Processo em Construção

Três perguntas antes de começar

Antes de escrever uma única linha deste protocolo, coloquei a mim próprio três perguntas simples: O que é que já se sabe sobre isto? Como vou procurar esse conhecimento de forma sistemática e transparente? E o que vou fazer com o que encontrar?

Estas três perguntas, aparentemente triviais, são na verdade o esqueleto de qualquer Revisão Sistemática da Literatura bem conduzida. Este artigo documenta como tentei responder a cada uma delas, as escolhas que fiz, as dificuldades com que me deparei, e as melhorias que incorporei após o processo de heteroavaliação por pares.

O problema que me trouxe até aqui

O ponto de partida foi uma tensão que nenhum referencial de formação docente ainda resolve de forma satisfatória. A IA generativa entrou nas salas de aula antes de os professores estarem equipados para lidar com ela pedagogicamente. Isto não é uma hipérbole: o DigCompEdu (Redecker, 2017) identifica a facilitação de competências digitais dos alunos como uma das dimensões menos desenvolvidas na formação docente europeia, e esse referencial foi publicado antes de o ChatGPT existir.

Para os docentes de línguas, este desafio tem uma dimensão adicional que me parece epistemologicamente singular: a linguagem é, ao mesmo tempo, o objeto que ensinam e o principal meio de operação das ferramentas de IA generativa. Um professor de matemática pode manter uma relação instrumental com o ChatGPT. Um professor de inglês ou de português não pode: a ferramenta opera exatamente no território que é o seu objeto de estudo profissional.

Foi esta tensão que gerou o projeto Literacia em IA Generativa para Docentes de Línguas, desenvolvido no Tema 1 desta unidade curricular, e foi ela o fio condutor do protocolo de RSL que agora apresento.

Porquê PICO e não PEO?

A primeira decisão metodológica relevante foi a escolha do modelo de estruturação da pergunta de investigação. Optei pelo modelo PICO (População, Intervenção, Comparação, Outcome), em detrimento do PEO utilizado por outros colegas, e esta escolha não foi arbitrária.

O PICO é adequado a revisões em que existe uma intervenção identificável e um contexto comparativo explícito. No meu caso, ambas as condições se verificam: a intervenção é um programa de formação em eLearning estruturado, e o contexto comparativo é precisamente a ausência de formação estruturada em IA generativa para este público, que documentei no diagnóstico do Tema 1. Esta assimetria, entre quem recebeu formação e quem opera sem ela, é metodologicamente relevante porque permite avaliar a eficácia da intervenção de forma mais rigorosa do que uma revisão que se limite a descrever um fenómeno.

A operacionalização do PICO resultou numa pergunta principal que articula dois níveis de análise indissociáveis: o desenvolvimento de literacia em IA generativa como competência, e a sua transferência para práticas pedagógicas éticas e críticas como resultado. Separar estes dois níveis seria metodologicamente inadequado: formação que desenvolve competências sem impacto na prática real tem alcance limitado.

A estratégia de pesquisa: o que procuro, onde e como

As bases de dados

A seleção das seis bases de dados seguiu uma lógica de cobertura disciplinar cruzada: a Scopus e a Web of Science para cobertura multidisciplinar de alto impacto e identificação de meta-análises existentes; o ERIC e a Education Source para especialização em educação e desenvolvimento profissional docente; o RCAAP para cobertura da produção científica nacional em língua portuguesa; e o Google Scholar para acesso a documentos institucionais de referência (DigCompEdu, relatórios UNESCO e da Comissão Europeia) e a literatura cinzenta.

Os blocos temáticos e as strings

Os termos foram organizados em quatro blocos: docentes de línguas (A), IA generativa e ferramentas (B), literacia crítica e referenciais (C), e formação online e desenvolvimento profissional docente (D). Esta organização por blocos, em vez de uma lista única de palavras-chave, tem uma vantagem metodológica concreta: permite combinar sistematicamente domínios distintos com AND e sinónimos dentro do mesmo domínio com OR, gerando strings que são ao mesmo tempo precisas e exaustivas.

A versão final do protocolo incorporou uma clarificação conceptual importante no Bloco C, na sequência do processo de heteroavaliação: AI literacy, digital literacy e teacher digital competence são construtos com campos semânticos próximos mas operacionalizações distintas na literatura (Long & Magerko, 2020; Redecker, 2017). Sem esta distinção, a triagem de resultados nas bases de dados correria o risco de gerar sobreposição conceptual difícil de gerir. A clarificação ficou registada no protocolo e será operacionalizada durante a triagem por resumo.

A ligação entre a RSL e o design do projeto

Uma das melhorias mais significativas que incorporei na versão final foi a explicitação de como cada pergunta de fundamentação se traduz em decisões concretas de design do programa de formação.

Não é suficiente dizer que a revisão “fundamentará o design do projeto”. Uma RSL de qualidade exige que essa articulação seja específica e rastreável. No protocolo final, o mapeamento ficou assim:

• F1 (eficácia de programas de eLearning) informa a definição dos objetivos de aprendizagem e dos indicadores de eficácia do programa.
• F2 (modelos pedagógicos e design instrucional) orienta as escolhas de modelo pedagógico, estratégias de avaliação e organização modular do curso.
• F3 (transferência para a prática) determina os mecanismos de acompanhamento pós-formação a incorporar no design instrucional, garantindo que o programa promove a aplicação efetiva das competências na prática pedagógica quotidiana.

Esta explicitação não é apenas metodologicamente exigente: é, na minha perspetiva, a diferença entre uma RSL que serve o projeto e uma RSL que existe ao lado dele.

Dois acrescentos que decidi fazer por iniciativa própria

Para além das melhorias sugeridas pelos colegas, introduzi dois acrescentos na Nota Metodológica que considero relevantes enquanto declarações de intenção metodológica.

O primeiro é o registo do protocolo na plataforma OSF (Open Science Framework) antes do início da fase de execução. Este procedimento, recomendado pelo PRISMA 2020, serve um propósito simples mas crucial: fixar publicamente as decisões metodológicas antes de entrar em contacto com os resultados, tornando impossível que essas decisões sejam (conscientemente ou não) influenciadas pelo que se encontra nas bases de dados.

O segundo é a estratégia de dupla passagem para mitigar a limitação da triagem por revisor único. Um projeto de mestrado individual não tem dois revisores independentes: é uma limitação estrutural que não posso eliminar, mas posso gerir. A estratégia consiste em realizar a triagem por título e resumo, registá-la, e reanalisá-la após um intervalo de tempo, documentando os casos de incerteza. Não resolve o problema, mas torna-o transparente e controlado.

O que vem a seguir

Este protocolo é um ponto de partida, não um ponto de chegada. A sua função é fixar as regras do jogo antes de começar a jogar: definir o que procuro, onde procuro e como decido o que fica e o que sai. A execução da revisão, com todas as decisões de triagem, elegibilidade e síntese que ela implica, é o próximo passo.

O que já sei, com alguma convicção, é que o processo de construir este protocolo foi em si mesmo um exercício formativo. Obrigou-me a ser preciso onde era vago, a justificar o que antes assumia como óbvio, e a reconhecer as limitações do meu próprio processo sem as esconder. Talvez isso seja, afinal, o que uma boa revisão sistemática ensina antes de produzir uma única citação.

O documento completo do protocolo encontra-se disponível para consulta em anexo a este artigo.