Melhorando as avaliações de resposta aberta

Uma boa maneira de avaliar os alunos em cursos on-line é avaliar as respostas de texto do tipo dissertativo por meio de um conjunto de critérios quantizados bem definidos (chamados rubricas). 

O Open Response Assessment (ORA) é um componente disponível na plataforma Open edX que permite a criação de entrada de texto livre e oferece uma variedade de métodos de avaliação baseados em rubricas: avaliação por pares, avaliação por equipe ou autoavaliação. 

No início de 2020, a edX decidiu melhorar a usabilidade e a experiência do usuário do bloco ORA, além de implementar novos recursos por meio de um projeto de desenvolvimento combinado com o OpenCraft.

Projetos de desenvolvimento combinado são financiados pela edX para implementar recursos de roteiro e promover a colaboração entre equipes e parceiros da edX na comunidade, ao mesmo tempo em que aumentam o desenvolvimento da edX por toda parte. Você pode encontrar mais informações sobre esses projetos no Manual de desenvolvimento combinado.

Aqui está um resumo das melhorias que foram feitas como parte do projeto de desenvolvimento:

Melhorias na facilidade de criação e usabilidade

Muitas mudanças neste projeto visavam tornar a experiência de autoria ORA mais fácil e simples para os instrutores. O bloco ORA agora é exibido como um bloco de nível superior no Studio e oferece alguns modelos pré-configurados.

Imagem animada mostrando o recurso de modelos ORA.

ORA menu de configuração foi melhorado. As configurações das etapas de agendamento e avaliação foram movidas para guias separadas para simplificar a experiência do usuário. A guia de etapas de avaliação agora permite a configuração fácil das etapas de avaliação e oculta configurações desnecessárias. A guia de agendamento lida com todas as configurações de datas e prazos separadamente.

Nova visualização das configurações do ORA, mostrando abas separadas para configuração de agendamentos e etapas de avaliação.

Relatórios e moderação

Quando as etapas de avaliação por pares estão habilitadas, é comum que alguns alunos fiquem presos esperando indefinidamente, especialmente no início ou no final de um curso, quando não há muita atividade. Os alunos nesse estado estão esperando que os colegas avaliem sua avaliação ou que as avaliações sejam avaliadas.

Uma das novas alterações é uma tela no painel do instrutor que exibe uma lista de alunos presos na etapa Aguardando e permite que os instrutores substituam as notas e apliquem a avaliação da equipe diretamente dessa tela. 

Imagem animada mostrando a nova funcionalidade do painel da etapa Aguardando, onde um instrutor pode identificar alunos presos e aplicar substituições de notas.

Você pode ler mais sobre esse recurso em Acessando métricas para atribuições ORA.

Anteriormente, os relatórios de dados ORA eram difíceis de usar, pois nenhuma informação ou bloco legível pelo usuário era exportado. Isso deixou os instrutores para mapear os alunos usando o manual de identificação de usuário anônimo exportado fora da plataforma. Neste projeto, eles foram aprimorados e agora incluem o nome de usuário real (em vez de apenas o nome de usuário do ID anônimo), o ID do bloco e o nome do problema legível. Isso facilita a interpretação dos arquivos, a análise das informações de envio e o mapeamento desses dados para os alunos reais.

Além disso, há um novo relatório no Downloads de dados guia que permite o download de todas as respostas enviadas pelos alunos para avaliação offline. Consulte a documentação detalhada deste relatório em Acessando métricas para atribuições ORA

Melhorias voltadas para o aluno 

Os alunos agora poderão enviar respostas bem formatadas por meio de um editor WYSIWYG em vez de envios de texto simples. 

Vejo Criar uma tarefa de avaliação de resposta aberta para obter informações sobre como configurar isso em sua instância.

Além disso, as etapas de avaliação por pares (avaliar colegas e aguardando avaliação de colegas) agora não bloqueiam, permitindo que os alunos avaliem sua própria resposta e obtenham uma nota da equipe a qualquer momento do processo. 

Notas finais

Essas melhorias foram desenvolvidas e incorporadas ao branch master do Open edX: elas são parcialmente disponível no Koa e totalmente disponível na versão Lilac. Confira o Documentação de avaliações de resposta aberta para obter detalhes e instruções de uso detalhadas para os novos recursos do ORA.

Se você quiser começar a usar as melhorias mais recentes do ORA, você pode experimentar o Pro&Teacher do OpenCraft gratuitamente por 30 dias. Você obterá uma implantação Open edX totalmente dedicada em execução na versão mais recente da plataforma.

 644 visualizações totais