Evaluation Model of Motivation and Engagement in Computing Students (EMMECS)
Contexto
O alto índice de evasão e reprovações em fases iniciais de computação continua sendo um grande desafio para a área.
Um dos fatores relacionados ao sucesso do estudante, frequentemente apontados na literatura, é a sua motivação. É muito importante identificar as causas de motivação/desmotivação e, se possível, identificar previamente alunos com potencial risco de insucesso, a fim de tomar ações.
Porém, como medir motivação? Com esse objetivo, propomos o modelo EMMECS baseado em diversos estudos da literatura e também experimentos com estudantes de cursos de computação
O que é?
É um modelo que sugere um processo e instrumentos para medir a motivação dos estudantes em computação, identificar fatores e prever antecipadamente estudantes em risco. O modelo é composto por 5 componentes principais:
-
Motivação inicial
-
Fatores pré-universitários
-
Percepção do professor
-
Variação da motivação ao longo da disciplina
-
Fatores de motivação
Além desses 5 componentes, propomos opcionalmente um sexto, a fim de identificar causas de abandono de estudantes evadidos.
O Processo
Um dos objetivos do método proposto é que seja possível prever o sucesso do estudante com base em informações de motivação e engajamento. Outro objetivo é que seja possível mapear os fatores que possivelmente estão afetando o insucesso dos estudantes.
Segundo a literatura, os 2 primeiros anos são os mais críticos para definir a retenção ou não do estudante. Além disso, o maior índice de reprovações e evasão está em disciplinas relacionadas à programação. Devido a isso, o foco do modelo é com estudantes calouros até a 4ª fase (2ª ano) e disciplinas relacionadas à lógica e programação.

Início do curso:
Aplicação na primeira semana de aula (uma vez por aluno):
-
Motivação inicial (escala AMS) e
-
Fatores Pré-universitários:
questionário impresso / questionário on-line
Ao longo da disciplina:
Aplicação semanal nas disciplinas de programação (a cada disciplina pesquisada):
-
Percepção dos professores: questionário impresso
-
Motivação atual (escala EVC Ligth): questionário impresso / questionário on-line
* A ênfase do modelo está na identificação prévia até a 4ª semana. Portanto, é importante que haja essa medição em todas as primeiras 4 semanas para o maior numero de alunos possível. A partir da semana 5, pode ser realizado quinzenalmente.
Aplicação semestral, meados do período (semana 12) ou sob demanda (caso tenha identificado um ou mais estudantes em risco):
-
Fatores de motivação: questionário impresso / questionário on-line
Após o curso/disciplina (evadidos):
Aplicação ao final do período letivo, com estudantes que evadiram:
-
Fatores de evasão: questionário on-line
Identificação prévia de estudantes em risco
O objetivo do modelo é utilizar os dados coletados para prever antecipadamente possível estudantes desmotivados. Baseado em técnicas de learning machine, o modelo irá calcular e gerar uma predição de sucesso ou insucesso de cada estudante a cada semana.
Os professores interessados em receber semanalmente uma análise de seus alunos, devem enviar email para professorpablos@gmail.com. Para receber esses dados, os questionários devem ser respondidos on-line.
A cada semana e baseado nos dados coletados, o professor da disciplina irá receber um relatório de motivação da turma, contendo os seguintes componentes:
-
Índice de Motivação inicial
-
Histórico da motivação semanal
-
Fatores críticos avaliados pela turma (caso já tenha sido aplicado o instrumento)
-
Probabilidade de insucesso (Índice de Risco)

Publicações relacionadas
-
SCHOEFFEL, PABLO; RAMOS, V. F. C. ; WAZLAWICK, RAUL SIDNEI . Using Multiple Active Teaching-Learning Approaches in Software Project Management: A longitudinal analysis of students' motivation and learning. In: Frontiers in Education (FIE), 2018, San Jose, USA. FIE 2018 Proceedings. Piscataway, USA: IEEE, 2018. v. 1. p. 1-9.
-
SCHOEFFEL, PABLO; RAMOS, V. F. C. ; WASLAWICK, R. S. ; VAHLDICK, A. ; SOUZA, M. . Identification of Pre-University Factors that Affect the Initial Motivation of Students in Computing Programs: A multi-institutional case study. In: IEEE Frontiers in Education (FIE) 2018, 2018, San Jose, USA. 2018 FIE Proceedings. Piscataway,USA: IEEE, 2018. v. 1. p. 1-8.
-
SCHOEFFEL, PABLO; RAMOS, V. F. C. ; WASLAWICK, R. S. ; VAHLDICK, A. ; SOUZA, M. . Evaluation of an Instrument to Identify Factors that Impact the Motivation and Engagement of Undergraduate Students in Computing. In: The Frontiers in Education conference (FIE) 2018, 2018, San Jose, USA. FIE 2018 Proceedings. Piscataway, NJ - USA: IEEE, 2018. v. 1. p. 1-9.
-
SCHOEFFEL, PABLO; RAMOS, V. F. C. ; WAZLAWICK, RAUL SIDNEI . Motivation and Engagement Factors of Undergraduate Students in Computing: A systematic mapping study. In: IEEE Frontiers in Education (FIE) 2018, 2018, San Jose, USA. 2018 FIE Proceedings. Piscataway, USA: IEEE, 2018. v. 1. p. 1-5.
-
SCHOEFFEL, P.. Modelo para Predição de Evasão de Estudantes de Computação Baseado na Motivação. In: XX Ibero-American Conference on Software Enginerring (CIBSE 2017), 2017, Buenos Aires. CIBSE 2017 Proceedings, 2017. v. XX.
-
SCHOEFFEL, PABLO; WAZLAWICK, RAUL SIDNEI ; RAMOS, VINICIUS . Impact of Pre-University Factors on the Motivation and Performance of Undergraduate Students in Software Engineering. In: 2017 IEEE 30th Conference on Software Engineering Education and Training (CSEE&T), 2017, Savannah. 2017 IEEE 30th Conference on Software Engineering Education and Training (CSEE&T), 2017. p. 266.
-
SCHOEFFEL, PABLO; RAMOS, V. F. C. ; WASLAWICK, R. S. ; VAHLDICK, A. ; SOUZA, M. . Mapping Factors that Impact on Motivation of Undergraduate Students in Software Engineering: A case study. In: Proceedings of the SBIE 2018, 2018, Fortaleza, BRA. SBC, 2018. v. 1. p. 963-972.
-
VAHLDICK, Adilson. SCHOEFFEL, PABLO; RAMOS, V. F. C. ; WASLAWICK, R. S. LIZ, Fernando. Maior Frequência na Aplicação de Instrumentos de Avaliação em uma Disciplina Introdutória de Programação: Impactos no Desempenho e Motivação. VII Congresso Brasileiro de Informática na Educação (WCBIE 2018). Fortaleza, BRA. SBC, 2018. v. 1. p. 739-748.
Downloads
- MYSQL database backup: database with anounynous data and results from experiment performed with students in Brazil
- Souce code EMMECS: souce code of the EMMECS application, using Weka API to predict students outcome
- ARRF file: all trainning and testing data used in the experiments