Quality measurement instruments for online courses: a bibliographic study

Authors

DOI:

https://doi.org/10.15536/reducarmais.7.2023.3087

Keywords:

Analysis of online courses, Digital Technologies, Distance Education

Abstract

This article aims to study the practices applied in the quality analysis of online courses. The research is a bibliographic study that compared studies in order to answer about the different quality assessment instruments, as well as the most relevant points considered in these analyses. As a result, four different application modes and a vast amount of relevance factors were found. Among these factors, we highlight the quality of communication between instructor and student, the variety of media used and the good use of digital distance education technologies.

Downloads

Download data is not yet available.

Author Biographies

Keviny Magalhães Queiroz, Universidade Federal do Ceará - UFC

Mestrando do Programa de Pós-Graduação em Tecnologia Educacional (PPGTE), na linha de pesquisa de Inovações e Práticas em Tecnologia Educacional. Possui graduação em Sistemas e Mídias Digitais pela Universidade Federal do Ceará (UFC). Tem experiência em desenvolvimento de jogos digitais e produção de conteúdo audiovisual, com ênfase em Programação.

Edgar Marçal de Barros Filho, Universidade Federal do Ceará - UFC

Superintendente da Superintendência de Tecnologia da Informação da Universidade Federal do Ceará (UFC) e Coordenador do Mestrado Profissional em Tecnologia Educacional da UFC. Professor da Universidade Federal do Ceará desde 2009, possui Graduação (1997), Mestrado (2005) e Doutorado (2016) em Ciência da Computação pela UFC. Tem experiência técnica e científica na área de Ciência da Computação, com ênfase em Engenharia de Software, atuando principalmente nos seguintes temas: desenvolvimento de aplicativos, mobile learning, sistemas multimídia, computação móvel e dispositivos móveis.

Raquel de Sousa Gondim, Universidade Federal do Ceará - UFC

Mestranda do Programa de Pós-Graduação em Tecnologia Educacional (PPGTE) da Universidade Federal do Ceará (UFC) e integrante do Grupo de Pesquisa do Laboratório Digital Educacional (LDE) da Universidade Federal do Ceará (UFC), na linha de pesquisa Gestão e Políticas em Tecnologia Educacional. Especialista em Administração Escolar pela Universidade Estadual Vale do Acaraú (UVA), Pedagoga (UVA) e Licenciada em matemática (UVA). Tem experiência na área de Educação, com foco em Educação a Distância, Educação Infantil, Ensino Fundamental e Ensino Médio. Na atualidade, tem pesquisado temas como: cultura maker, tecnologia educacional, aprendizagem colaborativa móvel e letramento digital.

Francisco Herbert Lima Vasconcelos, Universidade Federal do Ceará - UFC

Doutor em Engenharia de Teleinformática pela Universidade Federal do Ceará (UFC). Professor da UFC no Mestrado em Ensino de Ciências e Matemática, do Mestrado em Ciência da Informática e do Mestrado em Tecnologia Educacional, desenvolvo trabalhos de pesquisa nas áreas de metodologia de ensino, avaliação educacional, tecnologia na educação, informática aplicada ao ensino de ciências e matemática e na formação de professores. Tenho diversos trabalhos publicados em eventos, congressos, periódicos e revistas científicas especializadas em nível nacional e internacional, além de ter publicado e organizado mais de trinta livros na área da educação. Atualmente sou Secretário de Educação do município de Sobral, Ceará.

References

ABDULLAH, N. Evaluating Pre-Service Teaching Practice for Onlineand Distance Education Students in Pakistan Evaluating Pre-Service Teaching Practice for Online and Distance Education Students in Pakistan.International Review of Research in Open and Distributed Learning, v. 21, n. 2, [s.d.], 2020.

ALVES, J. R. M.A História da EAD no Brasil. In LITTO, Fredric & FORMIGA, Marcos (Orgs). Educação a distância: o estado da arte. São Paulo: Pearson Education do Brasil, 2009.

AZEVEDO, J.; M. M., M. MOOC Success Factors: Proposal of an Analysis Framework. Journal of Information Technology Education: Innovations in Practice, v. 16, p. 233–251, 2017.

BASTOS, C. C. B. C.; ROVARIS, N. A. A relevância do processo de autoavaliação institucional da universidade tecnológica para configuração do bom professor. Revista da Avaliação da Educação Superior, Campinas, v.21, n. 3, p. 767-781, 2016. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772016000300767&lng=en&nrm=iso. Acesso em: 14 dez. 2022.

BRASIL. Lei de Diretrizes e Bases da Educação Nacional, LDB. 9394/1996.

BRASIL. Ministério da Educação. Base Nacional Comum Curricular. Brasília, 2017. Disponível em: : http://basenacionalcomum.mec.gov.br/images/BNCC_EI_EF_110518_versaofinal_site.pdf. Acesso em: 17 set. 2022.

BRIGHENTI, J.; BIAVATTI, V. T.; SOUZA, T. R. DE. Metodologias de ensino-aprendizagem: uma abordagem sob a percepção dos alunos. Revista Gestão Universitária na América Latina - GUAL, p. 281–304. Acesso em: 18 nov. 2022.

BUTCHER, N., HOOSEN, S., UVALI?-TRUMBI?, S., & DANIEL, J. Guidetoquality in post-traditional online higher education. Availablefrom:https://teachonline.ca/sites/default/files/pdfs/guide_quality_online_learningbooklet_v4_final.pdf. 2013.

CHADDA, I.; KAUR, H. COVID pandemic and virtual classes: a study of students from Punjab. Asian Association of Open Universities Journal, v. 16, n. 2, p. 193–210. Acesso em: 16 ago. 2022.

DILLENBOURG, P., FOX, A., KIRCHNER,C., MITCHELL, J., &WIRSING, M. Massive Open Online Courses: Current state and perspectives. Manifesto from Dagstuhl Perspectives Workshop. 2013. Disponível em: https://drops.dagstuhl.de/opus/volltexte/2014/4786/pdf/dagman-v004-i001-p001-14112.pdf. Acesso em: 16 dez. 2022.

HOOD, N.; LITTLEJOHN, A. MOOC Quality: theneed for new measures. Journal of Learning for Development, [S. l.], v. 3, n. 3, 2016. DOI: 10.56059/jl4d.v3i3.165. Disponível em: https://jl4d.org/index.php/ejl4d/article/view/165. Acesso em: 14 dez. 2022.

KÖCHE, J. C. Fundamentos de Metodologia Científica. Petrópolis, RJ : Vozes, 2011. 2011. Disponível em: http://www.adm.ufrpe.br/sites/ww4.deinfo.ufrpe.br/files/Fundamentos_de_Metodologia_Cienti%CC%81fica.pdf. Acesso em: 14 dez. 2022.

LAVOR, J. F.; ANDRIOLA, W. B.; LIMA, A. S. Avaliando o Impacto da Qualidade da Gestão Acadêmica no Desempenho dos Cursos de Graduação. Um Estudo em Universidade Pública Brasileira. Revista Ibero americana de Evaluación Educativa, Santiago de Chile, v. 8, n. 2, p. 233-254, 2015.

LI, M. Studyofthe Index System for AssessingLearner-centered Online Courses. International Journal of Higher Education, v. 4, n. 2, 2015.

LIMA, A. S.; ANDRIOLA, W. A. Avaliação de prática pedagógicas inovadoras em cursos de graduação em Sistemas de Informação.´Revista Iberoamericana sobre Calidad, Eficacia y Cambio en la Educación, Madrid, v. 11, n. 1, p. 104-121, 2013.

LITTO, F. M., & FORMIGA, M. (2009). Educação a distância: o estado da arte. São Paulo: Pearson Education. Machado, P. de A., Bellini, C. G. P., & Leite, J. C. de L. (2011). Adoção e uso de inovação tecnológica em educação a distância: estudo sobre integração de TAM e IDT. Anais do Encontro da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Rio de Janeiro, RJ, Brasil, 35.

MAIA, C.; MATTAR, J. ABC da EaD: a educação a distância hoje. São Paulo: Pearson Prentice Hall, 2007.

MARSH, H. W. Students' Evaluations of University Teaching: Research Findings, Methodological Issues and Directions for Future Research. International Journal of Educational Research, vol. 11, p. 253-388, 1987.

MARSH, H.; BAILEY, M. Multidimensional students’ evaluations of teaching effectiveness: A profile analysis.The Journal of Higher Education, v. 64, p. 1–18, 1993. Disponível em:https://www.jstor.org/stable/2959975?seq=1#page_scan_tab_contents. Acesso em: 21 set. 2022.

MCGAHAN, S.; JACKSON, C.; PREMER, K. Online CourseQualityAssurance: Developmentof a Quality Checklist. InSight: A Journal of Scholarly Teaching, v. 10, p. 126–140, 2015.

MOORE, M. Editorial: Distance Education Theory. The American Journal of Distance Education, Pennsylvania, v. 5, n. 3, p. 1-6, 1991.

PAUL J and J. F. A Comparative Analysis of Student Performance in an Online vs. Face-to-Face Environmental Science CourseFrom 2009 to 2016. Front. Comput. Sci. 1:7, 2019. https://doi.org/10.3389/fcomp.2019.00007.

POZZI, F. et al. Ranking MeetsDistanceEducation: Defining Relevant Criteria and Indicators for Online Universities.International Review of Research in Open and Distributed Learning, v. 20, n. 5, 2019.

QUALITY M. Quality Matters continuing and professional education rubric standards.2013. Disponível em: https://www.qmprogram.org. Acesso em: 14 dez. 2022.

RAJABALEE, B. Y.; SANTALLY, M. I.; RENNIE, F. A study of the relation ship between students’ engagement and their academic performances in an eLearning environment. E-Learning and Digital Media, v. 17, n. 1, p. 1–20, 2019.

RIBEIRO, G. de O.; NUNES, A. O.; COSTA, F. E. M.; SILVA; T. E. V.; ANDRIOLA, W. B.. Avaliação da eficácia do ensino em cursos de graduação a distância. Revista SUSTINERE, Rio de Janeiro, v. 6, n. 2, p. 222-238, 2018.

ROBLYER, M.& WIENCKE, W.Exploring the interaction equation: Validating a rubric to assess and encourage interaction in distance courses. JALN, Volume. 8. 10.24059/olj.v8i4.1808, 2005

ROSEWELL, J., & JANSEN, D. The Open up EdQuality Label: Benchmarks for MOOCs. INNOQUAL: The International Journal for Innovation and Quality in Learning, 2(3), 88-100, 2014.

SALES, G. L.; BARROSO, G. C.; SOARES, J. M.; ANDRIOLA, W. B.; JOYE, C. R.. Um indicador de aprendizagem não-linear para EaD online fundamentado no modelo de avaliação Learning Vectors (LV). Revista Iberoamericana de Evaluación Educativa, v. 4, n. 2, p. 155-180, 2011.

SILVA, F. C. M. da; LIMA, A. S.; ANDRIOLA, W. B. REICE. Avaliação do Suporte de TDIC na Formação do Pedagogo. Um Estudo em Universidade Brasileira.Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 14, n. 3, p. 77-93, 2016.

SILVA, T. E. V.; RIBEIRO, G. O.; NUNES, A. O.; VASCONCELOS, F. H.; ANDRIOLA, W. B.. Avaliação dos indicadores da qualidade do ensino online: um estudo de caso. In: Anais do IV Congresso Brasileiro de Informática na Educação (CBIE 2015) e VIII Workshop sobre Avaliação e Acompanhamento da Aprendizagem em Ambientes Virtuais, p. 503-511, 2015.

SILVA, T. E. V.; RIBEIRO, G. O.; NUNES, A. O.; VASCONCELOS, F. H.; ANDRIOLA, W. B.; MOTA, J. C. M. QEOn Questionnaire for Assessing Experiences in Virtual Learning Environments. IEEE Latin America Transaction, v. 15, p. 1197-1204, 2017. Disponível em: https://www.researchgate.net/publication/316254079_QEOn_Questionnaire_for_Assess ing_Experiences_in_Virtual_Learning_Environments. Acesso em: 21 set. 2022.

SOUZA, V. V. de, PEREIRA, E. C., & MACHADO, C. C. A presença da tecnologia na Educação do Campo: mapeamento da produção científica nacional dos últimos cinco anos. Revista Brasileira de Educação do Campo, 3(1), 245-259, 2018. https://doi.org/10.20873/uft.2525-4863.2018v3n1p245.

SYARIL, I. et al. Assessing the Reliability of Merging Chickering & Gamson’s Seven Principles for Good Practice with Merrill’s Different Levels of Instructional Strategy (DLISt7). [s.l: s.n.]. Disponível em: https://files.eric.ed.gov/fulltext/EJ1105908.pdf. Acesso em: 14 dez. 2022.

TEIXEIRA, C. F. P., & COELHO NETO, J. O Uso das Tecnologias Digitais para o Ensino da Matemática Financeira: Uma Revisão Sistemática da Literatura. Revista Novas Tecnologias Educacionais, 14(2), 1-10, 2016.

TEIXEIRA, C. F.P; e COELHO NETO, J. O Uso das Tecnologias Digitais para o Ensino de Matemática Financeira: Uma Revisão Sistemática de Literatura. RENOTE. Porto Alegre, v. 14, n. 2, 2016. DOI: 10.22456/1679-1916.70673. Disponível em: https://seer.ufrgs.br/index.php/renote/article/view/70673. Acesso em: 18 dez. 2022.

TEIXEIRA, D.; RIBEIRO, L. S; CASSIANO, K. M.; MASUDA, O.; BENCHIMOL, M. Perfil e Destino Ocupacional de Egressos Graduados em Ciências Biológicas nas Modalidades a Distância e Presencial. Ensaio Pesquisa em Educação em Ciências, Belo Horizonte, v.16, n.1, p. 67-84, 2014.

WU, Y. Factor simpacting students’ online learning experience in a learner-centred course. Journalof Computer Assisted Learning, v. 32, n. 5, p. 416–429, 2016.

Downloads

Published

2023-01-31

How to Cite

Queiroz, K. M., Barros Filho, E. M. de, Gondim, R. de S., & Vasconcelos, F. H. L. (2023). Quality measurement instruments for online courses: a bibliographic study. Educar Mais, 7, 221–232. https://doi.org/10.15536/reducarmais.7.2023.3087

Issue

Vol. 7 (2023): Janeiro - Dezembro

Section

Articles

License

Copyright (c) 2023 Keviny Magalhães Queiroz, Edgar Marçal de Barros Filho, Raquel de Sousa Gondim, Francisco Herbert Lima Vasconcelos

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

DECLARATION OF RESPONSIBILITY: I hereby certify that I partially or fully participated in the conception of the work, that I did not hide any links or financial agreements between the authors and companies that may be interested in this article publication. I certify that the text is original and that the work, partially or fully, or any other work with a substantially similar content written by me, was not sent to any other journal and it will not be send while my submission is being considered by Revista Educar Mais, whether in printed or electronic format.

The author responsible for the submission represents all the authors of the manuscript and, when sending the article to the journal, guarantees s/he has obtained the permission to do so, as well as s/he guarantees the article does not infringe upon anyone’s copyright nor violate any proprietary rights. The journal is not responsible for the opinions expressed.

Revista Educar Mais is Open Access, does not charge any fees, whether for submission or article processing. The journal adopts Budapest Open Access Initiative (BOAI)’s definition, i.e., any users are permitted to read, download, copy, distribute, print, search and link to the full texts of these articles.

All the articles are published under the Creative Commons Atribuição-NãoComercial 4.0 Internacional license. The authors keep the copyright of their production. That way, they must be contacted directly if there is any interest in commercial use of their work.