72
Calidad en Cursos Abiertos Masivos y en Línea.
Revisión de literatura del 2012 - 2016
Alejandra Meléndez1, Mariela Román,1, Mar Pérez-Sanagustín.2, Jorge J. Maldonado.2,3
1 UPANA Virtual, Universidad Panamericana, Guatemala
2 Departamento de Ciencias de la Computación, Pontificia Universidad Católica de Chile, Chile
3 Departamento de Ciencias de la Computación, Universidad de Cuenca, Cuenca, Ecuador {amelendez,mroman}@upana.edu.gt; {mar.perez,jjmaldonado}@uc.cl
Resumen: Los Cursos Abiertos Masivos y en Línea (MOOCs) son materiales educativos que han posibilitado la configuración de nuevos escenarios educativos, tanto presenciales como virtuales. Sin embargo, son pocas las aproximaciones que existen actualmente en la literatura para evaluar la calidad de este tipo de materiales educativos. En este trabajo, a partir de una revisión sistemática de la literatura a contar del 2012 al 2016, se presentan las iniciativas más relevantes que se están utilizando para evaluar la calidad de los MOOCs. Los resultados apuntan a que este tema, sigue siendo poco tratado en la literatura y las aproximaciones existentes, son una adaptación de los modelos de calidad en e-learning centrados en aspectos didácticos y pedagógicos.
Palabras clave: MOOCs, Evaluation, Quality, ISO standards, Instructional Design
1 Introducción
Cualquier discusión sobre calidad en temas de educación es desafiante, puesto que la calidad no es objetiva y es una medida que se establece para un propósito específico. A su vez, este propósito puede cambiar dependiendo del contexto, de las instituciones, de los actores y de los estudiantes, quienes tienen distintos puntos de vista y, en consecuencia, evalúan la calidad a través de distintos lentes (Hood & Littlejohn, 2016).
Además, la presencia de las Tecnologías de la Información y Comunicación (TIC) están configurando nuevos escenarios educativos, obligando a las instituciones de educación superior a incorporarlas en sus procesos de enseñanza y aprendizaje, por las posibilidades didácticas, pedagógicas y comunicativas que ofrecen a los estudiantes (Guerrero, 2015). En este sentido, los Cursos Masivos Abiertos y en Línea (MOOCs), surgen como una tendencia disruptiva sobre las convenciones y principios predominantes, tanto de la educación presencial como en línea. Hoy en día, este tipo de cursos ya forman parte del panorama actual de muchas instituciones de educación
73 superior. Estas instituciones se han visto obligadas a definir nuevos procesos de producción que se adapten a su contexto.
Al igual que cualquier otro curso, los MOOC contienen una estructura basada en objetivos de aprendizaje, contenidos, actividades y evaluaciones (puede verse a los MOOC como un Objeto de Aprendizaje (sic) de granularidad gruesa, Maldonado &
Astudillo, 2014). La similitud de un MOOC con un objeto de aprendizaje, sugiere que los MOOC pueden ser producidos y evaluados siguiendo los estándares de calidad definidos para un curso de e-learning dadas sus características (Roswell & Jasen, 2014;
Gea, 2015). Entonces, es posible identificar criterios para aproximar el análisis de la calidad de un MOOC, tanto como producto y como proceso.
Como producto, los criterios deben estar centrados desde el punto de vista de su producción (el objeto mismo), y como proceso, los criterios deben estar centrados en el desarrollo del objeto (Lavin, Del Solar, Fischer & Ibarra, 2002). Así, los criterios de evaluación pueden cimentarse sobre aspectos didácticos (materiales del MOOC), pedagógicos (diseño instruccional) y técnicos (plataforma).
La evaluación de la calidad en MOOCs es un tema poco tratado en la literatura y las aproximaciones existentes, son una adaptación de los modelos de calidad en e-learning (Roswell y Jasen, 2014). Estos, han proporcionado una base variada sobre los aspectos didácticos, pedagógicos y técnicos que se utilizan para evaluar la calidad. Sin embargo, estos criterios no siempre se pueden adaptar de forma directa en el proceso de producción de un MOOC.
Con el fin de analizar las aproximaciones existentes para evaluar la calidad de los MOOCs, en este estudio se propone realizar una revisión sistemática a contar desde el año 2012 hasta el año 2016. Esta revisión tiene como objetivos: (1) proporcionar una visión global sobre el estado actual de las iniciativas de modelos y herramientas para la evaluación de MOOCs e (2) identificar los modelos y herramientas para la evaluación de MOOCs que han sido utilizadas por diferentes instituciones educativas que ofrecen estos cursos. Concretamente, se plantean las siguientes preguntas de investigación para dirigir el análisis sistemático:
1) RQ1: ¿Cómo se evalúa la calidad de los MOOCs en los artículos publicados entre los años 2012 al 2016?
2) RQ2: ¿Qué modelos o herramientas se han desarrollado para evaluar la calidad de los MOOCs entre los años 2012 al 2016?
El artículo se estructura de la siguiente manera: la sección 2 presenta la metodología del estudio, la sección 3 los resultados de la literatura y la sección 4 las conclusiones y discusión.
2 Metodología
La metodología utilizada para guiar el proceso de investigación es el método de revisión sistemática de la literatura. Se han seguido los lineamientos propuestos por Kitchenham (2004), que propone organizar la revisión sistemática en tres fases que se componen de distintos pasos:
74 (1) Planear la búsqueda: a) se desarrolló un protocolo de revisión, en el que se identificaron las necesidades de la búsqueda para delimitar el campo de estudio acerca de los modelos y herramientas para evaluar la calidad de los MOOCs, luego, b) se formularon las preguntas de investigación para dirigir el estudio y c) se delimitó el período de búsqueda entre el año 2012 hasta el 2016.
(2) Realizar la búsqueda: En esta fase se incluyeron: a) artículos electrónicos publicados en revistas científicas y congresos tanto en español como en inglés, utilizando bases de datos científicas relacionadas con la tecnología educativa:
EBSCO, Redalyc, Dialnet y RIED. b) se utilizó el motor de búsqueda de Google Scholar, Academia.edu y ResearchGate. c) adicionalmente, se realizó una búsqueda en las referencias de los artículos encontrados y seleccionados en las bases de datos para identificar otras publicaciones. Las variables que guiaron la revisión fueron las asociadas a la calidad de los MOOC (calidad, evaluación, diseño instruccional y estándares de calidad) además, se incluyeron palabras clave en inglés, tales como: MOOCs, Evaluation, Quality, ISO standards, Instructional Design. d) Se definieron las cadenas de búsqueda (p.e. [MOOCs] AND [Quality]
AND [Evaluation]) y se realizó una prueba piloto, con el propósito de depurar la estrategía de búsqueda y descartar los artículos que no contenían información suficiente en relación a propuestas de evaluación y modelos de calidad en MOOCs.
De esa forma se identificaron los falsos positivos (artículos seleccionados por la búsqueda pero que no responden a los objetivos del estudio), falsos negativos (artículos no detectados por la estrategia de búsqueda pero que son de interés para el estudio) y dudosos (artículos donde no queda claro si el trabajo es o no de interés para los objeticos del estudio). e) Por último, en el proceso de búsqueda y selección participaron 4 investigadores relacionados con el área de investigación. El título, el resumen y la lista de palabras clave de cada artículo fue leído para determinar si el artículo cumplía o no con los criterios de selección determinados.
(3) Reportar la búsqueda: se encontraron alrededor de 4,568 artículos relacionados con las variables asociadas a calidad de MOOC, de los cuales se seleccionaron 25, puesto que contienen información relevante para responder a las preguntas realizadas al inicio de la investigación (ver Tabla 1).
Tabla 1: Resultados de la revisión científica en bases de datos y motores de búsqueda Fuente No. Resultados
búsqueda No. Resultados
seleccionados Fecha
Google Scholar 2,510 10 15/02/17
Research Gate 100 4 15/02/17
Redalyc 452 2 17/02/17
EBSCO 6 2 26/02/17
Academia 1,450 3 26/02/17
RIED 10 2 28/02/17
Dialnet 40 2 28/02/17
Total 4,568 25
75
3 Resultados
La revisión de la literatura incluye estudios, ideas y propuestas de diversos autores para determinar cómo se evalúa la calidad de MOOCs. Además, se describen los modelos e instrumentos que se han adoptado del e-learning a la calidad de MOOC. Por último, se identifican las relaciones o similitudes encontradas en las fuentes seleccionadas.
3.1. RQ1: evaluación de la Calidad de los MOOCs en los artículos publicados entre 2012 y 2016
Para Gea (2015): “el aseguramiento de la calidad viene dado por una metodología para el diseño del curso siguiendo unas pautas bien establecidas: planificación, guías, elaboración del material siguiendo estándares de calidad y accesibilidad, apoyo docente, evaluación [SKAM13]”, (Gea, 2015, p.15). El mismo autor indica que una aproximación más directa a la calidad de cursos MOOC, sería utilizar indicadores de calidad de la modalidad a distancia:
• Planificación: identificación, duración, horas y guías didácticas de apoyo
• Diseño: contenidos, recursos didácticos, herramientas de comunicación y actividades
• Tutorización y seguimiento: comunicación, incidencias, soporte y tutorías
• Evaluación: por pares, autoevaluación, final, por logros…
• Incluir soporte de formación y apoyo al profesorado
Por otro lado, Downes (2013) en la publicación “The quality of massive open online course”, propone que la calidad de MOOC se valore por el resultado de los cursos, a través de cuatro criterios: (1) autonomía (los alumnos marcan sus propias metas y objetivos), (2) diversidad (consecuencia de la autonomía), (3) abertura (no hay límites y los contenidos son fluidos) e (4) interactividad (mezcla entre conexión e interactividad). El mismo Downes (2014), afirma que el éxito o fracaso del MOOC depende de lo bien que se responda a estos criterios.
Zapata (2015) al igual que Margaryan, Bianco y Littlejohn (2014), consideran el diseño instruccional como un indicador indispensable para garantizar la calidad de los MOOCs. El diseño debe realizarse con todas las partes implicadas en el proceso y siguiendo el desarrollo de las siguientes líneas: bases teóricas, práctica formativa (actividades de enseñanza y de aprendizaje) y la investigación formativa, basada en el diseño. Además de estas líneas, se deben detallar y contemplar los siguientes aspectos (Zapata, 2015):
• Objetivos y epítome
• Construcción de unidades
• Construcción de las guías docentes y de las guías didácticas de las unidades
• Crear y organizar materiales para cada unidad
• Los tipos y funciones de los profesores en relación con los otros aspectos del diseño, y en particular de los profesores asistentes
Las propuestas más recientes de la literatura presentan un panorama completo para valorar la calidad de los MOOCs a través de una serie de variables y perspectivas. Por ejemplo, Jansen, Roswell y Kear (2016) sugieren que la calidad de los MOOCs se puede
76 considerar desde cuatro perspectivas: (1) la calidad desde el punto de vista del estudiante (expectativas del estudiante, metas, comportamientos de aprendizaje y habilidades), (2) la calidad vinculada al marco pedagógico del MOOC, (3) la calidad relacionada a los elementos de entrada (diseño instruccional, recursos, preguntas de opción múltiple, evaluación, tecnología empleada y la calidad del profesor) y (4) la calidad del profesor y la calidad basada en el resultado (número de estudiantes que completan el MOOC o los que logran obtener la certificación).
De igual forma, Hood y Littlejohn (2016) plantean un modelo basado en las tres variables de Biggs (1993), las cuales conceptualizan la educación como un complejo conjunto de ecosistemas que interactúan: (1) Variables de presagio: son los recursos que van dentro del proceso de enseñanza y aprendizaje como la plataforma, proveer un instructor y el estudiante, (2) Variables del proceso: están asociadas con las variables de presagio como la pedagogía y el diseño instruccional y (3) Variables del producto: se refiere a los resultados del proceso educativo, el aprendizaje y aprendices.
3.2. RQ2: modelos o herramientas que se han desarrollado para evaluar la calidad de los MOOCs
Las fuentes consultadas para determinar los distintos modelos y herramientas de la evaluación de la calidad fueron tomadas de los autores: Read y Rodrigo (2014), Conole (2013), Martín, González, García (2013), Ramírez (2015). Así mismo, se tomaron en cuenta las experiencias de instituciones como la Universidad Nacional de Educación a Distancia de España (UNED) y Universidad Pablo de Olavide de Sevilla, España, la Fundación Europea para la Calidad en e-learning (EFQUEL), OpenupEd y la Guía Afortic, para determinar los criterios e indicadores usados para evaluar la calidad.
Uno de los principales aportes en relación a modelos de calidad de los MOOCs, fue realizado por los autores Read y Rodrigo (2014). En el modelo de la primera edición de la iniciativa UNED MOOC, se evaluaron seis aspectos y se hicieron correcciones de acuerdo con los resultados:
1. Tema, cada curso debía ser específico. Los cursos que eran muy amplios se simplificaron y se dividieron en propuestas de más de un curso.
2. Contenidos, en muchos casos los materiales preparados por el autor del curso fueron adaptados al curso MOOC.
3. Duración, se consideró un tiempo de duración de 25 a 125 horas.
4. Estructura del curso, dependiendo de los objetivos y la duración, este se dividió entre 4 a 8 módulos y cada uno tenía de 4 a 8 videos con actividades y evaluaciones.
5. Diseño instruccional, en el curso se retaba al estudiante a formar parte de su proceso de enseñanza-aprendizaje, la autoevaluación se utilizó como método de evaluación.
6. Canales de comunicación, los foros se utilizaron como herramienta principal para la interacción.
Conole (2013) proporciona el modelo de las 7c, el cual se puede utilizar en el diseño y en la evaluación de la calidad de MOOCs. Los elementos que conforman el modelo son:
conceptualizar (¿Cuál es la visión del curso?), capturar (revisión de recursos), comunicar
77 (mecanismos para fomentar la comunicación), colaborar (mecanismos para fomentar la colaboración), considerar (estrategias de evaluación), combinar (relacionar distintos enfoques sobre diseño) y consolidar (implementar y evaluar el diseño en un contexto de aprendizaje real).
El modelo propuesto por Martín, González, y García (2013) utiliza como base un instrumento de la guía Afortic (evaluación de la calidad de la enseñanza online en las universidades andaluzas) para la evaluación de MOOC. Dicho modelo se fundamenta en las iniciativas de acreditación y evaluación que se siguen en España, por lo que considera cinco dimensiones para sus indicadores: (1) planificación de la acción formativa, (2) programa de la acción formativa, (3) recursos de la acción formativa, (4) desarrollo de la acción formativa y (5) calidad de los resultados
La estandarización de cursos virtuales también puede aplicarse en la evaluación de cursos MOOC. La organización Internacional de estandarización (ISO) define estandarización como la actividad que tiene por objeto establecer, ante problemas reales o potenciales, disposiciones destinadas a usos comunes y repetidos, con el fin de obtener un nivel de ordenamiento óptimo en un contexto dado, que puede ser tecnológico, político o económico (Hilera y Hoya, 2010, p.19-21). La propuesta de Ramírez (2015), utiliza la certificación AENOR con la norma UNE 66181, en los cursos de la Universidad Pablo de Olavide de Sevilla, España.
La UNE 66181:2012 - Gestión de la Calidad de la Formación Virtual, es una norma que pretende servir como guía para identificar las características de las acciones formativas virtuales, de forma que los usuarios puedan seleccionar los cursos que mejor se adapten a sus expectativas, y que las organizaciones educativas puedan mejorar su oferta y, con ello, la satisfacción de sus alumnos.
Además de los modelos y herramientas, existen iniciativas europeas que ofrecen recursos para evaluar la calidad. OpenupEd es una iniciativa abierta sin fines de lucro fundada por European Association of Distance Teaching Universities (EADTU) con el apoyo de la Comisión Europea, la cual pretende establecer una marca de calidad distintiva (Quality label) que promocione la diversidad, para facilitar la educación me- diante los cursos MOOC (http://www.openuped.eu/es/). El objetivo de la OpenupEd Quality Label es incentivar la mejora de la calidad para los MOOC y sus proveedores a través de la marca E-xcellence. Está marca ofrece una serie de herramientas, un manual y una orientación rápida de autoevaluación en línea (quick scan), que brinda soporte a un proceso de revisión basado en un número de puntos de referencia. La autoevaluación contiene 35 puntos de referencia que se dividen en seis áreas: dirección estratégica, diseño curricular, diseño del curso, impartición del curso, apoyo al personal y apoyo al estudiante. Adicional, el manual proporciona un texto de soporte que detalla los indicadores de buenas prácticas (Roswell y Jasen, 2014).
Otra iniciativa, es el MOOC Quality Project de la Fundación Europea de la calidad en el e-learning (EFQUEL), la cual trata de abordar la temática de calidad en MOOCs a través de un blog que presenta una serie de artículos, en donde participan expertos y partes interesadas en el campo. Algunos temas que se han discutido en el blog se relacionan con la información previa al curso, el grupo objetivo indefinido de los MOOC, el compromiso requerido del estudiante, aprendizaje entre pares y nivel de interacción de los estudiantes (Creelman, Ehlers, y Ossiannilsson, 2014).
78 La tabla 2, presenta un cuadro comparativo de las perspectivas pedagógica, didáctica y técnica de acuerdo a los criterios que se encontraron en las diversas propuestas y modelos presentados por los autores de la literatura y en los que se ven reflejados los criterios utilizados para evaluar la calidad de los MOOCs.
Tabla 2: Cuadro comparativo de la evaluación de calidad en MOOCs por autor
Autor Perspectiva
pedagógica Perspectiva
didáctica Perspectiva técnica
Conole (2013) x x
Martín, González, y García (2013) x x
Read & Rodrigo (2014) x x x
Gea (2015) x x
Ramíraz (2015) x x x
Zapata (2015) x x
Hood & Littlejohn (2016) x x x
Jansen, Roswell & Kear (2016) x x x
4 Conclusiones y discusión
En conclusión, esta revisión de la literatura ha mostrado que las investigaciones encontradas, coinciden en que, para evaluar la calidad en los MOOCs se deben considerar criterios que evalúen aspectos pedagógicos, didácticos y técnicos de los cursos, que también, son utilizados por los modelos para evaluar la calidad en e- learning.
Las primeras propuestas encontradas en la revisión de la literatura evalúan la calidad de MOOCs desde la perspectiva pedagógica, que incluye criterios de la estructura del curso, contenidos y la actividad formativa, mientras que las publicaciones actuales sugieren evaluar la calidad de los MOOC desde la perspectiva del estudiante (Jansen, Roswell & Kear; Hood & Littlejohn, 2016) ya que una de las características principales de los MOOCs es, que tiene una amplia variedad de estudiantes con diversas motivaciones. Además, todas las propuestas y modelos contienen criterios que evalúan la calidad desde una perspectiva pedagógica y didáctica, no así desde la perspectiva técnica.
Dentro de la literatura se han encontrado cinco propuestas de modelos que evalúan la calidad de los MOOC que datan del año 2013 al 2016, los cuales contienen características específicas sobre aspectos a tomar en cuenta para el diseño del curso, de estos modelos uno se basa en la certificación AENOR a través de la norma UNE 66181 (Gestión de la Calidad de la Formación Virtual).
Así mismo, dentro de las fuentes encontradas se mencionan iniciativas europeas que han abordado el tema de calidad en MOOCs, a través de información, orientaciones y herramientas que proporcionan indicadores básicos de calidad.
En la literatura aún no se han encontrado modelos de evaluación de calidad por parte de instituciones latinoamericanas. La mayoría de iniciativas y universidades que tratan
79 los temas relacionados con la calidad de MOOCs son únicamente del ámbito europeo.
A pesar de ello, se comprueba que la experiencia de estas universidades en el campo de la planeación, diseño e implementación de proyectos virtuales, ha sido trasladada a la creación de MOOCs, tomando en cuenta los criterios pedagógicos, didácticos y académicos que han desarrollado.
5 Agradecimientos
Este trabajo fue patrocinado por: FONDECYT (Chile) N 11150231, el proyecto MOOC-Maker (561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP), el proyecto ACAI-LA (561997-EPP-1-2015- 1-ES-EPPKA2-CBHE-JP) y el CONICYT DOCTORADO NACIONAL 2016/21160081
6 Referencias
1. Aguaded, I., & Medina, R. (2015). Criterios de calidad para la valoración y gestión de MOOC. RIED, 18:2, 119-143.
2. Alario-Hoyos, C., Kloos, C. D., Estévez-Ayres, I., Fernández-Panadero, C., Blasco, J., Pastrana, S., & Villena-Román, J. (2016). Interactive activities: the key to learning programming with MOOCs. Proceedings of the European Stakeholder Summit on experiences and best practices in and around MOOCs (EMOOCS 2016), 319.
3. Conole, G. (2013). Los MOOCs como tecnologías disruptivas: estrategias para mejorar la experiencia de aprendizaje y la calidad de los MOOCs. Revista científica de Tecnología Educativa, II, 16-28.
4. Creelman, A., Ehlers, U.-D., & Ossiannilsson, E. (2014). Perspectives on MOOC quality- An Account of the EFQUEL MOOC Quality Project. The International Journal for Innovation and Quality in Learning.
5. Downes, S. (2013). The Quality of Massive Open Online Courses. Recuperado de:
http://www.downes.ca/post/66145
6. EFQUEL. (s/f). European Foundation for Quality in e-learning. Recuperado de:
http://mooc.efquel.org/the-mooc-quality-project/
7. Gea, M. (2015). Informe MOOC y criterios de calidad. CRUE-TIC Comisión Sectorial de las Tecnologías de la Información y las Comunicaciones, 18:2, 119-143.
8. Guerrero, C. (2015). UMUMOOC Una propuesta de indicadores de calidad pedagógica para la realización de cursos MOOC. Campus Virtuales, Vol. 4, num. 2, pp. 70-76.
9. Hilera, J., & Hoya, R. (2010). Estándares de e-learning: guía de consulta. Universidad de Alcalá
10. Hoood, N., & Littlejohn, A. (2016). Quality in MOOCs: Surveying the Terrain.
Commonwealth of Learning, 2-2
11. Jasen, D., Roswell, J., & Kear , K. (2016). Quality Frameworks for MOOCs. En: M.
Jemni, Kinshuk & M.K. Khribi (Eds.). Open Education: from OERs to MOOCs. Lecture Notes in Educational Technology (LNET). pp. 261-281 Aug 18, 2016. Berlin: Springer 12. Kitchenham, B. (2004) “Procedures for performing systematic reviews,” Keele UK Keele
Univ., vol. 33, no. 2004, pp. 1–26.
13. Lavín, S., Del Solar, S., Fischer, M., & & Ibarra, J. C. (2002). La propuesta CIGA: gestión de calidad para instituciones educativas. 23
80 14. Luján, S., & Pernías, P. (2013). Los MOOC: orígenes, historia y tipos. Comunicación y pedagogía, 269-270. Recuperado de https://www.centrocp.com/los-mooc-origenes- historia-y-tipos/
15. Maldonado, J., & Astudillo, G. (2014). Los Objetos de Aprendizaje: Un estado del arte en Iberoamérica. In VI Conferencia Iberoamericana sobre Tecnologías y Aprendizaje, Miami, Estados Unidos.
16. Martín, O., González, F., García, M. (2013). Propuesta de evaluación de la calidad de los MOOCs a partir de la Guía Afortic. Campus Virtuales, 01, II.
17. Margaryan, A., Bianco, M., & Littlejohn, A. (2014 (Peréz, Maldonado, Rendich, & Peréz, 2017). Instructional quality of Massive Open Online Courses (MOOCs). ELSEVIER, 77- 83.
18. Meléndez, A. Román, M. & Pinillos, R. (2016) Informe sobre estado de arte en relación a la evaluación de la calidad de cursos MOOCs. MOOC-Maker. Universidad Panamericana, Guatemala.
19. Muñoz, P., Méndez, E. & Delgado, C. (2014). SPOCs for Remedial Education:
Experiences at the Universidad Carlos III de Madrid.
20. Perez-Sanagustín, M. & Hilliger, I. & Alario-Hoyos, C. & Delgado Kloos, C. & Rayyan, S. Describing MOOC-based Hybrid initiatives: The H-MOOC Framework. European MOOCs Stakeholders Summit EMOOCs 2016.
21. Pérez-Álvarez, R., Maldonado, J.J., Rendich R., Sapunar D. and Pérez-Sanagustín, M.
(2017). Observatorio MOOC UC: La adopción de MOOCs en la Educación Superior en América Latina y Europa (Under review)
22. Ramírez, M. (2015). La valoración de MOOC: una perspectiva de Calidad. RIED, 18:2, 171-195.
23. Read, T., & Rodrigo, C. (2014). Toward a quality model for UNED MOOCs. (S. P.A.U.
Education, Ed.) eLearning Papers, 1-8.
24. Rosewell, J., & Jansen, D. (2014). The OpenupEd quality label: Benchamarks for MOOCs. The International Journal for Innovation and Quality in Learning, pp 88-100.
25. SCOPEO (2013). ―SCOPEO INFORME Nº2: MOOC: Estado de la situación actual, posibilidades, retos y futuro. Junio 2013. Scopeo Informe No. 2 Available from:
http://scopeo.usal.es/wp-content/uploads/2013/06/scopeoi002.pdf
