En pocas palabras: Open edX registra todo lo que pasa en un curso, desde las inscripciones y las calificaciones hasta cada reproducción de video y cada intento de respuesta. La analítica de aprendizaje convierte esos datos en respuestas: qué contenidos funcionan, dónde se traban los estudiantes y cómo mejorar. Esta guía explica qué datos genera Open edX, cómo hacer las preguntas correctas y cómo Panorama, el motor de analítica que desarrollamos en Aulasneo, lleva esos datos al equipo y a los estudiantes dentro de Open edX.
Por qué importa la analítica de aprendizaje
¿Alguna vez tuviste que decidir qué gustos de helado pedir en tu kilo, o si ir en subte o en colectivo? Sin darte cuenta, estabas analizando datos: tomaste la información que tenías, elegiste la relevante, la ajustaste a las circunstancias y llegaste a la conclusión que te daba el mejor resultado.
El aprendizaje online funciona igual, a una escala mucho mayor. Cada curso produce miles de datos, y la pregunta es cómo convertirlos en mejores decisiones. Tres principios ayudan:
- Definir primero el problema. "Quiero saber por qué mi curso no funciona" es demasiado amplio. "Quiero saber en qué unidades abandonan los estudiantes y por qué" orienta el análisis a los datos que importan y evita resultados superfluos o engañosos.
- Hacer preguntas concretas. "¿Qué videos se ven más?" es útil. "¿Qué videos se saltean o se retroceden más, y son los más largos?" permite actuar.
- Limpiar y ordenar los datos. Los datos casi siempre están incompletos. Una buena limpieza y organización es lo que hace confiables las conclusiones.
Cuando el análisis se vuelve parte de un ciclo de mejora continua, los resultados se ven pronto en las tasas de finalización, las calificaciones y la satisfacción de los estudiantes. Leé más sobre cómo medir el impacto de los cursos abiertos con analítica.
Qué datos genera Open edX
Una plataforma Open edX recolecta dos tipos de datos:
- Datos operativos: usuarios, inscripciones, estructura de los cursos, calificaciones, progreso, certificados, cohortes y foros, guardados en las bases de datos de la plataforma.
- Datos de eventos (tracking logs): un registro detallado de las interacciones de los estudiantes, como reproducir, pausar o adelantar un video, enviar una respuesta, abrir una unidad o escribir en un foro.
De fábrica, los docentes pueden descargar reportes desde el panel del instructor (Instructor Dashboard): estudiantes inscriptos, calificaciones, respuestas a los problemas, y ver algunos indicadores básicos del curso. La comunidad de Open edX también trabaja en herramientas de analítica para la plataforma. Pero apenas necesitás combinar cursos, comparar cohortes, seguir a los estudiantes en el tiempo o cruzar los datos de Open edX con otros sistemas, hace falta un motor de analítica.
Preguntas que se pueden responder con datos de aprendizaje
Las preguntas son prácticamente infinitas. Estos son dos ejemplos de análisis de comportamiento que hacemos para nuestros clientes.
Cómo usan los videos los estudiantes
Por video: ¿cuántas veces se vio? ¿Qué parte se miró? ¿Cuántas veces se retrocedió o se adelantó, y en qué momentos? ¿Cuánto tiempo pasó desde el primer "play" hasta el final?
Por estudiante: ¿cuántos videos salteó? ¿Cuántos empezó y no terminó? ¿Cuántas horas pasó mirando videos?
Combinar las dos miradas revela patrones: ¿los videos más salteados son los más largos? ¿Los más retrocedidos son del mismo curso o explican el mismo concepto? ¿Quiénes son los estudiantes más y menos activos, y pertenecen a la misma cohorte?
Cómo responden las evaluaciones
¿Cuántas veces se respondió bien una pregunta y cuántas mal? ¿Cuántos estudiantes la respondieron mal (recordá que un mismo estudiante puede fallar varias veces)? ¿Qué preguntas se salteaban? ¿Cuáles fueron las más fáciles y las más difíciles?
El valor del análisis no está solo en hacer buenas preguntas, sino sobre todo en lo que viene después: usar esa información para mejorar la experiencia de aprendizaje de todos, reescribiendo una unidad confusa, dividiendo un video largo o sumando práctica donde los estudiantes tienen dificultades.
Panorama: analítica para Open edX y más allá
Panorama es el motor de analítica de aprendizaje que desarrollamos y mantenemos en Aulasneo desde 2020. Su conector de datos es de código abierto, y les da a las instituciones una visión completa de lo que pasa en su campus virtual, con tableros personalizables y filtros avanzados.
Dos necesidades definieron su diseño:
- Más de una plataforma. Las instituciones medianas y grandes suelen tener más de un LMS: distintas facultades o áreas pueden tener el suyo, de la misma marca o de otras, y en distintas versiones. Además, el LMS es solo una parte del ecosistema de aprendizaje, junto con la videoconferencia, las encuestas, los sistemas de gestión académica, el comercio electrónico y las herramientas de marketing. Panorama combina los datos de todos ellos para análisis más ricos.
- Los datos justos para cada persona. Los datos tienen que estar disponibles solo para los usuarios autorizados, a nivel de área, organización o institución. Panorama permite seguridad a nivel de fila para cumplir las políticas de propiedad de los datos.
Cómo funciona Panorama
La arquitectura de Panorama se apoya en tres pilares:
- Agentes de extracción: procesos distribuidos que se conectan a cada fuente de datos y copian su información de forma periódica, con actualizaciones incrementales y particionado para no afectar a los sistemas operativos. Para Open edX, es Panorama ELT, nuestro conector de código abierto.
- Data lake: un almacenamiento flexible y escalable para datos estructurados, semiestructurados y no estructurados, en múltiples formatos y con capacidad prácticamente ilimitada.
- Pipeline de datos: transformaciones en SQL que convierten los datos crudos en objetos independientes de cada plataforma, eliminan duplicados entre sistemas para que cada entidad tenga una única representación, y permiten cruces, uniones y filtros incluso entre fuentes heterogéneas.
Presentamos esta arquitectura en la conferencia Learning with MOOCs (LWMOOCs) del IEEE, en el MIT, en octubre de 2023.
Para qué la usan las instituciones
- Inteligencia de negocio: tableros y reportes que combinan datos de varias fuentes.
- Estándares de datos: adopción de estándares como los Common Education Data Standards (CEDS) y las especificaciones SIF.
- Machine learning e IA: un conjunto de datos consolidado y limpio es la base de modelos más precisos.
Panorama dentro de Open edX: para el equipo y para los estudiantes
Desde la versión Palm de Open edX, Panorama se integra con la plataforma como micro-frontend. El equipo lo abre desde el encabezado de la experiencia de aprendizaje, en la misma pestaña del navegador y con el mismo inicio de sesión.
También ofrece una vista para estudiantes: cada estudiante ve su propia información (cursos y fechas de inscripción, calificaciones, certificados, progreso y tiempo dedicado), la filtra y exporta sus datos para seguir sus logros. Por defecto, los administradores ven los reportes institucionales y el resto de los usuarios ve la vista de estudiante, así la analítica sirve para cada rol.
Cómo se gestiona el acceso a los datos
En las organizaciones grandes, cada equipo necesita información distinta. Los administradores asignan grupos de tableros a cada usuario desde el panel de administración de Open edX, y deciden qué tableros pueden aparecer en la vista de estudiante. Los usuarios pueden ser lectores o autores: los autores crean sus propios tableros y los comparten con los lectores. Los usuarios con funciones de IA habilitadas pueden hacer preguntas en lenguaje natural para obtener conclusiones o armar tableros completos.
Cómo conseguir Panorama
Panorama se conecta a cualquier instancia de Open edX, la opere Aulasneo o no. Tiene dos capas, y podés elegir hasta dónde llegar con cada una.
El conector de código abierto: gratis
Panorama ELT es el conector de extracción y carga: lee las bases de datos de Open edX y deja los datos en un data lake, listos para analizar. Es de código abierto y gratuito, y en plataformas basadas en Tutor se instala con el plugin de Panorama para Tutor.
Solo con el conector, tu equipo puede armar su propio pipeline de datos y usar la herramienta de visualización que prefiera, como Power BI, Tableau o Apache Superset.
El pipeline de datos y los tableros: Panorama analytics
Sobre el conector, Panorama suma el pipeline que limpia y modela los datos, los tableros listos para usar, la vista integrada en Open edX para el equipo y los estudiantes, el control de acceso y las funciones de IA. Aulasneo lo ofrece de dos formas:
- Como servicio: operamos Panorama por vos en la nube. Es la opción más conveniente en la mayoría de los casos, por costos de infraestructura, esfuerzo de operación y tiempo de implementación. Está incluido en el Open edX gestionado de Aulasneo desde el plan Oro. Para otros sitios Open edX, Panorama también se ofrece por separado, con los planes Pro y Enterprise (mirá los planes y precios).
- En tu propia infraestructura: si necesitás control total de los datos, instalamos Panorama en tu infraestructura como proyecto llave en mano, y lo podés operar vos o con nuestro soporte.
Panorama funciona con Open edX desde la versión Ironwood, y su micro-frontend desde Palm. Si tu Open edX es anterior a Palm, contactanos para evaluar las opciones, o mirá qué ganarías actualizando en nuestro explorador de novedades de Open edX.
Mirá Panorama en acción en el caso de éxito de Cap-Net PNUD, donde acompaña un campus global de formación sobre Open edX.
