Las plataformas y sistemas que respaldan las actividades de aprendizaje producen una enorme cantidad de datos valiosos que requieren algún tipo de sistema de análisis de aprendizaje. Algunos de ellos proporcionan un sistema de visualización de datos listo para usar o como complemento. Sin embargo, la integración de todos los sistemas es compleja. Más LMS Los sistemas de análisis suelen ser de código cerrado y ofrecen personalización limitada.
PANORAMA es un arquitectura de análisis de datos de código abierto diseñado específicamente para instituciones educativas necesitando un LMS Sistema de informes y análisis. Puede combinar fuentes de datos de muchos LMSs – ya sea de la misma marca o no – y otros sistemas de información, y proporcionar una vista unificada en toda la organización, sin perder control sobre el acceso a los datos y la privacidad. Puede ser usado para se unen Aplicaciones de IA para su posterior análisis.
Este artículo fue presentado como póster en Convención LWMOOCs 2023 del IEEE en el MIT.
Keywords: LMS análisis, análisis de herramientas de aprendizaje, LMS informes y análisis, LMS análisis de datos, LMS panel de análisis
El problema
Los proyectos de aprendizaje involucran múltiples sistemas, por ejemplo, LMS (Sistema de Gestión de Aprendizaje), SIS (Sistema de Información Estudiantil), CRM (Gestión de Relaciones con el Cliente), servicios de transmisión de video, sistemas de videoconferencia, sistemas de supervisión, etc. Las instituciones más grandes pueden incluso tener más de un LMS, de la misma o diferente marca.
Los estudiantes y profesores suelen conectarse a más de uno de estos sistemas simultáneamente y a lo largo del tiempo. Esto lleva a que algunos datos se dupliquen y otros se aislen en sistemas de aplicaciones específicos.
En el mejor de los casos, cada sistema tiene su propio sistema de análisis o generación de informes. La integración de sistemas de análisis es compleja, si es que es posible.
Al final del día, los gerentes tienen que lidiar con una serie de informes que contienen datos duplicados, aislados, incompletos, contradictorios y dispersos a partir de los cuales deben tomar una decisión informada.
Los problemas típicos encontrados son
- Algunas plataformas ni siquiera tienen un sistema de informes.
- Formatos de datos incompatibles.
- Datos aislados.
- Usuarios duplicados.
- Representaciones de metadatos dispares.
La solución
Panorama es una arquitectura abierta para la gestión del aprendizaje que centraliza datos en un repositorio externo común y crea un repositorio de metadatos en una representación de lago de datos. Panorama puede funcionar como un simple LMS sistema de análisis y también conectarse a otros sistemas de soporte.
Los beneficios clave de este enfoque son
- Consolida datos para permitir vistas globales.
- Los datos están condicionados y organizados en particiones.
- Control granular de acceso a datos con seguridad a nivel de fila o columna.
- Permite a los analistas de datos crear consultas, paneles e informes personalizados.
- Su arquitectura abierta permite una mayor ingeniería de datos utilizando herramientas programáticas o de inteligencia artificial estándar.
- Su diseño modular le permite conectarse a otros sistemas, lagos de datos o almacenes de datos.
¿Cómo funciona el LMS trabajos analíticos
Todo el proceso se puede dividir en tres grandes fases:
- Extracción, almacenamiento y organización de datos.
- Canal de datos
- Utilización de datos
Extracción, almacenamiento y organización de datos.
Los agentes de software realizan la extracción de datos, que se conectan a las fuentes de datos y extraen datos de interés. Conservan los datos lo más fielmente posible a las bases de datos originales. Sin embargo, en algunos casos pueden realizar un proceso previo para garantizar que almacenan los datos sin procesar en un formato válido.
Los agentes procesan y cargan los datos que se cargan en el almacén de datos en formatos estándar (CSV, JSON, etc.) para maximizar la compatibilidad y facilitar la creación de transformaciones de datos.
Los archivos se organizan en una estructura de carpetas y los datos se dividen para mejorar el rendimiento y la escalabilidad.
La funcionalidad del lago de datos implementa un metaalmacén de datos y un motor de consulta que permite consultar estos archivos en formatos estándar utilizando el lenguaje de consulta estructurado (SQL). Además, el control de acceso a los datos se implementa mediante mecanismos de seguridad a nivel de filas y columnas.
Canal de datos
La canalización de datos se implementa completamente en SQL, lo que facilita la creación de representaciones de datos complejas a partir de fuentes de datos simples.
La primera etapa es la capa de datos sin procesar. Los datos aquí reflejan lo que había en las fuentes de datos transaccionales en el momento de la extracción, sin ninguna modificación. Esta es la fuente de datos más prístina y confiable del LMS sistema de análisis.
La segunda etapa es el acondicionamiento de datos. Aquí es donde los datos se formatean correctamente para que las siguientes capas puedan operar sobre ellos utilizando todas las funciones disponibles. Esto incluye convertir números a tipos enteros o flotantes, analizar fechas, interpretar cadenas JSON y manejar valores nulos.
La resolución de entidades es una parte importante del proceso de creación de un sistema de análisis de herramientas de aprendizaje multiplataforma. Maneja las diferentes formas en que el mismo objeto del mundo real es representado por diferentes sistemas. Los dos casos de uso principales son
- Deduplicación de usuarios: trata diferentes entradas de usuarios del sistema para la misma persona como una sola entidad.
- Metadatos homogéneos: Los objetos comunes, como usuarios y cursos, pueden tener diferencias en sus metadatos. Esto puede deberse a
- Diferentes nombres de campos
- Diferentes formatos de campo
- Campos faltantes
Los últimos consejos tratan sobre la abstracción de entidades. Esto significa aplicar uniones, uniones, cálculos, filtros, agregaciones, etc. para crear nuevas entidades o enriquecer las existentes. Estos pueden basarse en cualquier capa anterior del proceso, incluidas otras entidades abstractas. Las consultas se pueden apilar para crear abstracciones más complejas.
Además, es posible realizar transformaciones utilizando algoritmos programáticos (Spark, Scala, Pandas, Numpy, R, etc.) o de IA para crear nuevas fuentes de datos. La información se puede tomar de cualquier etapa del proceso, o incluso de los archivos de texto originales, y los resultados se pueden inyectar en el lago de datos para que el proceso los ingiera y los ponga a disposición para su análisis. Aquí es cuando nuestro LMS El motor de análisis comienza a mostrar su valiosa arquitectura.
Análisis de herramientas de aprendizaje: utilización de datos
Finalmente, los datos se pueden utilizar para visualización (paneles de control casi en tiempo real), informes paginados o para alimentar otras aplicaciones basadas en datos.
Las aplicaciones que consumen los datos al final del proceso deben implementar estas características clave:
- Base de datos en memoria: Esto es opcional, pero muy recomendable para tiempos de respuesta más rápidos en cualquier sistema de análisis de herramientas de aprendizaje. Las consultas pueden tardar en devolver resultados del lago de datos, especialmente aquellas que involucran operaciones complejas, consultas anidadas y grandes conjuntos de datos. La base de datos en memoria proporciona un mecanismo intermedio que mejora drásticamente el rendimiento del sistema.
- Control de acceso: La autenticación es obligatoria para controlar quién tiene acceso a qué datos.
- Informes y paneles personalizados: La mayoría de los sistemas de análisis vienen con paneles e informes fijos que no se pueden modificar. Los analistas de datos deberían poder crear sus propios paneles e informes en función de sus necesidades.
- Controle el acceso a los datos con seguridad a nivel de filas y columnas: La seguridad a nivel de filas y columnas permite a los administradores controlar quién puede ver qué tipo de datos. Estas características permiten compartir un único conjunto de datos entre los usuarios mientras se controla el acceso a los datos a nivel de usuario.
- Fuente de datos para otras aplicaciones: Otras aplicaciones deberían poder conectarse a la canalización de datos y utilizar los datos para fines específicos. Esto incluye aplicaciones impulsadas por IA, herramientas de marketing, planificación de recursos, etc.
Como llegar Panorama LMS análisis en sus instituciones
Hay tres formas principales de conseguir Panorama herramientas de aprendizaje análisis y LMS análisis trabajando en su institución: desde el código fuente, como servicio o instalación llave en mano. Además, podemos brindarle soporte de ingeniería de datos para ayudarlo a aprovechar al máximo sus datos.
Del código fuente
El código fuente del motor del agente está disponible en nuestro Repositorio GitHub. Hay una práctica Complemento de tutor para aquellos que usan Open edX. El agente se encargará de configurar las primeras capas del canal de datos. Sin embargo, deberá configurar el lago de datos. Actualmente admitimos el lago de datos de AWS. Los agentes manejarán las dos primeras capas de la canalización de datos. Las entidades abstractas dependen de cada implementación.
Como servicio
Podemos ofrecer Panorama como servicio. Esta opción es la forma más rápida y sencilla de comenzar a aprovechar sus datos sin inversión inicial y mediante pago por uso. Contáctanos y te guiaremos a través de los pasos necesarios. Esta opción está incluida para todos nuestros socios suscritos a nuestro Plan Premium
Instalación llave en mano
Si a su organización le preocupa la propiedad de los datos, tiene un equipo técnico para ejecutar la infraestructura de la nube y desea un control total de sus datos, podemos realizar una instalación limpia de Panorama LMS análisis en su cuenta de AWS.
Conclusión
Panorama es lo último LMS solución analítica. Es independiente del sistema y puede conectarse a múltiples LMSs de la misma o diferentes marcas y otras herramientas de soporte. Su arquitectura modular le permite conectarse a aplicaciones de terceros para aprovechar al máximo sus datos. Tiene una poderosa canalización de datos que permite a los ingenieros de datos realizar análisis complejos en todas las plataformas.
