Autores: Siriwan Suebnukarn, Peter Haddawy
Computer Science and Information Management Program, Asian Institute of Technology, Pathumthani, Thailand
Proceedings of the 9th International Conference on Intelligent User Interface, Funchal, Madeira, Portugal, January 13 – 16, 2004. SESSION: Intelligent tutoring. Pages: 14 – 21. The ACM Digital Library http://portal.acm.org/portal.cfm, ISBN:1-58113-815-6
Revisor : Olga Matus B,
Dpto. Educación Médica, Facultad de Medicina, Universidad de Concepción
Actualmente muchas Escuelas de Medicina de prestigio utilizan la metodología ABP en la enseñanza. Los modelos instruccionales con ABP varían, pero el enfoque general es centrado en el estudiante, utiliza pequeños grupos y actividades de aprendizaje colaborativo basado en problemas. Para que el ABP sea efectivo, se requiere atención personalizada a los estudiantes lo cual muchas veces es difícil de lograr porque requiere contar con gran cantidad de tutores. Por este motivo han surgido algunas iniciativas para implementar ABP con ITS (Intelligent Tutoring Systems).
En este artículo, los autores describen el sistema computacional COMET, que es un sistema tutorial inteligente colaborativo para ABP en Medicina. El sistema utiliza redes Bayesianas para modelar el conocimiento y actividades de los estudiantes en forma individual y en grupo. Incorpora una interfase multimedial que integra textos y gráficos para proporcionar un canal de comunicación entre los estudiantes y el sistema y también entre los estudiantes del grupo.
Las redes bayesianas o probabilísticas, basadas en el Teorema de Bayes, son una herramienta extremadamente útil en la estimación de probabilidades ante nuevas evidencias. Muestran en forma gráfica dependencias para razonamiento probabilístico en sistemas expertos, en la cual los nodos representan una variable proposicional y los arcos su dependencia probabilística. Es, por lo tanto, un modelo probabilístico multivariado que relaciona un conjunto de variables aleatorias mediante un grafo dirigido, el cual indica explícitamente influencia causal.
Al utilizar el sistema, los estudiantes pueden bosquejar directamente imágenes médicas, buscar conceptos médicos y establecer hipótesis, en un ambiente compartido. Además, el sistema puede elegir desplegar imágenes a los estudiantes como una guía en la solución de los problemas.
Descripción del sistema
COMET está diseñado para proporcionar una experiencia que simula lo mejor posible las sesiones de ABP en medicina con tutores reales y al mismo tiempo permite a los estudiantes participar desde diferentes ubicaciones. El sistema está implementado en una combinación cliente servidor con lenguaje Java, que puede utilizarse sobre Internet o redes de área local y soporta cualquier número de usuarios. El prototipo incorpora un dominio del conocimiento substancial acerca de diagnóstico de lesiones de la cabeza. El sistema contiene cuatro componentes principales: interfase multimedial del estudiante, repositorio (base de datos) de conceptos médicos, modelo de razonamiento clínico del estudiante y módulo tutorial. Descripción de los módulos:
1. Interfase multimedial
Soporta la comunicación entre los estudiantes y el sistema y entre los estudiantes del grupo. Es la pantalla con la que interactúa el estudiante y está dividida en 3 sectores: panel de hipótesis, pantalla de chat y pantalla de imagen.
El panel de hipótesis proporciona el espacio de trabajo principal que es compartido por el grupo. Registra el pensamiento colectivo del grupo y sirve de estímulo para ideas adicionales de los miembros del grupo. Los estudiantes pueden crear nodos de hipótesis cuyos títulos se crean recuperándolos desde el repositorio de conceptos médicos o dibujando sobre la imagen médica. Los nodos y enlaces también pueden ser borrados. Cualquier estudiante puede hacer cambios a los contenidos del panel y todos los estudiantes tienen la misma vista de éste.
En la pantalla de chat los estudiantes pueden comunicarse con sus compañeros de grupo digitando el texto que les permita expresar sus ideas.
En la pantalla de imagen el sistema despliega imágenes que son relevantes para la discusión del grupo. Todos los estudiantes ven la misma imagen y también cualquier elemento que otros estudiantes bosquejen o apunten sobre dicha imagen. Si un estudiante encierra en un círculo o apunta una región de la imagen que representa una hipótesis válida, esto se considera como una entrada al sistema, agregándose ésta al panel de hipótesis.
2. Repositorio de conceptos médicos
El sistema incluye un repositorio jerárquico de conceptos médicos para ayudar a los estudiantes a entender mejor las relaciones entre conceptos y facilitar la entrada de información al sistema.
Los conceptos de anatomía humana y fisiopatología son indexados por un número de 5 dígitos que corresponde a una parte anatómica específica del cuerpo humano. La escala numérica indica relaciones en 4 dimensiones: general a específica, dependencia estructural, vías de circulación y cronología. Los estudiantes pueden buscar a través de un sistema específico y buscar en profundidad para obtener la parte del cuerpo más específica. Por ejemplo, 20000 representa el sistema musculoesquelético, 21000 representa huesos del cráneo y rostro y 21110 representa el hueso frontal. Para cada nivel se despliegan las funciones o disfunciones fisiológicas, bioquímicas o de comportamiento relevantes para una parte anatómica.
3. Modelo de razonamiento clínico del estudiante
Para generar acciones tutoriales adecuadas, se requiere un modelo que represente la comprensión del problema por parte del estudiante. Se utilizan redes Bayesianas para modelar el razonamiento que va realizando el estudiante durante la resolución del problema. Se genera un modelo de razonamiento clínico individual y otro para el grupo, combinando la información individual de los modelos.
El modelo contiene 2 tipos de información: la estructura de la hipótesis basada en el diagnóstico diferencial del problema y la aplicación de conceptos médicos en términos de anatomía y fisiopatología.
La estructura de la hipótesis define tres categorías de características de las patologías: condiciones de capacidad (características de las patologías, asociadas con la adquisición de éstas, incluyendo factores predisponentes, factores de compromiso del órgano, transferencia atípica, factores hereditarios), fallas (alteraciones generadas por la patología como trauma directo, invasión de tejidos por organismos patógenos, irrigación sanguínea inadecuada o incapacidad del tejido para sobrevivir/sanar) y consecuencias (consecuencias secundarias a las fallas dentro del organismo que comprenden diferentes tipos de signos y síntomas, por ejemplo, inconsciencia o hemorragia intracerebral).
El modelo del estudiante se utiliza para razonar acerca del nivel de conocimiento de cada alumno, y del comportamiento en la resolución de problemas en forma individual y del grupo.
Para construir el modelo, se utilizó una red Bayesiana inicial que se basó en información extraída de textos médicos y de entrevistas con médicos especialistas en el problema que se resuelve. El modelo inicial fue refinado, utilizando datos recolectados de un tutorial médico de ABP. Los datos utilizados para este estudio consistieron en grabaciones en cintas de sesiones tutoriales que ocurrieron en el curso de Cerebro de la Escuela de Medicina de la Universidad de Thammasat. Estuvieron involucrados 15 grupos de 8 estudiantes de Medicina de tercer año. Se les presentó el caso de lesión en la cabeza y se les pidió construir posibles hipótesis para el caso, bajo la guía de un tutor. Después de las sesiones se analizó la cinta para determinar si cada hipótesis fue mencionada o no.
4. Módulo tutorial
El tutor virtual asume el rol de guiar al grupo tutorial para que éste logre establecer posibles hipótesis para el caso, mediante el uso de preguntas abiertas específicas. Del estudio de las transcripciones de las sesiones tutoriales, se identificaron 8 estrategias indicativas que comúnmente son utilizadas, durante el desarrollo de las sesiones de ABP, por los tutores reales con experiencia:
- Discusión en grupo utilizando indicaciones generales: Al comienzo de una sesión, los miembros del grupo pueden sugerir varias hipótesis válidas diferentes, sin enfocarse en un determinado camino causal. Cuando se logra un enfoque, el tutor debería intervenir dirigiendo a los estudiantes a enfocarse en una de las hipótesis guiando con indicaciones generales abiertas, relacionadas con las ideas que ellos han sugerido. La imagen médica que es relevante se desplegará en la pantalla de imagen, junto al diálogo tutorial.
- Discusión en grupo utilizando indicaciones específicas: para continuar la discusión, el tutor entrega indicaciones más específicas para identificar el mecanismo correcto responsable del problema del paciente. En el sistema, el tutor virtual despliega en la pantalla de imagen la imagen médica correspondiente.
- Promover la discusión abierta: Durante el proceso de guiar al grupo en la elaboración de una hipótesis particular y sus consecuencias, un estudiante puede proponer una nueva idea la cual no está directamente relacionada con la discusión actual. Una opción, es que el tutor pida a los estudiantes posponer la discusión de este concepto, y otra, es que el tutor incorpore dicho concepto en la discusión, reteniendo la atención en el tema principal y motivando a los estudiantes a relacionar el nuevo concepto con la hipótesis sobre la que se está discutiendo. En el sistema el tutor virtual responde pidiendo a los otros miembros del grupo que comenten si esta hipótesis es relevante, lo cual es una forma de sugerir que esta idea puede no serlo.
- Desviar la información errónea: Si un estudiante aporta información equivocada o hace una interpretación errónea de los datos, el tutor debe intentar transformar esa información en una búsqueda que explique los mecanismos correctos. El sistema sugiere posibles conceptos que deberían analizarse para aclarar la información.
- Evitar saltarse etapas críticas: La tendencia a saltarse hipótesis intermedias en el razonamiento es bastante común y debe evitarse. Si se permite que esto ocurra, se pierde la etapa del pensamiento crítico del proceso del grupo. Si los estudiantes se saltan directamente desde las condiciones capacitantes del paciente a los efectos o signos y síntomas sin discutir las fallas o alteraciones que las expliquen, ellos dejan de explorar la situación problema en profundidad. El tutor debe hacer notar lo que ellos han mencionado preguntando en forma general por las fallas o dándoles una indicación acerca de los conceptos médicos relacionados.
- Dirigir información incompleta: Un objetivo del ABP es lograr que los estudiantes enumeren todos los posibles caminos causales entre hipótesis posibles para resolver el problema. Si los estudiantes omiten algunas hipótesis, el tutor debe indicar a los estudiantes que algunas hipótesis posibles aún no han sido exploradas.
- Referirse a expertos en el grupo: El ABP típicamente se lleva a cabo en grupos para enseñar a los estudiantes, que poseen diferentes conocimientos, como colaborar para resolver un problema dado. Referirse a un experto en el grupo puede ayudar a continuar el proceso de aprendizaje cuando éste se queda detenido, aunque el tutor trate de proporcionar indicaciones más específicas. Una forma posible de continuar el proceso de aprendizaje es preguntarle a alguien del grupo que probablemente conoce la respuesta.
- Promover la discusión colaborativa: En las discusiones en grupo del ABP, puede suceder que un miembro asuma un rol dominante en el grupo, imponiendo sus ideas e interrumpiendo siempre a los otros estudiantes. Aún, cuando las ideas que este líder aporta sean buenas, el tutor debe optar por preguntar a otros miembros del grupo acerca de sus ideas para promover la participación de los demás. Esta estrategia se implementó en el sistema virtual, utilizando el archivo de registro de las actividades del estudiante, por lo tanto, el sistema detecta cuando un estudiante no ha participado en la discusión y se dirige a él instándolo a participar.
El sistema COMET incluye algoritmos para generar cada uno de estos 8 tipos de indicaciones que permiten guiar la sesión de ABP.
Evaluación del sistema
Para evaluar la conveniencia y calidad de las indicaciones generadas por el sistema, se compararon sus respuestas con las de tutores reales con experiencia. Participaron diez tutores, con al menos 5 años de experiencia como docentes en el curso de cerebro de la Escuela de Medicina de la Universidad Thammasat. A ellos se les solicitó analizar cada situación e indicar cómo manejarían el grupo de ABP: si darían una indicación y qué tipo de indicación proporcionarían.
En promedio, 74,17% de los tutores reales utilizaron la misma estrategia de indicación que COMET. Los más similares estuvieron de acuerdo con COMET 83% del tiempo y los menos similares un 62%.
Para probar la significancia estadística del acuerdo entre el sistema virtual y los tutores reales, se utilizó el test McNemar y el estadígrafo Kappa. No se encontró diferencias significativas entre los tutores reales y COMET (test McNemar, p=0,652). Los resultados mostraron un alto grado de acuerdo entre las indicaciones generadas por COMET y las generadas por tutores reales (índice Kappa=0.773). Es interesante que, para aquellas respuestas de los tutores reales que fueron diferentes a las del sistema virtual, también se observó diferencia entre los tutores reales. El mayor acuerdo fue para las estrategias 3, 4, 5 y 8. Los resultados indican que las respuestas generadas por COMET están en la misma línea que la mayoría de las respuestas de consenso de los tutores reales consultados.
Conclusiones y trabajo futuro
En este artículo se describe un análisis inicial de estrategias tutoriales virtuales en ambientes de grupos tutoriales con ABP. Se analizaron ejemplos de discursos de clases y se identificaron varios tipos específicos de acciones tutoriales. Se describe un modelo de razonamiento clínico con una red Bayesiana que integra la estructura de hipótesis basada en los diagnósticos diferenciales de un caso de lesiones en la cabeza y la aplicación de los correspondientes conceptos médicos en el proceso de resolución del problema. La representación propuesta puede utilizarse como pauta para desarrollar nuevos escenarios. En este sistema tutorial colaborativo inteligente se implementaron las estrategias tutoriales comúnmente usadas por tutores reales. Los resultados de la evaluación muestran un alto grado de acuerdo de los diálogos tutoriales entre el sistema y los tutores reales.
Los autores han planificado probar en mayor extensión el sistema actual con estudiantes de Medicina, para mejorar la fortaleza del sistema. También se ha planificado incorporar todos los dominios esenciales en el curso de ABP de Medicina pre-clínica.
La versión actual de COMET soporta una única sesión de grupo de ABP. Pero el ABP típicamente transcurre durante un período de varios días, con estudiantes que llevan a cabo tareas de aprendizaje individual y luego llevan su conocimiento aprendido de vuelta al grupo. Por lo tanto se pretende agregar el soporte para este aspecto del ABP.
Finalmente, la prueba última de la efectividad del sistema es comprobar como éste impacta el aprendizaje del estudiante. Por lo tanto los autores han planificado comparar la efectividad del aprendizaje del estudiante con COMET versus el aprendizaje del estudiante con tutores reales.
Comentario
En este trabajo, los autores combinan conceptos de ITS (Intelligent Tutoring Systems) con CSCL (Computer Supported Collaborative Learning) para desarrollar un sistema de ABP en Medicina inteligente basado en grupo. Uno de los mayores desafíos al implementar este tipo de sistemas es automatizar el proceso tutorial en el contexto de actividad grupal.
El mayor logro de los autores al implementar COMET fue el desarrollo de algoritmos que permiten generar indicaciones tutoriales tanto a los estudiantes individuales como al grupo tutorial, tal como lo hacen los tutores humanos en el ABP.
A partir de estudios de las sesiones de ABP en escuelas de medicina locales, los autores identificaron e implementaron las ocho estrategias más comúnmente utilizadas para dar indicaciones durante el desarrollo de una tutoría. Al comparar las indicaciones tutoriales generadas por COMET con las de tutores humanos con experiencia, los resultados mostraron que las indicaciones generadas por COMET coinciden con las de la mayoría de los tutores humanos, con un alto grado de acuerdo estadístico.
El trabajo realizado sólo incluye una sesión de ABP, y es un punto de partida para implementar en el futuro un sistema que incluya todas las sesiones necesarias para la resolución de un problema, comparando sus resultados en el aprendizaje de los estudiantes con el ABP tradicional que se realiza con tutores humanos.