Claudia Morales L.1
RESUMEN
Introducción: El Examen Clínico Objetivo Estructurado (ECOE) se utiliza ampliamente como método de evaluación sumativa. Su aplicación como evaluación formativa es menos difundida aunque constituye una estrategia educacional muy valiosa.
Objetivos: Proporcionar a los internos la oportunidad de experimentar la vivencia de un ensayo de ECOE en la mitad del período de Internado de Medicina (IM), con el fin de promover la autoevaluación, familiarizarlos con el examen final y retroalimentar el proceso docente.
Material y método: Participan 23 internos en práctica de IM; se implementa un ECOE con 10 estaciones, en dos sesiones consecutivas y 10 minutos por estación. Los internos acuden obligatoriamente a revisar la corrección del examen y reciben retroalimentación directa e individual. La evaluación de la actividad se realiza con encuestas semiestructuradas que los estudiantes responden al término de los ECOEs formativos y final del IM. Este estudio es de tipo descriptivo.
Resultados: Al finalizar el ECOE formativo, 52,2% de los internos expresa ansiedad y nerviosismo frente a la convocatoria al ensayo de ECOE; 91,3% considera que los contenidos y el tiempo asignado a cada estación son adecuados; 87% responde que el tipo de problemas presentados y el grado de complejidad son adecuados; 47,8% considera perturbadora la presencia del docente observador; 78,3% opina que el beneficio más importante es la oportunidad de autoevaluarse. Al término del ECOE final, 91,3% expresa que es de gran utilidad realizar un ECOE formativo; 95,7% expresa que es de gran utilidad revisar la corrección del ensayo; 95,7% responde que modifican su método de estudio; 78,3% valoran positivamente el ECOE formativo.
Conclusiones: Esta actividad formativa cumple con los objetivos de promover la autoevaluación y familiarizar a los internos con el ECOE final del IM. Sin embargo, a nuestro juicio el impacto más relevante es el cambio del método de estudio de los estudiantes.
Palabras clave: ECOE formativo; Autoevaluación; ECOE; Internado; Educación médica.
SUMMARY
Objective structured formative clinical examination in Medicine residency: process assessment by students
Introduction: Objective Structured Clinical Examination (OSCE) is widely used as sumative assessment method. It´s administration as formative assessment is less spread, although constitutes a very valuable educational strategy.
Objectives: Give residents the oportunity to experiment an OSCE rehearsal in the middle of their Medicine Residency (MR) period, with the aim of promoting self assessment, familiarize them with the final exam and feedback the teaching process.
Method: 23 Medicine residents in practice participate; a 10 stations OSCE is implemented, in two consecutive sessions and 10 minutes by station. Residents are obliged to check the exam correction and receive direct and individual feedback. The assessment of the activity is done with semistructured surveys that students respond at the end of formative OSCEs and of MR. This is a descriptive study.
Results: At the end of formative OSCE, 52,2% of residents express anxiety and being nervous when being appointed to the OSCE rehearsal; 91,3% considers that content and time assigned to each station is appropriate; 87% answers that the type of problemas presented and complexity degree are adequate; 47,8% considers upsetting the presence of the observer teacher: 78,3% thinks that the most important benefit is the oportunity to self assess. At the end of final OSCE, 91,3% expresses that it is of great usefulness to perform a formative OSCE; 95,7% expresses that it is of great usefulness check the rehearsal correction; 95,7% answers that they modify their study method; 78,3% value positively the formative OSCE.
Conclusions: this formative activity fulfils the objectives of promoting self assessment anf familiarize residents with the final OSCE of MR. However, in our judgement the most relevant impact is the change in study method in students.
Keywords: formative OSCE; Self assessment; OSCE; Residency; Medical Education.
INTRODUCCIÓN
Las evaluaciones formativas cumplen un rol muy importante en el proceso de aprendizaje de los estudiantes: les brinda la posibilidad de autoevaluarse, medir los logros de su aprendizaje, identificar sus necesidades y llevar el control de su aprendizaje, además de entrenarse y familiarizarse con los métodos de evaluación. Además, la retroalimentación que sigue a toda actividad formativa complementa el proceso de autoevaluación, pudiendo promover cambios de conducta en los estudiantes.
El Examen Clínico Objetivo Estructurado (ECOE) se utiliza ampliamente en el mundo como método de evaluación sumativa (1); sin embargo, su aplicación como evaluación formativa es menos difundida a pesar de que constituye una estrategia educacional muy valiosa (2).
Aunque nuestros internos tienen experiencia en ECOE porque son evaluados con éste en diferentes asignaturas clínicas, el ECOE al término del Internado de Medicina (IM) les provoca mucha ansiedad y temor: no se sienten seguros, les inquieta cómo es el examen en sí, el tipo de problemas presentados y si serán capaces de desempeñarse adecuadamente. Cuando los estudiantes acuden a revisar la corrección del ECOE y reciben retroalimentación individual por parte del docente, expresan que ésta es muy útil pero tardía.
Para enfrentar las inquietudes de los internos, se realizó un ECOE formativo en la mitad del período de práctica del Internado de Medicina, cuyo propósito fue proporcionar a los internos la oportunidad de experimentar la vivencia de un ensayo de ECOE. Los objetivos del presente estudio fueron: promover la autoevaluación de los estudiantes, familiarizar a los internos con el examen y retroalimentar el proceso docente.
MATERIAL Y METODO
Esta investigación docente fue de tipo descriptivo. La actividad formativa se realizó al finalizar la primera mitad del programa de Internado de Medicina (Octubre 2005). Participaron 23 estudiantes, que correspondió al grupo total de internos que se encontraba realizando su práctica de Internado de Medicina en el 2° semestre de 2005. Esta actividad fue obligatoria para todos los internos.
Se implementó un ECOE con 10 estaciones, con un tiempo asignado de 10 minutos por estación; el examen se desarrolló en dos sesiones consecutivas. El material de examen se obtuvo de un conjunto de estaciones aplicadas en exámenes anteriores, que evalúan diversos temas de la Medicina Interna, emplazados en diferentes escenarios clínicos y que presentan en forma más completa diversos problemas a resolver. Los pacientes simulados se reclutaron de entre un grupo de personas que han participado en ECOEs en varias ocasiones previamente. Se les hace entrega de las instrucciones una semana antes de la fecha del examen, y previo a éste se toma contacto con ellos y se verifica que se manejan adecuadamente en su simulación. El mismo día del examen y previo al inicio de éste, el docente observador a cargo de la estación realiza un repaso de su rol al paciente simulado. Los docentes observadores se seleccionan privilegiando a aquellos que han participado como monitores de estación en exámenes previos y se sitúan físicamente dentro del mismo espacio del examen. Se les hace entrega de las instrucciones dos días antes del examen. El personal de apoyo y el auxiliar que marca el tiempo de cada estación son funcionarios de la Escuela de Medicina que han colaborado en múltiples ECOEs anteriores.
Los resultados del ECOE formativo se entregaron una semana después de su realización; los internos acudieron obligatoriamente a revisar la corrección de éste en los días siguientes a la entrega de los resultados, oportunidad en que el docente realizó la retroalimentación directa e individual a cada uno de ellos.
La evaluación de la actividad se realizó con encuestas semiestructuradas que los estudiantes respondieron al finalizar el ECOE formativo y al término del ECOE final del IM.
RESULTADOS
Se analizaron los datos obtenidos en las encuestas al finalizar el ECOE formativo realizado en Octubre 2005 y al término del ECOE final del IM realizado en Diciembre 2005. Ambas encuestas fueron respondidas por la totalidad de los estudiantes.
Al finalizar el ECOE formativo.
Con relación a los sentimientos que provoca en los internos la citación al ensayo de ECOE, aproximadamente la mitad de ellos expresaron que les provocó ansiedad y nerviosismo; por otro lado, un porcentaje no menor refirió satisfacción porque se les ofreció la oportunidad de autoevaluarse (Tabla 1).
Tabla 1. Sentimientos en los internos al someterse a un ensayo de ECOE
| Grupo de estudio (n: 23) | ||
| Sentimientos | N° internos | % |
| Ansiedad y/o nerviosismo | 12 | 52,2 |
| Satisfacción por oportunidad de autoevaluarse | 10 | 43,5 |
| Satisfacción por posibilidad de familiarizarse | 4 | 17,4 |
| Temor | 2 | 8,7 |
| Entusiasmo | 1 | 4,3 |
| Satisfacción por oportunidad adquirir autoconfianza | 1 | 4,3 |
| Mala aceptación inicial | 2 | 8,7 |
| No expresa sentimientos | 1 | 4,3 |
Con relación a la estructura del ECOE formativo, 95,6% (n=22) de los internos consideró que los contenidos de las estaciones fueron muy adecuados (n=1) y adecuados, concordantes con los objetivos del programa del IM y orientados a aspectos relevantes de la práctica de la medicina general. Un interno no respondió.
Respecto al tipo de problemas médicos presentados, 87% (n=20) de los internos respondió que fue adecuado (“problemas reales, atingentes, muy comunes, de patología frecuente y prevalente, planteados con orientación práctica en forma clara y precisa”) y 13% (n=3) no respondió.
En cuanto al grado de complejidad de los temas presentados, 87% (n=20) de los internos expresaron que fue adecuado y 13% (n=3) que fue medianamente adecuado, así como el tiempo asignado a cada estación fue considerado adecuado por el 91,3% (n=21) y como inadecuado por el 8,7% (n=2) de los estudiantes.
Consultados los internos respecto a la presencia del docente observador dentro del mismo espacio de examen, aproximadamente la mitad expresó que esta situación les fue indiferente, que no representaba ningún problema y que no les incomodaba; sin embargo, casi 1/3 de los internos respondieron que les perturbaba (Tabla 2).
Tabla 2. Presencia de observador en las estaciones en el ECOE
formativo en internos de Medicina
| Presencia de Observador | N° internos | % |
| No perturbador | 11 | 47,8 |
| Perturbador | 7 | 30,4 |
| No responde | 5 | 21,7 |
| Total | 23 | 100,0 |
Con relación a la objetividad de la evaluación, aproximadamente la mitad del grupo expresó que fue adecuada y ninguno la consideró inadecuada (Tabla 3).
Tabla 3. Objetividad de la evaluación del ECOE formativo
en internos de Medicina
| Objetividad de la evaluación | N° internos | % |
| Adecuada | 11 | 47,8 |
| Inadecuada | 0 | 0,0 |
| Respuesta no atingente | 8 | 34,8 |
| No responde | 4 | 17,4 |
| Total | 23 | 100,0 |
Al consultar a los internos respecto a los beneficios que ellos pensaban les brindaría el ECOE formativo, un porcentaje alto respondió que la posibilidad de autoevaluarse fue uno de ellos porque les permitía detectar áreas deficitarias, medir su aprendizaje y dirigir su estudio de acuerdo a sus necesidades (Tabla 4).
Tabla 4. Beneficios del ensayo de ECOE formativo
en 23 internos de Medicina
| Beneficios | N° internos | % |
| Autoevaluación | 18 | 78,3 |
| Familiarizarse con el examen | 6 | 26,1 |
| Tranquilidad y autoconfianza | 5 | 21,7 |
| Motivación a estudiar | 2 | 8,7 |
| Madurez | 1 | 4,3 |
Al término del ECOE final del IM
Veintiún internos (91,3%) expresaron que es de gran utilidad realizar un ensayo de ECOE porque les ofrece la posibilidad de familiarizarse con el tipo de examen (“me sirvió para ver el enfoque del examen”, “sirvió para practicar y acostumbrarse a este tipo de examen”) y dos (8,7%) que era de mediana utilidad.
Veintidós internos (95,7%) expresaron que es de gran utilidad y uno que era de mediana utilidad, revisar la corrección del ECOE formativo porque reciben retroalimentación individual y directa de parte del docente (“evaluar falencias, errores cometidos y áreas de debilidad”, “saber cuáles son los déficits”). Asimismo, 95,7% (n=22) de los estudiantes (uno no respondió) refiere modificar su método de estudio (“estudié cosas más prácticas, más organizado, jerarquizando”, “se preparan los temas pensando más en situaciones reales”).
Un 78,3% hicieron una valoración muy positiva del ECOE formativo (“excelente actividad”, “muy útil y beneficiosa”, “excelente experiencia”, “iniciativa destacable”, “bien preparado, atingente a los temas vistos, preguntas bien hechas”). Un 30,4% sugirió que debe repetirse para los siguientes grupos y 21,7% comentó que ciertas preguntas eran “algo confusas”.
DISCUSIÓN
Los resultados obtenidos en este estudio, nos permiten confirmar que el ECOE formativo aplicado a nuestros estudiantes, en la mitad del período de práctica del Internado de Medicina, cumplió con los objetivos de promover la autoevaluación de los estudiantes, familiarizarlos con el examen y retroalimentar el proceso docente. Si bien el ECOE se utiliza ampliamente en el mundo para evaluaciones sumativas, su uso como actividad formativa es menos difundido aunque se le reconoce que como tal es de gran utilidad tanto en programas de pregrado como en postgrado (1-9) como lo demuestra el presente estudio.
El costo económico de un ECOE, el tiempo que debe invertirse en prepararlo, implementarlo y corregirlo, el número de docentes involucrados, entre otros, son algunos de los factores que se han invocado para restringir su aplicación como actividad formativa. Esto se refleja en la menor cantidad de comunicaciones encontradas en la literatura, pero no por eso menos creativas (9-10)
La literatura comunica que las actividades formativas son una estrategia docente muy valiosa para promover la autoevaluación de los estudiantes. También contribuyen de manera notable a propiciar cambios de actitudes y conductas (4,9,11). Inicialmente en nuestro estudio, sólo la mitad de los internos expresó satisfacción por la oportunidad de autoevaluarse que les ofrecía el ensayo de ECOE. Es posible, que en ese momento, los internos todavía no hubiesen visualizado la importancia que tiene la autoevaluación en su proceso de aprendizaje. Sin embargo, esta apreciación experimentó un cambio notable después que los estudiantes revisaron la corrección del examen y recibieron retroalimentación directa e individual por parte del docente. A esas alturas del proceso, la autoevaluación alcanzó su máxima relevancia de manera tal que prácticamente todos los estudiantes (95,7%) opinaron que el ECOE formativo es de gran utilidad, ya que les permitió identificar sus falencias, medir los logros de su aprendizaje y definir sus necesidades. Por ello, los internos modificaron su método de estudio orientándolo según sus necesidades y de acuerdo al tipo de evaluación. Este cambio de conducta de los internos fue, a nuestro juicio, uno de los logros más relevantes de esta actividad.
Se reconoce también, que las actividades formativas ayudan a los estudiantes a familiarizarse con los métodos de evaluación que se utilizan en los exámenes sumativos (4). En nuestro trabajo, los internos expresaron que el ensayo de ECOE les ayudó a adquirir más confianza en sí mismos y a disminuir la ansiedad para enfrentar el ECOE final del IM (“nos muestra cómo será la evaluación final”, “uno sabe a lo que va”), lo que podría atribuirse a que ellos conocen el estilo de examen que se les aplicará al final de su práctica. No obstante lo anterior y dado el diseño de este estudio, no es posible inferir si el ECOE formativo tiene un impacto positivo en el desempeño y rendimiento de los internos en el ECOE al término del IM.
La literatura comenta que las actividades formativas son muy bien recibidas por los estudiantes (4,9,11). En nuestro estudio, el ensayo de ECOE comprueba lo anterior y recibe una evaluación muy positiva de la mayoría de ellos. El hecho de que algunos estudiantes expresen que ciertas preguntas son “algo confusas” contribuye a retroalimentar el proceso docente y nos obliga a revisar nuestro material de examen.
Finalmente, debido a los resultados obtenidos en este estudio se tomó la decisión de incorporar el ECOE formativo como actividad regular del Programa del IM, a contar del año académico de 2006.
En suma, podemos concluir que el ECOE formativo aplicado en la mitad del período de práctica del Internado de Medicina cumple con los objetivos planteados en este estudio: promover la autoevaluación de los estudiantes, familiarizarlos con el examen y retroalimentar el proceso docente.
Reflexiones
¿Cómo podríamos motivar a los estudiantes que son reacios a realizar un proceso de autocrítica constructiva y lograr que comprendan la importancia que tiene la autoevaluación para mejorar su propio aprendizaje?
Reconocimientos
Deseo manifestar mi agradecimiento a los docentes observadores, a los pacientes simulados, al personal de apoyo y a los estudiantes que hicieron posible llevar a cabo este proyecto.
REFERENCIAS BIBLIOGRAFICAS
- Tan CP, Rokiah P. The use of OSCE (Objective Structured Clinical Examination) as an assessment tool–initial experiences at the University of Malaya. Med J Malaysia 2005; 60 Suppl D:48-53.
- Townsend AH, McLlvenny S, Miller CJ, Dunn EV. The use of an objective structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance. Med Educ 2001; 35(9):841-6.
- Reiter HI, Rosenfeld J, Nandagopal K, Eva KW. Do clinical clerks provide candidates with adequate formative assessment during Objective Structured Clinical Examinations? Adv Health Sci Educ Theory Pract 2004; 9(3):189-99.
- Brazeau C, Boyd L, Crosson J. Changing an existing ECOE to a teaching tool: the making of a teaching ECOE. Acad Med 2002; 77(9):932.
- Labelle M, Beaulieu M, Renzi P, Rahme E, et al. Integrating clinical practice guidelines into daily practice: impact of an interactive workshop on drafting of a written action plan for asthma patients. J Contin Educ Health Prof 2004; 24(1):39-49.
- Symons I, Cullen L, Fraser D. Evaluation of a formative interprofessional team objective structured clinical examination (ITOSCE): a method of shared learning in maternity education. Medical Teacher 2003; 25(1):38-41.
- Adams J. Observing Objective, Structure, Clinical Examinations (ECOE). McGill Journal of Medicine 2004.
- Hassell AB. Assessment of specialist registrars in rheumatology: experience of an objective structured clinical examination (ECOE). West Midlands Rheumatology Services and Training Committee. Rheumatology (Oxford) 2002 Nov; 41(11):1323-8.
- Biran LA. Self-assessment and learning through GECOE (group objective structured clinical examination). Med Educ 1991; 25(6):475-9.
- Mathews L, Menon J, Mani NS. Micro-ECOE for Assessment of Undergraduates. Indian Pediatrics 2004 Feb 17; 41:159-163 .
- Hill DA, Guinea AI, McCarthy WH. Formative assessment: a student perspective. Med Educ 1994 Sep; 28(5):394-9.