Graciela Torres A.1; Lissette Alid S.1 Eduardo Fasce H. 1
RESUMEN
Introducción: La evaluación de competencias clínicas mediante sistemas estructurados como el OSCE ha tenido una creciente inserción en los pregratos de Medicina debido a su objetividad y validez.
Objetivo: Evaluar la aplicación del OSCE en el módulo de primeros auxilios que se imparte a estudiantes de primer año de Medicina en la Universidad de Concepción.
Material y método: Se realizó Primeros Auxilios a 114 alumnos durante el año 2004. La modalidad pedagógica consistió en 10 horas teórico prácticas y actividades prácticas en grupos de 7 a 10 alumnos. La evaluación cognitiva se efectuó a través de un test escrito de respuestas abiertas y la presentación de un trabajo grupal. Las competencias clínicas fueron evaluadas por medio del método OSCE con 7 estaciones que corresponden los a objetivos centrales del programa: ejecución de la maniobra de Heimlich, aplicación de vendaje, inmovilización, punción intramuscular, medición de presión arterial, manejo básico de lesionado en vía pública y reanimación cardiopulmonar Se aplicó una encuesta de opinión en formato Likert de 4 categorías.
Resultados: El promedio de la evaluación teórica fue de 6,1 con un rango entre 3.4 y 7.0 (escala de 1 a 7). 57,9% de los estudiantes rindieron entre 6.0 a 6.9. En la evaluación por medio del OSCE se obtuvieron altos rendimientos en todas las estaciones (entre 6,7 y 6,95). En cuanto a opinión de los alumnos el 79 % estima que la metodología estimula la participación activa, el 87 % que desarrolla habilidades y el 84 % que las actividades fueron estimulantes. El 85 % considera que el OSCE que contribuye a mejorar la competencia en los procedimientos el 77 % que es adecuado para evaluar destrezas y habilidades.
Conclusiones El método OSCE puede ser utilizado como un instrumento de evaluación para determinar destrezas y habilidades en un curso de primeros auxilios aplicado a estudiantes de primer año de medicina, logrando una alta aceptación por parte de estudiantes y docentes.
SUMMARY
Introduction: Clinical competencies assessment through structured systems like OSCE has been inserted in Pre-graduate Medicine because of its objectivity an validity.
Objective: Assess OSCE application during the first aid module given to first year Medicine students in the Universidad de Concepción.
Method: First aid module was carried out with 114 students during 2004. It consisted in 10 theoretical-practical activities in groups of seven to ten students. Cognitive assessment was made through a written test of opened questions and a group work. Clinical competencies were assessed with OSCE method of 7 stations that correspond with the main academic objectives: Heimlich maneuver performance, dressing application, immobilization, intramuscular punction, arterial blood measurement, basic management of an injured person in the street and CPR. An opinion survey was applied with a categories Likert format.
Results: The average of theorical assessment was 6.1, with a range between 6.0 and 6.9. Assessment through OSCE obtained high scores in all stations (between 6.7 and 6.95). Regarding students opinion, 79% estimated that the methodology stimulated active participation, 87 % that develops abilities and 84% that activities were stimulating. 85% considered that OSCE contributed to improve competency in proceedings and 77% that is appropriate to assess skills and abilities.
Conclusions: OSCE method can be used as an assessment method for skills and abilities in a first aid module in first year medicine students, obtaining high acceptance from students and teachers.
INTRODUCCIÓN
Uno de las dificultades más recurrentes que ha debido enfrentar la Educación Médica ha sido establecer métodos de evaluación de las competencias clínicas que cumplan con adecuados criterios de validez, objetividad y confiabilidad. Frente a este desafío se ha desarrollado el OSCE (Objective Structured Clinical Examination) (1), método de evaluación de las competencias clínicas en el cual los componentes o desempeños de éstas, son evaluados en forma planificada o estructurada con énfasis en la objetividad del examen (2). Para que el OSCE cumpla con los criterios establecidos, debe haber concordancia entre el programa del curso y el diseño del examen (3). El número de estaciones depende de los objetivos y contenidos a evaluar, de tal modo de garantizar que las competencias a evaluar sean una muestra representativa de cada curso, asignatura o programa. La situación clínica a desarrollar en cada estación requiere un ambiente adecuado, simulando la realidad, y debe disponerse de los recursos físicos y humanos necesarios para resolverlos (4).
El OSCE está constituido por estaciones que conforman un circuito. En cada estación el estudiante se enfrenta a una situación que evalúa una competencia clínica y desempeños específicos. Todos los alumnos son evaluados con las mismas situaciones y cada estación debe contar con instrucciones claras y precisas para el estudiante y una pauta de corrección y, cuando corresponde, con una pauta de evaluación por el docente, pauta para el paciente simulado y pauta de evaluación por el paciente simulado (3). Los estudiantes rotan en forma sucesiva a través de las estaciones. En el circuito se contemplan estaciones de descanso intercaladas (5).
En la literatura se consignan una serie de ventajas (6) y desventajas (7) de esta forma de evaluación.
Principales ventajas:
- El uso de pautas de observación aplicadas por el evaluador dan como resultado un examen más objetivo
- El examen es más confiable especialmente en la evaluación de comunicación y relación médico-paciente.
- Evalúa un amplio rango de las competencias clínicas.
- Se controla no sólo el contenido del examen sino también su complejidad y profundidad.
- Permite evaluar un mayor número de habilidades a cada estudiante.
- Al disponerse de pautas de evaluación, los evaluadores pueden no ser expertos.
- Permite entregar retroalimentación fundamentada a los docentes respecto de los aprendizajes de los estudiantes.
Algunas de sus desventajas serían:
- No da la posibilidad de enfrentar un problema clínico enfrentando al paciente de una forma integral.
- Se puede provocar desatención y cansancio en los pacientes simulados ya que deben repetir cada situación un alto número de veces
- Los modelos y pacientes simulados deben ser seleccionados cuidadosamente y entrenados con instrucciones precisas para minimizar cualquier distorsión de parte de ellos.
- Se ha planteado que requiere mayores recursos humanos, materiales y de tiempo que un examen oral por comisión tradicional, lo que es válido sólo para su implementación por primera vez.
Dada la importancia que ha adquirido el OSCE en la evaluación en Medicina y la línea de innovaciones en la docencia que ha desarrollado el Departamento de Educación Médica, nos propusimos evaluar los resultados de su aplicación en estudiantes de primer año.
ESTUDIANTES Y METODO
El módulo de Primeros Auxilios está inserto en la asignatura de Orientación a los Estudios Médicos que se imparte en el primer año de la carrera de Medicina de la Universidad de Concepción. El presente trabajo corresponde a su aplicación durante el año 2004 y comprometió a 114 estudiantes.
El módulo de Primeros Auxilios incluye actividades teórico prácticas y prácticas. Las primeras consisten en 5 horas teóricas, utilizando la metodología del aprendizaje basado en problemas, además de clases interactivas. Las actividades prácticas se realizan en grupos de entre 7 y 10 estudiantes cada uno. Se complementa la metodología con material de apoyo impreso, plataforma informática en red y la edición de un programa multimedia en formato CD-Rom elaborado en la unidad de tecnología informática de nuestro Departamento.
Las competencias se evalúan por medio del método OSCE con 7 estaciones que corresponden los a objetivos centrales del programa: ejecución de la maniobra de Heimlich, aplicación de vendaje, inmovilización, punción intramuscular, medición de presión arterial, manejo básico de lesionado en vía pública y reanimación cardiopulmonar. Para cada estación se establece un diseño estandarizado incluyendo instrucciones para los estudiantes y pautas de cotejo.
Para el desarrollo de las estaciones se incluyen pacientes estandarizados, modelos y maniquíes. En cada estación participa un mismo evaluador.
El proceso se complementa con una evaluación cualitativa realizada en la forma de una encuesta de opinión del tipo Likert de 4 categorías: total acuerdo, parcial acuerdo, parcial desacuerdo y total desacuerdo.
La evaluación cognitiva consiste en un test escrito de respuestas abiertas en base a situaciones clínicas y mediante la presentación de un trabajo grupal.
RESULTADOS
En la Tabla 1 se presenta la distribución de las notas obtenidas en el test teórico. El promedio de notas de la evaluación teórica fue de 6,1 (escala de 1 a 7) con un rango entre 3,4 y 7. El 57,9% de los estudiantes obtuvo ponderaciones entre 6.0 y 6,9.
Tabla 1
Resultados evaluación teórica
| Notas | N° de alumnos | % |
| < 4 4.0 – 4.9 5.0 – 5.9 6.0 – 6.9 7.0 TOTAL |
1 8 33 66 6 114 |
0,9 7,0 28,9 57,9 5,3 100,0 |
En la Tabla 2 se presentan los promedios de notas obtenidos en las diferentes estaciones del OSCE: la estación que obtuvo mejor calificación fue la maniobra de Heimlich con un promedio de 6,95. La de menor rendimiento fue la medición de presión arterial con 6,7.
Tabla 2
Promedios de notas en cada estación de OSCE
| Estación | Nota |
| Medición de presión arterial Lesionado vía pública Reanimación cardiopulmonar Punción intramuscular Esguince Cohibir hemorragia Heimlich |
6.7 6.8 6.9 6.9 6.9 6.9 6.9 |
La opinión cualitativa de los estudiantes, tanto de la metodología como del OSCE, se detalla en la Tabla 3. El 79 % estima que la metodología estimula la participación activa, el 87 % que permite desarrollar habilidades y el 84 % que las actividades fueron estimulantes. Con relación al OSCE, opinan que contribuye a mejorar la competencia en los procedimientos en un 85 % y que es adecuado para evaluar destrezas y habilidades en un 77 %.
Tabla 3
Evaluación cualitativa: opinión de los alumnos (%)
| ITEM | Acuerdo | Desacuerdo | ||
| Total | Parcial | Parcial | Total | |
| Se sintió estimulado por la carrera de Medicina Facilita la aplicación de contenidos teóricos a la práctica La metodología estimuló la participación activa La práctica permitió el desarrollo de habilidades y destrezas Las actividades prácticas fueron estimulantes El OSCE contribuye a mejorar las competencia en procedimientos El OSCE es adecuado para evaluar destrezas y habilidades Las actividades fueron estresantes Se siente capacitado para enfrentar situaciones de emergencia |
88 76 79 87 84 85 77 4 57 |
11 18 21 12 15 15 20 4 37 |
1 6 0 1 1 0 3 21 5 |
0 0 0 0 0 0 0 71 1 |
DISCUSIÓN
El OSCE ha tenido una creciente inserción en diferentes disciplinas biomédicas en virtud a sus características como medio objetivo, válido y confiable para evaluar competencias clínicas (3,4,8-12). Permite, además, entregar información adicional para identificar áreas de debilidad en los planes de estudios y/o métodos de enseñanza, antecedentes útiles para mejorar la eficacia educativa, incorporando las rectificaciones correspondientes (9,10). Como queda de manifiesto en los estudios señalados, las evaluaciones por medio del OSCE permiten una distribución normal de los promedios de notas obtenidos por los estudiantes, los que resultan más bajos que cuando se comparan con las notas obtenidas en las prácticas clínicas, las cuales tienden a obedecer a criterios más bien arbitrarios, superficiales y carentes de objetividad.
Los resultados de nuestra experiencia no siguen la tendencia antes señalada, destacando una marcada concentración en los niveles más altos de la escala de notas. Podemos atribuir estos resultados a las características de la metodología utilizada, fuertemente orientada al logro de los objetivos, desarrollada en dinámicas de pequeño grupo con asesoría docente personalizada en el logro de cada competencia y con el apoyo de fuentes diversas de información apropiadas para satisfacer los diferentes estilos de aprendizaje. Con el objeto de obviar eventuales sesgos dependientes del evaluador, se realizaron grabaciones en video de algunas estaciones, actividad que permitió otorgar mayor validez al proceso al comprobar coincidencias en la evaluación por pares.
La apreciación cualitativa de la aplicación del OSCE se caracterizó por una alta aceptación, tanto por parte de estudiantes como docentes, pero también fue percibida como una experiencia que requiere un esfuerzo considerable en la preparación del material y en el desarrollo de la actividad, aspectos que son coincidentes con otras comunicaciones (12,13). De igual modo, nuestros alumnos reconocieron que el OSCE es una actividad agotadora, pero que no genera estrés, reconociendo su eficacia para evaluar destrezas y habilidades. En estudios orientados a evaluar las actitudes de los estudiantes durante el OSCE se ha reconocido que puede generar altos niveles de ansiedad, la cual va disminuyendo en la medida en que los alumnos progresan en la evaluación (14).
CONCLUSIONES
El método OSCE puede ser utilizado como un instrumento de evaluación para determinar destrezas y habilidades en un curso de primeros auxilios aplicado a estudiantes de primer año de medicina, logrando una alta aceptación por parte de estudiantes y docentes.
La utilización de opciones de aprendizaje variadas en conjunto con metodología participativa y personalizada, garantiza el logro de las destrezas requeridas permitiendo alcanzar altos niveles de rendimiento.
La filmación de videos representa una adecuada opción para otorgar mayor validez y objetividad al proceso de evaluación.
REFERENCIAS BIBLIOGRÁFICAS
1. Caraccio C, Englander R. The Objective Structured Clinical Examination. A Step in the Direction of Competency- Based Evaluation. Arch Pediatr Adolesc Med 2000; 154: 736-41.
2. Harden RM. What is an OSCE?. Medical Teacher 1988; 10:19-22.
3. Triviño X, Vásquez A, Mena A ,et al. Aplicación del Examen Clínico Objetivo Estructurado (OSCE) en la evaluación final del internado de Pediatría en 2 escuelas de Medicina. Rev Med Chile Julio 2002; 130:817-824.
4. Bustamante M, Carvajal C, Gottlieb B, Contreras J, Uribe M, Melkonian T et al. Hacia un nuevo instrumento de evaluación en la Carrera de Medicina. Uso del método OSCE. Rev Méd Chile 2000; 128: 1039-44.
5. Sloan D, Donelly M, Schwartz R, Strodel W. The Objective Structured Clinical Examination. The New Gold Standard for Evaluating Postgraduate Clinical Performance. Ann Surg 1995; 222: 735-42.
6. Duerson MC, Romrell LJ, Stevens CB. Impacting faculty teaching and student performance nine years experience with the OSCE. Teach Learn Med 2000; 12(4):176-82.
7. One Programs Experience of OSCE vs Written Board Certification Results: A Pilot Study. Am J Physical Med and Rehabilitation 2000; 79:462-467.
8. Troncon LE. Clinical skills assessment: limitations to the introduction of an «OSCE» (Objective Structured Clinical Examination) in a traditional Brazilian medical school. Sao Paulo Med J; 2004,122:12-7.
9. Tervo RC, Dimitrievich E, Trujillo AL, Whittle K, Redinius P, Wellman L. The Objective Structured
Clinical Examination (OSCE) in the clinical clerkship: an overview. S D J Med. 1997;50:153-6.
10. Hamann C, Volkan K, Fishman MB, Silvestri RC, Simon SR, Fletcher SW. How well do
second-year students learn physical diagnosis? Observational study of an Objective Structured
Clinical Examination (OSCE). BMC Med Educ. 2002;2:1.
11.Pierre RB, Wierenga A, Barton M, Branday JM, Christie CD. Student evaluation of an OSCE in
pediatrics at the University of the West Indies, Jamaica. BMC Med Educ. 2004;4:22.
12. Brosnan M, Evans W, Brosnan E, Brown G. Implementing objective structured clinical skills
evaluation (OSCE) in nurse registration programms in a center in Ireland: A utilization focused
evaluation. Nurse Educ Today. 2005 Oct 7.
13. Furlong E, Fox P, Lavin M, Collins R. Oncology nursing students’ views of a modified OSCE.
Eur J Oncol Nurs. 2005 Jul 16.
14. Allen R, Heard J, Savidge M, Bittengle J, Cantrell M, Huffmaster T. Surveying students’ attitudes
during the OSCE. Adv Health Sci Educ. 1998;3:197–206.
1 Departamento de Educación Médica, Facultad de Medicina, Universidad de Concepción