Ángela Alarcón M.*a
RESUMEN
Introducción: La evaluación guía el proceso de enseñanza aprendizaje, por lo que es vital incorporar metodologías evaluativas que cumplan con atributos de validez, objetividad y confianza, siendo el Examen Clínico Objetivo Estructurado (ECOE) una opción ampliamente utilizada en educación en salud.
Objetivos: Analizar la percepción de alumnos de enfermería en la implementación de ECOE en la asignatura Enfermería en Adulto y Senescente, Carrera de Enfermería, Universidad San Sebastián, y relacionarla con otros procedimientos evaluativos utilizados.
Material y Método: Se aplicó ECOE a 22 estudiantes en la asignatura Enfermería en Adulto y Senescente durante el segundo semestre, año 2010. Se utilizaron ocho estaciones donde el estudiante disponía de siete minutos para resolverlas. Estas fueron: dos de buzón, dos pacientes simulados, dos maniquíes y dos procedimientos. Seis estaciones contaron con observador. Finalizada la evaluación se solicitó opinión de la metodología a través de encuesta.
Resultados: Los estudiantes perciben ECOE como una metodología que evalúa contenidos teóricos, destrezas y actitudes (M=3,77+0,43). Un 40,91% estimó que el tiempo era insuficiente en algunas estaciones; un 31,82% consideró al método como una oportunidad de aprendizaje e igual porcentaje lo percibió estresante tan sólo al comienzo por no tener experiencia previa. Hubo relación significativa entre evaluación de procedimientos en clínica con la estación descripción de herida (p<0,05) y con la estación educación (p<0,05); entre primera historia de enfermería con estación educación (p<0,05) y estación fleboclisis (p<0,05).
Conclusiones: El ECOE es una metodología evaluativa percibida positivamente por los estudiantes, reconocida por ellos como una instancia de aprendizaje, permitiendo evaluar contenidos, procedimientos y actitudes en forma objetiva.
Palabras clave: ECOE, Evaluación, Rendimiento académico, Enfermería.
SUMMARY
Incorporating the Objective Structured Clinical Examination (OSCE) in Nursing career.
Introduction: Assessment guides the teaching-learning process, so it is essential to include evaluation methods that achieve attributes of validity, objectivity and reliability. Objective Structured Clinical Examination (OSCE) is an option that has been widely used in health education.
Objectives: To analyze nursing students’ perception of OSCE implementation in the Nursing of Adults and Elderly Health course, in Nursing at University San Sebastián, and relate it to other assessment procedures used.
Material and Method: OSCE was applied to 22 students in the Nursing of Adults and Elderly Health course during the second semester of 2012. 8 stations were used and students had seven minutes to solve them. Stations were: two static written stations, two simulated patients, two phantoms and two procedures. Six stations counted with an observer. At the end of the evaluation a survey was applied to know the opinion of the evaluation method.
Results: Students perceived OSCE as a methodology that assesses theoretical contents, skills and attitudes (M=3.77+0.43). A 40.91% considered that time was not enough in some stations, a 31.82% considered the methodology as a learning opportunity, and an equal percentage perceived it was stressing only at the beginning because of the lack of prior experience. There was significant relationship between procedures assessment in clinic with the station of description of wound (p<0.05) and with the education station (p<0.05); between the first nursing medical record and education station (p<0.05) and phleboclysis station (p<0.05).
Conclusions: OSCE is an assessment method perceived positively by students, recognized by them as a learning instance that allows evaluating contents, procedures and attitudes in an objective way.
Keywords: OSCE, Assessment, Academic performance, Nursing.
INTRODUCCIÓN
La evaluación es uno de los pilares fundamentales del proceso enseñanza aprendizaje, es así que el aprendizaje se deriva de la forma de entender y aplicar la evaluación, existiendo un vínculo entre el aprendizaje y la enseñanza con las prácticas evaluativas y la cultura de evaluación imperante en una institución educacional1. La evaluación forma parte inherente de las tareas de planificación educacional, en la medida que ofrece información y juicios acerca del funcionamiento del sistema o institución educativa para que, a partir de los mismos, puedan diseñarse las políticas de cambio institucional tendientes a fortalecer los aspectos adecuados o a modificar aquellas acciones o condiciones determinantes de resultados no deseables. La evaluación es, sin lugar a dudas, un ejercicio de autoconocimiento que, cuando es ejercido con toda honestidad, contribuye a comprender mejor y a valorar el quehacer. La evaluación entonces debería ser considerada como un proceso y no como un suceso aislado, y constituirse en un medio y nunca en un fin2.
Considerando que la evaluación es uno de los principales elementos del proceso de enseñanza aprendizaje, resulta fundamental establecer metodologías evaluativas que estén acordes con la forma de enseñanza, que cumplan con los atributos propios de un buen instrumento de evaluación como son la validez, objetividad y confianza, que aseguren la obtención de las destrezas y habilidades mínimas requeridas de acuerdo al programa de una asignatura y de la carrera, para seguir avanzando en su malla curricular, pero que además motiven positivamente a los estudiantes y no los desanimen, sino más bien, les permita darse cuenta cuáles son sus falencias, y les otorguen la seguridad que con los elementos que han recibido durante su formación son capaces de alcanzar los objetivos establecidos en una determinada asignatura, teniendo la convicción que el resultado obtenido dependerá de sus capacidades y de su esfuerzo.
En el transcurso de todo proceso de enseñanza aprendizaje, y por ende en la evaluación, es vital conocer la percepción que los estudiantes tienen acerca del desarrollo de éste, fortaleciendo con ello una retroalimentación efectiva3. Es así como la evaluación tiene una función reguladora del aprendizaje, puesto que las decisiones que toman los estudiantes para gestionar el estudio están condicionadas por las demandas de la evaluación a las que tienen que enfrentarse4. Es necesario considerar la evaluación como un instrumento diagnóstico de los déficits competenciales, y por lo tanto, útil para modificar o mejorar la formación previa y posterior, para la selección de los profesionales, para la certificación y recertificación y para cualquier sistema de incentivación y promoción profesional (carrera) que se desee diseñar5.
La carrera de Enfermería de la Universidad San Sebastián en su malla curricular contempla la asignatura teórico-clínica Enfermería en el Adulto y Senescente, la que se imparte en el quinto semestre. Esta asignatura está compuesta de una parte teórica en la cual se analiza la epidemiología de los problemas de salud del adulto y senescente de mayor prevalencia en el país y los factores que influyen en el auto cuidado, adaptación y rehabilitación; y otra parte clínica que se desarrolla principalmente en los servicios de cirugía y medicina de diferentes centros hospitalarios de la zona, tanto públicos como privados. En estas prácticas clínicas los estudiantes deben comenzar a aplicar el Proceso de Enfermería (PE) en la gestión del cuidado que requiere el adulto y senescente hospitalizado, considerando la valoración, planificación, intervención y evaluación, como también desarrollar habilidades en la ejecución de procedimientos de enfermería para el cuidado, ayuda al diagnóstico y tratamiento de problemas médico-quirúrgicos. Para esto son divididos en grupos de seis estudiantes, siendo acompañados por un docente clínico.
Las evaluaciones de esta asignatura eminentemente clínica se realizan en forma escrita con pruebas llamadas solemnes, tests y entrega de informes de historias de enfermería. El aspecto procedimental es evaluado durante el desarrollo de las prácticas de acuerdo a las oportunidades que se den durante ella, lo cual dificulta el poder evaluar el desarrollo de habilidades en la ejecución de procedimientos en igualdad de condiciones para todos los estudiantes, ya que esto depende de las oportunidades presentes en los diferentes centros hospitalarios al momento de su realización.
En consideración a lo expuesto, se ha estimado necesaria la incorporación del ECOE y la identificación de la percepción de los estudiantes en relación a esta metodología.
MATERIAL Y MÉTODO
Estudio descriptivo, correlacional y transversal realizado en la Carrera de Enfermería de la Universidad San Sebastián, sede Concepción.
El universo correspondió al total de 22 estudiantes que cursaban la asignatura Enfermería en el Adulto y Senescente durante el segundo semestre del año 2010.
Para desarrollar la investigación se comenzó por capacitar a los docentes de la asignatura en esta metodología.
Se elaboró el ECOE consensuado por el grupo docente y validado por expertos. Se estructuró un circuito de ocho estaciones, en las cuales el estudiante disponía de siete minutos para su resolución. Dos de las estaciones eran con buzón, en las cuales los estudiantes debían depositar en él su respuesta, dos con paciente simulado, dos con maniquí y en otras dos debían realizar procedimientos. Todas estas estaciones contaron con la presencia de un observador. Se prepararon los libretos de los pacientes simulados y se instruyó a estudiantes de cursos superiores, quienes realizaron el rol de paciente simulado. Se elaboraron pautas de cotejo, que aplicaron los observadores, para la evaluación del desempeño de los estudiantes en las distintas estaciones.
Además, se elaboró una encuesta semiestructurada para evaluar la percepción de los estudiantes, la cual fue sometida a juicio de expertos.
En el análisis de los datos se utilizó la media aritmética como medida de tendencia central y desviación estándar como medida de dispersión, se utilizó también el coeficiente de correlación Producto Momento de Pearson.
RESULTADOS
Al analizar la percepción de los alumnos en relación a los contenidos evaluados por el ECOE, consideraron que éste evalúa contenidos teóricos, destrezas y actitudes con M= 3,77; DE= 0,43, presentando menos acuerdo en relación a la evaluación de las habilidades de comunicación por esta metodología M= 3,59; DE = 0,59 (Tabla 1).
Tabla 1. Descriptivos de la percepción de los estudiantes
sobre los contenidos evaluados por el ECOE.
| Ítem | M | D.E. | Mín | Máx |
| El ECOE evalúa: | ||||
| 1. Conocimiento teórico. | 3,77 | 0,43 | 3 | 4 |
| 2. Destrezas procedimentales. | 3,77 | 0,43 | 3 | 4 |
| 3. Actitudes. | 3,77 | 0,43 | 3 | 4 |
| 4. Habilidades de comunicación | 3,59 | 0,59 | 2 | 4 |
La opinión de los estudiantes sobre el ECOE fue favorable, estimando que es un método objetivo y beneficioso para su formación. Los aspectos menos satisfactorios fueron el tiempo destinado a cada estación y el estrés que genera (Tabla 2).
Tabla 2. Descriptivos de la percepción de los estudiantes sobre el ECOE.
| Ítem | M | D.E. | Mín | Máx |
| 1. Las estaciones son representativas de la actividad clínica desarrollada. | 3,77 | 0,53 | 2 | 4 |
| 2. A su juicio el ECOE es objetivo. | 3,45 | 0,67 | 2 | 4 |
| 3. Las estaciones están acordes con los contenidos vistos en la asignatura. | 3,86 | 0,35 | 3 | 4 |
| 4. Considera al ECOE una evaluación estresante. | 2,64 | 1,09 | 1 | 4 |
| 5. El tiempo asignado fue suficiente para desarrollar las estaciones. | 2,59 | 0,96 | 1 | 4 |
| 6. Considera perturbador la presencia de un observador en algunas estaciones. (i) | 2,77 | 1,02 | 1 | 4 |
| 7. Considera el ECOE beneficioso en su formación profesional. | 3,73 | 0,46 | 3 | 4 |
| 8. Considera al ECOE una instancia de aprendizaje. | 3,77 | 0,43 | 3 | 4 |
| 9. Le gustaría que el ECOE fuera incluido como método de evaluación en esta asignatura. | 3,50 | 0,67 | 2 | 4 |
N = 22
Preguntas abiertas: un 40,91% declaró que el tiempo asignado fue insuficiente en algunas estaciones; un 31,82% lo consideró como una oportunidad de aprendizaje e igual porcentaje lo estimó estresante sólo en un comienzo (Tabla 3).
Tabla 3. Distribución de los comentarios de los estudiantes
sobre la implementación de la metodología.
| Respuesta | n | % |
| El ECOE es una metodología estimulante. | 3 | 13,64 |
| El ECOE es una oportunidad de aprendizaje. | 7 | 31,82 |
| El tiempo asignado en algunas estaciones fue insuficiente. | 9 | 40,91 |
| Evaluación positiva de la metodología. | 5 | 22,73 |
| Actividad entretenida. | 4 | 18,20 |
| Actividad que permite ver áreas deficientes. | 3 | 13,64 |
| Actividad algo estresante solo al comienzo por ser una metodología nueva. | 7 | 31,82 |
| Actividad estresante por la presencia de observadores. | 2 | 9,10 |
| Actividad que permite aplicar conocimientos. | 1 | 4,55 |
| Actividad agradable. | 3 | 13,64 |
| Actividad muy estresante. | 2 | 9,10 |
N = 22; n = número de alumnos
Se comparó los resultados obtenidos en el ECOE y las notas obtenidas en las diversas actividades desarrolladas en clínica (Tabla 4), encontrándose significancia estadística entre:
- evaluación de procedimientos en clínica con descripción de herida (p<0,05) y educación (p<0,05);
- la primera historia y la estación de educación (p<0,05 ) y la estación de instalación de fleboclisis (p<0,05);
- la segunda historia y la estación de descripción de herida (p<0,05);
- el promedio de las historias y la estación correspondiente a instalación de fleboclisis (p<0,05);
- los test y la estación de toma de presión arterial (p<0,01).
Tabla 4. Correlación entre las notas obtenidas en las estaciones del ECOE
y las notas de las evaluaciones clínicas.
| Presión arterial |
Descripción herida |
Proceso Enfermería |
Electro- cardiograma |
Lavado de manos |
Educación | Flebo- clisis |
Medica- mentos |
|
| Clínica Procedimiento | -0,12 | 0,39* | 0,17 | 0,03 | -0,03 | 0,39* | 0,30 | -0,02 |
| Clínica–Historia 1 | 0,22 | 0,02 | 0,23 | 0,10 | 0,02 | 0,40* | 0,40* | -0,04 |
| Clínica Historia 2 | 0,34 | 0,42* | -0,18 | -0,24 | -0,04 | 0,14 | 0,31 | -0,35 |
| Clínica – Historia promedio |
0,33 | 0,24 | 0,04 | -0,08 | -0,01 | 0,32 | 0,42* | -0,23 |
| Clínica – Educación | 0,20 | 0,09 | 0,24 | 0,10 | -0,16 | 0,28 | 0,14 | -0,11 |
| Clínica – Test | 0,41* | 0,03 | 0,11 | 0,54 | -0,01 | 0,22 | 0,13 | 0,31 |
N = 22; * p< 0,05; ** p<0 ,01; *** p< 0,001
También se analizó la relación entre la nota final del ECOE con los diferentes ítems evaluados en clínica (Tabla 5), para lo que se utilizó el coeficiente de correlación Producto Momento de Pearson en base a un contraste bilateral, encontrándose relación estadísticamente significativa entre el promedio del ECOE con la primera historia clínica y la evaluación de procedimiento (p<0,05) y entre promedio del ECOE y test (p<0,01).
Tabla 5. Correlación entre la nota final del ECOE
y las notas de la clínica.
| ECOE Promedio | |
| Clínica – Procedimiento | 0.41* |
| Clínica – Historia 1 | 0.45* |
| Clínica – Historia 2 | 0.12 |
| Clínica – Historia promedio | 0.35 |
| Clínica – Educación | 0.27 |
| Clínica – Test | 0.63** |
N = 22; * p< 0,05; ** p< 0,01; *** p< 0,001
También se observó la relación entre la nota final del ECOE con ítems del solemne oral (Tabla 6). Utilizando el coeficiente de correlación Producto Momento de Pearson en base a un contraste bilateral, no se encontraron relaciones significativas.
Tabla 6. Correlación entre la nota final del ECOE
y resultados del examen oral final.
| ECOE Promedio | |
| Examen –Promedio | 0.30 |
| Parte 1 – Entrevista | 0.16 |
| Parte 2 – Valoración | 0.34 |
| Parte 3 – PE | 0.39 |
| Parte 4 – Fisiopatológico | -0.01 |
| Parte 5 – Fármaco | 0.17 |
| Parte 6 – Preparación | 0.13 |
N = 21; * p <0,05; * *p <0,01; *** p < 0,001
DISCUSIÓN
Los resultados de este estudio, aunque el universo es pequeño porque sólo se aplicó en una asignatura, muestran que los estudiantes perciben que el Examen Clínico Objetivo Estructurado evalúa igualmente contenidos teóricos, destrezas y actitudes y, en menor grado, habilidades de comunicación. Los estudiantes también consideran que las estaciones están acordes con los contenidos de la asignatura y con el desarrollo de las prácticas clínicas; y perciben el ECOE como una metodología de evaluación válida; además de objetiva y una buena instancia de aprendizaje. Estos resultados concuerdan con la literatura disponible6,7. Los estudiantes refirieron estrés solo al comienzo por ser una metodología nueva para ellos, pero no por la metodología en sí, lo que no coincide con otros estudios realizados8.
El hecho que los estudiantes consideren que el tiempo asignado fue inadecuado en algunas estaciones, permite retroalimentar el proceso docente, revisando la estructuración de las diferentes estaciones, procesos que se han comunicado efectivos en comunicaciones nacionales9,10.
CONCLUSIONES
El incorporar este método de evaluación en esta asignatura teórica práctica ha permitido una evaluación más objetiva y estandarizada, debido a que todos los estudiantes están sometidos a una misma situación, bajo las mismas condiciones.
Cuando se analiza los resultados obtenidos por los estudiantes en el ECOE y los logrados en la clínica y solemne oral, se encuentra mejores rendimientos en las estaciones del ECOE que miden habilidades procedimentales, como el lavado clínico de manos y la instalación de fleboclisis, lo cual se puede explicar por tratarse de actividades que el estudiante desarrolla en repetidas oportunidades durante su desempeño curricular.
REFERENCIAS BIBLIOGRÁFICAS
- Ahumada P. Hacia una evaluación auténtica del aprendizaje. Ediciones Editorial Paidós, México, 2005.
- Ahumada P. La evaluación en una concepción de aprendizaje significativo. Ediciones Universitarias de Valparaíso, Chile, 2006.
- Rodríguez J. La evaluación en la Universidad. La evaluación del aprendizaje de los alumnos universitarios. En Mayor, C. (coord.). Enseñanza y aprendizaje en la educación superior. Ediciones Octaedro, Barcelona, 2003.
- Pérez M y Carretero M. La promoción de estudiantes estratégicos a través del proceso de evaluación que proponen los profesores universitarios. En Monereo C y Pozo I. La Universidad ante la nueva cultura educativa: enseñar y aprender para la autonomía. Editorial Síntesis, Madrid, 2003.
- Martínez JM. Los métodos de evaluación de la competencia profesional: la evaluación clínica objetivo estructurada (ECOE). Educ. Méd (online) 2005; 8:(suppl. 2): 18-22. Disponible en: http://dx.doi.org/10.4321/S1575-18132005000600007. [Consultado el 08 de Octubre del 2012].
- Struyven K, Dochy F, Janssens S. Students’ perceptions about evaluation and assessment in higher education: A review. Assess Eval High Educ 2005; 30(4): 325-341.
- Merrick HW, Nowacek G, Boyer J, Robertson J. Comparison of the objetive structured clinical examination with the perfomance of third-year medical students in surgery. Am J Surg 2000; 179(4): 286-288.
- Caraccio C, Englander R. The Objective Structured Clinical Examination. A step in the direction of competency-based evaluation. Arch Pediatr Adolesc Med 2000; 154(7): 736-741.
- Torres G, Alid L, Fasce E. Utilización del método de Evaluación de Competencias Clínicas (OSCE) en prácticas de primeros auxilios. Rev. Educ. Cienc. Salud 2005; 2(2): 111-114.
- Morales C. Examen clínico objetivo estructurado formativo en el internado de Medicina: evaluación del proceso por los estudiantes. Rev. Educ. Cienc. Salud 2007; 4(2): 106-110.
Artículo recibido el 17/10/12, Aceptado el 12/03/13.
Dirección del autor:
Ángela Alarcón M.
Facultad de Medicina
Universidad San Sebastián,
General Cruz 1577
Concepción, Chile
E-mail: angelalarconm@gmail.com
* Facultad de Enfermería, Universidad San Sebastián, Concepción, Chile.
a. Enfermera, Especialista en Cuidados Intensivos Médico-Quirúrgicos, Magíster en Educación Médica para las
Ciencias de la Salud.