Autor: Kevin McLaughlin, Laura Gregor, Allan Jones y Sylvain Coderre
University of Calgary, Calgary, Alberta, Canada
BMC Medical Education 2006, 6:12
Revisor : Dra. Liliana Ortiz Moreira,
Dpto. Educación Médica, Facultad de Medicina, Universidad de Concepción
En este artículo, los autores señalan las ventajas de la potencial incorporación de pacientes estandarizados (SP) al rol de evaluadores de habilidades clínicas con el OSCE, en estudiantes e internos de Medicina de centros formadores canadienses. Entre los factores determinantes, mencionan que los SP proporcionan una situación clínica constante, con lo que contribuyen a reducir la variabilidad entre las experiencias de los estudiantes. Además, señalan que los SP generan un ambiente de menor intimidación para los estudiantes de tal modo que permiten que se concentren más en el examen. Otra ventaja práctica que identifican sería la reducción de la necesidad de implicación del médico en el proceso de evaluación. Esto aliviaría carga horaria y presiones administrativas de los médicos y también podría reducir costos totales de horas médicas involucradas en los exámenes. Sin embargo, señalan que existe preocupación respecto del adecuado entrenamiento o experiencia del SP para examinar rigurosamente a estudiantes que deben lograr estándares profesionales, así como del conocimiento para identificar variaciones aceptables de las habilidades de éstos. Además, el SP puede no tener las habilidades para entregar retroalimentación a los estudiantes durante el examen, con lo que se arriesga el objetivo de aprendizaje de éste. Los autores describen que la literatura en esta área de la educación médica es limitada y conflictiva: “Algunos estudios han sugerido que los SP son tan confiables y exactos como los médicos en la evaluación del desempeño del estudiante, mientras que otros han encontrado diferencias en las calificaciones del SP por debajo de los estándares del médico». Por otro lado, señalan que la validez predictiva de las evaluaciones realizadas por el SP y/o las de los médicos ha sido poco estudiada, siendo considerada una variable de gran importancia.
La investigación de este grupo corresponde a un diseño de cohorte transversal que se efectuó en dos rotaciones de estudiantes de tercer año de medicina, que realizaban una rotación obligatoria de doce semanas en medicina interna (N=52). Esta rotación consideraba una evaluación formativa de OSCE en la sexta semana (en la que se incluyó SP para evaluar dos de las ocho estaciones), y una prueba sumativa final del tipo opción múltiple en base a solución de problemas.
El estudio aborda el problema de investigación desde tres perspectivas:
1. Actitudes de los estudiantes hacia los SP que evaluaron el OSCE, medidas a través de un cuestionario tipo Likert de cinco declaraciones (ver Tabla Nº1).
2. Correlación entre puntajes de los estudiantes en estaciones del OSCE otorgadas por el SP y por el médico (ver Tabla Nº2).
3. Validez predictiva de las evaluaciones del SP y del médico, usando como variable dependiente el desempeño académico en la MCQ.
Tabla Nº1
| Grado de Acuerdo de los estudiantes | Acuerdo % | Desacuerdo % |
| 1. No sabía lo que se esperaba que hiciera en esta estación. | 0 | 100 |
| 2. Encontré esta estación más agotadora que estaciones con un médico examinador. |
4.8 | 95.2 |
| 3. Los pacientes estandarizados dan retroalimentación con tanta eficacia como los médicos. |
52.9 | 47.1 |
| 4. No entrenan a los pacientes estandarizados suficientemente para juzgar habilidades clínicas. |
31.6 | 68.4 |
| 5. Quisiera ver más estaciones donde el examinador sea el paciente estandarizado. |
36.4 | 63.6 |
Tabla Nº 2
| Estación del OSCE | SP | Médico |
| 1. Examen físico precordial | √ | |
| 2. Examen físico respiratorio | √ | |
| 3. Examen físico del segundo nervio craneal | √ | |
| 4. Evaluación de un paciente con dolor de pecho | √ | |
| 5. Evaluación de un paciente con disnea | √ | |
| 6. Evaluación de un paciente con enfermedad del hígado | √ | |
| 7. Examen físico de la rodilla | √ | |
| 8. Examen físico del bazo | √ | |
| Promedio de puntaje | 90.4% | 82.2% |
| Desviación Estándar | 8.9 | 3.7 |
La diferencia de puntajes otorgados por el SP y el Médico fue estadísticamente significativa (p<0.0001).
El coeficiente de correlación que se obtuvo entre los puntajes de los examinadores para cada estudiante fue 0.4 (p= 0.003).
Los puntajes del médico fueron relacionados perceptiblemente y positivamente con el resultado sumativo del test de opción múltiple. Para cada aumento del 1% en el puntaje del médico para el OSCE, el puntaje sumativo del test aumentó en 0.88% [0.15, 1.61] (p = 0.019). No había relación significativa entre los puntajes del SP para el OSCE y el puntaje sumativo de MCQ (coeficiente de la regresión = -0.23, P = 0.133).
En resumen, los resultados demostraron que el SP es aceptable como examinador del OSCE según percepción de los estudiantes; una correlación débil pero significativa entre los puntajes otorgados por el SP y el médico (SP tendieron para evaluar más alto); y por último, valor predictivo de las evaluaciones de los médicos en el OSCE para los resultados del test, mientras que las evaluaciones del SP no.
Según los investigadores una razón por la que el SP califica con notas más altas que el médico, posiblemente se deba simplemente al deseo del SP de dar al estudiante una nota más alta, pues ésta favorece un encuentro más agradable estudiante-SP. Una explicación más probable se atribuye al entrenamiento limitado, la falta de experiencia y el conocimiento del SP para distinguir entre los estudiantes con distinto grado de conocimiento.
Las opiniones en cuanto a quién debe evaluar las habilidades clínicas de los estudiantes difieren. En una revisión reciente en este asunto, Whelan y cols. proponen una forma híbrida de evaluación en la cual cada cualidad sea evaluada por la persona más adecuada. Sugieren que los aspectos de la comunicación sean evaluados por el paciente (o el sustituto del paciente) mientras que las habilidades de resolución de problemas sean evaluadas por los expertos.
Por ahora, los autores refieren que es impensable que el SP substituirá totalmente a médicos examinadores en el proceso de la evaluación. Sin embargo, el incremento del número de estudiantes y del tiempo requerido para formarlos, implica que los educadores pueden tener que desarrollar nuevas maneras de continuar el proceso de evaluación. Una solución que proponen es limitar el OSCE a una evaluación formativa o a una herramienta de enseñanza, aunque muchos estarían en contra de subordinar esta evaluación confiable, válida y con alta confiabilidad a las evaluaciones con una confiabilidad más baja, tales como evaluaciones escritas. Si bien señalan que los estudiantes perciben al SP como examinadores aceptables, hacen hincapié en la necesidad de mejorar la validez predictiva de las evaluaciones del SP. Para hacer esto sugieren mejorar el entrenamiento del SP para discernir entre los estudiantes con conocimiento superficial y profundo. Y si esto fracasa, o es irrealizable, proponen darles un papel más limitado en tipos específicos de estaciones o evaluar conjuntamente con médicos, diversos componentes de una sola tarea.
Comentario
El desarrollo de las prácticas evaluativas en las facultades de medicina chilenas, aún no ha alcanzado los estándares de Canadá, por lo tanto, en ocasiones es posible determinar diferencias estadísticamente significativas en las evaluaciones de dos o más médicos examinadores, así como correlaciones débiles entre evaluación por OSCE y escritas semejantes a las descritas en el resumen del artículo seleccionado, incluso para los expertos. Por lo tanto, desde esta perspectiva, nuestro desafío es el mejoramiento continuo de la evaluación realizada por los académicos, dejando abierta la posibilidad de incorporar a pacientes estandarizados con un entrenamiento efectivo en objetivos específicos (tales como competencias genéricas, como lo proponen los autores) y evaluar los resultados de esta propuesta.