Justo Bogado S.1, Ilse Lopez B.2
RESUMEN
Introducción: El Test de Concordancia Script (TCS) es una nueva forma de evaluación utilizada en Ciencias Médicas. Compara el resultado del razonamiento clínico del candidato con el de los expertos. Cada caso-problema permite evaluar rápidamente una hipótesis de diagnóstico relevante y encauzar apropiadamente estrategias de investigación y tratamiento.
Objetivos: Evaluar la percepción de los estudiantes de quinto año Urología, respecto a la introducción del TCS como instrumento de evaluación y conocer sus preferencias sobre los métodos evaluativos utilizadas en la asignatura.
Material y Métodos: Se realizó una encuesta de opinión a los estudiantes al final de la evaluación de la Asignatura, utilizando una Escala de Likert. Tres preguntas estaban relacionadas con informaciones y conocimientos previos a la prueba, dos relacionadas con la prueba y dos posteriores a la prueba.
Resultados: Contestaron 29/39 estudiantes. Respecto a la información recibida acerca del TCS, 65.5%: contestó “suficiente”. Con referencias al conocimiento de los contenidos del TCS, 68.9 % tenía “algún conocimiento”. Respecto a las habilidades cognitivas y destrezas adquiridas en la asignatura para enfrentar los casos de Script, 58.6% contestó “suficiente” y 31% “insuficiente”. El tiempo asignado para cada caso de TCS fue “suficiente” para 75.9%. El número de casos fue adecuado para 82.7%. El nivel de aceptación del TCS fue “totalmente aceptado” 34.4%; “medianamente aceptado” 48.33%, y “no aceptado” 17.3%. Para determinar preferencias de métodos de evaluación usados en la asignatura de Urología, se solicitó calificación con notas de 1 a 4. Nota 4 recibió el 36.3% de pacientes estandarizados, 27.2% maniquíes y 27.25% el TCS. Nota 3 recibió el 55% con maniquíes, 25% imagen y casos en computador y 20% el TCS.
Conclusiones: El TCS, tiene aceptación mayoritaria por parte de los estudiantes que cursaron la asignatura de Urología en el año 2009 y en cuanto a las preferencias evaluativas tienen una fuerte inclinación por los pacientes estandarizados, TCS y maniquíes.
Palabras clave: Test de Concordancia Script, Evaluación, Competencias clínicas, Razonamiento clínico.
SUMMARY
Perception of the implementation of Concordance Script Test (CST) as an assessment tool, by the fifth year students of Urology, Medicina Oriente, Universidad de Chile. Year 2009.
Introduction: Concordance Script Test (CST) is a new assessment tool used in health care careers. It compares the results of clinical reasoning of the examinee with the one obtained by the experts. Each case-problem allows to assess relevant diagnose hypothesis and to properly lead treatment and investigation strategies.
Objectives: To measure the perception of fifth year Urology students about the introduction of CST as an assessment tool and their preferences among the evaluations used in this subject.
Materials and Method: An opinion survey was applied to the students at the end of the Subject evaluation, using a Likert’s scale. Three questions were related to the information and knowledge prior to the test, two about the test itself and two about the events after the test.
Results: 29 of 39 students answered the survey. In reference of information received about CST, 65.5% answered sufficient. About their knowledge and the contents of the test, 68.9% had some knowledge to answer the test properly. Regarding knowledge and skills acquired in the class in order to face CST cases, 58.6% answered sufficient and 31% insufficient. The time assigned for answering each script case was considered sufficient for 75.9%, and the number of cases was adequate for 82.7% of the students. The percentage of acceptance of CST was 34.4% “total acceptance”, 48.3% “intermediate acceptance” and 17.3% “not accepted”. To determine the preference in assessment methods in Urology class, students were asked to grade methods from 1 to 4. Grade 4 received for: standardized patients were 36.3%; mannequins 27.2% and CST 27.25%. Grade 3 received for: mannequins were 55%, images and PC 25% and CST 20%.
Conclusions: In the year 2009, CST has a majority of acceptance by Urology students, and regarding the assessment methods they have a strong preference for standardized patients, CTS and mannequins.
Keywords: Concordance script test, assessment, assess, clinical competences, clinical reasoning.
INTRODUCCIÓN
La renovación de estrategias educativas del proceso de enseñanza-aprendizaje, obliga a emplear nuevos instrumentos de evaluación frente a las competencias requeridas.
La capacidad de razonar en contextos de ambigüedad o incertidumbre y resolución de problemas mal definidos es una característica de las competencias profesionales1.
La calidad de la anamnesis clínica y del examen físico son fenómenos observables y relativamente fáciles de medir, no así la evaluación del razonamiento clínico, ya que es difícil explicar de qué manera el cerebro puede integrar la información a fin de realizar una tarea eficientemente.
El Test de Concordancia Script (TCS) es una nueva forma de evaluación de conocimientos y especialmente del razonamiento clínico. El TCS compara el razonamiento clínico del candidato con el de los expertos. Cada caso-problema moviliza y organiza el conocimiento clínico en redes cognitivas almacenadas (script de enfermedad) del estudiante o del profesional de la salud, que les permite hacer inferencias necesarias para aceptar o descartar hipótesis en el momento de realizar un diagnóstico relevante, para direccionar acertadamente una estrategia de investigación (solicitud de exámenes de laboratorio, de imagen o procedimientos y, finalmente, para indicar el tratamiento adecuado2. Actualmente cobra más relevancia no solo el razonamiento analítico (consciente, controlado) sino también el razonamiento no analítico (inconsciente, automático) ya que éste utiliza experiencias pasadas, reconociendo patrones que son fundamentales para emitir juicios relacionados3.
El TCS debe ser un foco de atención en la educación médica teniendo en cuenta que los scripts de enfermedad se desarrollan a partir de la aplicación de conocimientos biomédicos y de las ciencias clínicas en casos reales, de allí la importancia que tiene el entrenamiento temprano en el aprendizaje basado en problemas4.
En la Unidad de Urología, Medicina Oriente, Universidad de Chile, desde el año 2001, como proceso de enseñanza-aprendizaje se utiliza la enseñanza en grupos pequeños, aprendizaje basado en problemas, participación de pacientes reales y uso de maniquíes. Congruente con ellos y con los avances evaluativos, desde ese mismo año, se utiliza el Examen Clínico Estructurado y Objetivo (ECOE u OSCE) como instrumento de evaluación de conocimientos, habilidades y destrezas5.
Entendiendo que la competencia profesional es una entidad multidimensional y que ningún método único puede medir adecuadamente6, en el año 2009, se complementa el ECOE, con el TCS como un intento de medir la organización de conocimientos o razonamiento clínico en situaciones prácticas escritas necesarias para la toma de decisiones.
Se diseñaron tres casos o viñetas de patologías comunes y relevantes de la asignatura con quince supuestos. Un caso correspondió a estrategias de investigación (solicitud de exámenes de laboratorio, de imagen o de procedimientos), otro caso correspondió a diagnósticos y otro a tratamientos, los que cambiaban en función de una nueva información.
Para la construcción del TCS, se siguió la metodología aplicada por Charlin et al2. La construcción de la prueba fue realizada por el Coordinador de la asignatura y un Ayudante (Figura 1), siendo revisada y validada por un grupo de diez expertos-staff. Cada uno de los expertos estableció la respuesta de los distintos ítems a través de una escala (+2,+1, 0,-1,-2). La puntuación estaba dada por la distancia que existía entre la respuesta de los estudiantes y la de los expertos.
 |
Figura 1. Ejemplo de Estructura de Script (Caso diagnóstico).
La preocupación por conocer la percepción de los estudiantes de la asignatura de Urología año 2009, respecto a la introducción del TCS como nuevo instrumento de evaluación y, además conocer sus preferencias de herramientas evaluativas en la asignatura, ha motivado la realización del presente estudio.
MATERIAL Y MÉTODO
Se realizó una encuesta de opinión a los 39 estudiantes de quinto año Urología, de la Sede Oriente, Universidad de Chile, en 2009 al final de la evaluación de la asignatura.
Para evaluar la percepción de los estudiantes respecto a la introducción del TCS como herramienta evaluativa de la reflexión y razonamiento clínico, como complemento del ECOE, se aplicó un instrumento diseñado en formato Likert previamente validado.
El cuestionario se propuso medir la percepción de los estudiantes respecto a: la capacitación previa lograda durante el curso para responder la prueba (información, conocimientos, habilidades, y destrezas); el desarrollo mismo de la aplicación de la prueba; grado de aceptación de TCS y otras formas de evaluación.
Para la presentación de los datos se utilizó metodología descriptiva.
RESULTADOS
Contestaron 29/39 estudiantes. Los 10 que no respondieron no presentan alguna característica especial que los identifique.
Respecto a la información que se les entregó acerca del nuevo instrumento de evaluación (TCS) previo a la prueba, la Tabla 1 destaca que el 65.5% de los estudiantes lo consideró “suficiente”, lo que sumado al 6.9% que marcó “óptimo”, se obtiene un 72.4% de opiniones favorables.
Tabla 1. Calidad y cantidad de información sobre el TCS entregada antes de la prueba.
| Calidad y cantidad información | Número de casos | Porcentaje (%) |
| Óptimo
Suficiente Insuficiente |
2
19 8 |
6.9
65.5 27.6 |
| Total | 29 | 100.0 |
En la Tabla 2 se presentan las respuestas respecto a los conocimientos necesarios para responder el test. El 10.3% de los estudiantes consideró tener “total conocimiento” y el 69% “algún conocimiento”. Uno de cada cinco estudiantes consideró no tener conocimientos.
Tabla 2. Nivel de conocimientos para responder la prueba.
| Conocimientos | Número de casos | Porcentaje
(%) |
| Total
Alguno No tenia |
3
20 6 |
10.3
69.0 20.7 |
| Total | 29 | 100.0 |
Otro aspecto que se averiguó fue acerca de las habilidades y destrezas adquiridas para enfrentar los casos del TCS. En la Tabla 3 llama la atención que algo más de un tercio (34.4%) respondió que eran insuficientes o nulos.
Tabla 3. Habilidades y destrezas adquiridas para enfrentar el TCS.
| Habilidades y destrezas | Número de casos | Porcentaje
(%) |
| Óptimo | 2 | 7.0 |
| Suficiente | 17 | 58.6 |
| Insuficiente | 9 | 31.0 |
| Nulo | 1 | 3.4 |
| Total | 29 | 100.0 |
El número de casos fue calificado de suficiente por la gran mayoría de los jóvenes (82.8%, Tabla 4).
Tabla 4. Número de casos de Test de Concordancia Script utilizados.
| Casos | Número de casos | Porcentaje
(%) |
| Adecuado
Poco adecuado Otros |
24
2 3 |
82.8
6.9 10.3 |
| Total | 29 | 100.0 |
En la Tabla 5 se observa el nivel de aceptación del TCS como instrumento de evaluación del razonamiento clínico. Éste fue totalmente aceptado por el 34.4% de los estudiantes, medianamente aceptado por 48.3%, constituyendo ambos 82.7% y, no aceptado, por 17.3%.
Tabla 5. Nivel de aceptación del Test de Concordancia Script (TCS).
| Nivel de aceptación del TCS | Número de casos | Porcentaje
(%) |
| Totalmente aceptado
Medianamente aceptado No aceptado |
10
14 5 |
34.4
48.3 17.3 |
| Total | 29 | 100.0 |
En la Tabla 6 se presentan las preferencias de los estudiantes para cada uno de los instrumentos de evaluación usados en la asignatura de Urología, de quinto año. Se les mencionó las cuatro formas de evaluación y se les solicitó que marcaran la nota que le pondrían a cada una de ellas, donde 4 era el máximo y 1 el mínimo. Lamentablemente no todos los alumnos pusieron nota a cada instrumento. Al calcular los promedios de cada instrumento se podría afirmar que se diferencian dos grupos: los maniquíes y los TCS, que obtienen 3.12 y 3.10, respectivamente, mientras que los pacientes estandarizados obtuvieron 2.7, y las imágenes y casos en computador (PC) 2.6. También se calculan las medianas que corresponde a la medida de resumen más adecuada, por tratarse de una escala ordinal. En este caso los pacientes estandarizados obtienen un 4 mientras todos los otros instrumentos obtienen un 3.
Tabla 6. Preferencias de los instrumentos de evaluación.
(Calificación de 1 a 4)
| Calificación | Promedio | Mediana | ||||
| Tipos de evaluación | 4 | 3 | 2 | 1 | ||
| Pacientes estandarizados | 12 | 0 | 2 | 8 | 2.73 | 4 |
| Maniquíes | 9 | 11 | 4 | 1 | 3.12 | 3 |
| TCS | 9 | 4 | 5 | 1 | 3.10 | 3 |
| Imagen y PC | 3 | 5 | 4 | 2 | 2.60 | 3 |
DISCUSIÓN
Este estudio muestra que la percepción de los estudiantes ha sido muy buena respecto a la información recibida previa a la aplicación del Test de Concordancia Script, al igual que los contenidos del mismo. También ha sido muy bien evaluada la adquisición de las habilidades y destrezas durante el paso de la asignatura, para enfrentar los casos del TCS. Los alumnos encontraron que el tiempo asignado para la resolución de cada caso fue suficiente, teniendo en cuenta que fue de cinco minutos, al igual que el resto de las estaciones del ECOE. El número de casos del TCS, de igual manera, fue encontrado adecuado. Debemos destacar que el número de las estaciones fue de veinte en total, incluyendo los casos de TCS (tres casos con quince supuestos), sin embargo, la literatura aconseja utilizar un mayor número de casos7. Para los fines de este estudio estimamos que los casos evaluados fueron suficientes.
La buena aceptación de la introducción del TCS como instrumento de evaluación, por parte de los estudiantes, podría atribuirse a que sus funciones cognitivas son las mismas que emplean durante el estudio y la práctica de la medicina, en la cual es necesaria la reflexión y el razonamiento clínico.
En cuanto a las preferencias evaluativas de la asignatura por parte de los estudiantes, hay una franca inclinación por los pacientes estandarizados, los maniquíes y el TCS, quizás porque ellos representan casos auténticos y simulados en los cuales deben interpretar datos para tomar decisiones, de igual forma como lo enfrentan los profesionales de la salud.
En conclusión, la introducción del Test de Concordancia Script como instrumento de evaluación del conocimiento y su organización, tiene aceptación mayoritaria por parte de los estudiantes que cursaron la asignatura de Urología, Sede Oriente, Universidad de Chile año 2009.
REFERENCIAS BIBLIOGRÁFICAS
1. Johnson E. Expertise and decision under uncertainly: performance and process. In: Gagnon R et al. Assessment in the context of uncertainty: How many members are needed on the panel of reference of a script concordance test?
2. Charlin B, Brailosvky C, Roy L, Goulet F, Van der Vleuten C. The Script Concordance Test: A tool to assess the reflective clinican. Teaching and Learning in Medicine 2000;12(4):189-195.
3. Eva WK. What teacher needs to know about clinical reasoning. Teaching and Learning Medicine 2000;12:189-195.
4. Charlin B, Boshuizen H, Custers E, Feltovich P. Scripts and clinical reasoning. Medical Education 2007;41(12):1178-1184.
5. Bogado J, Lopez I, Mandiola E, Miranda T, Hidalgo F. Assessment of an innovative teaching-learning process, 5 th year’s student in urology, medicine, 2001. In AMEE Conference. Lisboa, 2002.
6. Charlin B, Brailovsky C, Leduc C and Blouin D. The diagnosis Script Questionnaire: A new tool to Assess a Specific Dimension of Clinical Competence. Advances in Health Sciences Education 1998;3(1): 51-58.
7. Gagnon R, Charlin B, Lambret C, Carriére B, Van der Vleuten C. Script Concordance Testing: more cases or more questions?. Adv in Health Sci Educ 2009;14(3): 367-375.
Artículo recibido el 18/03/10, Aceptado el 30/04/10.
Dirección de los autores:
Justo Bogado S.
El Bautisterio 848,
Las Condes,
Santiago, Chile
justo_bogado@yahoo.com
1 Profesor Asistente de Urología, Magíster en Educación y Ciencias de la Salud. Universidad de Chile.
2 Profesora Asociada del Departamento de Educación y Ciencias de la Salud. Universidad de Chile.