Natasha Kunakov. 1
RESUMEN
La Universidad de Chile aplica a sus alumnos una encuesta de evaluación al desempeño docente. En la Facultad de Medicina han surgido varias observaciones a este instrumento, en base a ello este estudio se realiza para aportar antecedentes que permitan reflexionar acerca de su aplicabilidad a las prácticas docentes actuales en la Facultad y verificar el fundamento de las críticas que se realizan. Los resultados muestran que efectivamente la encuesta no estaría respondiendo plenamente a las prácticas actuales, sin embargo presenta fortalezas que es importante mantener.
Palabras clave: Educación Médica – Estudiantes de pregrado – Encuestas de opinión.
SUMMARY
Analysis of the Survey of teacher preformance evaluation at the University of Chile:
A view from the Faculty of Medicine.
The Universidad de Chile administers to students a survey of teacher performance evaluation. In the Faculty of Medicine many questions have arisen about the survey. This study was carried out to provide background for reflections about its applicability to current teaching practices in the Faculty and verify the basis of the criticisms that are made. The results show that the survey would not be effective to respond fully to current practices, but it has strengths that are important to maintain.
Keywords: Education – Undergraduate students – Opinion surveys.
INTRODUCCIÓN
Ciertos cambios en la educación superior han ido ocurriendo en el país, en la Universidad de Chile y en la Facultad de Medicina, y se refieren a una transición hacia un currículum orientado por competencias, aplicando estrategias de aprendizaje centradas en el estudiante y, por otra parte, considerando las demandas generadas por la instauración de procesos de acreditación1.
En este contexto, hace dos años la vicerrectoría de asuntos académicos elaboró una encuesta de evaluación del desempeño docente que es transversal a toda lo universidad, y que pasamos a describir:
- Aparece en “Aula Digital”, el sistema en línea de comunicación entre los alumnos y los docentes. Cada asignatura tiene su encuesta la que está abierta cuatro semanas antes del término de cada semestre. El alumno debe responderla para tener acceso a los apoyos en línea que ofrece la asignatura.
- A pesar de que aparece en el sitio de la asignatura, la encuesta está personalizada con el nombre del profesor encargado del curso (PEC), por lo tanto se está refiriendo al desempeño de éste.
- La encuesta consiste en 20 afirmaciones que evalúan cuatro dimensiones del desempeño docente: pedagógica, disciplinaria, relaciones interpersonales y responsabilidades administrativas. Sobre cada una de las afirmaciones el alumno puede estar: Muy de acuerdo, De acuerdo, En desacuerdo y Muy en Desacuerdo. A continuación se agregan tres preguntas de caracterización del estudiante.
- En la Facultad de Medicina se sugirieron algunos complementos a la encuesta: un espacio para mencionar dos docentes que “satisficieron sus expectativas” y dos que no lo hicieron y, finalmente, un espacio abierto denominado “Comentarios”.
Durante los periodos en que se ha aplicado han existido múltiples opiniones respecto a la encuesta, los que podrían resumirse en dos áreas: “No es útil para las escuelas” y “Los alumnos no la contestan”. Sin embargo, estas opiniones no aparecían tan claramente fundamentadas, por ello el Departamento de Educación en Ciencias de la Salud (DECSA) decidió realizar una indagación acerca de cuáles eran los significados de la encuesta para las autoridades de cada Escuela de la Facultad.
Para ello se planteó la siguiente pregunta: La actual “Encuesta de desempeño docente” ¿Está respondiendo a nuestras prácticas?, en el sentido de estimar si es coherente con las actuales visiones imperantes en nuestras escuelas respecto de la educación universitaria.
MATERIAL Y MÉTODO
Se realizó una entrevista semi estructurada a la persona encargada de la encuesta en cada Escuela de la Facultad de Medicina (siendo 8 escuelas, fueron 8 entrevistados). La definición de quién era la persona a cargo se solicitó a través de una carta de la Dirección del DECSA a los directores de cada Escuela2.
Cada entrevista fue grabada y transcrita.
El análisis se realizó a través de la búsqueda de categorías en común.
Los criterios de rigor que se cautelaron fueron3:
- La credibilidad, a través del muestreo intencional y la revisión por los participantes;
- La auditabilidad a través de registros completos de las entrevistas;
- Juicio de expertos en la definición de las categorías.
Entrevista:
La entrevista se estructura en torno a las siguientes preguntas:
- ¿Quién recibe los resultados de la encuesta y cómo es analizada?
- ¿Le ha sido útil a la Escuela la información que entrega la encuesta? y ¿Por qué?
- ¿Qué información le gustaría a la Escuela que pudiera entregarles la encuesta y que hoy no lo hace?
Una evaluación del desempeño docente podría implicar tener un perfil sobre el cual contrastar el desempeño de cual o tal docente. En base a esto se preguntó si existía un perfil docente definido en cada Escuela.
RESULTADOS
Se reconocieron las siguientes categorías:
- Análisis, que implica la recepción y análisis de los resultados de la encuesta.
- Validez, se refiere a aquellos factores que limitaban el uso o la validez de los resultados.
- Utilidad, se entiende cuán útil resultan los resultados de la encuesta para tomar decisiones.
- Mejoras, son aquellas situaciones o hechos que serían útiles cambiar.
Categoría análisis
- “todos los resultados llegan a la dirección de la escuela, y ella se la envía a la subdirección que es además la encargada de coordinar todo el pregrado”
- “la recibe la Dirección y luego la traspasa a la coordinación de pregrado, todos los PEC tienen acceso, vía aula, a ver sus resultados”
- “la recibe la Dirección, la subdirección y los profesores encargados de las asignaturas”
- “analizamos los resultados de esa encuesta, nos llama la atención lo que es la cobertura”
- “tenemos un insumo que es como el resumen de todas las encuestas pero además nosotros analizamos las encuestas que aparecen on line”
- “el coordinador de nivel los va a llamar a una reunión en forma individual para que discutan los alcances de esa asignatura que tiene algunos objetivos que no se están cumpliendo en su totalidad”
- “se comenta en el consejo de Escuela y se ve alguna posibilidad de mejorarlo”
- “Se conversa con la subdirectora, se conversa con los PEC y se hace, digamos, una retroalimentación de cuáles son los elementos más bajos.”
Las opiniones muestran que todas las escuelas tenían algún un procedimiento para recibir y analizar los resultados.
Categoría Validez
- “sólo consideramos aquellas asignaturas que fueron respondidas por más del 50% de los estudiantes”
- “del porcentaje de respuesta de la asignatura, que podría estar muy roja pero tiene un 20% de respuesta o un 30% y en ese sentido no sirve cuando hay tan bajo % de respuesta”
- “(la nuestra es) una escuela que no responden mucho los alumnos, …, a final de año habría una mejor respuesta”
En esta categoría aparece que la utilidad de la encuesta se relacionaba fuertemente con el porcentaje de respuesta de los alumnos. La proporción de alumnos que respondía en algunas asignaturas era bajo, a pesar de restringirse el uso del “Aula Digital” para cada alumno en particular hasta que respondiera la encuesta, y cada Escuela tenía algunas visiones del porqué de esta baja respuesta:
- “en comentarios, preguntan por qué tienen que evaluar asignaturas que no están realizando”
- “que en realidad hace dos años atrás la hicieron, pero que les aparece en el sistema y tienen que hacerla porque si no, no les permite como seguir adelante”
- “que la encuesta se aplica en un momento que hay muchas cosas “
- “que ellos realmente no se acuerdan porque se confunden entre una y otra asignatura”
- “Hoy es muy extensa, son 2 ó 3 páginas”
- “No tenemos la menor idea por qué (los docentes) son destacados, entonces eso falta precisar”
- “Un docente que, por ejemplo hizo 4 clases las 4 semanas de abril y preguntarle por ese docente en diciembre a los estudiantes, no tiene ningún sentido”
En algunas ocasiones se justificaba a través de problemas en la organización, ya sea de la encuesta misma o de la aparición en “Aula Digital”.
- “(los estudiantes opinan) que les preguntan por docentes que o no se acuerdan o por docentes que nunca les hicieron clases, por lo tanto no le encuentran ningún sentido”
- “(los estudiantes opinan) lo respondieron respecto de un docente que jamás les hizo clases”
- “en estas asignaturas que son colegiadas que son la mayoría hay mucha gente que toma unidades como grande o más pequeña, esta evaluación no grafica, digamos que pasó en cada una de ellas”
- “evaluar el PEC y cuando el PEC no le ha hecho clases… el PEC no se ha hecho presente en las clases. Ahí también queda un poco en déficit y hace que los alumnos no siempre tengan un interés”
En otras ocasiones se atribuía a la personalización de la encuesta en el PEC.
Sin embargo la principal causa de por qué los alumnos no responden la encuesta, era atribuida a que los mismos alumnos percibían que no servía responder la encuesta: “(los estudiantes opinan) que no sirven para nada, porque nunca se producen los cambios que por años se supone han vertido en esas encuestas”.
Categoría Utilidad
- “es una información tremendamente importante pero no la única para la evaluación del comportamiento académico de una asignatura”
- “se hace un plan de acción de cuáles son las situaciones y cómo se pueden mejorar en conjunto con los PEC de la asignatura cuando corresponde, sobre todo si es gente de fuera”
- “la información que da la encuesta no es mala; yo creo que el punto está en cómo se diversifica esa evaluación a las personas que participan”
- “hemos tomado la decisión de no seguir con esa asignatura y si persiste con el problema, de cambiar el equipo docente”
- “inclusive ha significado en algún momento alejamiento de los profesores, pero ya es como una medida más extrema y lo hemos aplicado un par de veces”
- “en general son medidas que nacen de los mismos PEC y por lo tanto tienen buen resultado”
En esta categoría 6 escuelas consideraba útil la encuesta y se habían tomado determinaciones en base a los resultados.
Categoría Mejoras
Ante la pregunta ¿Qué mejoras o aspectos se podrían cambiar para tener resultados más útiles? Aparecen muchas ideas y se refieren a los aspectos de:
Encuesta muy extensa, contribuiría a un mayor porcentaje de respuestas que la encuesta fuera más corta:
- “una encuesta de evaluación docente que sea más breve ojalá de una página”
- “hayan por lo menos unas 10 preguntas…y haya un espacio donde el alumno pueda colocar aspectos positivos o aspectos que debieran mejorarse.”
Encuesta no debiera personalizar, como se trata de equipos o cuerpos docentes es mejor hablar de la asignatura, con lo cual los alumnos no se confundirían:
- “debiera identificarse a las personas que participan en la asignatura por lo menos con una participación importante”
- “opción de diferenciar por el número de docentes que participaron”
- “el estudiante respondiera en forma más global de la asignatura “
- “hay que definir que se va a evaluar la asignatura y que se va a evaluar a los profesores dentro de la asignatura”
- “una encuesta centrada en lo que es desempeño docente es una cosa… Y otra cosa tiene que ver con la estructura de la asignatura, para mí son dos cosas diferentes”
Y finalmente lo más importante, el análisis de la encuesta, debiera ser explícito y convencer a los estudiantes de que su opinión es considerada:
- “el objetivo más importante es ver si los estudiantes sienten que consiguieron lo que se les prometía del curso”
- “hemos ido tratando de corregir que (los alumnos) participen en los consejos de nivel”
- “como nosotros mostramos el programa al inicio de cada uno de los ciclos, también incorpora como una obligación del PEC ésta fue la evaluación de la asignatura el año pasado y éstos son los aspectos que consideramos más bajos, … y cuáles son las mejoras que podemos tener y cual la retroalimentación de los alumnos que debiéramos tener en ese sentido”
La encuesta no está dirigida a evaluar el desempeño de los docentes clínicos sino de aula, por lo tanto debiera usarse una encuesta “ad hoc” para esas asignaturas sobre todo en lo que se refiere a las prácticas profesionales: “(las asignaturas clínicas debieran ser evaluadas por) si logró los objetivos, si logró la competencia”.
Con relación al perfil docente, ninguna de las Escuelas tenían un perfil docente definido, se apegaban al “Lex artis”, o en algunos casos a la descripción del cargo para contratación de docentes, pero tampoco lo usaban como referente para comparar los resultados de las encuesta.
CONCLUSIONES
La principal fortaleza de la encuesta reside en su diseño y forma de aplicación.
Primero, el diseño fue realizado considerando distintas áreas que son relevantes para la acción docente, de acuerdo al perfil docente definido por la vicerrectoría de asuntos académicos. Dentro de esto, debe considerarse que es una encuesta “universal” para la Universidad de Chile, permitiendo ser un valioso elemento en la mantención de estándares de calidad.
Segundo, su aplicación en línea permite que llegue eficazmente a todos los alumnos y las restricciones a las cuales está asociada su respuesta se transforman en un incentivo para ello. La aplicación en línea permite una recolección digital de datos que hace muy rápido su procesamiento, con una entrega pertinente de los datos para su análisis en las Escuelas, los cuales les son útiles en algunas áreas y ha permitido la toma de decisiones orientada al mejoramiento de la calidad de la docencia.
Esto es en relación a la asignatura en particular, porque siendo la mayoría de los cursos entregado por cuerpos docentes, la nominación del PEC es un dato que desconcierta a los alumnos.
Uno de los principales problemas de la encuesta es la validez de sus resultados, que está ligado a un bajo porcentaje de respuesta de los alumnos, lo cual se asocia, probablemente, a que está personalizada en el PEC y a la percepción de los alumnos de que responderla no produce cambios.
La actual encuesta no logra evaluar adecuadamente el desempeño docente según los patrones de aprendizaje que define el currículum orientado por competencias que se está implementando. En este caso se refiere a que las afirmaciones están centradas en la acción docente dejando al estudiante como un observador, y al hecho que no considera a los cuerpos docentes.
Finalmente la clínica no puede ser evaluada a través de esta encuesta porque es considerada una práctica profesional y no se entiende guiada por docentes sino por tutores y serían funciones diferentes. Siendo eso lo principal, también está lo operacional de la aplicación de la encuesta, dado que los periodos de práctica profesional no coinciden con los tiempos académicos.
DISCUSIÓN
En base a lo analizado, debiéramos responder nuestra pregunta en forma parcialmente negativa, es decir, la actual “Encuesta de desempeño docente” no está respondiendo totalmente a nuestras prácticas, en el sentido de no ser plenamente coherente con las actuales visiones imperantes en nuestras escuelas respecto de la educación universitaria.
Sin embargo, presenta fortalezas que debieran mantenerse.
RECOMENDACIONES
Es claro que se necesita una revisión de la encuesta. Para ello nos parece conveniente mantener las cuatro dimensiones del desempeño docente (pedagógica, disciplinaria, relaciones interpersonales, responsabilidades administrativas), ya que fueron desarrolladas a partir del perfil que tiene la Universidad, y tiene un sentido universal.
La forma de aplicación de la encuesta también nos parece debiera mantenerse, pues permite un acceso universal de los alumnos y un análisis rápido de los resultados.
Sería conveniente definir un procedimiento de análisis y manejo al interior de cada Escuela, y que fuera similar entre las escuelas para hacerlo comparable. Este procedimiento debiera considerar el dar a conocer a los alumnos los resultados y el análisis de la encuesta, explicitando las decisiones que se han tomado en base a ella.
Respecto de la encuesta misma: sería conveniente revisar las preguntas y establecer si puede hacerse más breve. Recomendamos que no debiera ir personalizada con el nombre del PEC, dado que la tendencia en un curriculum por competencias es al trabajo de cuerpos docentes, en este sentido podría nombrarse a la asignatura. Las afirmaciones deberían estar realizadas centrándolas en el alumno.
Mantener el sector de “Comentarios” donde los alumnos pueden personalizar el docente que más les aportó.
Las Prácticas Profesionales debieran tener una encuesta diferente, que responde a evaluar su funcionamiento desde aspectos que no son similares a los de este instrumento. También deben flexibilizarse los tiempos de aplicación desde las necesidades de cada Escuela.
REFERENCIAS BIBLIOGRÁFICAS
- Castillo E. y Vásquez M. El rigor metodológico en la investigación cualitativa. Corporación Editora Médica del Valle, 2003. Vol. 34.
- Rosselot E. La globalización en la educación superior europea. Pródromos para nuestra educación médica. Rev Méd Chile 2005;133(7) :833-840.
- Rodríguez G, Gil J. y García E. Metodología de la Investigación Cualitativa. Málaga, España. Ediciones Aljibe, 1999.
Artículo recibido el 28/10/10, Aceptado el 26/01/11.
Dirección del autor:
Departamento de Educación en Ciencias de la Salud,
Facultad de Medicina
Universidad de Chile
Profesor Alberto Zañartu #1060.
Santiago, Chile.
E-mail: nkunakov@med.uchile.cl
1 Médico geriatra. Magíster en Educación en Ciencias de la Salud. Departamento de Educación en Ciencias de la
Salud (DECSA), Facultad de Medicina, Universidad de Chile.