María Esther Urrutia A.1, Jorge Barojas W.2, José Ramón Torres S.3, Raúl Efrén Ponce R.4 y Adrián Martínez G.5
RESUMEN
Introducción: Se considera que el desempeño docente es de naturaleza compleja y su evaluación requiere ser de manera integral, de tal manera que existe acuerdo generalizado acerca de la necesidad de utilizar diferentes estrategias para evaluar la calidad de la enseñanza, con la finalidad de obtener diagnósticos, brindar retroalimentación, oportunidad de fortalecer aquellas debilidades, y consolidar los puntos fuertes del quehacer docente a través de programas de formación, que redundará en beneficio de los estudiantes. Entre las diferentes estrategias de evaluación del desempeño docente, se ha propuesto la autoevaluación.
Objetivos: Este trabajo pretende determinar los factores y reactivos que predicen (obtención de estimaciones de las observaciones futuras) el nivel de desempeño docente alto o bajo según la autoevaluación, en una población de profesores del área de la salud.
Material y Métodos: El instrumento validado contó con 30 ítems con respuestas en escala tipo Likert del 1 al 5 (nunca-siempre); el cual evaluó a priori tres factores: I: Estrategias de enseñanza (20 reactivos), II: Respeto a los alumnos (2 reactivos) y III: Evaluación del aprendizaje (8 reactivos).
Resultados: Los resultados de la investigación muestran que para explicar la varianza entre un 60% y 70% el instrumento quedaría constituido por 9 reactivos o ítems que serían cuatro para el factor I, dos para el II y tres para el III.
Conclusiones: La evaluación del desempeño docente debe ser un proceso integrado con otras estrategias de evaluación, una de las cuales corresponde a la autoevaluación dado su carácter formativo, por cuanto permite que el docente tome conciencia y reflexione sobre su desempeño, detecte sus debilidades con la finalidad de subsanarlas y contribuya a formar mejores profesionales de la salud.
Palabras clave: Autoevaluación, predicción, Ciencias de la Salud, docencia.
SUMMARY
Self-assessment predictors of teaching performance in Health Sciences.
Introduction: It is considered that nature of teaching performance is complex and its assessment should be inclusive, thus there is a common agreement about the need to use different strategies to assess the quality of teaching in order to get diagnosis, offer feedback, strengthen weaknesses and consolidate strong skills in teaching through training programs that will benefit students. Self-assessment has been put forward as one of the strategies to assess teaching performance.
Objectives: This study intends to determine the factors and elements that help predict (get estimates/statistics on future observations) high or low teaching performance in regards to self-assessment, among professors in the health field.
Method: The validated assessing instrument included 30 items with answers ranging from 1 to 5 (never-always) according to Likert´s scale. It assessed three factors a priori: I. Teaching strategies (20 items); II. Respect towards students (2 items); and, III. Learning assessment (8 items).
Results: The research results show that in order to fully explain variance, between 60% to 70%, the instrument should be set up by 9 items: I by 4; II by 2; and III by 3 items.
Conclusions: The evaluation of teaching performance should be a process integrated with other assessment strategies, one of which corresponds to self-assessment because of its formative nature, as it allows the teacher awareness and reflection on its performance, detect weaknesses with the aim of improve them and contribute to train better health professionals.
Keywords: Self-assessment, prediction, Health Sciences, teaching.
INTRODUCCIÓN
Distintos organismos internacionales como UNESCO y OCDE, han enfatizado la importancia del diagnóstico y evaluación de la educación en todos sus niveles. La evaluación de las instituciones de educación superior se ve reforzada por tres fenómenos presentes en los ámbitos nacional y mundial: la escasez de recursos financieros dedicados a la educación –especialmente los de naturaleza pública–, la intervención del Estado en la planeación y en la evaluación de la educación, y los reclamos crecientes de la sociedad por más y mejores servicios educativos.
Uno de los principales actores en el proceso de enseñanza es el docente. En él se ha depositado durante siglos la responsabilidad de formar y preparar a las nuevas generaciones, ya que aún con los mejores planes de estudio, infraestructura y métodos de enseñanza, los sistemas educativos dependen de la calidad y desempeño de sus docentes, de tal forma que constituyen una de las variables más significativas de la educación. La importancia indiscutible de la labor docente, justifica entonces, la necesidad de su evaluación, entendida como un proceso mediante el cual se reúne y analiza información objetiva y se emite un juicio de valor para la toma de decisiones fundamentadas para mejorar el proceso educativo.
El desempeño docente es de naturaleza compleja y multidimensional (implica conocimientos, habilidades, actitudes, valores, investigación, orientación, organización, supervisión, etc.). De tal manera que existe acuerdo generalizado acerca de la necesidad de utilizar diferentes estrategias para evaluar la calidad de la docencia1.
Para evaluar la calidad del desempeño docente se han utilizado distintas fuentes de información: estudiantes, profesores (pares), observadores capacitados, exalumnos, autoevaluación de cada profesor, jefes de departamento y comisiones académicas, entre otras2,3.
Este estudio se enfoca a la estrategia de autoevaluación entendida como aquella evaluación donde agente evaluador y sujeto evaluado son la misma persona. Una evaluación eficaz del profesor que conlleve la mejora de la enseñanza y, como consecuencia, una mayor efectividad de la Universidad, debe iniciarse desde la capacidad autocrítica del profesor. Una vez que el docente adquiera la cultura de la autoevaluación considerará más válidas las fuentes y técnicas de evaluación externa y, por lo tanto, tenderá a un mayor compromiso con la mejora de la docencia, más flexible y más abierto al cambio.
La autoevaluación docente consiste en la realización de juicios acerca de la propia enseñanza, puede desarrollarse desde distintas instancias, partiendo de determinados supuestos, en busca de ciertos objetivos, aplicando un tipo de gestión u organización, a través de procedimientos y técnicas diversas y considerando a una audiencia en particular4.
La autoevaluación se sustenta en los siguientes supuestos de la labor docente: los profesores están en búsqueda de la excelencia educativa; los profesores se evalúan a sí mismos y modifican su rendimiento siempre y cuando se les proporcione suficiente información y/o se facilite su participación; y los procedimientos de evaluación proveen retroalimentación diseñada para ayudar a los profesores a emitir juicios acerca de cómo mejorar su enseñanza5. Estos supuestos se erigen como principios frente a los cuales la evaluación realizada por el mismo profesional con respecto a su desempeño, eficacia y flexibilidad, se torna una tarea fundamental y necesaria a la hora de una reflexión en torno a la calidad de la docencia.
La autoevaluación puede ser un importante mecanismo para el desarrollo personal, porque el profesor que participe en ella estará motivado en lo que a su crecimiento y mejora se refiere. En teoría no hay nadie mejor que el propio profesor para evaluar su actuación, sin embargo, la autoevaluación cuenta con varias desventajas como son las siguientes: falta de objetividad, no se puede ser totalmente objetivo si uno mismo es a la vez sujeto y objeto de la evaluación; los individuos tienden a considerarse buenos profesionales, la autoevaluación honesta y objetiva es difícil; la evaluación puede convertirse en una forma de autojustificación; y tendencia a centrar la evaluación en los aspectos externos como: presencia personal, maneras, etc., en vez de preocuparse por cuestiones pedagógicas de la actividad misma de enseñanza6-8.
La importancia de realizar la evaluación del desempeño de los profesores, permite obtener diagnósticos, brindar retroalimentación, la oportunidad de fortalecer aquellas debilidades, y consolidar los puntos fuertes del quehacer docente a través de programas de formación, que redundará en beneficio de los estudiantes.
No es posible evaluar el desempeño docente de manera objetiva e integral con una sola fuente e instrumento debido a las desventajas que tiene cada una de ellas, por lo que se pueden combinar diferentes estrategias de evaluación para evaluar el desempeño docente de los profesores. En la Universidad Nacional Autónoma de México en las Ciencias de la Salud se evalúa el desempeño docente únicamente por la opinión de los estudiantes, se considera que un instrumento de autoevaluación construido con pocos reactivos que predigan el bajo o alto desempeño puede ayudar a realizar una evaluación más integral. Por lo anterior los propósitos de este estudio son:
Determinar los factores y reactivos que predicen el nivel de desempeño docente alto o bajo según su autoevaluación y probar una estrategia estadística útil en la predicción del nivel de desempeño docente de los profesores del área de la salud.
MATERIAL Y MÉTODOS
El tipo de estudio es exploratorio, descriptivo y transversal.
La aplicación del instrumento se realizó en la Escuela Nacional de Enfermería y Obstetricia de la UNAM. La muestra fue de 171 profesores de pregrado y posgrado en la Escuela Nacional de Enfermería y Obstetricia de la UNAM. La participación fue voluntaria, contestaron el instrumento de manera anónima, y se respetaron los principios de confidencialidad.
El instrumento de autoevaluación se aplicó en febrero de 2006, durante la primera junta de profesores, se les proporcionó instrucciones de aplicación con fines de estandarización y se les fijó fecha límite de entrega.
El instrumento de autoevaluación del desempeño docente aplicado a la población de estudio, se construyó considerando las mismas categorías e ítems del instrumento utilizado y validado por la Dirección General de Evaluación Educativa9 para la evaluación de los docentes según la opinión de los estudiantes y estuvo integrado por 30 reactivos o ítems, con respuestas en escala tipo Likert: del 1 al 5 (nunca-siempre); el cual evaluó a priori tres factores: I Estrategias de enseñanza (20 reactivos), II Respeto a los alumnos (2 reactivos) y III Evaluación del aprendizaje (8 reactivos), y se realizó validez de contenido por cinco expertos, quienes por consenso estuvieron de acuerdo en la clasificación de los ítems por factor, así como en la claridad de cada reactivo.
Se construyó una base de datos para la organización de la información. Se obtuvo el promedio de la escala de Likert para cada uno de los tres factores, se clasificó a los profesores en dos grupos; alto desempeño: aquellos que tenían un promedio igual o mayor que la media global de la muestra estudiada y, en bajo desempeño, aquellos que estaban por debajo de la media.
Se aplicó estadística descriptiva y, para predecir el nivel de desempeño docente con base en las variables estudiadas, se empleó la estrategia de regresión logística binaria utilizando el programa estadístico SPSS v.15.
En la regresión logística se utilizó el método que inicia considerando sólo la constante y posteriormente se agregan paso a paso las variables independientes, proceso en el cual la primera variable seleccionada es la que conserva la relación más significativa, según Menard, mencionado por Montes de Oca10 y Visauta11. Este procedimiento es recomendado cuando se analizan fenómenos poco estudiados y cuando el interés sea la construcción de desarrollo para predecir y explicar un fenómeno.
RESULTADOS
En la Tabla 1 se muestran los descriptivos de cada factor, la media de cada factor y su desviación estándar.
Tabla 1. Resultados descriptivos por factor según la autoevaluación.
| FACTOR | MEDIA | S.D* |
| I.- ESTRATEGIAS DE ENSEÑANZA (20 reactivos) |
4.65 | 0.35 |
| II.- RESPETO A LOS ESTUDIANTES (2 reactivos) |
4.88 | 0.38 |
| III.- EVALUACIÓN DEL APRENDIZAJE (8 reactivos) |
4.71 | 0.34 |
| AUTOEVALUACIÓN TOTAL (30 reactivos) | 4.68 | 0.32 |
*S.D. = desviación estándar
La media para el factor que evalúa las estrategias de enseñanza fue de 4.65, lo que revela que este resultado fue el de menor promedio e indica que los profesores de esta población tienden a autoevaluarse como que siempre: a) integran su asignatura con otras áreas del conocimiento y del plan de estudios; b) tienen claridad para explicar conceptos; c) estimulan el interés en clase, d) promueven el estudio independiente, la participación, la reflexión y solución de problemas. Además siempre tienen interés en el desempeño de sus alumnos y en el aprendizaje dentro y fuera de clases.
En contraste con el factor anterior, el factor 2 obtuvo una media de 4.88, la más alta, y revela que esta población se autoevalúa como que: a) tratan con respeto a los alumnos y b) el ambiente en el que desarrollan la clase es de respeto. Asimismo, para el factor 3 la media fue de 4.71, la población de estudio considera que siempre: a) las evaluaciones que realiza son justas y objetivas, b) toma en cuenta varias actividades para evaluar, c) realimenta el aprendizaje aplicando exámenes relacionados con el contenido del curso, d) aborda los temas del programa y e) cumple las normas de trabajo acordadas. Las diferencias entre las medias de los tres factores por la prueba de Kruskal-Wallis fueron significativas (p ≤ 0.002).
En la Tabla 2 se confirma que el factor mejor autoevaluado fue el de respeto a los alumnos ya que el 84.2% de esta población consideró que siempre respetan a los estudiantes, en contraste con el factor 1 donde el 76% percibe que siempre aplica las estrategias necesarias para el aprendizaje.
Tabla 2. Frecuencias y porcentajes de los factores obtenidos en la
autoevaluación según escala Likert.
| FACTOR | Respuestas escala de Likert | ||||
| 1 (nunca) | 2 (casi nunca) |
3 (a veces) |
4 (casi siempre) |
5 (siempre) |
|
| I.- ESTRATEGIAS DE ENSEÑANZA |
0 | 1 (.6%) | 0 | 40 (23.4%) | 130 (76.0%) |
| II.- RESPETO A LOS ESTUDIANTES |
0 | 1 (.6%) | 0 | 26 (15.2%) | 144 (84.2%) |
| III.-EVALUACIÓN DEL APRENDIZAJE |
0 | 1 (.6%) | 0 | 31 (18.1%) | 139 (81.3%) |
| AUTOEVALUACIÓN TOTAL | 0 | 1 (.6%) | 0 | 29 (17.0%) | 141 (82.4%) |
Los resultados en la Tabla 3 muestran las frecuencias de agrupación del desempeño docente (bajo y alto) por factor según la media poblacional. El 57% de los profesores se autoevaluaron con alto y el 43% con bajo desempeño. El factor de respeto a los estudiantes fue el que mostró mejor desempeño (84%); tanto el factor de estrategias de enseñanza como el de evaluación a los estudiantes mostraron alto desempeño en 55% y 60%, respectivamente. En los tres factores la comparación con la prueba de U-Mann Whitney, entre los profesores con bajo y alto desempeño, fue significativa.
TABLA 3. Frecuencias y porcentajes de los factores en la autoevaluación
según nivel de desempeño docente.
| DESEMPEÑO DOCENTE | Frecuencias (%) | |||
| FACTOR 1
Estrategias de enseñanza |
FACTOR 2
Respeto a estudiantes |
FACTOR 3
Evaluación del aprendizaje |
AUTOEVALUACIÓN GENERAL | |
| Bajo | 77 (45) | 27 (16) | 68 (40) | 74 (43) |
| Alto | 94 (55) | 144 (84) | 103 (60) | 97 (57) |
| Prueba de U-Mann Whitney | 181.500 | 2952.500 | 1750.500 | |
| Probabilidad | 0.0001 | 0.002 | 0.0001 | |
En la Tabla 4 se manifiestan aquellos reactivos que el modelo introdujo por regresión logística binaria como significativos. Un criterio del modelo fue que no existiera multicolinealidad, basándose en que no existe correlación mayor de 0.80 entre los ítems de un mismo constructo; el método aplicado para el factor I determinó que 8 reactivos fueron los más significativos, quedando 12 fuera del modelo. Estos reactivos explicaron una varianza de 70 % (R2 de Nagelkerke). Las variables se introdujeron al proceso mediante el método de Wald. Para probar si el modelo ajustó adecuadamente se utilizó la prueba de Hosmer Lemeshow la cual resultó no significativa mostrando un adecuado ajuste de las variables en el modelo. Sin embargo, sólo las primeras cuatro explicaron el 56.2%, de la varianza, cuyas variables se muestran en la Tabla 4 de acuerdo a la clasificación a partir de las cuatro variables predictoras más significativas, encontrándose que el 74% se clasificó correctamente con desempeño bajo; y, de igual forma se clasificaron correctamente el 89.4% en el nivel de desempeño alto.
TABLA 4. Variables significativas más importantes en el modelo de autoevaluación.
| FACTOR | Reactivos con más carga | Valores de coeficiente beta |
| I.-ESTRATEGIAS DE ENSEÑANZA Varianza= 70 % (R2 de Nagelkerke) |
|
18.607
-0.636 -19.309 1.646 |
| III.-EVALUACIÓN DEL APRENDIZAJE Varianza= 60 % (R2 de Nagelkerke) |
|
-18.597
0.386 -2.678 |
El factor 2, que evalúa respeto a los alumnos, no se consideró dentro de la regresión logística binaria debido a que el instrumento sólo contempla dos reactivos para este factor. El método introducir arrojó para el factor III (Evaluación del aprendizaje) que tres reactivos fueron los más significativos quedando cinco fuera del modelo. Estos reactivos explicaron una varianza de 60% (R2 de Nagelkerke). La prueba de Hosmer Lemeshow resultó no significativa mostrando un adecuado ajuste de las variables en el modelo. Sólo tres reactivos explicaron el 60% de la varianza. A partir de estas variables predictoras más significativas, se encontró que el 59% se clasificó correctamente con desempeño bajo; y, de igual forma, se clasificaron correctamente el 95% en el nivel de desempeño alto.
Las ecuaciones de regresión para los factores I y III son:
Factor I rL= -39.115+1(18.607)+1(-.639)+1(-19.309)+1(1.646)+2(20.675)+2(-1.709)+2(17.913)+3(19.286)+4(20.981)
Factor III rL=-21.203+(1)(-18.597)+(1)(.386)+1(-2.678)+2(-2.265)+2(21.275)+3(23.856)
DISCUSIÓN
Los resultados de la autoevaluación de los profesores en lo general denota una tendencia hacia puntuaciones altas, lo que determina que los profesores se auto perciben con alto desempeño docente.
La media más alta de los tres factores evaluados con este instrumento es la del factor II, respeto a los estudiantes, que arrojó diferencias significativas con relación a los otros dos factores. La media más baja corresponde al factor I, estrategias de enseñanza, lo cual es semejante a los resultados de la evaluación de los docentes por opinión de los estudiantes, según lo reportado por Salas12, estudio realizado en la Facultad de Medicina de la Universidad Nacional Autónoma de México. En ese estudio se detectó debilidades en el empleo de diversas estrategias de enseñanza y, como fortaleza, el respeto a los estudiantes en las tres áreas que conforman el plan de estudios de la carrera de Médico Cirujano (básica, sociomédica y cirugía).
Lo anterior orienta hacia la necesidad de implementar acciones correctivas para la mejora de la calidad docente, a través del establecimiento de programas de formación pedagógica del profesorado, que sirvan de ayuda en el perfeccionamiento didáctico, orientadas a subsanar los aspectos docentes deficitarios.
El propósito de este trabajo fue determinar los factores que predicen el nivel de desempeño docente, alto o bajo, según su autoevaluación. De acuerdo a los resultados obtenidos, para explicar la varianza entre un 60% y 70%, el instrumento debiera quedar constituido por 9 reactivos o ítems que serían cuatro para el factor I, dos para el II y tres para el III. Pueden existir otros ítems que no fueron incluidos en este modelo y que fueran desplazados a otros factores no considerados en este estudio, materia que podría ser objeto de otra investigación, ya que pudieran referir una varianza mayor a la encontrada en este estudio.
La evaluación del desempeño docente debe ser un proceso integrado con otras estrategias de evaluación, una de las cuales corresponde a la autoevaluación dado su carácter formativo, por cuanto permite que el docente tome conciencia y reflexione sobre su desempeño, detecte sus debilidades con la finalidad de subsanarlas y contribuya a formar mejores profesionales de la salud.
Mejorar la calidad del propio proceso evaluador del desempeño docente es una tarea urgente, ya que existe una ausencia de procedimientos de evaluación de los aprendizajes con objetivos referidos al rendimiento global. Sería importante continuar otras investigaciones que enriquecieran el instrumento de autoevaluación, donde se incluyeran otros factores de estudio.
Agradecimientos
A la Dra. Silvia Nicolás Cisneros y a la Mtra Rosa María Zárate Grajales de la Escuela Nacional de Enfermería y Obstetricia de la Universidad Nacional Autónoma de México, por su colaboración en la aplicación del instrumento con la población elegida.
REFERENCIAS BIBLIOGRÁFICAS
1. Marsh W. Students’ evaluations of university teaching: dimensionality, reliability, validity, potential biases and utility. Journal of Educational Psychology 1984; 76(5): 707-754.
2. Howard S, Conway G y Maxwell E. Construct validity of measures of college teaching effectiveness. Journal of Education Psychology 1985; 77(2): 187-196.
3. Kremer F. Construct validity of multiple measures in teaching, research, and service and reliability of peer ratings. Journal of Educational Psychology 1990, 82(2): 213-218.
4. Solabarrieta J. Modelos de evaluación del profesor. En Tejedor, F. J. y Rodríguez Diéguez, J. L. (Eds.), Evaluación Educativa II. Evaluación Institucional. Fundamentos teóricos y aplicaciones prácticas. Documentos didácticos 157, Salamanca: IUCE. Universidad de Salamanca, 1996.
5. Barbier M. La evaluación en los procesos de formación. Barcelona: Ediciones Paidós y Ministerio de Educación y Ciencia, 1993.
6. Gómez H. La evaluación de la enseñanza por la opinión de los alumnos. Revista de la Educación Superior, ANUIES, 1976; 17: 30-47.
7. Cruz S. Consideraciones para la construcción de un modelo de evaluación de profesores. Tesis para obtener el título de Licenciado en Pedagogía. Facultad de Filosofía y Letras. Colegio de Pedagogía. Universidad Nacional Autónoma de México, 1981.
8. Batista J. La evaluación del profesor universitario. Editorial Universidad de Antioquia, Colombia, 1987.
9. Valle R, Alamitos I, Contreras E, Salas E, Tomasini P, Varela M. Student questionnaire to evaluate Basic Medical Science Teaching. (METEQ-B). Rev Med IMSS 2004; 42 (5): 405-411.
10. Montes de Oca V. Desigualdad estructural entre la población anciana en México. Factores que han condicionado el apoyo institucional entre la población con 60 años y más en México. Estudios Demográficos y Urbanos, Colegio de México 2001; 16 (3): 585-613.
11. Visauta B, Martori C. Análisis estadístico con SPSS para Windows Volumen II, Estadística Multivariante. Segunda edición. Mc Graw Hill, España, 2003: 49-86.
12. Salas L, Ortiz A, Alaminos I. La evaluación de la enseñanza en la Facultad de Medicina de la UNAM. Rev Med IMSS 2006; 44 (2):171-180.
Artículo recibido el 14/01/08, Aceptado el 23/06/08.
Dirección de los autores:
María Esther Urrutia
San Lucas 60-1
Barrio de San Lucas, Coyoacán
Código Postal 04030
México
mariau@correo.unam.mx
1 Bióloga, Maestría en Ciencias, Coordinación de Investigación, Facultad de Medicina, Universidad Nacional Autónoma
de México.
2 Físico, Doctor en Ciencias, Facultad de Ciencias, Universidad Nacional Autónoma de México.
3 Administrador, Doctorado en Administración, Facultad de Contaduría y Administración, Universidad Nacional
Autónoma de México
4 Médico-Cirujano, Especialidad en Medicina Familiar, Facultad de Medicina, Universidad Nacional Autónoma de
México
5 Médico-Cirujano, Doctorado en Salud Pública, Departamento de Salud Pública, Facultad de Medicina, Universidad
Nacional Autónoma de México