José Zamora S.1
RESUMEN
Se propone una evaluación por pares, a través de un instrumento escrito de carácter confidencial y realizado en una actividad expresamente apartada para eso (tiempo y lugar). El instrumento permite la evaluación de actitudes positivas y negativas, tales como liderazgo, trabajo real, compromiso, colaboración, integración, entre otros. Con los puntajes obtenidos se hace una conversión a notas, interpolando en una gráfica. Se recomienda esta forma de evaluar como un instrumento que mejora la calidad de la conversión en notas objetivas o valores cuantitativos de las evaluaciones cualitativas sobre las actitudes que muestran los alumnos en su trabajo tutorial. Se entregan resultados en cincuenta alumnos en quienes se ha aplicado el instrumento.
Palabras clave: Evaluación por pares, Actitudes, Calificaciones.
SUMMARY
Peer assessment: proposal to objetivize marks on attitude aspects in tutorials of problem based learning.
A peer assessment is proponed, through a confidential written document and carried out in a different activity (time and place). The instruments allows to assess positive and negative attitudes such as leadership, real work, commitment, collaboration, integration, among others. The obtained scores are converted to marks, through a graphic. This type of assessing is recommended as an instrument that improves the quality of conversion into objective marks or quantitative values of qualitative asessments about attitudes from students at tutorial work. We show results from fifty students in which the instrument has been administered.
Keywords: Peer assessment, Attitudes, Qualifications.
INTRODUCCIÓN
En la formación de los nuevos profesionales, además de los conocimientos generales y objetivos profesionales, adquiere cada día mayor relevancia ante las demandas ciudadanas y laborales, la adquisición de nuevas competencias actitudinales y valóricas.
La complejidad, cantidad y diversidad del conocimiento hace patente el dotar a los futuros profesionales de nuevas competencias relativas a comunicación, trabajo en equipo, obtención y uso de nuevos conocimientos, dado que cada vez más, el trabajo en equipo y la actualización continua se hace inevitable para tomar decisiones sólidamente respaldadas. Lo anterior ha llevado a las autoridades de los centros de educación superior a comprometerse en la enseñanza de esas nuevas competencias, agregando a las ya nombradas, el análisis crítico, la toma de decisiones, el liderazgo, la resolución de problemas y diversas habilidades actitudinales como son la responsabilidad, la cooperación, la tolerancia, además de valores como la solidaridad, la veracidad y la honestidad.
Sin embargo, muchas de estas nuevas exigencias sólo pueden tener un acercamiento evaluativo objetivo y significativo si se trabaja en grupos pequeños (tutoriales) y se consigue su demostración en contextos de aprendizaje basado en problemas, por cuanto será en esos ambientes educativos donde el profesor tendrá una instancia efectiva de observar tales aspectos. Contribuye también el dar la oportunidad al propio alumno para que se autoevalúe, incorporando la mirada de los compañeros del grupo en la objetivización del rasgo actitudinal y/o valórico que se desea evaluar.
El aprendizaje basado en problemas en grupos pequeños, ha ido adquiriendo cada día mayor presencia en las aulas universitarias1-5. La potencialidad de esta metódica, de poder equilibrar los aspectos cognitivos de un área, con las nuevas competencias genéricas y las actitudes que han emergido como necesarias en la formación de los futuros profesionales, han estimulado su uso6-8.
La evaluación de los tutoriales puede abarcar tanto los aspectos de conocimientos específicos, las destrezas comunicacionales y las actitudes y valores. Se puede evaluar a todos los actores del proceso, incorporando la auto-evaluación, evaluación del tutor y evaluación por pares y sus resultados cumplir diversas funciones en el proceso educativo9.
La evaluación por pares se ha caracterizado principalmente como una instancia de retroalimentación formativa donde los alumnos y el tutor, en un ambiente informal, pero de respeto y responsabilidad, analizan los comportamientos de cada uno de los participantes. Sin embargo, para alcanzar este propósito, se requiere de un buen manejo del tutor, para que la actividad no caiga en generalidades, aborde aspectos que la institución no estimula en su formación o, no se logre la confianza suficiente para lograr un óptimo aprovechamiento. Así, la estructuración de un instrumento escrito, que permita dirigir a los alumnos hacia qué aspectos evaluar, ha sido propuesta para la evaluación de pares10.
El presente trabajo procura entregar una propuesta de evaluación por pares que consiga rescatar los aspectos que se han decidido evaluar del área actitudinal, a través de preguntas propuestas por Zamora11 y Zamora y Pantoja9, de modo que permita discriminar tales comportamientos entre los alumnos.
MATERIAL Y MÉTODOS
La evaluación por pares se realiza a través de un instrumento confidencial adaptado del cuestionario del programa de medicina de la Universidad de McMaster12, cuya aplicación se realiza en una actividad expresamente apartada para eso (tiempo y lugar, Anexo 1).
La evaluación consta de 2 ítems: El primero contiene 10 frases. En cada una de ellas cada alumno debe escribir el nombre de aquel compañero que a su juicio cumple mejor con ese rasgo. De las 10 preguntas, siete tienen connotación positiva y tres negativas, pudiendo omitir alguna de ellas. El segundo ítem es un listado de 7 juicios o cualidades positivas, donde el alumno debe anotar a los dos alumnos que le parecen exteriorizan mejor esos rasgos (Anexo 2).
El limitar el número de nombramientos procura lograr una mejor discriminación entre aquél que claramente es percibido como poseedor del rasgo, de aquéllos que no lo tienen o lo tienen escasamente desarrollado.
Las respuestas son tabuladas, obteniendo el puntaje para cada alumno. La nota se extrapola de una gráfica (Figura 1) que considera los siguientes criterios: Nota 7: igual o mayor al 60% del máximo posible de ser nombrado en todas las características positivas en primer lugar. Nota 6: igual o mayor al 60% del puntaje máximo teórico de ser nombrado por todos en segunda oportunidad. Nota 4: equivale al puntaje 0, es decir, no se tuvo nominaciones positivas ni negativas y, nota 1: el puntaje de ser nombrado con el máximo de connotaciones negativas.
Figura 1. Método para asignación de notas para un grupo de 8 alumnos*.
*El gráfico se obtiene considerando que la nota 7 corresponde al 60% o más (58,8 puntos) de la puntuación máxima de nominaciones en el primer lugar (98 puntos). La nota 6 corresponde al 60% o más (29,4 puntos) de la puntuación máxima de nominaciones en el segundo lugar (49 puntos). La nota 4 corresponde a ausencia de nominaciones (0 puntos) y la nota 1 al máximo de nominaciones negativas (-18 puntos). (Ver detalle en el texto).
Así por ejemplo, al considerar un grupo tutorial de 8 alumnos, el máximo de nominaciones positivas que puede alcanzar un alumno es 98, esto es, catorce posibilidades positivas por 7 compañeros. En nuestra propuesta consideramos que es suficiente que un alumno obtenga el 60% de esos nombramientos para alcanzar la nota 7, esto es, 58 puntos o más.
De igual modo, el máximo de ser nombrado en 2º oportunidad es 49 veces. El 60% da 29 puntos, suficiente para alcanzar la nota 6.
A la puntuación 0 le asignamos la nota 4, considerando que se trataría de un alumno que no destacó en forma relevante pero no tuvo una actitud manifiestamente negativa para el desarrollo del trabajo.
Por último, el máximo de anotaciones negativas que se puede llevar un alumno es de -21 (7 alumnos por tres consideraciones negativas), puntaje al cual le asignamos la nota 1.
Con estos 4 puntos se construye una grafica de notas versus puntuaciones y el resto de las notas se interpolan en la gráfica, (Figura 1).
La propuesta evaluativa descrita se ha realizado en cursos del tercer nivel de Nutrición, y del cuarto, quinto, sexto y séptimo nivel de la carrera de Tecnología Médica.
La conformación de los grupos osciló entre 6 y 12 alumnos.
RESULTADOS
Se entregan resultados generales en cincuenta alumnos pertenecientes a tutoriales del cuarto (tres grupos) y séptimo nivel (dos grupos) de la carrera de tecnología médica agrupados en ocho, nueve, diez, once y doce alumnos. (Ver tabla 1).
Tabla 1. Notas obtenidas por evaluación por pares en estudiantes de
4º y 7º año de Tecnología Médica, Universidad de la Frontera (n = 50).
| Escala de Notas | Nº de alumnos |
| 1,0 – 1,9 | 0 |
| 2,0 – 2,9 | 1 |
| 3,0 – 3,9 | 5 |
| 4,0 – 4,9 | 17 |
| 5,0 – 5,9 | 15 |
| 6,0 – 7,0 | 12 |
El rango de notas obtenido osciló entre 2 y 6,8.
Los alumnos en su gran mayoría no mostraron problemas con la aplicación del instrumento, ni con las notas obtenidas.
Algunos plantearon objeciones por tener que destacar sólo uno o dos alumnos cuando a veces los aspectos evaluados estaban presentes en todos, más de uno, dos o ninguno. Esto se evidenció también en las respuestas donde en algunos casos no se puso el nombre de un alumnos y se nombró a “todos” o “ninguno”.
Otro problema menor fue que algunos alumnos piden que se aclare que debían entender por los rasgos evaluados.
En relación a las notas obtenidas no se presentó objeciones. Sin embargo a un profesor le pareció que no reflejaban la opinión que él personalmente tenia de algunos de sus alumnos.
Otra objeción fue lo engorroso de tener que hacer los cálculos y gráficas para cada grupo con número diferente de integrantes por consumir demasiado tiempo.
DISCUSIÓN
La educación moderna tiene como función primordial el desarrollo integral del individuo. Desde este punto de vista, la tarea central de las escuelas consiste en desarrollar en los estudiantes aquellas características que le permitirán vivir eficazmente en una sociedad compleja, es decir, dotarlos de los conocimientos, destrezas y actitudes que le permitan convivir digna y armónicamente con una comunidad en permanente cambio.
Más aún, para algunos investigadores, “la calidad (de los egresados) debe tomarse como la estricta adecuación entre el proceso educacional y las necesidades de la población”13, indicando que no sólo los conocimientos y destrezas de esos profesionales son importantes, sino también las actitudes con que enfrentarán el trabajo en equipo, o su relación con los pacientes.
La evaluación se presenta en la actualidad como una parte integral del proceso de aprendizaje. Esto significa que no es sólo una prueba o un conjunto de pruebas que se administran al final de un curso cuyo único objetivo sea la calificación de los estudiantes. Significa, en cambio, un proceso sistemático para determinar hasta qué punto alcanzan los alumnos los diferentes objetivos de la educación.
Los objetivos actitudinales tienen un importante componente subjetivo. Para superar este inconveniente y lograr una evaluación más objetiva se recurre a la evaluación del tutor, a la autoevaluación y a la evaluación por pares. Con frecuencia se descansa principalmente en la capacidad evaluativa del tutor, estimando que posee las competencias necesarias para ejercer su cometido con mayor objetividad. Por el contrario, la auto-evaluación se suele observar con desconfianza al considerar que los estudiantes puedan obtener provecho personal mejorando su promedio de notas9. Un segundo juicio negativo hacia la autoevaluación plantea que los alumnos con peores rendimientos se asignan altos puntajes mientras que los buenos alumnos, poseedores de una alta capacidad de autocrítica, lo hacen con puntajes inferiores. Es en consideración a estos argumentos que las notas de autoevaluación por lo general son confinadas a una reducida proporción de la nota final. Posner14, citando a Rogers, ha recomendado que la nota de auto-evaluación sea el producto de una negociación entre el tutor y el alumno, en la cual se discutan los aspectos que deben ser parte de la auto evaluación, permitiendo alcanzar un acuerdo más objetivo: “la evaluación integral se obtiene de los métodos conversacionales que tienen por objeto estimular la auto-evaluación”14.
La evaluación por pares también es vista con desconfianza por la potencialidad de poder estimular cierto “espíritu de grupo”9 que afecte la objetividad de sus resultados.
La presente propuesta permite sortear con éxito gran parte de las críticas antes señaladas por cuanto limita la posibilidad de actuar como grupo, obligando al alumno a decidir por quien demuestre efectivamente, o de mejor manera, las actitudes deseables que hemos decidido evaluar.
Además, este trabajo permite establecer una fórmula instrumental de conversión de notas que válidamente discrimine entre alumnos buenos, mediocres y malos y que, a la vez, constituya un mecanismo objetivo de calificar esas diferencias. Creemos que hay una necesidad creciente en nuestro medio de contar con herramientas que objetiven nuestras apreciaciones subjetivas.
En el transcurso de nuestra experiencia observamos que durante las primeras evaluaciones a algunos estudiantes se les hizo difícil criticar a sus compañeros, comportamiento que tendió a disiparse en la medida que se fue valorando el instrumento, hasta considerarlo como un real aporte para hacer justicia al aporte de cada alumno, estimándolo como necesario y eficaz.
Complementariamente hemos aplicado esta metodología en varios cursos de nutrición y de tecnología médica, logrando satisfactorios resultados. Recientemente se ha evaluado el valor predictivo de éxito académico de las notas obtenidas con la auto-evaluación y con aquéllas dependientes de la evaluación del tutor, comparación que favoreció a las primeras15.
REFERENCIAS BIBLIOGRÁFICAS
1. Neufeld V, and Barrows H. The Mc Master Philosophy: An Approach to Medical Education. J Med Educ 1974, 49:1040 -1050.
2. Pallie W and Carr D. The Mc Master Medical Education Philosophy in Theory , Practice and Historical Perspective. Medical Teacher, 1987, Vol 9 Nº 1.
3. O`Nelly PO, Morris J, Baxter CM. Evaluation of an Integrated Curriculum using Problem–Based Learning in a Clinical environment: The Manchester Experience. Medical Education 2000, 34: 22-230.
4. Von Dobeln, G. Four Years of Problem Based Learning: a student`s perspective. Postgrad Med.J 1996, 72: 95-98.
5. Navarro N, Ilesca M, Cabalín D. Experiencia Multiprofesional de Aprendizaje Basado en Problemas. Facultad de Medicina Universidad de La Frontera, Chile. Rev Chil Cs Med Biol 2001, 11: 29-33.
6. Wilkerson LA and Gijselaers WH. Bringing Problem Based Learning to Higher Education: Theory and Practice. New Directions for Teaching and Learning 1996, Nº 68, Jossey – Bass Publishers.
7. Cabalin D, Cabezas M, Illesca M, Navarro N, y cols. Aprendizaje Basado en Problemas. Capítulo 1: Diseño de Casos Integrados. Ed. Universidad de La Frontera. Temuco-Chile 2006, p. 3- 21.
8. Westberg J. and Hilliard J. Fostering Learning in Small Groups: A Practical Guide. Chapter 1: Small groups in Health Profesión Education. ED Springer Publishing Company. N. York USA 1996, p. 3-28.
9. Pantoja MA, Cabezas M, Illesca M, Navarro N, y cols. Manual de Evaluación para las Carreras de la Salud. Capítulo 4: Evaluación en el proceso Tutorial. Ediciones Universidad de La Frontera. Temuco Chile 2002, p. 103-130
10. Zamora J. Aprendizaje Basado en Problemas. En: Curso de Bioquímica con 20 a 30 Alumnos por Profesor. Rev Chil Cs Med Biol, 2002, 9 (2); p. 25- 29.
11. Zamora J. Evaluación por Pares en Cursos de 20 a 30 alumnos. 1ª Congreso Internacional de Educación Médica de ASOFAMECH. V Jornadas Pedagógicas. Facultad de Medicina, Universidad de Concepción. Concepción Enero 2001. Rev Educ Cienc Salud 2004, 1:
12. McMaster University, Medicine Faculty. Problem Based Learning and The McMaster Undergraduate MD Progamme (1997-98). 1998, Hamilton. Ontario, Canadá.
13. Lobo LC, Alvarez JM y Galperín J. Evaluación, Enseñanza y Aprendizaje. Educ Med Salud 1986; 20 nº 4.
14. Posner G. Análisis de Currículo. Capítulo: Evaluación del Currículo. Ed. McGraw-Hill, 2ª Edición. Bogotá, Colombia, 1998, p. 262.
15. Zamora J, Troncoso C y Sandoval P. Búsqueda de Predictores Cualitativos de Evaluación como Indicador de Éxito Estudiantil. IV Congreso de Educación Médica. Pontificia Universidad Católica de Chile. Santiago de Chile. 25 – 27 Julio 2007. Rev Educ Cienc Salud, 2007; 4, Nº 2.
Artículo recibido el 31/03/08, Aceptado el 16/10/08.
Dirección de los autores:
José Zamora
Oficina de Educación de Ciencias de la Salud
Facultad de Medicina
Universidad de la Frontera
Avenida Francisco Salazar 01145
Casilla 54-D
Temuco, Chile
jzamora@ufro.cl
1 Tecnólogo Médico, Magíster en Ciencias Mención Bioquímica y Magíster en Pedagogía y Gestión Universitaria.
Oficina de Educación de Ciencias de la Salud (OFECS), Facultad de Medicina, Universidad de la Frontera, Temuco
|
PAUTA DE EVALUACIÓN POR PARES Llene los espacios en blanco con el nombre de un compañero del grupo que cumple mejor con la sentencia propuesta: 1-. Durante la sesión de trabajo estuve más de acuerdo 2-. De todos ……………………………… pareció entender más fácilmente el problema. 3-. Creo que ………………………………….no logró integrarse al grupo. 4-. Me pareció que…………………………….mostró más iniciativa para asignar tareas. 5-. Quien se vio más comprometido con la actividad 6-……………………….generalmente se mostró preocupado y considerado 7-. ………………………no pareció tomar la actividad en serio. 8-. Me parece que……………………………..debería liderar este grupo. 9-. ……………….…..mostró una actitud de trabajo durante todas las actividades. 10-. De todos………………………….estuvo demasiado pasivo para las necesidades del grupo. |
|
Responda quienes (2) a su parecer mostraron más: Iniciativa 1-. ………………… 2-. ………………………… Responsabilidad 1-. ………………… 2-. ………………………… Trabajo real 1-. ………………… 2-. ………………………… Ayuda a otros 1-. ………………… 2-. ………………………… Compromiso 1-. ………………… 2-. ………………………… Ideas para trabajar 1-. ………………… 2-. ………………………… Liderazgo 1-. …………………… 2-. …………………………… |