Cristian Herrera R.*a, Oslando Padilla P.**b, Nancy Solís L.***c, Margarita Pizarro R.***c, Eduardo Kattan T.*a, Luis Antonio Díaz P.*a, Arnoldo Riquelme P.***, ****d
RESUMEN
Introducción: El ambiente de aprendizaje es un aspecto importante que debe ser considerado en la educación médica al analizar los currículos. La encuesta DREEM (Dundee Ready Education Environment Measure) ha sido reconocida como el instrumento más válido y fiable para medir el ambiente de aprendizaje en la educación médica de pregrado.
Objetivos: El objetivo de este estudio fue evaluar las propiedades psicométricas de la versión en español del cuestionario DREEM.
Material y Método: El DREEM fue aplicado durante el 2008 en 6 escuelas de medicina de Chile, en los cursos de tercero, cuarto y quinto año de pregrado. Las mediciones psicométricas incluyeron análisis factorial, seguido por la rotación de Varimax para la validez de construcción, coeficientes alfa de Cronbach para la consistencia interna y la teoría de Generalización para evaluar fiabilidad.
Resultados: Se encuestó a 1092 estudiantes (77% del total). Nuestro análisis factorial ajustado reveló un instrumento de 5 factores y un alfa de Cronbach de 0,92 para la consistencia interna. Los análisis de fiabilidad mostraron un resultado fiable para una Escuela de Medicina con 40 encuestados, con un coeficiente G de 0,85 y coeficientes Phi bajo 0,4.
Conclusiones: Concluimos que la versión en español del cuestionario DREEM es un instrumento multidimensional, válido, consistente y altamente fiable para medir el ambiente educacional entre los estudiantes de medicina de pregrado, en diversos escenarios y currículos disímiles, entre diferentes Escuelas de Medicina en Chile.
Palabras clave: Ambiente de aprendizaje, DREEM, Análisis psicométrico.
SUMMARY
Psychometric analysis of DREEM questionnaire to measure the learning environment in Chile.
Introduction: Learning environment is an important aspect that should be considered when analyzing medical education curricula. The DREEM (Dundee Ready Education Environment Measure) survey has been recognized as the most valid and reliable instrument for measuring the learning environment in undergraduate medical education.
Objectives: The aim of this study was to assess the psychometric properties of the spanish version of the DREEM questionnaire.
Material and Method: DREEM was applied during 2008 in 6 medical schools in Chile, in third, fourth and fifth undergraduate years. The psychometric measures included factorial analysis followed by Varimax rotation for construct validity, Cronbach’s alpha coefficients for internal consistency and generalization theory to assess reliability.
Results: 1092 students (77% of total) were surveyed. Our adjusted factor analysis revealed an instrument of 5 factors and a Cronbach’s alpha of 0.92 for internal consistency. The reliability analysis showed a reliable result for a Medical School with 40 surveyed with a G coefficient of 0.85 and Phi coefficients under 0.4.
Conclusions: We concluded that the Spanish version of the DREEM questionnaire is a multidimensional, valid, consistent and highly reliable instrument to measure the educational environment among undergraduate medical students in various scenarios and dissimilar curricula between different Medical Schools in Chile.
Keywords: Learning environment, DREEM, Psychometric analysis.
INTRODUCCIÓN
El ambiente de aprendizaje es un aspecto importante que debe ser considerado en la educación médica tanto de pregrado como de postgrado. Su impacto está bien establecido y aceptado, dado su influencia real sobre los logros, satisfacción y éxitos de los estudiantes1-3. Se han descrito dos grupos de factores que influyen en el ambiente educacional. Estos son cursos/currículos, y los docentes individuales, supervisores y facilitadores. El primer grupo está compuesto por el estilo del currículo; calidad de enseñanza; rotaciones clínicas y claridad del proceso, objetivos y evaluación; y mecanismos de soporte. El segundo está relacionado con el estilo/técnica de enseñanza, entusiasmo, maximización del ambiente físico y simulación de papeles. Estos factores llevan a la motivación, relevancia percibida y percepción de las tareas por las tareas de los estudiantes, que finalmente terminan en mejores resultados de aprendizaje4.
Entre los instrumentos disponibles para medir el ambiente educacional en pregrado, la encuesta DREEM (Dundee Ready Education Environment Measure) ha sido reconocida como uno de los instrumentos más válidos y fiables5. Este instrumento es adecuado para la medición del ambiente educacional en pregrado, particularmente, en las etapas iniciales del currículo (ciencias básicas y cursos pre-clínicos)6. En etapas más avanzadas de la carrera médica, donde el aprendizaje independiente durante la práctica diaria se vuelve más relevante, los aspectos relacionados con el ambiente en el aula de clases son menos relevantes. Sin embargo, el DREEM se ha aplicado en programas médicos de postgrado y sus propiedades psicométricas fueron determinadas en este escenario con resultados interesantes7.
El DREEM fue desarrollado en 1997 y ha sido traducido a distintos idiomas. Deza tradujo un cuestionario DREEM preliminar de 58 ítems al español, y encontró que es fiable y con una consistencia interna de 0,916. En estudios en pregrado, el DREEM ha sido aplicado en escuelas de medicina en Brazil8, Canadá9, India10, Irlanda11, el Reino Unido12, Trinidad13, Arabia Saudita14, Singapur15, Sri Lanka16, Nigeria, Nepal17, India18 y Chile19.
Dada una iniciativa de la Asociación de Estudiantes de Medicina de Chile (ASEMECH), los objetivos de este estudio fueron el aplicar la versión en español del cuestionario DREEM en los estudiantes de pregrado de 6 escuelas de medicina en Chile y evaluar las propiedades psicométricas del DREEM. En este contexto, nuestras preguntas de investigación fueron las siguientes:
- ¿Cuál es la validez de construcción y la consistencia interna de la versión en español de DREEM?
- ¿Cuántas evaluaciones por diferentes internos son necesarias para obtener un resultado fiable, representando el ambiente de aprendizaje de una Escuela de Medicina individual?
- ¿Es el DREEM un instrumento adecuado para comparar el ambiente educacional de diferentes Escuelas de Medicina?
MATERIAL Y MÉTODO
Instrumentos
El cuestionario DREEM consiste de 50 ítems, con cada ítem evaluado con una escala de cinco puntos de Likert, siendo 4 = Fuertemente de acuerdo, 3 = De acuerdo, 2 = Inseguro, 1 = Desacuerdo, 0 = Fuertemente en desacuerdo. Ya que los ítems 4, 8, 9, 17, 25, 35, 39, 48 y 50, contenían afirmaciones negativas, revertimos los puntajes de estas preguntas. Por lo tanto, mayores puntajes indicaban un resultado más positivo. Los autores del instrumento definieron cinco dominios o sub-escalas de la percepción de los estudiantes sobre una institución en particular6. Las sub-escalas eran (1) la percepción de los estudiantes del aprendizaje (Aprender); (2) la percepción de los estudiantes de los profesores (Enseñar); (3) la auto-percepción académica de los estudiantes (Acad); (4) la percepción de los estudiantes de la atmósfera (Atm) y (5) la auto-percepción social de los estudiantes (Soc).
Sujetos y Procedimiento
Las seis Escuelas de Medicina chilenas elegidas fueron: Universidad Austral (Valdivia), Universidad de la Frontera (Temuco), Universidad Católica de la Santísima Concepción (Concepción), Universidad de Concepción (Concepción), Universidad de Santiago (Santiago) y Pontificia Universidad Católica de Chile (Santiago). Cada una de estas escuelas tiene su propio currículo y diferentes características. El cuestionario fue administrado durante el 2008 a estudiantes de medicina de pregrado de tercer, cuarto y quinto año, de las seis escuelas de medicina mencionadas previamente. Este proyecto fue llevado a cabo por la Asociación de Estudiantes de Medicina de Chile (ASEMECH). Fue previamente aprobado por el Consejo de Estudios y Comité de Ética de cada Escuela de Medicina. El cuestionario DREEM fue respondido anónimamente por los estudiantes y un informe confidencial con los resultados de cada Escuela de Medicina fue enviado a los Decanos.
Análisis estadísticos
Para evaluar la validez de construcción de las 5 sub-escalas, utilizamos un análisis factorial exploratorio seguido por una rotación de Varimax. Los factores fueron elegidos utilizando 2 criterios: 1) el criterio Kaiser–Guttman, en el cual todos los factores con un autovalor > 1 fueron incluidos20,21; y 2) el criterio Cattel, donde el punto de inflexión de la curva del gráfico de sedimentación, es el punto de corte, y todos los factores por sobre dicho punto son aceptados22. Los datos fueron analizados utilizando el software estadístico SPSS para consistencia interna, utilizando alfa de Cronbach23.
Utilizamos la teoría de la generalización (Teoría G) para evaluar las preguntas de investigación sobre la fiabilidad24. Esta teoría permite estimar el tamaño de las influencias relevantes que afectan la medición. La estimación subsecuente de la fiabilidad del instrumento está basada en la variedad de los índices de fiabilidad. Para llevar a cabo la teoría G, y dado que el número de estudiantes fue diferente según sexo, año y escuela, utilizamos el Software urGenova25.
Estas son las abreviaciones para los modelos: Año (A), Sexo (S), Escuela de Medicina (ES), estudiante (e) y Dominio (D). Ajustamos 2 tipos de modelos. En el primer grupo de modelos, consideramos el total de estudiantes en cada dominio. Dentro de esta clase existen los siguientes modelos: Dx(e:(SxEX)), Dx(e:(AxEM)), Dx(e:(SxAxEM)) y Dx(e:EM). Aquí no incluimos las diferencias al nivel de ítems, y nuestro objetivo era analizar si es importante considerar las facetas A, S, EM y e, al igual que la faceta D. El segundo grupo de modelos incluye las respuestas a nivel de ítem. Los modelos correspondientes fueron: (i:D)x(e:(SxEM)), (i:D)x(e:(AxEM)), (i:D)x(e:(SxAxEM)) y (i:D)x(e:EM). Para el estudio-D (estudio de Decisiones), utilizamos también el Software Genova (ya que urGENOVA no calcula los valores de Estudio-D).
RESULTADOS
Un total de 1092 de 1419 estudiantes (77%) respondieron el DREEM, del cual 577 (52,8%) fueron mujeres y 515 fueron hombres (47,2%). En el análisis, comparando los resultados globales por Escuela, el cuestionario de 50 ítems para las 6 escuelas de medicina tuvo un resultado promedio de 113,89 (IC 95% 112,47 – 115,31). Los encuestados tenían una mediana de edad de 22 años, con un mínimo de 19 y un máximo de 38. No hubo diferencias estadísticamente significativas entre las respuestas de hombres y mujeres, y los alumnos de tercer año tuvieron una mejor percepción sobre el ambiente educacional que los alumnos de cuarto año, la cual fue estadísticamente significativa. La estadística descriptiva de los encuestados de las 6 Escuelas se muestra en la Tabla 1.
Tabla 1. Número y distribución por año y sexo de los encuestados
para cada Escuela de Medicina.
| 3° año | 4° año | 5° año | Total (%) | Mujeres (%) | |
| Escuela N°1 | 81 | 90 | 89 | 260 (23,8) | 38,46 |
| Escuela N°2 | 95 | 114 | 63 | 272 (24,9) | 41,11 |
| Escuela N°3 | 63 | 67 | 81 | 211 (19,3) | 54,59 |
| Escuela N°4 | 41 | 29 | 25 | 95 (8,7) | 51,58 |
| Escuela N°5 | 46 | 41 | 45 | 132 (12,1) | 53,79 |
| Escuela N°6 | 55 | 26 | 41 | 122 (11,2) | 52,89 |
| Seis Escuelas | 381 | 367 | 344 | 1092 (100) | 52,80 |
Validez de construcción y consistencia interna
La validez de construcción de las sub-escalas fue realizado utilizando el análisis factorial exploratorio, seguido por la rotación de Varimax de los datos, resultando en 11 factores con un autovalor > 1. El primer factor, tuvo un autovalor de 11,288 (aportando el 22,576% de la varianza) y los próximos 10 factores tuvieron autovalores <2,506. Los 11 factores en conjunto explicaron 52,262% de la varianza. El punto de inflexión de la curva se observó entre los factores 5 y 6 del gráfico de sedimentación de 11 factores (ver Figura 1). Por lo tanto, forzamos un análisis factorial con 5 factores. La distribución de los 5 factores da cuenta del 38,262% de la varianza, evidenciando la siguiente localización de los ítems (en paréntesis está el dominio teórico al que corresponden):
- Factor 1: ítems 1 (Aprender), 2 (Enseñar), 3 (Soc), 4 (Soc), 6 (Enseñar), 7 (Aprender), 8 (Enseñar), 10 (Acad), 11 (Atm), 12 (Atm), 13 (Aprender), 14 (Soc), 16 (Aprender), 17 (Atm), 18 (Enseñar), 20 (Aprender), 21 (Aprender), 22 (Acad), 23 (Atm), 24 (Aprender), 26 (Acad), 29 (Enseñar), 30 (Atm), 32 (Enseñar), 33 (Atm), 34 (Atm), 35 (Atm), 37 (Enseñar), 38 (Aprender), 40 (Enseñar), 41 (Acad), 42 (Atm), 43 (Atm), 44 (Aprender), 45 (Acad), 46 (Soc), 47 (Aprender), 48 (Aprender), 49 (Enseñar) and 50(Atm);
- Factor 2: ítems 5 (Acad), 9 (Enseñar), 27 (Acad), 36 (Atm) and 39 (Enseñar);
- Factor 3: ítems 15 (Soc), 19 (Soc) and 28 (Soc);
- Factor 4: ítem 31 (Acad);
- Factor 5: ítem 25 (Aprender).
Estos resultados son consistentes con el cuestionario que mide 5 factores distintos, pero el primer factor incluye un largo número de ítems (40 ítems, 80%).
 |
Figura 1. Gráfico de sedimentación de los factores identificados en el análisis factorial de DREEM.
La flecha indica el punto de inflexión de la curva entre los factores 5 y 6 del gráfico.
Análisis de Fiabilidad
El puntaje promedio de los ítems fue de 2,28. Los puntajes variaron entre 0,94 (ítem 3: “Hay un buen sistema de apoyo para los estudiantes que sufren de estrés”) a 3,39 (ítem 2: “Los profesores conocen las materias que dictan”). Las tasas de respuesta variaron desde 99,8% (ítem 12, 14, 20 y 21) a 100%. El resultado de cada ítem está ilustrado en la Tabla 2.
Tabla 2. Ítems, sub-escalas y estadística descriptiva de DREEM
para estudiantes de pregrado de seis Escuelas de Medicina.
| Item | Sub-escalas* | TR(%) | M | D.E. |
| 1.- Se me estimula a participar en clases. | Aprender | 100 | 2,29 | 1,02 |
| 2.- Los profesores conocen las materias que dictan. | Enseñar | 100 | 3,39 | 0,65 |
| 3.- Hay un buen sistema de apoyo para los estudiantes que sufren de estrés. |
Social | 100 | 0,94 | 0,97 |
| 4.- Estoy demasiado cansado para disfrutar los cursos que estoy tomando. |
Social | 100 | 1,59 | 1,20 |
| 5.- Los métodos de estudio que tenía antes todavía me sirven. | Acad | 100 | 2,02 | 1,20 |
| 6.- Los profesores tienen paciencia con los pacientes. | Enseñar | 99,9 | 2,40 | 0,94 |
| 7.- La enseñanza es frecuentemente estimulante. | Aprender | 99,9 | 2,18 | 1,04 |
| 8.- Los profesores ridiculizan a los estudiantes. | Enseñar | 100 | 2,25 | 1,13 |
| 9.- Los profesores son autoritarios. | Enseñar | 100 | 1,76 | 1,05 |
| 10.- Tengo la confianza de que voy a pasar este año. | Acad | 100 | 3,03 | 0,97 |
| 11.- El ambiente es relajado durante las visitas docentes de los servicios hospitalarios. |
Atmosf | 99,9 | 2,14 | 1,05 |
| 12.- Los horarios de la Escuela están bien programados. | Atmosf | 99,8 | 1,52 | 1,27 |
| 13.- La enseñanza es centrada en el estudiante. | Aprender | 100 | 2,08 | 1,10 |
| 14.- Rara vez me aburro en los cursos que estoy tomando. | Social | 99,8 | 1,81 | 1,10 |
| 15.- Tengo buenos amigos en la Escuela. | Social | 100 | 3,41 | 0,81 |
| 16.- La enseñanza me ayuda a desarrollar mi competencia. | Aprender | 100 | 2,88 | 0,90 |
| 17.- En la Escuela, la copia en los exámenes constituye un problema. | Atmosf | 99,9 | 1,88 | 1,24 |
| 18.- Los profesores tienen buenas destrezas comunicacionales con los pacientes. |
Enseñar | 100 | 2,55 | 0,89 |
| 19.- Mi vida social es buena. | Social | 100 | 2,75 | 1,13 |
| 20.- La enseñanza está bien enfocada. | Aprender | 99,8 | 2,15 | 1,06 |
| 21.- Siento que me están preparando bien para mi profesión. | Acad | 99,8 | 2,36 | 1,08 |
| 22.- La enseñanza en la Escuela está suficientemente preocupada de desarrollar mi confianza. |
Aprender | 100 | 1,64 | 1,08 |
| 23.- El ambiente es relajado durante las clases teóricas en el auditorio. | Atmosf | 99,9 | 2,78 | 0,86 |
| 24.- El tiempo destinado a la enseñanza es bien utilizado. | Aprender | 100 | 1,97 | 1,09 |
| 25.- La enseñanza en la Escuela pone demasiado énfasis en el aprendizaje de detalles. |
Aprender | 100 | 1,39 | 1,11 |
| 26.- Lo aprendido el año pasado fue una buena base para el trabajo de este año. |
Acad | 100 | 2,64 | 1,02 |
| 27.- Soy capaz de memorizar todo lo que me es necesario. | Acad | 100 | 1.,58 | 1,20 |
| 28.- Rara vez me siento solo. | Social | 100 | 2,51 | 1,17 |
| 29.- Los profesores son buenos dando feedback (retroalimentación) a los estudiantes. |
Enseñar | 100 | 2,01 | 1,01 |
| 30.- Tengo oportunidades para desarrollar mis habilidades interpersonales. |
Atmosf | 100 | 2,20 | 1,14 |
| 31.- He aprendido mucho sobre la empatía en mi profesión. | Acad | 100 | 2,74 | 1,03 |
| 32.- En la Escuela, los profesores nos hacen críticas constructivas. | Enseñar | 100 | 2,42 | 0,96 |
| 33.- Me siento cómodo, socialmente, en clases. | Atmosf | 100 | 2,90 | 0,89 |
| 34.- El ambiente en los seminarios, clases y prácticas tutoriales es relajado. |
Atmosf | 100 | 2,69 | 0,93 |
| 35.- Mi experiencia en la Escuela ha sido desalentadora. | Atmosf | 99,9 | 2,59 | 1,09 |
| 36.- Soy capaz de concentrarme bien. | Atmosf | 100 | 2,26 | 1,13 |
| 37.- Los profesores dan ejemplos claros. | Enseñar | 100 | 2,68 | 0,79 |
| 38.- Tengo claros los objetivos de aprendizaje de mis cursos. | Aprender | 100 | 2,20 | 1,07 |
| 39.- Los profesores se molestan y alteran en clases. | Enseñar | 100 | 2,57 | 1,01 |
| 40.- Los profesores están bien preparados para sus clases. | Enseñar | 100 | 2,98 | 0,77 |
| 41.- La Escuela de Medicina me ayuda a desarrollar mis destrezas para resolver problemas. |
Acad | 100 | 2,21 | 1,07 |
| 42.- El disfrute de mis estudios en la Escuela pesa más que la tensión que éstos me generan. |
Atmosf | 100 | 1,90 | 1,21 |
| 43.- El ambiente de la Escuela me motiva a aprender. | Atmosf | 100 | 2,19 | 1,06 |
| 44.- La manera de enseñar me estimula a aprender por mí mismo en forma activa. |
Aprender | 100 | 2,01 | 1,10 |
| 45.-Mucho de lo que tengo que aprender me parece relevante para mi carrera como médico. |
Acad | 100 | 2,89 | 1,02 |
| 46.- Los ambientes físicos de la Escuela son agradables. | Social | 100 | 1,88 | 1,32 |
| 47.- En la Escuela, se enfatiza el aprendizaje a largo plazo por sobre el inmediato. |
Aprender | 99,9 | 1,83 | 1,13 |
| 48.- La enseñanza de la Escuela está demasiado centrada en los profesores. |
Aprender | 100 | 2,01 | 1,00 |
| 49.- Siento que puedo hacer todas las preguntas que quiero. | Atmosf | 100 | 2,32 | 1,13 |
| 50.- Los estudiantes causamos irritación a los profesores. | Enseñar | 100 | 2,37 | 1,10 |
*Cinco Sub-escalas: Percepción de los alumnos del Aprendizaje(Aprender); Percepción de los estudiantes de la Enseñanza (Enseñar); Percepción de los estudiantes de sus habilidades académicas(Acad); Percepción de los estudiantes de la atmósfera de aprendizaje(Atmosf); Percepción de los estudiantes del ambiente Social(Social).
TR: Tasa de Respuesta; Media: Puntaje promedio del ítem; DE: Desviación Estándar.
La consistencia interna del inventario de 50-ítems entregó un resultado de 0,92; al ser medido con alfa de Cronbach. Con los modelos de primer tipo (Dx(e:(SxEM)), Dx(e:(AxEM)), Dx(e:(SxAxEM)) y Dx(p:EM)), cuando sólo consideramos el total de las sub-escalas, encontramos que cuando considerábamos las facetas Sexo y Año, aparecía un componente de varianza negativa, y que cuando aparecían estas facetas, aquellas interacciones tenían componentes de la varianza que eran bastante pequeños, comparado con el resto. Los componentes más altos de la varianza son los mismos en todos los modelos y se muestran en la Tabla 3 para el modelo Dx(e:EM), el más simple, donde las facetas Sexo y Año no son consideradas, pero refleja bien la estructura de los datos.
Tabla 3. Estudio de generalización de variancia y porcentaje de variación de componentes para el diseño Dx(e:EM) de cuestionario DREEM.
| Efecto | Grados de Libertad | Suma de Cuadrados | Cuadrados Promedio | Componente de Varianza | Porcentaje de Variación |
| EM | 5 | 23242,33 | 4648,47 | 4,99 | 7,46 |
| e: | 1067 | 97966,79 | 91,82 | 15,79 | 23,63 |
| D | 4 | 137853,18 | 34463,30 | 31,85 | 47,66 |
| EMD | 20 | 4864,36 | 243,22 | 1,33 | 1,99 |
| eD:EM | 4268 | 54940,46 | 12,87 | 12,87 | 19,26 |
e: estudiante; EM: Escuela de Medicina; D: Dominio.
Casi la mitad de la varianza proviene de la variabilidad entre las sub-escalas. Subsecuentemente, es la variabilidad entre los estudiantes, la cual corresponde a casi el cuarto de la varianza total. Un porcentaje cercano al 20% corresponde a la interacción eD:EM confundida con el error. Finalmente, un moderado porcentaje de la varianza (cerca del 7%) proviene de la variabilidad entre Escuelas de Medicina.
Cuando consideramos los modelos incluyendo los ítems, nuevamente vemos que las facetas Sexo y Año no otorgan componentes importantes de la varianza. El modelo final, (i:D) x (e:EM), es considerado el más simple y que mejor refleja la estructura de los datos. Con él podemos ver que el mayor componente de la varianza proviene de la interacción entre ítem-estudiante confundido con el error (cerca del 60% de la varianza). Luego, viene la varianza entre ítems y la varianza entre estudiantes que otorga cerca del 30% (Tabla 4).
Tabla 4. Estudio de generalización de varianza y porcentaje de variación de componentes para el diseño (i:D) x (s:MS) del cuestionario DREEM.
| Efecto | Grados de Libertad | Suma de Cuadrados | Cuadrados Promedio | Componente de Varianza | Porcentaje de Variación |
| EM | 5 | 2324,23 | 464,85 | 0,05135 | 3,73 |
| e:EM | 1067 | 9796,68 | 9,18 | 0,15981 | 11,62 |
| D | 4 | 1127,13 | 281,78 | 0,00069 | 0,05 |
| i:D | 45 | 12253,29 | 272,30 | 0,24334 | 17,70 |
| EMD | 20 | 228,36 | 11,42 | 0,00088 | 0,06 |
| EMi:D | 225 | 2153,13 | 9,57 | 0,05036 | 3,66 |
| eD:EM | 4268 | 5003,80 | 1,17 | 0,03413 | 2,48 |
| si:MSD | 48015 | 40085,69 | 0,83 | 0,83486 | 60,70 |
e: estudiante; EM: Escuela de Medicina; D: Dominio.
Del análisis previo, nos concentramos en seguir el modelo elegido a nivel de Dominio. Cuando realizamos el análisis de Dominio dentro de cada Escuela de Medicina encontramos que en dos Escuelas de Medicina, las mismas dos que fueron distintas en el análisis ANOVA, el porcentaje de varianza correspondiente a la faceta de Dominio fue mucho más alta, cercana al 65%. El porcentaje de varianza correspondiente a la faceta estudiante fue cercana al 20% y aproximadamente el 15% corresponde a la interacción entre la faceta estudiante y Dominio, confundida con otras fuentes de error no identificada. Para las otras cuatro Escuelas de Medicina, la faceta Dominio aportó el 46% de la varianza, el componente estudiante el 30% y el 24% correspondía a la interacción estudiante-Dominio confundida con errores.
Finalmente, el estudio-D (Estudio de Decisión) fue realizado para investigar la fiabilidad del instrumento para decisiones absolutas y relativas, y el número de estudiantes que debían responder el cuestionario para producir una medición fiable del ambiente educacional. Dado a que el Software Genova requiere diseños balanceados, y ya que definimos que no era importante considerar Sexo y Año, seleccionamos aleatoriamente una muestra de 90 estudiantes de cada Escuela de Medicina. Los principales resultados del estudio-D se aprecian en la Tabla 5.
Tabla 5. Resultados de Estudio-D utilizando Coeficientes G y Phi del cuestionario DREEM.
| Número de Estudiantes | Coeficiente G | Coeficiente Phi |
| 5 | 0,51117 | 0,29158 |
| 8 | 0,61661 | 0,32309 |
| 15 | 0,73443 | 0,35274 |
| 20 | 0,77685 | 0,36224 |
| 25 | 0,80473 | 0,36819 |
| 30 | 0,82446 | 0,37227 |
| 40 | 0,85052 | 0,37749 |
| 50 | 0,86697 | 0,38070 |
| 60 | 0,87829 | 0,38286 |
| 70 | 0,88656 | 0,38443 |
| 80 | 0,89286 | 0,38561 |
| 90 | 0,89783 | 0,38653 |
Hemos demostrado aquí que con un tamaño muestral razonable (25 encuestados), se obtienen altos coeficientes de generización, sobre 0,8; pero los coeficientes phi no sobrepasan 0,4. En segundo lugar, podemos observar que para obtener una buena fiabilidad (coeficiente-G de 0,85), el instrumento requiere de 40 encuestados. Si se obtienen 80 encuestados, la fiabilidad es cercana a 90%. Como podemos observar, al doblar el número de encuestados no se gana mucho más en fiabilidad.
DISCUSIÓN
En este estudio, la versión en español del cuestionario DREEM fue evaluado, para determinar sus propiedades psicométricas para medir el ambiente educacional en seis Escuelas de Medicina en Chile. Alcanzamos un gran número de estudiantes encuestados, lo que entregó una amplia representación de los resultados.
Para la primera pregunta de investigación, el análisis estadístico sugiere un instrumento de 5 factores, lo que corresponde con las 5 sub-escalas originales teoréticamente definidas por los diseñadores originales, siendo el primer factor el más importante de ellos. La elevada consistencia interna es un aspecto destacable de DREEM.
Para la segunda pregunta de investigación, podemos concluir que 40 encuestados en cada Escuela de Medicina son necesarios para obtener un resultado fiable, representando el ambiente educacional de una Escuela de Medicina individual. Considerando que en promedio en una Escuela de Medicina en Chile, entre 3ero y 5to año, existen entre 150 y 300 estudiantes aproximadamente, 40 encuestados es un número fácilmente lograble.
Para la tercera pregunta de investigación, dado los resultados de los coeficientes G y Phi, concluimos que DREEM es adecuado para medir el ambiente educacional de una Escuela de Medicina (decisión absoluta), pero no para comparar Escuelas de Medicina (decisiones relativas). Por lo tanto, recomendamos utilizar DREEM como un instrumento fiable para empleo dentro de cada Escuela de Medicina, al evaluar su propio ambiente educacional.
El desarrollo original y la validación de DREEM en 1997, incluyó análisis factorial6 y su fiabilidad ha sido evaluada en residentes de medicina (postgrado)7. En ese sentido, nuestro estudio agrega un re-análisis de la validez de construcción y, según nuestro conocimiento, ésta es la primera determinación de fiabilidad de DREEM utilizando la teoría-G en estudiantes de medicina de pregrado.
Quisiéramos alertar a los investigadores las importantes diferencias entre Escuelas de Medicina, que pueden ser observadas en el ambiente educacional medido por el cuestionario DREEM. Consecuentemente, un estudio de la determinación del número de encuestados necesarios en cada Escuela de Medicina puede mostrar ciertas diferencias con los datos presentados previamente.
CONCLUSIONES
Finalmente, concluimos que la versión en español de DREEM es un instrumento multidimensional, válido y altamente fiable. Es destacable cuán estables son los resultados, dada su aplicabilidad en ambientes diversos y currículos disímiles a través de diferentes Escuelas de Medicina. Recomendamos utilizarlo para medir el ambiente educacional en los cursos de Pregrado de Medicina con estudiantes de habla Hispana, en las Escuelas de Medicina en América Latina y España.
Agradecimientos
Quisiéramos agradecer a los Decanos y Directores de las Escuelas de Medicina involucrados en este proyecto por la colaboración y apertura a desarrollarlo. También, nos gustaría reconocer a David Wall, MB ChB, MMEd, PhD, FRCP, FRCGP, Deputy Regional Postgraduate Dean and Professor of Medical Education in the West Midlands Deanery, UK, por sus comentarios atingentes y su contribución al manuscrito. Este proyecto fue parcialmente financiado por el proyecto FONDECYT no. 1100436 (A.R.).
REFERENCIAS BIBLIOGRÁFICAS
- Pimparyon P, Roff S, McAleer S, Poonchai B, et al. Educational environment, student approaches to learning and academic achievement in a Thai nursing school. Med Teach 2000; 22(4): 359-364.
- Genn JM. AMEE Medical Education Guide No 23 (Part 1): Curriculum, environment, climate, quality and change in medical education-a unifying perspective. Med Teach 2001; 23(4): 337-344.
- Cavanaugh S, Simmons P. Evaluation of a school climate instrument for assessing affective objectives in health professional education. Evaluation and the Health Professions 1997; 2084): 455-479.
- Hutchinson L. ABC of learning and teaching: Educational environment. BMJ. 2003; 326(7393): 810-812.
- Soemantri D, Herrera C, Riquelme A. Measuring the educational environment in health professions studies: a systematic review. Med Teach 2010; 32(12): 947-952.
- Roff S, McAleer S, Harden RM, Al-Qahtani M, et al. Development and validation of the Dundee Ready Education Environment Measure (DREEM). Med Teach 1997; 19(4): 295-299.
- de Oliveira Filho GR, Vieira JE, Schonhorst L. Psychometric properties of the Dundee Ready Educational Environment Measure (DREEM) applied to medical residents. Med Teach 2005; 27(4): 343-347.
- Sobral DT. Medical students’ self-appraisal of first-year learning outcomes: use of the course valuing inventory. Med Teach 2004; 26(3): 234-238.
- Till H. Identifying the perceived weaknesses of a new curriculum by means of the Dundee Ready Education Environment Measure (DREEM) Inventory. Med Teach 2004; 26(1): 39-45.
- Abraham R, Ramnarayan K, Vinod P, Torke S. Students’ perceptions of learning environment in an Indian medical school. BMC Med Educ 2008; 8(1): 1-5.
- Avalos G, Freeman C, Dunne F. Determining the quality of the medical educational environment at an Irish medical school using the DREEM inventory. Ir Med J 2007; 100(7): 522-525.
- Dunne F, McAleer S, Roff S. Assessment of the undergraduate medical education environment in a large UK medical school. Health Education Journal 2006; 65(2): 149-158.
- Bassaw B, Roff S, McAleer S, Roopnarinesingh S, et al. Students’ perspectives on the educational environment, Faculty of Medical Sciences, Trinidad. Med Teach 2003; 25(5): 522-526.
- Al-Ayed IH, Sheik SA. Assessment of the educational environment at the College of Medicine of King Saud University, Riyadh. East Mediterr Health J 2008; 14(4): 953-959.
- O’Brien AP, Chan TM, Cho MA. Investigating nursing students’ perceptions of the changes in a nursing curriculum by means of the Dundee Ready Education Environment Measure (DREEM) inventory: results of a cluster analysis. Int J Nurs Educ Scholarsh 2008; 5(1): 1-18.
- Jiffry MT, McAleer S, Fernando S, Marasinghe RB. Using the DREEM questionnaire to gather baseline information on an evolving medical school in Sri Lanka. Med Teach 2005; 27(4): 348-352.
- Roff S, McAleer S, Ifere O, Bhattacharya S. A global diagnostic tool for measuring educational environment: comparing Nigeria and Nepal. Med Teach 2001; 23(4): 378-382.
- Mayya S, Roff S. Students’ perceptions of educational environment: a comparison of academic achievers and under-achievers at Kasturba Medical College, India. Education for Health 2004; 17(3): 280-291.
- Riquelme A, Oporto M, Oporto J, Méndez JI, et al. Measuring students’ perceptions of the educational climate of the new curriculum at the Pontificia Universidad Católica de Chile: Performance of the Spanish translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health (Abingdon) 2009; 22(1): 112.
- Field A. Discovering statistics using SPSS for Windows. Sage Publications Limited, London; 2000.
- Field A. Discovering statistics using SPSS for Windows (Second Edition). Sage Publications Limited, London; 2005.
- Cattell RB. The scree test for a number of factors. Multivariate Behavioural Research 1966; 1: 245-276.
- Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16(3): 297-334.
- Boor K, Scheele F, van der Vleuten C, Scherpbier A, et al. Psychometric properties of an instrument to measure the clinical learning environment. Med Educ 2007; 41(1): 92-99.
- Brennan RL. Generalizability Theory. New York, Springer; 2001.
Artículo recibido el 26/04/15, Aceptado el 30/06/15.
Dirección del autor:
Arnoldo Riquelme MD, MMedEd.
Departamento de Gastroenterología / Centro de Educación Médica,
Pontificia Universidad Católica de Chile,
Marcoleta 367, Casilla 114-D,
Santiago, Chile.
E-mail: a.riquelme.perez@gmail.com
* Escuela de Medicina, Pontificia Universidad Católica de Chile, Santiago de Chile, Chile.
** Departamento de Salud Pública, Pontificia Universidad Católica de Chile, Santiago de Chile, Chile.
*** Departamento de Gastroenterología, Pontificia Universidad Católica de Chile, Santiago de Chile, Chile.
**** Centro de Educación Médica, Pontificia Universidad Católica de Chile. Santiago de Chile, Chile.
a. Médico.
b. Estadístico.
c. Bioquímico.
d. Médico, Magíster en Educación Médica.