¿Cómo mejoramos el aprendizaje en primaria?
En nuestro último post argumentábamos que el punto de partida para mejorar la política pública en la promoción de habilidades ha de estar en hacer un mejor uso de la evidencia para guiar las políticas públicas, algo que desgraciadamente es poco común. En este post nos centramos en el aprendizaje en primaria, y argumentamos que, aunque la evidencia sólida es aún escasa, existen algunas áreas de actuación que son prometedoras y en las que convendría experimentar. El análisis proviene de una extensa revisión cuantitativa de la literatura que realizamos para la publicación de Aprender Mejor: Políticas Públicas para el Desarrollo de Habilidades. Información detallada de la mayor parte de estas intervenciones, incluyendo poblaciones objetivo, contexto y métodos de análisis, se puede encontrar en el Skillsbank, una página web que resume áreas de actuación para la promoción de habilidades en las distintas etapas del ciclo de vida.
Hacia medidas estándar de impacto de políticas públicas
Para calcular el impacto de diferentes intervenciones sobre el aprendizaje en primaria procedimos en varios pasos. En primer lugar, definimos el objetivo a seguir como la mejora en dos ámbitos: lecto-escritura y matemáticas. Esto no significa que pensemos que en la escuela primaria sólo se ha de hacer énfasis en estos dos ámbitos, pero es fácil coincidir en que una buena lecto-comprensión, escritura y matemáticas son indispensables, pues además de ser éstas herramientas útiles per se, van a ser los instrumentos que permitirán un mejor aprendizaje futuro. Una vez que tenemos claros los objetivos, hacemos una revisión pormenorizada de la literatura y sólo incluimos en el análisis estudios que cumplen dos requisitos: (i) los impactos están bien identificados y (ii) tengan potencial de ser escalables. Por impactos bien identificados nos referimos a evaluaciones experimentales o cuasi experimentales donde hay un grupo de control, que no recibe la intervención pero es similar a quienes la reciben y por tanto sirve como comparación, bien identificado. El segundo punto no es menos importante, porque existen muchas intervenciones que aparentemente funcionan, pero son muy difícilmente replicables fuera del contexto particular en el que fueron testadas o sería muy difícil implementarlas a gran escala.
Una vez que hemos seleccionado las intervenciones, nos enfrentamos a la difícil tarea de cómo ordenarlas. Es raro encontrar dos intervenciones idénticas que hayan sido evaluadas en diferentes contextos. Hasta ahora son fundamentalmente académicos quienes publican las evaluaciones de estas intervenciones. Y en el mundo académico se premia especialmente la innovación, así que los incentivos a replicar lo que funcionó en el país A en el país B son muy bajos, por no decir nulos. Esto no es necesariamente malo, pues así se innova con nuevas intervenciones y eventualmente aprendemos sobre cómo hacer mejor las cosas. Pero en ciencias sociales los contextos son fundamentales, por lo que lo que funciona en el país A puede no funcionar en el país B. Algún día estaremos más cerca de las ciencias de la salud, en las que los propios profesionales de implementación de políticas se encargan también de evaluarlas y publicar los resultados, contribuyendo a crear un acervo de conocimiento con las mismas intervenciones evaluadas en diferentes contextos. Desgraciadamente, aún no estamos en este punto.
Pero bueno, aunque no haya dos intervenciones iguales, existen ámbitos de intervención en los que podemos agrupar las diferentes políticas que han sido evaluadas. En el caso de primaria, identificamos 22 ámbitos de actuación que tenían como objetivo mejoras en el aprendizaje de matemáticas o lectoescritura. El abanico de intervenciones es amplio, yendo desde el uso de tutorías individualizadas, hasta dar incentivos monetarios o no monetarios a alumnos o profesores, pasando por diferentes opciones de uso de tecnología en el aula, tamaño y organización de la clase, etc. Una vez ordenadas las intervenciones, estandarizamos los impactos en aprendizaje para que sean comparables y utilizamos técnicas de meta-análisis que permiten agregar los resultados de múltiples evaluaciones y calcular un efecto promedio utilizando ponderaciones en base a la precisión estadística de cada estudio.
Una vez que tenemos claros los impactos de cada opción de política, nos queda la parte más peliaguda: calcular sus costes. Para la toma de decisiones, el coste-efectividad de cada opción de política es la variable clave. Alguna de las evaluaciones publicadas provee información de costes, pero en el mejor de los casos es incompleta. Lo que sí suele contener cada evaluación es información sobre los insumos necesarios. Con esta información y el coste de los insumos en un país tipo, podemos extrapolar los costes por estudiante. En nuestro caso calculamos los costes para Colombia en el 2015. Esto quiere decir que los costes en dólares no van a ser muy informativos para países de ingresos más altos, como por ejemplo España. Pero mientras la estructura de costes sea similar en ambos países la comparación entre el coste relativo de cada alternativa seguirá siendo válida.
Algunas intervenciones prometedoras
De todos los grupos de intervenciones estudiados, el apoyo con tutorías individualizadas a los alumnos que van rezagados es la que obtiene una mejor nota media. El impacto medio de las cuatro intervenciones estudiadas arroja una mejora de 34 puntos de aprendizaje. Para poner este número en contexto, se calcula que un estudiante promedio de tercer curso en Estados Unidos mejora en alrededor 40 puntos en un año, con lo cual, esta intervención en promedio !ha generado una mejora en los aprendizajes del 80%! Es difícil encontrar otras intervenciones tan efectivas. El problema que tienen las tutorías individualizadas es que, como cabe esperar, son muy caras. Una alternativa más costo efectiva, aunque no particularmente económica, consiste en agrupar las sesiones de apoyo en grupos pequeños. Pero como bien saben los lectores de este blog, nada es gratis. Al ser menos focalizadas las clases los impactos estimados también son más pequeños. El impacto medio de las 6 intervenciones incluidas en esta categoría es de una mejora de 9 puntos de aprendizaje.
Una opción apreciada entre economistas es la de dar mayores incentivos, tanto a alumnos como a profesores, para que hagan mejor su trabajo. Los primeros aprender y los últimos enseñar. Los incentivos monetarios tanto para alumnos como para maestros han demostrado tener un impacto positivo, aunque no elevado, con mejoras de entre 6 y 8 puntos de aprendizaje como promedio. Menos estudiados y probablemente más prometedores son los incentivos no monetarios a alumnos. Algunas de estas intervenciones consisten en hacer una pequeña presentación a los alumnos donde se les muestra que asistir a la escuela y aprender paga, dándoles información sobre los retornos a la educación o llevando a las escuelas figuras de prestigio, mentores, que motiven a los alumnos a estudiar más. Otras intervenciones dan incentivos directos al aprendizaje a través de competiciones, por ejemplo, sobre quién lee más libros en un mes. Estas intervenciones de incentivos no monetarios son más prometedoras porque son mucho menos caras, y las mejoras de aprendizaje en los pocos estudios hasta ahora evaluados muestran resultados muy similares a los incentivos monetarios.
El estudio también mostró que, al menos con la evidencia disponible, algunas de las opciones más discutidas en los medios y en diversos ámbitos de política económica no parecen ser las más costo-efectivas. Una de ellas es la reducción del tamaño de la clase. Reducir el número de alumnos en el aula de 25 a 20 estudiantes tiene un impacto medio de 6 puntos de mejora en el aprendizaje. Evidentemente, el costo de esta intervención en términos de infraestructuras y profesorado adicional necesario en cambio es muy elevado. Otras dos opciones que son más discutidas en países en vías de desarrollo pero que quizá apliquen menos a España son la extensión de la jornada escolar y exigir un mayor nivel educativo de los maestros. Las escuelas de muchos países en vías de desarrollo aún funcionan con dos turnos, mañana y tarde, con lo que las horas efectivas de enseñanza no suelen pasar de las cuatro. Extender la jornada escolar hasta las 7 horas que típicamente cursan los alumnos en los países desarrollados implicaría básicamente doblar el número de escuelas, y los resultados hasta ahora obtenidos son poco alentadores: un mero aumento de 4 puntos de aprendizaje. En muchos países en vías de desarrollo los maestros no necesitan tener un título universitario de grado superior. Basta con 2 años de educación terciaria. La evidencia disponible sugiere que exigir el grado superior, aún siendo muy costoso, no arroja efectos significativos sobre el aprendizaje.
Dejamos para el final dos áreas de actuación particularmente prometedoras. Ambas tienen que ver con distintas formas de apoyo a los maestros. Todos hemos experimentado lo que puede llegar a motivar un buen maestro, y el lastre en el aprendizaje que puede llegar a ser que te toque un maestro malo. Y cada vez tenemos más evidencia sólida de la importancia del maestro en el aprendizaje de los chicos (por ejemplo, en este trabajo para preescolares). Lo que no sabemos es cómo transformar un mal profesor en un buen profesor. Una opción prometedora es apoyar al maestro en la organización y contenido de la clase dándole detallados planes didácticos para cada día de clase y contenidos que pueden usar. Los resultados son alentadores, con mejoras medias en el aprendizaje de 9 puntos a un costo muy modesto. El otro camino prometedor consiste en apoyar las enseñanzas del maestro con clases de apoyo en laboratorios de computación un par de horas a la semana. La ventaja del aprendizaje de las matemáticas o la comprensión lectora a través del ordenador es que el software, si está bien diseñado, se adapta al nivel del alumno, asegurándose así de que nadie se quede descolgado. Por otro lado, se puede incorporar en el propio software juegos y competiciones que motiven a los alumnos a prestar atención. Los resultados de las intervenciones hasta ahora evaluadas son prometedores, con ganancias promedio en el aprendizaje de 16 puntos de aprendizaje y costos reducidos, sobre todo si las escuelas ya cuentan con un laboratorio con ordenadores.
Terminamos este post con una advertencia. Como hemos mencionado más de una vez, el contexto y la problemática local es fundamental para el diseño adecuado de las políticas públicas en áreas como el aprendizaje en primaria. Es por ello que el análisis que hemos hecho no debería ser tomado como un recetario sobre lo que hay que hacer o no hacer. Bajo nuestro punto de vista, la revisión de la evidencia internacional es un buen punto de partida para identificar áreas prometedoras de actuación, pero no puede ser sustitutivo de pilotear y evaluar a pequeña escala la intervención preferida en cada contexto antes de lanzarse a la aventura de una actuación a gran escala.