La prueba PISA de la OECD mide competencias en lectura, matemática y ciencias de los alumnos de 15 años. En la última edición de 2015 hubo cambios en la metodología que afectaron de manera pronunciada a los países de América Latina. Esto no fue suficientemente desarrollado por los informes oficiales de la OECD. Este estudio de CIPPEC demuestra que la comparabilidad de los resultados en el tiempo ha quedado afectada y ya no es posible reconstruir la serie histórica desde el año 2000, cuando comenzó PISA.

No sabemos ahora con claridad qué países mejoraron en PISA. ¿Cuál fue el cambio metodológico principal? Hasta 2012 las preguntas no contestadas implicaban nota baja, desde 2015 no son válidas. Sólo en los países de América Latina este cambio afectó la comparabilidad de los resultados. Por ejemplo: Uruguay y Colombia tuvieron mejoras notables entre 2012 y 2015 pero sólo se explican por el cambio de metodología. Al recalibrar la medición de manera estrictamente comparable sus resultados no mejoraron.

En otros países esta variación también fue importante: Argentina, Chile, Perú. En realidad lo que sabemos ahora es que los resultados de ediciones pasadas no eran tan bajos si se considera la metodología actual. Se podría decir que entre 2006 y 2015 los países de América latina “no mejoraron” (salvo alguna excepción) pero también que “estaban mejor antes” (y sólo ahora, con el cambio metodológico, podemos constatarlo).

Lamentablemente PISA no publica la comparación correcta en sus informes centrales sino que la relega a un anexo, confundiendo a las audiencias de lectores más apresurados. En Colombia se festejó una mejora de la calidad educativa que no existió. Las recalibraciones metodológicas tampoco van más allá del año 2006 y nos dejan la serie histórica de PISA incomparable para América Latina.

¿Esto quiere decir que hay que dejar de mirar los resultados de las pruebas PISA? No. Quiere decir que hay que leerlos con muchos cuidados para saber qué es comparable y qué no. El estudio de CIPPEC es una clara guía para comprender qué países mejoraron su calidad educativa en América Latina, tomando en cuenta todos los recaudos metodológicos.

Puntaje promedio en PISA, por área. Resultados originales y reescalados (*). Promedio de 7 países seleccionados de América Latina. 2000-2015

(*) Nota: Debido a los cambios metodológicos implementados en la edición 2015 de la prueba PISA, y analizados en el capítulo 2 de este documento, no es posible comparar directamente los resultados de 2015 con los de años anteriores. Para ello, deben utilizarse los desempeños de años anteriores reescalados por PISA con la nueva metodología, cuyos resultados solo fueron publicados hasta el año 2006. Por esta razón, se presentan dos series: la graficada en color naranja representa los resultados con la metodología de PISA 2015 (disponible hasta 2006), y la azul que incluye los resultados previos al cambio metodológico. Fuente: CIPPEC, sobre la base de OCDE – PISA 2000 – 2015

Para escapar a las limitaciones y confusiones de PISA son necesarias más y mejores evaluaciones educativas, no una vuelta al oscurantismo donde no se sabe qué derechos de aprendizaje garantizan los países. El estudio de CIPPEC analizó todas las evaluaciones de la calidad de los 7 países que participan regularmente en PISA: Argentina, Brasil, Chile, Colombia, México, Perú y Uruguay. También analizó otras pruebas internacionales y diversos indicadores educativos que amplían y contextualizan la mirada de los sistemas educativos.

El estudio se centró en la pregunta sobre la evolución de los resultados educativos medidos por las evaluaciones estandarizadas en América Latina durante las últimas dos décadas. Esto no implica asumir que la calidad educativa es igual a lo que se mide en las pruebas estandarizadas, que constituyen un recorte limitado. Estas pruebas permiten dar cuenta parcial del cumplimiento del derecho a la educación en términos de los aprendizajes que logran demostrar los alumnos en determinadas edades. Conocer la evolución de cada país permite comprender mejor la situación del derecho a la educación en América Latina.

Algunos países parecen haber logrado una franca mejoría en todas las evaluaciones nacionales e internacionales. Perú es un claro ejemplo de mejora desde un punto de partida muy bajo. Chile parece haber mejorado durante los años 2000 pero su ciclo está estancado en las pruebas de los años recientes. Brasil, México y Argentina mejoraron levemente en la primaria pero no en la secundaria. Colombia y Uruguay están estables desde que aparecieron las mediciones.

La publicación de los resultados de PISA 2015 de la OCDE en el mes de diciembre de 2016 constituye una nueva oportunidad para acceder a un caudal diverso y prolífero de información que permite evaluar los avances de América Latina en materia de calidad y equidad de los aprendizajes.