El presente informe tiene como objetivo presentar la evaluación ex post del Programa de Desarrollo de Recursos Físicos Educativos (CFA7908), ejecutado en Argentina durante el período comprendido entre 2012 y 2018. El programa tuvo por objetivo apoyar al gobierno de la República Argentina en el financiamiento de obras de infraestructura, equipamiento y mobiliario en instituciones educativas de gestión pública en provincias ubicadas en las regiones Noroeste Argentino (NOA), Noreste Argentino (NEA) y Centro con el fin último de asegurar que la demanda existente de servicios educativos sea atendida, y así mejorar la cobertura y calidad del sistema. El propósito de la operación se alinea con el Objetivo de Desarrollo Sostenible (ODS) 4: Garantizar una educación inclusiva, equitativa y de calidad y promover oportunidades de aprendizaje durante toda la vida para todos. 

La evaluación persigue tres objetivos específicos: i) sistematizar las experiencias derivadas de la ejecución del programa, ii) analizar sus resultados y sus potenciales impactos sobre el desarrollo en los países beneficiarios y iii) brindar recomendaciones de mejora para la implementación de futuras operaciones de crédito. 

Para realizar las evaluaciones ex post se utilizó un marco metodológico con dos dimensiones de análisis: la calidad de las intervenciones y los factores que influyen sobre la calidad. Se buscó entonces: 

• Determinar la calidad de las intervenciones por medio de la valoración de los resultados de desarrollo conseguidos, en función de los criterios establecidos por el Comité de Ayuda al Desarrollo de la Organización para la Cooperación y el Desarrollo Económicos (CAD-OCDE): i) pertinencia, ii) eficacia, iii) eficiencia, iv) impacto y v) sustentabilidad. 
• Identificar los factores que influyen en la calidad, partiendo de las categorías de desafíos de implementación propuestas por la Global Delivery Initiative (GDI): i) actores, ii) contexto y iii) características del proyecto. Además, se consideró un elemento adicional denominado evaluabilidad (CIPPEC). 
• Analizar la contribución de CAF al logro de los resultados de desarrollo. 

La evaluación revela que la intervención fue pertinente y sensible a las necesidades y prioridades establecidas por el Ministerio de Planificación Federal, Inversión Pública y Servicios (MINPLAN) y los ODS adoptados por Argentina. Respecto al criterio de eficacia, el Programa cumplió con casi el total de las metas propuestas en el diseño: se construyeron 128 escuelas (88% de lo previsto: 140 escuelas) y se intervinieron seis escuelas emblemáticas, a partir de lo cual la iniciativa alcanzó a una población beneficiaria de 32.470 alumnos/as (99% de la meta).  

En términos de eficiencia, desde el punto de vista de la ejecución del gasto público, el gobierno argentino desaprovechó el período de gracia del préstamo de tres años debido a que se demoró en la firma del contrato de préstamo, entrando la operación en vigor 402 días luego de la aprobación (25/07/2011). Además, se renunció a US$6.929.980 millones, lo que significó aproximadamente 11% del total del préstamo (US$65.000 millones), por lo que se considera que no fue una operación del todo eficiente desde el punto de vista del gasto.  

En referencia al criterio de impacto, no se realizó una línea de base y si bien se diseñaron un conjunto de indicadores pertinentes para evaluar el desempeño del programa, no fue posible acceder a los reportes de los mismos, lo que impidió tener una idea sobre el potencial impacto del programa sobre la población escolar beneficiaria.  

Finalmente, en cuanto al criterio de sustentabilidad, cabe destacar que el mantenimiento de las obras correspondía a cada jurisdicción provincial. De acuerdo con los sondeos realizados en el marco de esta evaluación a distintos interlocutores provinciales, la situación es bastante despareja: algunas provincias realizan un mantenimiento adecuado e inclusive han incorporado mejoras, mientras que otras presentan un grado de abandono considerable.  

Sin embargo, una evaluación basada exclusivamente en el análisis de los criterios de calidad no permite entender los procesos que hicieron posible o no implementar exitosamente un proyecto de desarrollo. Entonces, resulta fundamental analizar los factores de éxito o fracaso inherentes a la implementación del programa. La GDI (2018), propone una matriz de análisis de los desafíos para el cumplimiento y logro de los objetivos de política, estructurada en tres dimensiones: i) actores, ii) contexto y iii) características del proyecto.  

En cuanto a la dimensión que refiere a la capacidad organizacional de los actores involucrados, en la formulación del programa se definió que la ejecución se realizaría en forma descentralizada. La vinculación entre las provincias, la Ciudad Autónoma de Buenos Aires (CABA) y el Gobierno Nacional se instrumentó mediante un Convenio de Adhesión y se estableció un “Instructivo para la Contratación de Obras de Infraestructura”. Esto llevó a que las capacidades institucionales no siempre resultaran parejas, pues la Unidad de Coordinación de Programas y Proyectos con Financiamiento Externo (UCPyPFE) es una entidad que se mantuvo casi invariable por alrededor de 12 años, mientras que los funcionarios que intervinieron en la implementación desde las provincias han sido menos estables debido a los vaivenes de los ciclos políticos.  

En cuanto al compromiso, no se puede dudar de la idoneidad y el nivel de compromiso por parte de las personas que conformaron la UCPyPFE, y de quienes se integraron a la Unidad posteriormente a 2015 ante el cambio de gobierno. No obstante, es evidente que, ante estos cambios de personal, siempre existe un “costo de aprendizaje” o un recorrido por la curva de aprendizaje que se debe asumir y que definitivamente puede generar algunas dificultades en la implementación de este tipo de programas. 

En cuanto a la dimensión del contexto, podemos afirmar que no se encontraron inconvenientes o irregularidades significativas que pudieran entorpecer el desarrollo de los productos previstos por el programa. No obstante, cabe destacar que el contexto político y el contexto económico (devaluaciones y cambios en los precios de las obras) provocaron ciertas dificultades para los equipos de gestión y en materia presupuestaria. 

Finalmente, en cuanto a las características del proyecto, si bien se definió un conjunto de indicadores para evaluar el desempeño del programa, no se desarrolló una estrategia de evaluación y tampoco se pudo acceder a los informes finales en los cuales las jurisdicciones provinciales debían reportar los indicadores acordados.  

En cuanto al financiamiento, no se presentaron problemas en los procesos de adquisiciones y contrataciones del programa. Sin embargo, los problemas macroeconómicos y las medidas relacionadas con la contención del déficit del sector público impactaron de manera negativa sobre la ejecución financiera de la operación. Los desembolsos no ocurrieron del modo en que estaban previstos inicialmente y se debió desistir de una fracción del financiamiento.  

En cuanto a los datos, la complejidad radicó en la inaccesibilidad respecto a la información tanto de los informes de seguimiento como de los indicadores acordados. Tampoco se desarrolló una línea de base previa a la iniciación de las obras que pudo haber sido útil para contemplar la realización de una evaluación de impacto orientada a cuantificar relaciones de causalidad entre el programa y sus resultados esperados. No obstante, se debe destacar la identificación de indicadores pertinentes, metas medibles, así como el seguimiento de las metas físicas y financieras, a las cuales se accedió parcialmente.  

Las recomendaciones que arroja esta evaluación están comprendidas en tres dimensiones de orden procesal: i) el diseño del proyecto; ii) la cultura organizacional; y iii) la integración del monitoreo con la evaluación. La primera refiere a la necesidad de que las operaciones de crédito se formulen teniendo en cuenta objetivos y metas concretas de desarrollo e impacto en las poblaciones beneficiarias que faciliten una valoración cabal en términos de su impacto. La segunda refiere a que sería conveniente mantener a resguardo en un archivo estandarizado los documentos relevantes para el respaldo de las operaciones. Finalmente, la tercera recomendación hace foco en la necesidad de incorporar, desde el diseño, una mirada que integre los procesos de monitoreo y evaluación, y que se mantenga como práctica a lo largo de la implementación del proyecto.