El presente informe tiene como objetivo presentar la evaluación ex post del Programa de Desarrollo de Obras múltiples en Municipios (CFA7102), ejecutado en Argentina en el período 2010-2015. El programa tuvo como objetivo mejorar la calidad de vida y el bienestar de los y las habitantes de los municipios del país, a partir de la ejecución de obras de infraestructura menores con fuerte impacto social, que generasen equidad y desarrollo regional. Conforme a los indicadores de pobreza, indigencia y carencia de servicios de infraestructura, la ejecución del Programa se focalizó en la región del Norte Grande (compuesta por el NOA y el NEA, que comprenden las provincias de Catamarca, Chaco, Corrientes, Formosa, Jujuy, Misiones, Salta, Santiago del Estero y Tucumán). Los objetivos específicos fueron: i) promover inversiones en los sectores de mayor déficit cuantitativo y cualitativo de los municipios; y ii) articular y complementar las políticas y planes de infraestructura diseñados y ejecutados por el Estado nacional, las provincias y los municipios, a fin de maximizar sus resultados, haciendo más eficiente la asignación de recursos en el marco de la planificación estratégica de las ciudades. 

La evaluación persiguió tres objetivos específicos: i) sistematizar las experiencias derivadas de la ejecución del programa, ii) analizar sus resultados y sus potenciales impactos sobre el desarrollo en las provincias beneficiarias y iii) brindar recomendaciones para mejorar la implementación de futuras operaciones de crédito. 

Para realizar las evaluaciones ex post se utiliza un marco metodológico con dos dimensiones de análisis: la calidad de las intervenciones y los factores que influyen sobre la calidad. Se busca entonces: 

• Determinar la calidad de las intervenciones por medio de la valoración de los resultados de desarrollo conseguidos, en función de los criterios establecidos por CAD-OCDE: i) pertinencia, ii) eficiencia, iii) efectividad, iv) impacto, y v) sostenibilidad. 
• Identificar los factores que influyen en la calidad, identificando desafíos de implementación, utilizando el enfoque propuesto por Global Delivery Initiative (GDI): i) actores, ii) contexto, iii) características del proyecto. 
• Analizar la contribución de CAF al logro de los resultados de desarrollo. 

La evaluación permite calificar a la intervención de pertinente en términos generales, toda vez que se adecuó a las prioridades y políticas del sector en el país y contó con consistencia interna y externa. Solo un proyecto se apartó de los objetivos establecidos en el Contrato de Préstamo, pero esto se sostuvo mediante una autorización explícita previa a la firma del contrato de préstamo para la realización de esta obra en Santiago del Estero.   

Considerando los Objetivos de Desarrollo Sostenible (ODS) formulados con posterioridad a la etapa de formulación del Programa, la evaluación muestra que, mediante proyectos de dotación de agua potable en las provincias de Tucumán y Formosa, se contribuyó al ODS 6: “Garantizar la disponibilidad de agua y su gestión sostenible y el saneamiento para todos”. 

En cuanto a la eficacia del programa, su estimación resulta compleja debido a que  sufrió cuatro modificaciones significativas desde su aprobación y hasta casi su culminación. No obstante, se puede afirmar que logró satisfacer este criterio con la salvedad de la obra de modernización de la estructura de apoyo para los servicios educativos y económicos de realizada en Santiago del Estero, la cual no se enmarcó en los objetivos del programa.  

Respecto de la eficiencia, el programa sufrió al menos cuatro modificaciones sustanciales en la distribución de los recursos del programa asignados a los distintos componentes, lo cual dificulta que se tenga certeza respecto del alcance de los componentes. Asimismo, no se contó con la Ficha de Cierre de Desembolsos de Operaciones Soberanas, que debía detallar sucintamente la historia de la operación de préstamo.  Finalmente, la Evaluación de Cierre del Programa, realizada en 2014 antes de su efectivo cierre, no aporta información relevante. Estos tres factores, junto con aseveraciones no confirmadas en diversos documentos internos, no permiten evaluar la eficiencia de manera cabal. 

Es importante enfatizar que las modificaciones fueron acordadas entre CAF y el Gobierno Nacional y la ejecución financiera fue considerada satisfactoria por la auditoría externa realizada. En cuanto a impacto y sustentabilidad, aunque no se cuenta con información para valorar estos criterios, se definieron algunos indicadores de impacto para las obras de pavimentación y se trató de estimar la cantidad de personas beneficiadas con estas intervenciones.  

Por otro lado, una evaluación basada exclusivamente en el análisis de los criterios de calidad no permite entender los procesos que hicieron posible o no alcanzar una intervención con esas características. Por esta razón, resulta fundamental analizar el proceso de implementación de la intervención. GDI (Global Delivery Initiative) propone una matriz de análisis de los desafíos para el cumplimiento y logro de los objetivos de política, estructurada en tres dimensiones: i) actores, ii) contexto y iii) características del proyecto. 

En cuanto a la primera dimensión, correspondiente a los actores que participaron del programa, y, en particular, para la subdimensión de capacidad organizacional, se puede concluir que quienes ocupaban posiciones clave tanto en la Unidad Ejecutora Central de Programas Federales con Organismos Financieros Internacionales (UCPyPFE) del Ministerio de Planificación (MINPLAN), así como en las unidades de contraparte provincial, contaban con las competencias necesarias para implementar los distintos proyectos financiados con los recursos del programa.  

En cuanto al contexto, la intervención no se vio afectada por conflictos e inestabilidad social. Esta dimensión también considera al contexto económico, el cual mostró un deterioro de las condiciones macroeconómicas durante el período de implementación del programa, pero aparentemente no afectó su proceso de implementación. En cuanto a la subdimensión de contexto político, se destaca la concentración de recursos que obtuvo un solo proyecto en Santiago del Estero, cuya competencia era provincial y no municipal como establecía el objeto del programa. En cuanto a la situación ambiental, esta fue altamente considerada y atendida por el programa. 

En cuanto a las características de diseño y planificación del programa, se observa que no se identificaron claramente las causas y, si bien se justificaron las intervenciones a partir de las necesidades de infraestructura y déficits de servicios de la región del Norte Grande, tampoco se identificaron las necesidades específicas que condujeron a las intervenciones en cada localidad o municipio. Los documentos de respaldo de la operación hacen mención a programas previos financiados por el Banco Interamericano de Desarrollo (BID) que dejaron una demanda insatisfecha por parte de las provincias de la Región Norte Grande.  

Respecto de la ejecución del financiamiento, la UCPyPFE disponía de procedimientos claramente definidos y establecidos, los cuales fueron utilizados para todos los programas y proyectos de desarrollo municipal, independientemente del banco financiador. En cuanto a los datos, el programa no contó con una línea de base y no se especificaron variables para medir el impacto del programa –o de cada uno de los proyectos de manera independiente– sobre las personas beneficiarias de los distintos municipios. 

En referencia a los hallazgos, se puede observar que la UCPyPFE se constituyó a lo largo de 12 años de funcionamiento como una unidad altamente competente y técnicamente cohesionada. Se podría interpretar que esta fortaleza se debió a que sus integrantes compartían objetivos y valores comunes que afianzaban esta comunidad de intereses.  

Las recomendaciones que arroja esta evaluación están asociadas con tres dimensiones de orden procesal y hacen a: i) la cultura organizacional; ii) el diseño del proyecto; y, iii) la integración del monitoreo y la evaluación con los registros del programa.  

La primera refiere a la necesidad de analizar con mayor profundidad con el prestatario los requerimientos de recursos, previo a establecer la matriz de financiamiento, como así también establecer los criterios de elegibilidad de los proyectos a ser financiados con recursos del programa. 

En segundo lugar, sería conveniente mantener a resguardo en un archivo estandarizado los documentos relevantes: la documentación de respaldo de las operaciones a los fines de eventuales evaluaciones ex post. Entre los documentos relevantes para este tipo de tareas se puede mencionar: Contrato de Préstamo, Documento de Evaluación de Crédito, Evaluaciones ex ante, Evaluación económica, Informes de Visitas de Seguimiento, la Ficha de Finalización de Operaciones Soberanas, Informes Semestrales, Informe de Cierre del prestatario y el Informe de Implementación, Cierre y Resultados de CAF. 

La tercera recomendación sugiere la posibilidad de establecer procedimientos y guías para realizar el seguimiento y la evaluación de las operaciones activas de CAF. De igual forma, se recomienda establecer desde el inicio la conveniencia del tipo de evaluación a realizar. Es decir, establecer si es más conveniente que el programa sea evaluado retrospectivamente o si resulta más conveniente contemplar la realización de evaluaciones prospectivas. Para ello, hay que tomar en consideración las características particulares de los distintos programas, la información disponible, su factibilidad técnica y el potencial interés, tanto de las áreas de negocios de CAF como de las contrapartes, de embarcarse en un ejercicio riguroso de evaluación