Publicado en abril de 2023

Entre 2020 y 2021, CIPPEC realizó evaluaciones ex post de cuatro programas financiados por CAF (Banco de Desarrollo de América Latina): “Programa de obras múltiples en municipios del Norte Grande” (Argentina), “Programa de desarrollo turístico PRODETUR en Fortaleza” (Brasil), “Programa de desarrollo de recursos físicos educativos” (Argentina) y “Programa de fortalecimiento del sector eléctrico” (Uruguay). Las evaluaciones ex post adoptaron como criterios de análisis un enfoque basado en la calidad de los resultados a partir de la aplicación de los criterios de pertinencia, eficacia, eficiencia, impacto y sustentabilidad (OCDE, 2018) y la calidad de los procesos de implementación a través del análisis de actores, contexto y proyecto (GDI, 2019) y el enfoque de evaluabilidad (Laffaire, Bonelli, Scolari, Aquilino & Arena, 2020). 

Así, la evaluación ex post es una oportunidad para generar un espacio de síntesis y elaborar críticamente recomendaciones de mejora, tanto a nivel del diseño como de la implementación y evaluación de las intervenciones lideradas por CAF, con las limitaciones propias de contar con un universo pequeño de casos analizados. 

La construcción de un marco metodológico específico para el desarrollo de las evaluaciones que combinó distintas fuentes y visiones (criterios OCDE, desafíos de implementación GDI y evaluabilidad CIPPEC) presentó algunas ventajas y otros desafíos para el equipo, que se reseñan en este documento. Entre éstas se destacan 

• Distinguir claramente aquellos aspectos que hacen a la sustancia de las intervenciones, de aspectos que facilitan la operación como el contexto y la gestión de las operaciones.  

• Puso de manifiesto cuál es la capacidad de los programas para ofrecer información clave que permita evaluar su desempeño y comunicar sus logros interna y externamente. 
• Mostró las áreas de vacancia de datos que ofrece una clara oportunidad para fortalecer los programas. 

Entre los desafíos el más importante estuvo vinculado con la superposición o solapamiento entre algunos elementos inherentes a en cada uno de los marcos de evaluación. Adicionalmente, la falta de datos, acceso a información y a los actores vinculados con los proyectos generó dificultades para la implementación de los ejercicios de evaluación. 

A su vez, permitió identificar algunas recomendaciones orientadas a fortalecer las capacidades de evaluación retrospectivas de los programas e instrumentos financieros de CAF: 

• Construir y sistematizar una política de evaluación acorde con las particularidades del ciclo de crédito de las operaciones CAF. 

• Diseñar un marco conceptual estratégico propio para la realización de evaluaciones ex post de CAF.  
• Distinguir el uso de los criterios OCDE de los elementos GDI.   
• Definir criterios, estándares e indicadores para ese marco de evaluación.  
• Diseñar, planificar y conceptualizar las evaluaciones desde el diseño de las operaciones de crédito, lo cual debería incrementar su grado de evaluabilidad o la factibilidad técnica para impulsar ejercicios de evaluación.  
• Acompañar a los programas en sus definiciones de monitoreo y evaluación.  

• Proveer mecanismos internos de gestión documental para los programas.  
• Contar con un sistema de gestión de contactos de proyectos.  

Estas evaluaciones también presentan una oportunidad enorme para el diálogo interno en CAF a fin de mejorar los marcos estratégicos de planificación, gestión, monitoreo y evaluación de los programas, lo que seguramente redundará en una mejor capacidad de acompañar procesos de desarrollo con alto impacto en la vida de las personas. La Dirección de Aportes al Desarrollo y Medición de Impacto (DADMI) está en una posición inmejorable para liderar esta conversación con evidencia concreta sobre las intervenciones y sugerencias de mejora que pueden nutrir el debate institucional. 

Adicionalmente, una continuidad de la realización sistemática de evaluaciones ex post –con un marco estratégico propio– permitiría fortalecer, en el mediano plazo, la capacidad de CAF para rendir cuentas y mostrar resultados concretos sobre la base de la evidencia a la comunidad regional de desarrollo. En paralelo, fortalecer la gestión del conocimiento en los sistemas de información internos. 

Finalmente, las lecciones vertidas en el presente documento pueden servir de insumo para entablar una conversación respecto de la posición estratégica en la que se encuentra CAF para apoyar a los países en el fortalecimiento de sus sistemas nacionales de planificación y evaluación y para la cuantificación del impacto de las políticas públicas en la región sobre sus beneficiarios.