Publicado en abril de 2023

Entre 2020 y 2021, CIPPEC realizó evaluaciones ex post de cuatro programas financiados por CAF (Banco de Desarrollo de América Latina): “Programa de obras múltiples en municipios del Norte Grande” (Argentina), “Programa de desarrollo turístico PRODETUR en Fortaleza” (Brasil), “Programa de desarrollo de recursos físicos educativos” (Argentina) y “Programa de fortalecimiento del sector eléctrico” (Uruguay). Las evaluaciones ex post adoptaron como criterios de análisis un enfoque basado en la calidad de los resultados a partir de la aplicación de los criterios de pertinencia, eficacia, eficiencia, impacto y sustentabilidad (OCDE, 2018) y la calidad de los procesos de implementación a través del análisis de actores, contexto y proyecto (GDI, 2019) y el enfoque de evaluabilidad (Laffaire, Bonelli, Scolari, Aquilino & Arena, 2020). 

Así, la evaluación ex post es una oportunidad para generar un espacio de síntesis y elaborar críticamente recomendaciones de mejora, tanto a nivel del diseño como de la implementación y evaluación de las intervenciones lideradas por CAF, con las limitaciones propias de contar con un universo pequeño de casos analizados. 

La construcción de un marco metodológico específico para el desarrollo de las evaluaciones que combinó distintas fuentes y visiones (criterios OCDE, desafíos de implementación GDI y evaluabilidad CIPPEC) presentó algunas ventajas y otros desafíos para el equipo, que se reseñan en este documento. Entre éstas se destacan 

• Distinguir claramente aquellos aspectos que hacen a la sustancia de las intervenciones, de aspectos que facilitan la operación como el contexto y la gestión de las operaciones.  

• Puso de manifiesto cuál es la capacidad de los programas para ofrecer información clave que permita evaluar su desempeño y comunicar sus logros interna y externamente. 
• Mostró las áreas de vacancia de datos que ofrece una clara oportunidad para fortalecer los programas. 

Entre los desafíos el más importante estuvo vinculado con la superposición o solapamiento entre algunos elementos inherentes a en cada uno de los marcos de evaluación. Adicionalmente, la falta de datos, acceso a información y a los actores vinculados con los proyectos generó dificultades para la implementación de los ejercicios de evaluación. 

A su vez, permitió identificar algunas recomendaciones orientadas a fortalecer las capacidades de evaluación retrospectivas de los programas e instrumentos financieros de CAF: 

• Construir y sistematizar una política de evaluación acorde con las particularidades del ciclo de crédito de las operaciones CAF. 

• Diseñar un marco conceptual estratégico propio para la realización de evaluaciones ex post de CAF.  
• Distinguir el uso de los criterios OCDE de los elementos GDI.   
• Definir criterios, estándares e indicadores para ese marco de evaluación.  
• Diseñar, planificar y conceptualizar las evaluaciones desde el diseño de las operaciones de crédito, lo cual debería incrementar su grado de evaluabilidad o la factibilidad técnica para impulsar ejercicios de evaluación.  
• Acompañar a los programas en sus definiciones de monitoreo y evaluación.  

• Proveer mecanismos internos de gestión documental para los programas.  
• Contar con un sistema de gestión de contactos de proyectos.  

Estas evaluaciones también presentan una oportunidad enorme para el diálogo interno en CAF a fin de mejorar los marcos estratégicos de planificación, gestión, monitoreo y evaluación de los programas, lo que seguramente redundará en una mejor capacidad de acompañar procesos de desarrollo con alto impacto en la vida de las personas. La Dirección de Aportes al Desarrollo y Medición de Impacto (DADMI) está en una posición inmejorable para liderar esta conversación con evidencia concreta sobre las intervenciones y sugerencias de mejora que pueden nutrir el debate institucional. 

Adicionalmente, una continuidad de la realización sistemática de evaluaciones ex post –con un marco estratégico propio– permitiría fortalecer, en el mediano plazo, la capacidad de CAF para rendir cuentas y mostrar resultados concretos sobre la base de la evidencia a la comunidad regional de desarrollo. En paralelo, fortalecer la gestión del conocimiento en los sistemas de información internos. 

Finalmente, las lecciones vertidas en el presente documento pueden servir de insumo para entablar una conversación respecto de la posición estratégica en la que se encuentra CAF para apoyar a los países en el fortalecimiento de sus sistemas nacionales de planificación y evaluación y para la cuantificación del impacto de las políticas públicas en la región sobre sus beneficiarios.    

Publicada en marzo de 2023

En 2009 el Congreso argentino sancionó el régimen de primarias abiertas, simultáneas y obligatorias (PASO) que buscaba principalmente democratizar la selección de candidaturas hacia el interior de los partidos, al mismo tiempo que contribuir a ordenar la oferta electoral a partir de una reducción de la fragmentación partidaria. Han transcurrido más de diez años y seis procesos electorales desde que las PASO fueron implementadas por primera vez en las elecciones de 2011. Desde entonces, las primarias han estado sometidas al constante escrutinio público de analistas y al debate de la política. 

Este documento argumenta que la discusión acerca de las PASO debe superar el debate dicotómico que se plantea entre defensores y detractores para orientarse a pensar qué elementos del régimen vigente conviene mantener y cuáles podrían ser modificados con el fin de conservar los avances alcanzados y reducir los déficits evidenciados.  

La evidencia señala que las PASO generaron dos avances sustantivos de diferente orden en el sistema político argentino. Por un lado, incorporaron un mecanismo que ofrece a actores partidarios la posibilidad de competir por las candidaturas en condiciones equitativas. Por el otro, contribuyeron a reducir la fragmentación electoral y, en alguna medida, a estructurar la competencia electoral en torno a dos grandes coaliciones. No obstante, el análisis realizado también marca algunos aspectos que permiten cuestionar la eficacia y la eficiencia de las PASO. En particular, el uso limitado que las agrupaciones políticas han hecho de este espacio para dirimir candidaturas. A partir de ello, consideramos pertinente formular las siguientes preguntas: ¿Es posible conservar los aspectos positivos de las PASO reduciendo los negativos? ¿Es posible lograr los mismos fines en forma más eficiente?  

A partir de la evidencia y aportes realizados por diferentes especialistas en el tema, planteamos la necesidad de dar un debate sobre el tema alrededor de dos conjuntos de alternativas que podrían significar un avance respecto a la situación actual. En primer lugar, reformas sobre el régimen que apuntan a eliminar efectos laterales no deseados de las PASO: entre ellas, la posibilidad de completar la fórmula presidencial luego de las PASO, reducir el tiempo que transcurre entre las elecciones primarias y las generales, y promover un esquema de oficialización de listas internas con participación de la Justicia Electoral. Estas reformas, que parecen contar con consenso entre actores relevantes del sistema político, mejorarían su eficacia. 

El segundo conjunto de propuestas apunta a un esquema de primarias que le permita continuar cumpliendo el doble rol que se propuso, como mecanismo de selección de candidaturas y como barrera de entrada, al tiempo que mejore la eficiencia y razonabilidad entre medios y fines propuestos. A partir de este objetivo se desprenden dos escenarios posibles. Una opción apunta a mantener la obligatoriedad de las primarias para las agrupaciones, haciéndolas optativas para la ciudadanía. De este modo, se mantiene un instrumento que permite a los actores internos competir por las candidaturas en una elección abierta y con administración de la autoridad estatal, y que a la vez puede seguir actuando como dique contra la fragmentación. Por otra parte, la alternativa a este esquema es separar las instituciones que cumplen la función de barrera de acceso a la competencia y contención de la fragmentación partidaria de las que cumplen con la función de seleccionar candidaturas. Esta alternativa implicaría abordar reformas a la legislación de partidos para establecer condiciones más exigentes de reconocimiento y un régimen de primarias optativas pero administradas por la autoridad estatal que ofrezca garantías para una competencia abierta, libre y limpia allí donde esta posibilidad surja al interior de las fuerzas políticas.  

Las alternativas de reforma planteadas se presentan de manera extensa en el cuerpo del documento, señalando para cada caso sus potenciales efectos a partir del análisis de su factibilidad técnica y política.  

Publicado en marzo de 2023

El mercado de trabajo argentino enfrenta desafíos estructurales de larga data, tales como la alta incidencia de la informalidad y las brechas de género, desigualdades que se vieron profundizadas con el impacto de la pandemia. Frente a este escenario, durante el 2021, el Gobierno de la Ciudad de Buenos Aires (GCBA), en articulación con CIPPEC, desarrolló una serie de cursos de capacitación con el objetivo de potenciar el empleo de emprendedores y emprendedoras en su territorio, haciendo foco en el empleo femenino. A través de seis clases, el programa ofreció capacitación virtual a emprendedores y emprendedoras sobre herramientas digitales, financieras y administrativas.

Desde CIPPEC se llevó adelante una evaluación de impacto de las capacitaciones sobre el desarrollo de los emprendimientos y el posible  empoderamiento de mujeres en el ámbito económico y social.

Los cursos de capacitación se brindaron en dos cohortes en marzo y agosto de 2021 y tuvieron una enorme demanda. Fueron recibidas 2.469 solicitudes de inscripción, 73% de mujeres, que fueron debidamente analizadas y clasificadas en función del nivel de desarrollo del emprendimiento de las  personas. Debido a la limitante de cupos, se asignaron aleatoriamente 1.400 cupos distribuidos en tres cursos de creciente nivel de complejidad: un curso de ideación emprendedora, uno de desarrollo emprendedor y un tercero de fortalecimiento emprendedor.

Una vez finalizados los cursos, se realizó una evaluación de abordaje mixto, utilizando métodos cualitativos y cuantitativos. Por un lado, se realizaron entrevistas con actores clave dentro del Gobierno de la Ciudad y las capacitadoras a cargo del dictado de las clases, con el objetivo de analizar los  aspectos ligados al desarrollo de las capacitaciones y su evaluación. Por el otro, se llevó a cabo una evaluación de impacto en base a encuestas realizadas tanto a quienes hicieron los cursos como a quienes no se les asignó el cupo. Las encuestas se realizaron al inicio del curso y otra cuatro meses después de finalizados.

Los principales hallazgos del impacto de los cursos se categorizaron en cuestiones de supervivencia, formalidad, productividad e inclusión. En términos de supervivencia de los emprendimientos, no se ve un impacto general significativo, pero en el ámbito de la formalidad los resultados se muestran muy positivos: esto se ve reflejado en un aumento del 21% en el número de emprendimientos registrados y de un 13% en los que declaran pagar impuestos. Al mirar las variables que reflejan la productividad, hay un 15% de aumento en el uso de presupuestos escritos y un 14% en el uso de estrategias de publicidad. A su vez, entre las participantes, el número de mujeres que solicitó un préstamo o crédito para el emprendimiento aumentó un 14%.

Finalmente, sorprende ver que las mujeres que participaron hayan asumido más tareas en el hogar respecto del momento en que iniciaron el curso y no presenten un mayor uso de dinero propio, decisión sobre gastos o involucramiento económico en el hogar y la comunidad: un 11% de las mujeres que realizaron el curso declaran encargarse más de las tareas domésticas. En suma, el hecho de que los cursos muestren impacto sobre formalidad y productividad y no sobre aspectos ligados al empoderamiento de género refleja que los cursos cumplieron exitosamente su función primaria (apuntalar emprendimientos), pero su influencia no logró impactar en el corto plazo en cuestiones indirectas, como la inclusión de género.

Para ver el Resumen Ejecutivo de esta publicación que sintetiza los emergentes de esta investigación, ingresá acá

El presente informe tiene como objetivo presentar la evaluación ex post del Programa de Desarrollo de Recursos Físicos Educativos (CFA7908), ejecutado en Argentina durante el período comprendido entre 2012 y 2018. El programa tuvo por objetivo apoyar al gobierno de la República Argentina en el financiamiento de obras de infraestructura, equipamiento y mobiliario en instituciones educativas de gestión pública en provincias ubicadas en las regiones Noroeste Argentino (NOA), Noreste Argentino (NEA) y Centro con el fin último de asegurar que la demanda existente de servicios educativos sea atendida, y así mejorar la cobertura y calidad del sistema. El propósito de la operación se alinea con el Objetivo de Desarrollo Sostenible (ODS) 4: Garantizar una educación inclusiva, equitativa y de calidad y promover oportunidades de aprendizaje durante toda la vida para todos. 

La evaluación persigue tres objetivos específicos: i) sistematizar las experiencias derivadas de la ejecución del programa, ii) analizar sus resultados y sus potenciales impactos sobre el desarrollo en los países beneficiarios y iii) brindar recomendaciones de mejora para la implementación de futuras operaciones de crédito. 

Para realizar las evaluaciones ex post se utilizó un marco metodológico con dos dimensiones de análisis: la calidad de las intervenciones y los factores que influyen sobre la calidad. Se buscó entonces: 

• Determinar la calidad de las intervenciones por medio de la valoración de los resultados de desarrollo conseguidos, en función de los criterios establecidos por el Comité de Ayuda al Desarrollo de la Organización para la Cooperación y el Desarrollo Económicos (CAD-OCDE): i) pertinencia, ii) eficacia, iii) eficiencia, iv) impacto y v) sustentabilidad. 
• Identificar los factores que influyen en la calidad, partiendo de las categorías de desafíos de implementación propuestas por la Global Delivery Initiative (GDI): i) actores, ii) contexto y iii) características del proyecto. Además, se consideró un elemento adicional denominado evaluabilidad (CIPPEC). 
• Analizar la contribución de CAF al logro de los resultados de desarrollo. 

La evaluación revela que la intervención fue pertinente y sensible a las necesidades y prioridades establecidas por el Ministerio de Planificación Federal, Inversión Pública y Servicios (MINPLAN) y los ODS adoptados por Argentina. Respecto al criterio de eficacia, el Programa cumplió con casi el total de las metas propuestas en el diseño: se construyeron 128 escuelas (88% de lo previsto: 140 escuelas) y se intervinieron seis escuelas emblemáticas, a partir de lo cual la iniciativa alcanzó a una población beneficiaria de 32.470 alumnos/as (99% de la meta).  

En términos de eficiencia, desde el punto de vista de la ejecución del gasto público, el gobierno argentino desaprovechó el período de gracia del préstamo de tres años debido a que se demoró en la firma del contrato de préstamo, entrando la operación en vigor 402 días luego de la aprobación (25/07/2011). Además, se renunció a US$6.929.980 millones, lo que significó aproximadamente 11% del total del préstamo (US$65.000 millones), por lo que se considera que no fue una operación del todo eficiente desde el punto de vista del gasto.  

En referencia al criterio de impacto, no se realizó una línea de base y si bien se diseñaron un conjunto de indicadores pertinentes para evaluar el desempeño del programa, no fue posible acceder a los reportes de los mismos, lo que impidió tener una idea sobre el potencial impacto del programa sobre la población escolar beneficiaria.  

Finalmente, en cuanto al criterio de sustentabilidad, cabe destacar que el mantenimiento de las obras correspondía a cada jurisdicción provincial. De acuerdo con los sondeos realizados en el marco de esta evaluación a distintos interlocutores provinciales, la situación es bastante despareja: algunas provincias realizan un mantenimiento adecuado e inclusive han incorporado mejoras, mientras que otras presentan un grado de abandono considerable.  

Sin embargo, una evaluación basada exclusivamente en el análisis de los criterios de calidad no permite entender los procesos que hicieron posible o no implementar exitosamente un proyecto de desarrollo. Entonces, resulta fundamental analizar los factores de éxito o fracaso inherentes a la implementación del programa. La GDI (2018), propone una matriz de análisis de los desafíos para el cumplimiento y logro de los objetivos de política, estructurada en tres dimensiones: i) actores, ii) contexto y iii) características del proyecto.  

En cuanto a la dimensión que refiere a la capacidad organizacional de los actores involucrados, en la formulación del programa se definió que la ejecución se realizaría en forma descentralizada. La vinculación entre las provincias, la Ciudad Autónoma de Buenos Aires (CABA) y el Gobierno Nacional se instrumentó mediante un Convenio de Adhesión y se estableció un “Instructivo para la Contratación de Obras de Infraestructura”. Esto llevó a que las capacidades institucionales no siempre resultaran parejas, pues la Unidad de Coordinación de Programas y Proyectos con Financiamiento Externo (UCPyPFE) es una entidad que se mantuvo casi invariable por alrededor de 12 años, mientras que los funcionarios que intervinieron en la implementación desde las provincias han sido menos estables debido a los vaivenes de los ciclos políticos.  

En cuanto al compromiso, no se puede dudar de la idoneidad y el nivel de compromiso por parte de las personas que conformaron la UCPyPFE, y de quienes se integraron a la Unidad posteriormente a 2015 ante el cambio de gobierno. No obstante, es evidente que, ante estos cambios de personal, siempre existe un “costo de aprendizaje” o un recorrido por la curva de aprendizaje que se debe asumir y que definitivamente puede generar algunas dificultades en la implementación de este tipo de programas. 

En cuanto a la dimensión del contexto, podemos afirmar que no se encontraron inconvenientes o irregularidades significativas que pudieran entorpecer el desarrollo de los productos previstos por el programa. No obstante, cabe destacar que el contexto político y el contexto económico (devaluaciones y cambios en los precios de las obras) provocaron ciertas dificultades para los equipos de gestión y en materia presupuestaria. 

Finalmente, en cuanto a las características del proyecto, si bien se definió un conjunto de indicadores para evaluar el desempeño del programa, no se desarrolló una estrategia de evaluación y tampoco se pudo acceder a los informes finales en los cuales las jurisdicciones provinciales debían reportar los indicadores acordados.  

En cuanto al financiamiento, no se presentaron problemas en los procesos de adquisiciones y contrataciones del programa. Sin embargo, los problemas macroeconómicos y las medidas relacionadas con la contención del déficit del sector público impactaron de manera negativa sobre la ejecución financiera de la operación. Los desembolsos no ocurrieron del modo en que estaban previstos inicialmente y se debió desistir de una fracción del financiamiento.  

En cuanto a los datos, la complejidad radicó en la inaccesibilidad respecto a la información tanto de los informes de seguimiento como de los indicadores acordados. Tampoco se desarrolló una línea de base previa a la iniciación de las obras que pudo haber sido útil para contemplar la realización de una evaluación de impacto orientada a cuantificar relaciones de causalidad entre el programa y sus resultados esperados. No obstante, se debe destacar la identificación de indicadores pertinentes, metas medibles, así como el seguimiento de las metas físicas y financieras, a las cuales se accedió parcialmente.  

Las recomendaciones que arroja esta evaluación están comprendidas en tres dimensiones de orden procesal: i) el diseño del proyecto; ii) la cultura organizacional; y iii) la integración del monitoreo con la evaluación. La primera refiere a la necesidad de que las operaciones de crédito se formulen teniendo en cuenta objetivos y metas concretas de desarrollo e impacto en las poblaciones beneficiarias que faciliten una valoración cabal en términos de su impacto. La segunda refiere a que sería conveniente mantener a resguardo en un archivo estandarizado los documentos relevantes para el respaldo de las operaciones. Finalmente, la tercera recomendación hace foco en la necesidad de incorporar, desde el diseño, una mirada que integre los procesos de monitoreo y evaluación, y que se mantenga como práctica a lo largo de la implementación del proyecto.