Resumen metodológico

Se desarrolló un protocolo que permite observar y medir, a través de indicadores cuantitativos y cualitativos, el grado de evaluabilidad de las políticas públicas. Dicho protocolo se desagrega en cinco dimensiones que contienen indicadores y preguntas-guía pensadas con el propósito de lograr una aproximación holística a nuestro objeto de estudio para, de esta manera, minimizar la probabilidad de omitir variables relevantes en nuestro análisis.
Con el fin de reforzar la legitimidad del instrumento, se realizaron una serie de actividades con funcionarios relacionados con los distintos planes y programas analizados para obtener sus visiones.

Principales hallazgos y recomendaciones

Hallazgos vinculados al análisis de evaluabilidad.

• El desempeño promedio de evaluabilidad de la muestra es de 36%. Es decir que del total de los aspectos considerados, en promedio solo en el 36% de los casos fue posible encontrar información que facilite la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas. El promedio de evaluabilidad de una muestra de planes nacionales analizada por CIPPEC fue de alrededor del 50%, frente al 36% de los programas aquí considerados.
• La dimensión con mejor desempeño en evaluabilidad de la muestra es la segunda: La “Calidad del sistema de información para el seguimiento”, en particular en aspectos vinculados a la definición de indicadores para la recolección de información.
• Aspectos a mejorar en cuanto a la “Calidad del sistema de información para el seguimiento” de la muestra es la definición de indicadores de resultado e impacto
• Otra dimensión con buen desempeño es “Calidad de la planificación y Diseño de la Intervención” con 59% de evaluabilidad. En este sentido, se destaca la definición de las dimensiones institucionales, temporales, sectoriales y geográficas de la intervención y el establecimiento de objetivos claros medibles y cuantificados.
• En cuanto a la “Calidad de la planificación y Diseño de la Intervención”, la mayoría de los programas no define una línea de base para la posterior medición de la evolución de la gestión.
• La dimensión 3 ” la estrategia de evaluación” muestra un 30% de evaluabilidad. En términos generales, los programas ponen de manifiesto la voluntad o el deseo de evaluar la intervención, pero no avanzan en definir un tipo de estrategia de evaluación, ni de especificar qué aspectos del programa quisieran evaluar.
• Con respecto a la “Estrategia de actores”, dimensión 4 del análisis de evaluabilidad, la muestra presenta un grado evaluabilidad del 25%. El 50% de los programas contempla que se facilitará la participación de los “actores implicados “en el desarrollo de la evaluación. Sin embargo, en ningún caso se ha realizado un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación.
• Los programas considerados no presentan información indicando que existe un presupuesto definido para evaluación.
• Del mismo modo, mayoría de la muestra carece de recursos humanos suficientes para realizar una evaluación interna.
• Incluir en el diseño del programa estrategias de monitoreo y evaluación aumenta la probabilidad de que ese programa tenga mejores niveles de evaluabilidad, este en mejores condiciones de producir una evaluación efectiva y facilite la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas.

Recomendaciones para aumentar la evaluabilidad de los programas provinciales.

• Incorporar en el diseño de los programa estrategias de monitoreo y evaluación. Esto permitirá que los programas tengan mejores niveles de evaluabilidad, estén en mejores condiciones de producir una evaluación efectiva y faciliten la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas.
• Realizar un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación,
• Especificar las preguntas a las que una evaluación de programa debería dar respuesta definiendo las dimensiones temporales, geográficas e institucionales de la intervención que serian consideradas en la evaluación,
• Contar con un presupuesto definido para evaluación,
• Destinar tiempo suficiente para realizar acciones de evaluación
• Destinar recursos humanos suficientes para realizar acciones de evaluación
• Enfocar el análisis en mayor medida hacia resultados finales al avanzar en la definición y el seguimiento de indicadores de impacto.
• Acotar las dimensiones (temporales, geográficas, institucionales, etc.) de la intervención que serían consideradas en la evaluación.