Evaluación Estratégica de Proyectos Sociales: Enfoques, Tipologías y Mejores Prácticas
La Evaluación: Concepto y Características Fundamentales
Con el fin de intentar conceptualizar la noción de evaluación, resulta necesario despejar algunos elementos que suelen confundir su significado. Esto se debe, básicamente, a la existencia de diferentes visiones o paradigmas desde los cuales se la define.
Aunque en muchos aspectos los paradigmas se superponen, en términos teóricos o prácticos, en general, es posible distinguir dos paradigmas principales:
Paradigma Racionalista: También llamado clásico o positivista, sigue las reglas de las ciencias exactas. Su método es el experimento controlado y sus variaciones (cuasi-experimento), cuyas partes pueden ser separadas para estudiarlas, el uso de muestras aleatorias, etc. Su pretensión es llegar a conclusiones generalizables.
Paradigma Naturalista: Sugiere que el comportamiento humano debe ser estudiado tal como ocurre naturalmente, en ambientes naturales y dentro de su contexto total. No pretende obtener leyes generales, sino comprender la situación específica que puede transferirse de un contexto a otro.
Independientemente de lo anterior, se debe considerar que, para entender el proceso de evaluación en el campo de las ciencias sociales, es fundamental integrar ambos enfoques. Basados en uno u otro paradigma, distintos especialistas han elaborado definiciones relevantes, de las cuales cabe mencionar las siguientes:
Cohen y Franco: Señalan que «evaluar es fijar el valor de una cosa; para hacerlo se requiere un procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrón determinado».
Briones: A su vez, señala que el término evaluación se utiliza «para referirse al acto de juzgar o apreciar la importancia de un determinado objeto, situación o proceso en relación con ciertas funciones que deberían cumplirse o con ciertos criterios o valores, explicitados o no».
H.S. Bhola: Señala que evaluación significa «asignación de valores para juzgar la cantidad, el grado, la condición, valor, calidad o efectividad de algo».
A partir de estas definiciones, es posible distinguir un elemento fundamental del proceso de evaluación, y sobre el cual existe relativo consenso: la evaluación consiste en «juzgar y asignar un valor a algo». Si bien es cierto que las definiciones mencionadas anteriormente no son completamente congruentes, sí coinciden en la importancia de la medición, comparación y calificación del objeto sometido a estudio.
Por su parte, las definiciones señaladas anteriormente interrelacionan el proceso de la evaluación, donde esta es concebida y practicada, por un lado, como medición y, por otro, como determinación de logros o resultados en comparación con objetivos propuestos en un programa o proyecto.
En este contexto, la evaluación no puede ser entendida como sinónimo de investigación ni como actividad exclusivamente intelectual. Pese a que entre ambas acciones existe una estrecha relación, se evidencia una diferencia marcada por los objetivos que persiguen: mientras la investigación tiene un fin puramente cognitivo, la evaluación, por su parte, busca además la utilización o aplicación del conocimiento obtenido. Por lo mismo, es común en ambas tareas el uso de procedimientos metodológicos rigurosos que faciliten la consecución de sus objetivos.
Desde esa perspectiva, el concepto de evaluación es una actividad científica enmarcada dentro de la denominada «investigación aplicada» y lleva implícita la idea de que permite generar información. En este sentido, la evaluación podría identificarse con un carácter instrumental ya que, como señala Briones, «la razón de ser de la evaluación es la utilización de sus hallazgos, la aplicación al programa de los resultados de la investigación evaluativa».
Por otro lado, las evaluaciones desarrollan y enfatizan la objetividad, para lo cual se debe generar o contar con información suficiente que conduzca a resultados válidos, sistemáticos y confiables.
El desarrollo posterior de la evaluación en otras disciplinas como la sociología, las ciencias de la educación, la psicología, etc., ha permitido la construcción de distintos tipos de evaluación, los cuales responden a diversos criterios definidos principalmente por el ciclo de vida de los proyectos sociales y el enfoque abordado por los especialistas. En efecto, sobre la base de algunos criterios generales se han venido desarrollando con cierta frecuencia al menos cuatro tipos de evaluación, entre los que encontramos la evaluación ex-ante, durante o intermedia (proceso), la ex-post, la interna, la mixta o la participativa.
Es posible reconocer diversos ámbitos donde la evaluación se ha constituido como una necesidad para elevar la eficiencia y eficacia de los proyectos y programas; por ejemplo, el desarrollo que ha alcanzado la evaluación en el tema medioambiental, sobre todo con las denominadas evaluaciones de impacto ambiental. Pero ha sido en el campo de las ciencias sociales donde se perciben mayores deficiencias, por su dispersión conceptual, ausencia de paradigmas teóricos y escasa experiencia práctica. No obstante, la evaluación ha tenido un fuerte impulso debido a su reciente incorporación como herramienta de retroalimentación en la planificación social. Considerando la necesidad de identificar los mejores programas o proyectos, esto es, aquellos que contribuyen en mayor grado al desarrollo o a la superación de una determinada problemática, resulta necesario preguntarse cómo medir esta contribución.
Por ello, en algunas ocasiones suele confundirse la evaluación social de proyectos con la evaluación de proyectos sociales. La diferencia entre ambas radica en que la evaluación social de proyectos utiliza un análisis económico en proyectos a desarrollarse en un contexto social, empleando básicamente el método de análisis costo-beneficio para ordenar los componentes del proyecto y proponer medidas sobre la contribución del proyecto a la sociedad.
Fundamentalmente, se trata de una evaluación ex-ante que requiere transformar los productos del proyecto (beneficios) en unidades monetarias para poder compararlos con los costos de los insumos.
Por su parte, la evaluación de proyectos sociales se centra en evaluar la eficiencia operacional de un proyecto, así como precisar los cambios experimentados por la población objetivo durante la implementación del proyecto. Dicho de otro modo, busca entregar información para aumentar la racionalidad con que se toman las decisiones y asignan los recursos, jerarquizando los proyectos, proporcionando instrumentos para escoger la mejor alternativa de ejecución y mejorando los procesos de implementación.
La evaluación de proyectos sociales utiliza la metodología de investigación social como instrumento para medir el impacto o para determinar en qué medida los programas/proyectos sociales alcanzan sus objetivos.
Cohen y Franco mencionan una definición de evaluación que señala que es aquella rama de las ciencias sociales que se ocupa del estudio de la eficiencia. Su origen y principal desarrollo estarían en el área de la economía, donde los enfoques costo-beneficio y costo-eficiencia responderían a la evaluación de proyectos económicos y sociales, respectivamente.
La Evaluación de Programas y Proyectos Sociales
Salamanca plantea que el ciclo decisional de los proyectos y programas tiene criterios formales para la asignación de los recursos hacia los sectores sociales a intervenir. Pero, además, señala Briones, los proyectos sociales han enfatizado su rol de herramienta complementaria a los programas, siendo los propósitos y niveles de cada uno distintos; por lo tanto, son distintos también los niveles y propósitos de la evaluación de estos.
La variedad de proyectos y programas sociales responde a la diversidad de fenómenos sociales que afectan a las sociedades en las que vivimos. No obstante, estos han carecido de la necesaria evaluación como práctica institucional. En pocos casos se ha medido la eficiencia y efectividad de estas iniciativas, siendo desconocida hasta hoy la real factibilidad técnica y económica de los programas y proyectos, así como el grado de eficiencia operacional, los resultados, efectos e impactos de estas iniciativas.
En el contexto del ciclo de vida de los proyectos sociales, el proceso de evaluación es de gran relevancia para diversas fuentes de fondos sociales que posibilitan la inversión e intervención social, a través de proyectos y programas sociales, concursables o no.
En la región, la tendencia creciente hacia la desconcentración y descentralización de los fondos sociales ha provocado modificaciones en la modalidad de la asignación de los recursos. En efecto, la focalización de los fondos de inversión y el incremento de los recursos sociales destinados a los gobiernos locales ha facilitado el desarrollo de la inserción y participación comunitaria en la gestión social y, adicionalmente, ha contribuido al desarrollo del proceso de evaluación en el contexto general del ciclo de vida de un programa y/o proyecto, al generar la necesidad de su evaluación.
Sin embargo, es posible observar la existencia de un problema conexo que dice relación con que las instituciones dedicadas a la planificación e intervención social no han diseñado –aunque existen raras excepciones– una estrategia adecuada de distribución y asignación de recursos escasos. Los esfuerzos en este sentido son muy incipientes, básicamente por la escasa información sistematizada que se genera en el ciclo de proyectos y por la dificultad de acceso a los conocimientos derivados de la intervención social.
También es posible constatar un creciente empoderamiento de las organizaciones de base, que en muchos casos han favorecido procesos de mayor racionalización en cuanto a la inversión social y su evaluación. Con todo, en muchos casos, dichas organizaciones han carecido de la capacidad técnica para establecer diálogos técnicos con el personal de contraparte encargado de implementar la evaluación. La instalación de capacidades y la absorción de habilidades evaluativas es una tarea pendiente, tanto para las organizaciones de base como para los organismos que trabajan por su relevamiento y empoderamiento.
En general, es posible afirmar que, en América Latina, la evaluación de proyectos sociales es infrecuente o excepcional, y en general los actores sociales involucrados suelen ser reacios a evaluar lo que realizaron. Esto obedece, básicamente, a la actitud defensiva que adoptan los equipos ejecutores respecto de los proyectos implementados.
En el contexto de la evaluación, cuando se habla de eficacia, eficiencia y efectividad, se relaciona directamente con los objetivos que persigue cada proceso de evaluación. Así, la evaluación ex-ante mide la potencial eficiencia y eficacia; la evaluación intermedia, la eficiencia principalmente; la evaluación ex-post, la eficacia; y la evaluación de impacto, la efectividad del proyecto implementado.
El modelo costo-beneficio suele emplearse en la evaluación social de programas o proyectos y utiliza un análisis económico en proyectos considerados en el contexto nacional, es decir, busca traducir en unidades monetarias todos los inputs del proyecto (insumos-productos) para monetarizar, a precio de mercado, los outputs del proyecto (resultados).
Este modelo, sin embargo, ha quedado desplazado a un segundo plano, ya que no ha logrado generar explicaciones respecto de los cambios diferenciales observados para distintas poblaciones objetivo al aplicar el mismo proyecto o, por otro lado, ha mostrado incapacidad para traducir a precios de mercado cierto tipo de resultados (cambios de actitud, adopción de normas, etc.).
Ahora bien, la evaluación de proyectos sociales de vertiente cuantitativa ha empleado con bastante frecuencia el análisis costo-efectividad, es decir, busca determinar la suficiencia de los insumos respecto de los resultados obtenidos. En este contexto, los programas sociales y el estudio en un proceso de evaluación costo-efectividad responden, por un lado, a la relación entre costos expresados en moneda y productos que no son definibles ni traducibles en términos monetarios; y, por otro, se analiza la eficiencia operacional del proyecto social.
En general, el desarrollo de las distintas tipologías de evaluación en el contexto del ciclo de inversión de los proyectos y programas sociales no ha sido suficiente ni acorde con las necesidades existentes en este ámbito.
Se debe considerar además el escaso interés de los organismos ejecutores de invertir en evaluación, a pesar de que existe una preocupación evidente por parte de los organismos que proveen financiamiento para contar con información evaluativa. Desde esa perspectiva, la preocupación básica se ha orientado y desarrollado en función de las etapas de preinversión (evaluación ex-ante); mientras que en las etapas de inversión o evaluación intermedia, la experiencia de evaluación es casi nula, y por tanto, el desarrollo teórico-metodológico es escaso.
El desarrollo de la evaluación en el área de los programas y proyectos sociales ha recibido aportes de distintas disciplinas tales como la psicología, la antropología, la sociología, la economía, las ciencias de la educación, entre otras. Entonces, es posible afirmar que la evaluación es una investigación básicamente interdisciplinaria, pues establece una relación especial entre teoría y práctica. De tal manera que se utilizan conceptos y experiencias específicas y apropiadas al problema o situación que se analiza.
A lo largo del ciclo de vida del proyecto, y haciendo un esfuerzo teórico importante, es posible evaluar, desde el nacimiento de la idea hasta su término, considerando los efectos, resultados y el impacto de la idea implementada como proyecto. Sin embargo, es posible constatar una cierta falencia teórica en cuanto a establecer una relación coherente entre los distintos tipos de evaluación (ex-ante, durante o intermedia, ex-post, evaluación de impacto).
Tipos de Evaluación de Proyectos Sociales
El desarrollo de distintos enfoques de evaluación se enmarca en el contexto de tipologías que responden a criterios específicos, como se señaló con anterioridad, ya sea por el momento en que se realiza la evaluación dentro del ciclo de vida del proyecto, o por los objetivos que persigue.
En general, al revisar la bibliografía existente es posible encontrar algunas diferencias de definiciones que responden a la complejidad del tema, de modo que es posible constatar la existencia de distintas perspectivas que responden a las diversas disciplinas que han abordado la evaluación. Es relevante señalar, entonces, que esto influye de forma determinante en esta dispersión conceptual, así como en la multiplicidad de experiencias prácticas en el área.
Con el propósito de esclarecer la orientación y el contenido de la evaluación, se ha desarrollado teóricamente en este documento una tipología del proceso de evaluación. Considerando la premisa de que la evaluación es fundamentalmente un proceso que busca medir y generar información para su aplicación, se ha desarrollado una tipología que responde, por un lado, a criterios específicos según los objetivos que persigue, y por otro, de acuerdo al tiempo o momento en que se realiza la evaluación respecto del ciclo de vida del proyecto.
Evaluación Ex-Ante: Viabilidad y Jerarquización
Este tipo de evaluación tiene por finalidad proporcionar información y establecer criterios racionales para decidir sobre la conveniencia técnica de la implementación de un proyecto; es decir, determinar la viabilidad técnica de un proyecto y, a su vez, jerarquizar los proyectos elegibles. Se evalúa la posibilidad de alcanzar los objetivos propuestos en un programa con los recursos existentes, estimando y comparando los costos presentes y futuros de las diferentes alternativas.
Según Cohen y Franco, la evaluación ex-ante generalmente utiliza los modelos de costo-beneficio o costo-efectividad, donde el costo-beneficio es el más adecuado para analizar proyectos económicos y el modelo costo-efectividad «presenta mayores potencialidades para la evaluación de proyectos sociales».
Evaluación Intermedia o de Proceso: Eficiencia Operacional
Se realiza durante el período de ejecución del proyecto. Permite revisar la implementación o desarrollo de una determinada acción (programa o proyecto), con el propósito de analizar su eficiencia operacional de tal modo de poder programar o reprogramar de acuerdo a los resultados del estudio. Su énfasis se centra en los procesos que conforman su dinámica global y también en los factores que facilitan o dificultan el desarrollo y funcionamiento del proyecto.
Este tipo de evaluación se hace cargo de la hipótesis de que todo conjunto social es modificado cuando se estimula externamente, de allí que sea necesario lograr tener un cúmulo de información suficientemente robusta como para modificar el proyecto de acuerdo con las necesidades que el conjunto social intervenido va requiriendo.
La desventaja de este tipo de evaluación es que en general se debe contar con muchos recursos, tanto para el monitoreo como para modificar el proyecto inicial y, por otro lado, suele suceder que el proyecto final resulta muy distinto del proyecto inicial, lo que en general dificulta cuantificar sus resultados. Sin embargo, no es posible hacer ningún tipo de apreciación que no sea que el proyecto implementado respondió a las necesidades detectadas en la población objetivo.
Evaluación Ex-Post o Terminal: Logro de Objetivos e Impacto
La evaluación ex-post es la que más desarrollo ha mostrado y la que más se ha aplicado en el contexto de la evaluación de programas y proyectos sociales. Este tipo de evaluación busca establecer el logro de los objetivos que planteó el proyecto en su formulación original una vez finalizada la ejecución de este. Según Briones, la evaluación ex-post es el «estudio que se realiza después de que el programa ha terminado, con la finalidad de establecer si se obtuvieron o no los resultados esperados y los factores que actuaron en una u otra dirección».
La necesidad de evaluación al término de un proyecto social se relaciona con la detección y cuantificación de los resultados de la intervención en relación con los objetivos específicos del proyecto. Dicho en otras palabras, la evaluación ex-post debe compatibilizar la necesidad de medir el logro de los objetivos del programa o proyecto con la recopilación de datos al concluir la ejecución del proyecto.
En este sentido, este tipo de evaluación constituye la última de las etapas del ciclo de vida de los proyectos sociales, y permite generar conclusiones y correcciones para nuevos proyectos que persigan fines semejantes, naturalmente, a partir de la información generada.
Por lo tanto, en la evaluación ex-post se confrontan los resultados del proceso de transformación de la realidad, productos y resultados, con parámetros de juicio que responden a los objetivos planteados inicialmente, con el fin de obtener conclusiones sobre el margen de logro o fracaso alcanzado por la ejecución del proyecto. Ahora bien, como en la evaluación ex-post se evalúan los objetivos, se deben transformar estos objetivos en dimensiones susceptibles de ser medidas; este proceso exige pasar de los fines generales del proyecto a los indicadores de la evaluación. La selección de indicadores es, por lo tanto, crucial, dado que, a partir de ellos, se intenta determinar el grado en que se alcanzaron los objetivos y, por tanto, si el proyecto fue o no exitoso y la magnitud de este éxito.
En su sentido más amplio, el proceso de evaluación ex-post no es solo la determinación del nivel de logro del proyecto respecto de sus objetivos, sino también un análisis del proyecto con recomendaciones en varios niveles: perfil del proyecto, su metodología de formulación, programación e implementación, cuestión que muy rara vez se implementa.
Por otro lado, cabe hacer notar que, en muchas ocasiones, los proyectos ejecutados no han sido diseñados coherentemente; en la medida en que no hay relación lógica entre objetivos generales y específicos, podría verificarse también confusión e inconsistencia entre objetivos y actividades, puesto que muchas veces los objetivos han sido mal construidos. Esto, en muchas ocasiones, obliga a reformular los objetivos del proyecto, de modo que tengan las condiciones metodológicas mínimas para ser evaluados.
Por otro lado, la evaluación ex-post, en su nivel micro, es un proceso encaminado a determinar sistemática y objetivamente la pertinencia, eficiencia y eficacia de todas las actividades desarrolladas a la luz de los objetivos planteados.
Retroalimentación en la Evaluación Ex-Post
Comúnmente, las evaluaciones ex-post de programas sociales no cuentan con información pertinente debido a que, con frecuencia, no se ha sistematizado suficientemente la información generada a través de la implementación del proyecto. La inexistencia de esta información obliga a la reconstrucción de los aspectos principales del proyecto, al análisis de la coherencia interna del proyecto, a la revisión de los informes de supervisión, etc., mediante visitas a terreno y contactos con el equipo técnico encargado de formular, administrar y ejecutar el proyecto.
En general, el proceso de retroalimentación debe darse en todo el ciclo de vida del proyecto y es recomendable hacerlo en todas las etapas de ejecución, lo que permite que la generación de información sea útil para posteriores procesos de evaluación.
La información generada por el proceso de retroalimentación debe servir para mejorar y armonizar los proyectos con los planes y programas de desarrollo económico y social del aparato estatal. Esta información asegura la eficiencia de la asignación de la inversión pública en el marco de la implementación de diversos programas de desarrollo y mejora la productividad de los proyectos de inversión social.
Estos aspectos, que son reivindicados con frecuencia por los técnicos sociales, en general no son atendidos en las etapas de operación de los proyectos, básicamente porque encarecen la estructura de costos del proyecto y porque los organismos financiadores no están dispuestos a entregar recursos adicionales para estas actividades.
Experiencia Global y Nacional en Evaluación Ex-Post
En el contexto mundial, la experiencia de evaluación ex-post está presente en la mayoría de las organizaciones internacionales que financian proyectos y programas. En ellas, la tendencia general es establecer las metas de los estudios o evaluaciones ex-post de modo que superen la evaluación económico-financiera. Dada la necesidad y preocupación por la evaluación ex-post, diversas instituciones (BID (Banco Interamericano de Desarrollo), BM (Banco Mundial) y la CE (Comunidad Europea)) han desarrollado distintos mecanismos e instrumentos de evaluación.
En Chile, la Subsecretaría de Desarrollo Regional y Administrativo (SUBDERE), que depende del Ministerio del Interior, ha desarrollado experiencia en evaluaciones ex-post a través de un convenio suscrito entre el Gobierno de Chile y el Banco Mundial. En el marco de este convenio se realizó un estudio que tuvo como objetivo examinar el estado y la calidad de la información disponible, determinar los plazos, la información y las coordinaciones interinstitucionales para realizar la evaluación ex-post.
En el caso de Chile, se tomó conciencia de la necesidad de cerrar el ciclo de los proyectos sociales financiados por el sector público, para lo cual se estableció como objetivo de mediano y largo plazo la incorporación al Sistema Nacional de Inversión (SIN), a partir de un subsistema de seguimiento y evaluación ex-post de proyectos.
En el último tiempo, la evaluación ex-post de proyectos es la que ha tenido mayor desarrollo en el ámbito privado primero y luego en el sector de la inversión pública, debido a que las fuentes de financiamiento precisan conocer y medir el logro y alcance de los objetivos propuestos. Además, ha surgido la preocupación por medir las consecuencias previstas o no previstas de la intervención en la población beneficiada, una vez terminado el ciclo de vida del proyecto.
En Chile, la preocupación de los organismos privados y públicos ha favorecido al menos el interés por el desarrollo teórico y metodológico de la evaluación ex-post y de impacto; sin embargo, no se cuenta con información suficiente o disponible. Además, se constata una escasa experiencia en evaluaciones de proyectos sociales, sobre todo en el ámbito del impacto del proyecto.