Fundamentos y Metodologías Clave para la Evaluación de Proyectos y Programas

Introducción a la Evaluación

La evaluación es un proceso de reflexión que nos permite explicar y, a su vez, valorar los resultados de las acciones realizadas. Es un medio fundamental para los profesionales, sirviendo para:

Mejorar sistemáticamente el proceso sociocultural.
- Hacer un uso más adecuado de los recursos disponibles.
- Cambiar, si fuera necesario, el curso de la acción.

Por lo tanto, los grandes elementos al momento de evaluar son: considerar los contextos de las situaciones, los instrumentos, recursos, etapas y actores involucrados. La evaluación es un proceso para la toma de decisiones a través de la reflexión, que sirve para mejorar las acciones realizadas. Finalmente, la evaluación es gestión, por lo que los registros sistemáticos y periódicos de las actividades realizadas son sumamente importantes.

Aspectos Clave de la Evaluación

¿Qué evaluamos?

Todas aquellas acciones enmarcadas en el quehacer profesional, como:

Actividades: talleres, operativos, campañas.
- Planes de intervención: caso, grupo, comunidad.
- Proyectos sociales.
- Otros.

¿Por qué evaluamos?

Principalmente por dos razones:

Es una forma de mejorar y progresar.
- Es una responsabilidad social y política.

¿Quién evalúa?

Todos los actores involucrados.

¿Para qué evaluamos?

Para tomar decisiones.

¿Cómo evaluamos?

La elección de una u otra estrategia de evaluación debe ajustarse a la función, al objeto, al autor y a la situación de la evaluación. Algunas herramientas comunes son:

Los cuestionarios.
La observación.
La entrevista.
Las pruebas de rendimiento.

Diferencias entre Evaluación Cualitativa y Cuantitativa

Evaluación Cualitativa

Está fundamentada en la realidad, orientada a los descubrimientos.
Utiliza el método inductivo.
Requiere una metodología sensible a las diferencias.
Es un proceso que evoluciona en virtud de los descubrimientos sucesivos y de la transformación del contexto.
El propósito es comprender la situación objeto de estudio.
Tiene una mirada holística.

Evaluación Cuantitativa

Está fundamentada en la realidad, orientada a la comprobación.
Está orientada al resultado (a diferencia de la cualitativa, que se enfoca en el proceso).
Tiene una mirada particularista.
Utiliza el método hipotético-deductivo.
El investigador debe observar rigurosamente las normas estrictas de la metodología estadística.
Existe un estricto control de las variables intervinientes.
Es necesaria la permanencia y estabilidad del instrumento.

Modelos de Evaluación: Selección y Aplicación

(Este apartado requiere la explicación y ejemplo de un modelo específico, según la indicación original.)

¿Por qué es difícil la evaluación de expertos?

La evaluación de expertos es compleja porque, según el autor de este modelo, solo una persona experta que haya pasado toda su vida en el campo profesional puede proporcionar evaluaciones sistemáticas de sensibilidad perceptiva. La organización de la experiencia previa y el refinamiento de otras ideas son cruciales; sin todo lo mencionado anteriormente, sería imposible obtener una buena evaluación. Además, combina la experiencia con la crítica, es decir, el experto a través de la experiencia constituye el medio de confiabilidad y validez y, por último, la adecuación referencial.

Costo-Efectividad y Costo-Beneficio: Pertenencia al Modelo Analítico

Sí, tanto el análisis de costo-efectividad como el de costo-beneficio pertenecen al Modelo Analítico. Esto se debe a que el modelo analítico se relaciona con paradigmas epistemológicos explicativos y visiones realistas y objetivas. Su finalidad es proporcionar explicaciones del funcionamiento de una acción en términos de alguna teoría o factores causales de diversa naturaleza, privilegiando el uso de información cuantitativa. Las metodologías de costo-efectividad y costo-beneficio se basan en la cuantificación de resultados y recursos para evaluar la eficiencia y el valor de una intervención, lo cual es coherente con el enfoque cuantitativo y explicativo del modelo analítico.

Principios de la Evaluación

Según el método científico

Validez: Hace referencia al grado de precisión con la que un instrumento satisface las exigencias para las que fue creado, es decir, mide lo que dice medir. Por lo tanto, debe:
- Revelar las virtudes y defectos del plan de evaluación, de los procedimientos y de las condiciones.
- Estar libre de influencias.
- Proporcionar conclusiones válidas y fidedignas.
Fiabilidad: Grado de permanencia, estabilidad o consistencia de las mediciones. Son fiables cuando miden con la misma precisión y dan los mismos resultados en sucesivas aplicaciones realizadas en situaciones similares.

Según el carácter práctico

Practicidad y Utilidad:
- Práctica: Debe estar condicionada a lo que se quiere lograr y ser adecuada al uso que se quiere dar a las recomendaciones y conclusiones.
- Útil: Debe servir para mejorar la intervención, dando sustento al proceso de toma de decisiones en relación con la situación evaluada. Por lo tanto, debe ayudar a identificar y examinar lo bueno y lo malo del objeto evaluado, así como proporcionar soluciones para mejorarlo. Además, debe ser aplicable y utilizable para quienes administran y gestionan.
Oportunidad: Debe ser aplicada en el momento adecuado, a fin de que no se produzcan distorsiones en la situación evaluada durante un período, con el fin de poder integrar modificaciones, entre otros.
Objetividad: La evaluación debe medir, analizar y concluir sobre los hechos tal como ellos se presentan en la realidad, sin contaminarlos con la forma de pensar o sentir de los evaluadores.

Objetivos de la Evaluación

Facilitar el proceso de toma de decisiones para mejorar y/o modificar el programa, proyecto o servicio. Como, por ejemplo: modificaciones en la intervención que se está realizando, mejorar la metodología utilizada (práctica y procedimientos) y modificar el funcionamiento de la organización.
Establecer el grado de pertinencia, idoneidad, efectividad, eficacia, eficiencia y rendimiento de un programa, proyecto o servicio.
Determinar las razones de los éxitos y fracasos. Establecer los ‘porqués’ permite extraer enseñanzas para otros programas.
Establecer en qué grado se han producido otras consecuencias o efectos imprevistos.
Otros objetivos que se pueden lograr: establecer proyectos semejantes en realidades similares, compatibilizar la asignación de recursos escasos o destinados a programas que compiten entre sí, y aumentar el conocimiento acerca del problema que origina el programa.

Diferencias de la Evaluación con Otros Conceptos

Medición vs. Evaluación

La medición: Es el acto o proceso de “determinar la extensión y/o cuantificación de alguna cosa”. Por lo tanto, la medición facilita cierto tipo de información y ayuda a la tarea de evaluar.
La evaluación: Hace referencia al “acto o proceso de determinar el valor de esa cosa”. Por lo tanto, implica valorar la información a fin de emitir un juicio de valor sobre un objeto evaluado.

Estimación vs. Evaluación

La estimación: Tiene un carácter aproximado (aprecio y valor que se le atribuye a alguna cosa), que con frecuencia está cargado de subjetividad. Además, la estimación enjuicia con criterios difusos, subjetivos y/o no se basa en procedimientos más o menos rigurosos.
La evaluación: Involucra o pretende la mayor objetividad y precisión posible. Por lo tanto, enjuicia algo sistemáticamente y/o aplica los conocimientos y reglas del método científico. Una evaluación sistemática reúne requisitos metódicos.

Seguimiento vs. Evaluación

El seguimiento: Es un proceso analítico que permite registrar, recopilar, medir, procesar y analizar la información que revela la marcha o desarrollo de una actividad programada. Su propósito es asegurar el cumplimiento del calendario de trabajo y la entrega de insumos en el momento oportuno.
El seguimiento: Se orienta a asegurar el logro de los objetivos previstos en el programa. Contribuye a evaluar, ya que proporciona un sistema de información acerca del objeto evaluado.

Control vs. Evaluación

El control: Es una verificación de resultados. Por lo tanto, constata lo que pasa y es una verificación de algo.
La evaluación: Juzga por qué pasa lo que pasa (actividades, recursos o resultados). Por lo tanto, es una ponderación o enjuiciamiento de esos resultados. Y por lo mencionado anteriormente, es un juicio acerca de ese algo (previamente verificado).

Programación vs. Evaluación

La programación: Es organizar y racionalizar la acción para lograr metas y objetivos determinados.
La evaluación: Es una forma de verificar y enjuiciar esa organización y racionalización, midiendo el cumplimiento de los objetivos y metas que están previamente establecidos y también la capacidad de alcanzarlos.

Investigación vs. Evaluación

La investigación: Tiene como fin producir o crear conocimiento, ya que es una indagación de carácter académico. La investigación tiene como objeto de estudio una situación problema. Por último, el resultado de la investigación es un informe escrito para los actores involucrados y/o interesados.
La evaluación: Tiene como fin la toma de decisiones para mejorar resultados y acciones futuras. Es por esto que la evaluación es una indagación de carácter práctico. La evaluación tiene como objeto de estudio la valoración de la intervención para abordar esa situación problema. Por último, la evaluación tiene como fin la toma de decisiones para mejorar resultados y acciones futuras.

Propósitos de la Evaluación según G. Briones (2002)

Mejorar la efectividad cuantitativa del programa, es decir, el logro de los objetivos.
Mejorar la calidad de los resultados, o sea, la efectividad cualitativa del programa.
Aumentar la eficiencia interna del programa, es decir, la relación entre insumos y resultados.
Mejorar la eficiencia externa del programa o adecuación de resultados con objetivos externos.
Someter a verificación la teoría o hipótesis que relaciona los componentes del programa con los resultados buscados.
Redefinir la población objeto: reducirla, homogeneizarla, entre otros.
Modificar la estructura, el funcionamiento y la metodología del programa.
Tratar de cumplir, si es pertinente, las expectativas de la población objeto del programa (funcionamiento, recursos, objetivos, entre otros).
Controlar la aparición de posibles prácticas o resultados no deseados.
Tratar de homogeneizar los efectos, consecuencias y repercusiones del programa.

Características de la Evaluación

Características Generales

Innovadora: Se crean medios e instrumentos que facilitan la evaluación.
Continua: Se desarrolla antes, durante y al final de la acción.
Integral: Se consideran la multiplicidad de dimensiones del proceso.
Sistemática: Permite identificar la evolución del proceso predeterminado.
Reflexiva: Análisis permanente del proceso para su evaluación y mejoramiento.
Científica: Utiliza diversas técnicas, métodos y procedimientos acordes al proceso.
Flexible: Utiliza diferentes estrategias, momentos y posibilidades.

Características según la Guía de Evaluación de Programas y Proyectos Sociales

Útil y práctica: La evaluación ha de servir para mejorar la intervención y debe ser concebida hacia la acción.
Sistemática: Durante todo el proceso de evaluación, se debe recoger de modo sistemático la información pertinente.
Flexible: Debe priorizarse la flexibilidad metodológica a lo largo de todo el proceso de evaluación.
Ajuste a los plazos temporales: La evaluación tiene que responder a los plazos acordados con el fin de que pueda contribuir al aprendizaje y la mejora de la intervención.
Analítica: Debe centrarse en el análisis y reflexión de los procesos y el análisis valorativo de los componentes estudiados.
Permanente: Se realiza antes, durante y con posterioridad a la ejecución, es decir, en las distintas fases del ciclo de las intervenciones.
Variabilidad: Se realiza en el diseño de una actividad, en los procesos de ejecución o en los resultados, previstos o no previstos, adecuando uno u otro enfoque según la finalidad del trabajo.
Establecimiento de criterios de evaluación: Se revisan la eficacia, la eficiencia, la pertinencia, el impacto y la viabilidad, entre otros componentes.

Resistencias a la Evaluación según Suchman (1967: 144)

Los efectos del programa son de largo plazo; por tanto, las consecuencias no pueden ser medidas en el futuro inmediato.
Los efectos buscados son de tipo general más bien que específico. De esta manera, no se puede utilizar un criterio único para evaluar el programa; por otro lado, aun cuando se utilizaran muchas medidas, no se lograría llegar a las consecuencias complejas buscadas.
Los resultados son pequeños, pero significativos; por lo mismo, no pueden ser medidos efectivamente ya que los instrumentos no son lo bastante sensitivos.
Los efectos son sutiles y no hay posibilidades de usar instrumentos capaces de explicar el cambio de las cualidades a las cuales se refiere el programa. Además, la medición perturbaría los procesos involucrados.

Circunstancias en que es difícil evaluar según Weiss (1975)

Cuando no hay nada que preguntar acerca del programa o acción.
Cuando las decisiones no se van a tomar o ya se tomaron.
Cuando se carece de orientación clara, lo que lleva a la improvisación, escasa reflexión y decisiones según el día.
Cuando no hay suficientes recursos y personal calificado para realizar la evaluación.

Modelos de Evaluación según Briones (2002)

Se pueden distinguir dos tipos generales de modelos de evaluación:

A. El Modelo Analítico

Se relaciona con paradigmas epistemológicos explicativos y, por lo tanto, con visiones realistas y objetivas.
Su finalidad consiste en proporcionar explicaciones del funcionamiento de una acción en términos de alguna teoría o factores causales de diversa naturaleza y privilegia el uso de información cuantitativa.
La finalidad de conocimiento consiste en proporcionar explicaciones de modalidades de funcionamiento de un programa u otros y de los resultados en base a una teoría o a factores causales.

B. Modelo Global

Se basa en paradigmas interpretativos o comprensivos.
Su propósito es establecer el significado de las acciones y actividades que se desarrollan dentro del programa u otra acción.
Su enfoque es global y holístico, no hace referencia a factores causales o variables particulares que pudieran ser sometidos a tratamientos estadísticos.
Se relaciona con posiciones subjetivistas e idealistas.
Utiliza información cualitativa.

Tipos de Evaluación según M. J. Aguilar y Exequiel Ander-Egg (1994)

Según el momento en que se evalúa

Evaluación antes (o ex-ante), inicial o pre-decisión: Se realiza antes de comenzar una intervención (antes del inicio o aprobación). Evalúa pertinencia, viabilidad, coherencia, rentabilidad.
Evaluación durante (o de proceso): Se realiza durante la fase de ejecución. Evalúa cambios situacionales, es decir, en qué medida se cumple y realiza la intervención.
Evaluación ex-post: Se realiza cuando la intervención ha finalizado. Se diferencia entre evaluación de fin de proyecto y evaluación ex-post.

Según las funciones que cumple la evaluación

Evaluación sumativa: Evalúa resultados o efectos de una intervención, es decir, hasta qué punto se cumplen los objetivos. Juzga si una intervención se mantiene o termina.
Evaluación formativa: Se realiza durante la ejecución de una intervención para apoyar la puesta en marcha o mejorar lo que se está realizando.

Según la procedencia de los evaluadores

Evaluación externa: Evaluadores no pertenecen a la institución ejecutora. Generalmente se recurre a expertos contratados para evaluar algunas o todas las actividades que realiza la institución.
Evaluación interna: Evaluadores pertenecen a la institución ejecutora, pero no son directamente responsables de la ejecución.
Evaluación mixta: Contempla evaluadores externos e internos.
Autoevaluación: Evaluadores están implicados directamente en la ejecución, valorando y enjuiciando actividades propias en el cumplimiento de metas.

Ventajas y Desventajas de la Evaluación Interna

Desventajas de la evaluación interna

Puede resaltar lo bueno y minimizar lo negativo.
Búsqueda de chivo expiatorio responsable de los fracasos (interno o externo).
Desquite por situación conflictiva.
Ser juez y parte.

Ventaja de la evaluación interna

Mayor conocimiento de lo que se va a evaluar.

Otros Tipos de Evaluación

a) Evaluación del diseño y conceptualización del programa

Se realiza en la fase de formulación del programa y planeamiento de la intervención.

Evaluación del estudio-investigación: Estudio/investigación de la realidad sobre la que se va a intervenir.
Evaluación del diagnóstico: Se establece la naturaleza, magnitud y características básicas del problema objeto de intervención.
Evaluación del diseño y concepción del programa: Se establecen los recursos y medios de intervención posibles de usar, así como los factores relevantes del contexto que inciden en la problemática.

b) Evaluación de la instrumentación y seguimiento del programa

Se realiza cuando se ha puesto en marcha el programa y durante su ejecución, para evaluar cómo está funcionando, según lo siguiente:

Evaluación de la cobertura del programa respecto de:
- En qué medida alcanza la población destinataria.
- Cobertura efectiva.

c) Evaluación de los aspectos técnicos de la implementación

Medios e instrumentos utilizados.

d) Evaluación de la eficacia y eficiencia del programa

Se realiza cuando el programa ha funcionado un largo tiempo o al terminarlo.

1) Evaluación de la eficacia o efectividad (evaluación de resultados)

Evalúa y analiza en qué medida se están alcanzando los resultados previstos, según lo siguiente:

Se establece en relación con los usuarios.
Se caracteriza por la importancia que tiene por sobre otros aspectos posibles de evaluar (sobre funcionamiento institucional, implementación o cobertura).

2) Evaluación de la eficiencia o rentabilidad económica de un programa

Es eminentemente económica, aunque puede existir rentabilidad política y social.

Para la evaluación económica, se debe analizar: Revisar el costo del programa en relación con los resultados obtenidos.
Para la evaluación de eficiencia, se debe analizar:
- Costo-efectividad o costo-eficacia.
- Costo-utilidad.
- Costo-beneficio.

Definiciones Clave

Efectividad: Es la relación entre el resultado obtenido y la meta programada dentro de un cierto objetivo.

Eficacia: También relaciona resultados y metas preestablecidas, pero introduce la variable tiempo. Es el grado en el cual se alcanzan las metas en la población objetivo, en relación con el tiempo programado para su logro, con independencia de los costos implicados.

Eficiencia: Relaciona los resultados obtenidos con los recursos utilizados para ello.

Es el índice de rentabilidad del programa, relacionando los bienes y servicios finales (resultados) con los insumos requeridos para su obtención (recursos).
Incluye a la eficacia y la asocia a alguna unidad de recurso (dinero, horas/persona, horas/equipo, etc.).

Actores en la Evaluación

Los responsables de la evaluación o investigación evaluativa

Director: Coordinación del equipo y gestión administrativa.
Investigadores (evaluadores): Según la magnitud de la evaluación. Al menos un experto en diseño evaluativo.
Ayudantes de investigación (evaluación): Responsables de obtener información, organización de documentación, realizar entrevistas.
Especialistas: Según la necesidad de la evaluación.

Los que encomiendan o encargan realizar la evaluación

Aquellos que pueden decidir y solicitan realizar la evaluación:

Los políticos: responsables de la toma final de decisiones o formulación de objetivos de la política o asignación presupuestaria.
Los técnicos: se centran en los procedimientos, aplicación de normas y competencia legal.
Directivos superiores: política institucional.
Directivos medios y administradores: decisiones sobre insumos.
Técnicos y ejecutores del proyecto: decisiones metodológicas, técnicas y operativas.

Los que responden (respondentes) a la evaluación

Son aquellos que responden a los requerimientos de información solicitados por los evaluadores a través de: respuestas a entrevistas, respuestas a cuestionarios, y aceptan que se observe su trabajo. Son elementales porque de ellos depende la realización de la evaluación y, por lo tanto, la calidad del trabajo.

Los usuarios, beneficiarios, destinatarios o actores sociales de los programas, proyectos, servicios o actividades que se evalúan

Es necesaria su participación porque: se pueden alcanzar los objetivos, usar metodologías y realizar una ejecución apropiada, pero no lograr resultados efectivos, es decir, no lograr la solución o mejoramiento de la situación problema.