Evaluación de Programas y Proyectos: Conceptos, Metodologías y Aplicaciones

Concepto de Evaluación

La evaluación es un proceso reflexivo que permite explicar y valorar los resultados de las acciones realizadas. Los elementos clave a considerar durante la evaluación son: el contexto, los instrumentos, los recursos, las etapas y los actores involucrados. Este proceso permite mejorar las acciones incorrectas o rectificar que estas se lleven a cabo de manera adecuada. Es fundamental que existan registros sistemáticos y periódicos de las actividades realizadas.

La evaluación también es un medio para los profesionales, que sirve para:

Mejorar sistemáticamente el proceso sociocultural.
Hacer un uso más adecuado de los recursos disponibles.
Cambiar, si fuera necesario, el curso de la acción.

Propósitos de la Evaluación

Según G. Briones (2002), los propósitos de la evaluación son:

Mejorar el logro de los objetivos (a través de la efectividad cuantitativa).
Mejorar la calidad de los resultados (efectividad cualitativa).
Aumentar la eficiencia interna del programa (relación entre insumos y resultados).
Mejorar la eficiencia externa del programa.
Someter a verificación la teoría o hipótesis que relaciona los componentes del programa con los resultados buscados.
Redefinir la población objetivo.
Modificar la estructura, el funcionamiento y la metodología del programa.
Tratar de cumplir, si es pertinente, las expectativas de la población objetivo del programa (funcionamiento, recursos, objetivos, entre otros).
Controlar la aparición de posibles prácticas o resultados no deseados.
Tratar de homogeneizar los efectos, consecuencias y repercusiones del programa.

Características de la Evaluación

Innovadora: se crean medios e instrumentos que faciliten la evaluación.
Continua: se desarrolla antes, durante y al final de la acción.
Integral: se consideran la multiplicidad de dimensiones del proceso.
Sistemática: permite identificar la evolución del proceso predeterminado.
Reflexiva: análisis permanente del proceso, para su evaluación y mejoramiento.
Científica: utiliza diversas técnicas, métodos y procedimientos acordes al proceso.
Flexible: utiliza diferentes estrategias, momentos y posibilidades.

Principios de la Evaluación

Según Ander-Egg y Aguilar, existen dos principios de evaluación, cada uno con dos subprincipios:

Según el Método Científico

a) Validez: Grado de precisión con la que un instrumento satisface las exigencias para las que fue creado, es decir, mide lo que dice medir.

b) Fiabilidad: Grado de permanencia, estabilidad o consistencia de las mediciones. Son fiables cuando miden con la misma precisión y dan los mismos resultados en sucesivas aplicaciones realizadas en situaciones similares.

Según el Carácter Práctico

a) Practicidad y Utilidad:

Practicidad: Debe estar condicionada a lo que se quiere lograr y ser adecuada al uso que se quiere dar a las recomendaciones y conclusiones.
Utilidad: Debe servir para mejorar la intervención, da sustento al proceso de toma de decisiones, en relación con la situación evaluada.

b) Oportunidad: Debe ser aplicada en el momento adecuado, a fin de que no se produzcan distorsiones en la situación evaluada durante un período, con el fin de poder integrar modificaciones, entre otros aspectos.

Objetivos de la Evaluación

Según lo planteado por Ander-Egg y Aguilar, los objetivos de la evaluación son:

Facilitar el proceso de toma de decisiones para mejorar y/o modificar el programa, proyecto o servicio.
Establecer el grado de pertinencia, idoneidad, efectividad, eficacia, eficiencia y rendimiento de un programa, proyecto o servicio.
Determinar las razones de los éxitos y fracasos, lo que permite establecer enseñanzas para otros programas.
Establecer en qué grado se han producido otras consecuencias o efectos imprevistos.
Establecer proyectos semejantes en realidades similares.
Aceptar, rechazar o readecuar enfoques o metodologías de intervención social.
Revisión crítica de los supuestos teóricos que sustentan el programa.

Modelos de Evaluación

Diferencias entre Paradigma Cualitativo y Cuantitativo

a) Cualitativo:

Está fundamentado en la realidad y orientado a los descubrimientos.
Utiliza el método inductivo.
Requiere una metodología sensible a las diferencias.
Es un proceso que evoluciona en virtud de los descubrimientos sucesivos y de la transformación del contexto.
El propósito es comprender la situación objeto de estudio.
Tiene una mirada holística.

b) Cuantitativo:

Está fundamentado en la realidad y orientado a la comprobación.
Está orientado al resultado (el cualitativo al proceso).
Tiene una mirada particularista.
Utiliza el método hipotético-deductivo.
El investigador tiene que observar rigurosamente las normas estrictas de la metodología estadística.
Existe un estricto control de las variables intervinientes.
Es necesaria la permanencia y estabilidad del instrumento.

Tipos de Modelos Generales de Evaluación (según Briones)

1. Modelo Analítico: Proporciona explicaciones del funcionamiento de una acción en términos de alguna teoría o factores causales de diversa naturaleza y privilegia el uso de información cuantitativa. Posee una visión realista y objetiva. Consiste en proporcionar explicaciones de modalidades de funcionamiento de un programa u otros y de los resultados en base a una teoría o a factores causales.

Dentro de este modelo se encuentran:

a) Modelo Costo-Beneficio: El análisis de costo-beneficio es una técnica importante dentro del ámbito de la teoría de la decisión. Pretende determinar la conveniencia de un proyecto mediante la enumeración y valoración posterior en términos monetarios de todos los costes y beneficios derivados directa e indirectamente de dicho proyecto para utilizar los mínimos recursos posibles.

b) Modelo Costo-Efectividad: Es una forma de análisis económico que compara los costos relativos con los resultados (efectos) de dos o más cursos de acción. Se diferencia del anterior en que, si bien busca utilizar la mínima cantidad de recursos, le interesa más el impacto que pueda generar que los recursos que necesita.

2. Modelo Global: Su propósito es establecer el significado de las acciones y actividades que se desarrollan dentro del programa u otra acción basándose en paradigmas interpretativos, por lo tanto, se relaciona con posiciones subjetivistas e idealistas. Utiliza información cualitativa.

Dentro de este modelo se encuentran:

a) Modelo CIPP (Contexto, Insumo, Proceso, Producto): Define la evaluación como “un proceso destinado a delinear, obtener y proporcionar información útil para el juzgamiento o ponderación de decisiones alternativas”.

Se deben considerar 4 elementos:

Evaluar el Contexto: Estudio exploratorio destinado a ubicar los problemas.
Evaluación de Insumos: Determinar los recursos que se necesitarían para alcanzar los objetivos propuestos.
Evaluación de Proceso: Establecer si la estrategia de utilización de insumos se está aplicando o no e identificar factores que dificulten el proceso.
Evaluación de Producto: Medir e interpretar el logro de los objetivos ya sea durante el desarrollo del programa o en la finalización.

b) Modelo de Utilización Focalizada: Este modelo selecciona o focaliza los problemas y aspectos más relevantes del programa o proyecto, para luego tomar decisiones con respecto al contenido general de la evaluación. Comprende la dinámica interna del programa, tratando de responder preguntas tales como: ¿Qué factores son los que caracterizan el programa? ¿Cómo se seleccionan los usuarios?

c) Modelo de Evaluación por Expertos: Este modelo es complejo de llevar a cabo, ya que se cree que solo una persona experta que haya pasado toda su vida en el campo profesional puede proporcionar evaluaciones sistemáticas correctas. La organización de la experiencia previa y la refinación de otras ideas son fundamentales; sin todo lo mencionado anteriormente, sería imposible obtener una buena evaluación. Además, combina la experiencia con la crítica, es decir, el experto a través de la experiencia constituye el medio de confiabilidad y validez.

d) Modelo de Evaluación Iluminativa: Modelo alternativo a las formas tradicionales de evaluación. Su principal preocupación es la descripción y la interpretación más que la valoración y la predicción. Tiene como objetivo principal descubrir y documentar cualquier esquema para discernir los hechos más relevantes de la innovación que se pretende introducir basándose en técnicas como la entrevista o la observación de campo.

Tipos de Evaluación (según Aguilar y Ander-Egg)

1. Según el Momento en que se Evalúa:

Evaluación antes (o ex-ante), inicial o pre-decisión: se realiza antes de comenzar una intervención (antes del inicio o aprobación). Evalúa pertinencia, viabilidad, coherencia, rentabilidad.
Evaluación durante o (proceso): se realiza durante la fase de ejecución. Evalúa cambios situacionales, es decir, en qué medida se cumple y realiza la intervención.
Evaluación ex-post: se realiza cuando la intervención ha finalizado. Se diferencia entre evaluación de fin de proyecto de evaluación ex-post.

2. Según las Funciones que Cumple la Evaluación:

Evaluación Sumativa: evalúa resultados o efectos de una intervención, es decir, hasta qué punto se cumplen los objetivos. Juzga si una intervención se mantiene o termina.
Evaluación Formativa: se realiza durante la ejecución de una intervención, para apoyar la puesta en marcha o mejorar lo que se está realizando.

3. Según la Procedencia de los Evaluadores:

Evaluación Externa: evaluadores no pertenecen a la institución ejecutora. Generalmente se recurre a expertos contratados para evaluar algunas o todas las actividades que realiza la institución.
Evaluación Interna: evaluadores pertenecen a la institución ejecutora, pero no son directamente responsables de la ejecución.
Evaluación Mixta: contempla evaluadores externos e internos.
Autoevaluación: evaluadores están implicados directamente en la ejecución, valorando y enjuiciando actividades propias en el cumplimiento de metas.

El Principio Básico de la Evaluación

1. Evaluación del Diseño y Conceptualización del Programa: Se realiza en la fase de formulación del programa y planeamiento de la intervención. Se evalúa el modelo de intervención social que se utilizará, considerando:

a) Estudio-Investigación: estudio de la realidad sobre la que va a intervenir.
b) Diagnóstico: Se establece la naturaleza, magnitud y características básicas del problema objeto de intervención.
c) Diseño y Concepción del Programa: Se establecen los recursos y medios de intervención posibles de usar, así como los factores relevantes del contexto que inciden en la problemática.

2. Evaluación de la Instrumentación y Seguimiento del Programa: Se realiza cuando se ha puesto en marcha el programa y durante su ejecución, para evaluar cómo está funcionando, según lo siguiente:

a) Evaluación de la Cobertura del Programa respecto de:
- En qué medida alcanza la población destinataria.
- En qué medida se cubre el área de acción.
b) Evaluación de los Aspectos Técnicos de la Implementación (medios e instrumentos utilizados), según lo siguiente: Necesarios, Suficientes, Idóneos, Potentes y Eficaces.
c) Evaluación del Ambiente Organizacional en el que se desarrolla el programa.
d) Evaluación del Rendimiento Personal.

3. Evaluación de la Eficiencia y Eficacia del Programa: Se realiza cuando el programa ha funcionado un largo tiempo o al terminarlo y se evalúan dos cosas:

a) Evaluación de la Eficacia o Efectividad (evaluación de resultados): evalúa y analiza en qué medida se están alcanzando los resultados previstos.
b) Evaluación de la Eficiencia o Rentabilidad Económica de un Programa.

Actores en el Proceso de Evaluación

Existen 4 actores principales:

1. Los Responsables de la Evaluación o Investigación Evaluativa:

Director: coordinación del equipo y gestión administrativa.
Investigadores (evaluadores): según magnitud de la evaluación. Al menos un experto en diseño evaluativo.
Ayudantes de Investigación (evaluación): responsables de obtener información, organizar la documentación, realizar entrevistas.
Especialistas: según necesidad de la evaluación.

2. Los que Encomiendan o Encargan Realizar la Evaluación:

Políticos: responsables de la toma final de decisiones o formulación de objetivos de la política.
Técnicos: se centran en los procedimientos, aplicación de normas y competencia legal.
Directivos Superiores: política institucional.
Directivos Medios y Administradores: decisiones sobre insumos.
Técnicos y Ejecutores del Proyecto: decisiones metodológicas, técnicas y operativas.

3. Los que Responden la Evaluación.

4. Los Usuarios, Beneficiarios, Destinatarios o Actores Sociales de los Programas, Proyectos, Servicios o Actividades que se Evalúan.

Diseño de la Evaluación

En el diseño de la evaluación se debe tener presente: ¿para qué se realiza la evaluación? Dejando explícita su finalidad. Por otro lado, se debe cuestionar: ¿a quién beneficiará la evaluación? Determinando los beneficiarios específicos. También se evalúa cómo se utilizarán los resultados obtenidos, dejando claro cuáles son las preguntas más importantes para responder a lo que se necesita evaluar. Por último, y lo más importante, es determinar cuáles son los métodos más idóneos para utilizar en base a lo que se busca evaluar.

Factores que Determinan el Tipo de Evaluación

Durante el proceso del diseño, se debe identificar cuál es el tipo de evaluación que se utilizará, el cual se condiciona por las siguientes características: el período que abarca el programa, la duración de la intervención del proyecto, las metas de la evaluación, los recursos humanos y financieros disponibles, el tiempo disponible para la evaluación y la existencia o inexistencia de datos de referencia.

Por otro lado, se considera el grado que requiere la evaluación, el cual considera 3 criterios:

Si los recursos son limitados.
Si los recursos para la investigación son un medio efectivo para la realización de esta.
Si los recursos existentes son los necesarios para llevar a cabo la evaluación.

Por último, se debe considerar:

Reunir datos confiables.
Analizar previamente estos datos.
Garantizar el uso y compartir esta experiencia adquirida.