Paradigmas y Modelos Clave en la Evaluación de Programas Educativos

1. Los Paradigmas Evaluativos

La historia de la evaluación está llena de debates entre los partidarios de dos visiones diferentes:

Un enfoque cuantitativo (también llamado científico, experimental, objetivista, positivista, etc.)
Un enfoque cualitativo (o etnográfico, naturalista, hermenéutico o interpretativo)

Estas han sido las dos posiciones paradigmáticas tradicionalmente identificadas en relación con la investigación social y educativa, y en consecuencia con la evaluación. De acuerdo con esta dicotomía, el evaluador, al igual que el investigador, se inscribe en una de estas dos visiones del mundo, lo cual determina el enfoque de los problemas que tiene que tratar y la elección de herramientas para afrontarlos. La caracterización de los dos paradigmas es la siguiente:

El paradigma cuantitativo tiene una concepción global positivista, hipotético-deductiva, objetiva, orientada al resultado y propia de las ciencias naturales.
El paradigma cualitativo tiene una concepción global fenomenológica, inductiva, subjetiva, orientada al proceso y propia de la antropología social.

2. Etapas Históricas de la Evaluación de Programas

Algunos autores distinguen cinco períodos sucesivos en la historia de la evaluación de programas:

Periodo pre-Tyleriano: El objeto de evaluación durante este periodo se limitó principalmente a la evaluación del rendimiento de los estudiantes.
Época Tyleriana: Tyler acuñó el término evaluación educativa y empezó a trabajar en este campo. Lo más distintivo de este periodo es la concepción de la evaluación como el estudio del grado de cumplimiento de los objetivos del programa. Fue una primera sistematización de la evaluación y marcó durante mucho tiempo el ámbito evaluativo.
Época de la inocencia: No se producen avances significativos en la elaboración de la evaluación educativa. El modelo Tyleriano continúa siendo el más influyente, y se produjeron pocos avances teóricos y metodológicos.
Época del realismo: Se produce una importante expansión de la evaluación educativa, centrada sobre todo en el análisis de los currículos y los programas implementados en el periodo anterior. La evaluación se hace a gran escala y se convierte en una tarea importante. Se aceptan, en general, los métodos científicos para resolver problemas sociales.
Época del profesionalismo: La evaluación educativa se concreta, aparecen iniciativas evaluadoras en diferentes ámbitos y se configura como un campo profesional diferenciado y en pleno auge.

3. Modelos Evaluativos del Paradigma Cuantitativo

Los modelos cuantitativos conciben la evaluación de programas desde una perspectiva técnica y afirman que la evaluación es la determinación del valor o mérito de un programa. Estos modelos se centran en la toma de decisiones por parte de las autoridades políticas o académicas sobre el futuro del programa. En este modelo, el evaluador desarrolla un rol técnico y es el responsable de la evaluación y de proporcionar información relevante sobre el programa. Dentro de este modelo podemos encontrar los siguientes autores:

3.1. Evaluación Basada en Objetivos (Tyler)

Tyler fue el primero en desarrollar un método sistemático de evaluación educativa. Algunas características de su modelo:

La finalidad de la evaluación es comprobar, constatar, diagnosticar, etc.
Los contenidos a evaluar son, únicamente, los resultados finales del programa o producto.

Empieza a concentrar el objetivo de la evaluación no solo el rendimiento del alumno, sino también los programas curriculares y los recursos de los que se disponen. Entendiendo la evaluación como el proceso de determinar la congruencia entre los objetivos del programa y lo que se consigue; en definitiva, se trata de determinar si los objetivos se han logrado o no. Este modelo está basado en la toma de decisiones y se concibe la evaluación como un proceso terminal, es decir, solo sirve para obtener información una vez ha acabado el programa, por lo tanto, no permite mejorar durante el proceso evaluativo. El papel del evaluador es el de un técnico o experto externo que no interactúa con la realidad evaluada.

3.2. El Planteamiento de E. Suchman

El enfoque científico profundiza en la convicción de que la evaluación tiene que basarse en datos objetivos que sean analizados con metodología científica, matizando que, si bien la investigación científica es preferentemente teórica, la investigación evaluativa es siempre aplicada. Su principal propósito es descubrir la efectividad, éxito o fracaso de un programa al compararlo con los objetivos propuestos, y así trazar las líneas de su posible redefinición. Suchman, además, defiende la utilización de evaluadores externos para evitar todo tipo de tergiversación. Este modelo representa un planteamiento tecnológico y comporta que la evaluación de programas tiene que hacerse en la lógica del método científico. Considera que el evaluador tiene que ser un investigador. Los instrumentos de recogida de información utilizados son las encuestas y los cuestionarios.

3.3. La Planificación Evaluativa de Cronbach

Según este modelo, la evaluación tiene que ser cambiante y se tiene que adaptar tanto a los resultados obtenidos como a los intereses de la comunidad política. Una conciencia política, una mentalidad abierta y la buena comunicación establecida por el evaluador son la clave del éxito. La evaluación está diseñada para acelerar el proceso de aprendizaje por medio de la comunicación entre el evaluador y las instituciones políticas. También hay que destacar que el autor da mucha importancia al trabajo en equipo; según él, la responsabilidad de la evaluación tiene que ser compartida por un equipo. El modelo de Cronbach es una evolución del modelo de Tyler. Cronbach habla de la evaluación del producto y de la evaluación de los procesos de implantación del programa. Es el autor del modelo UTO, y considera que los elementos básicos para el diseño y realización de la evaluación son:

Unidades: aquellas sometidas a la evaluación, individuos o grupos participantes.
Tratamientos: los del programa de evaluación.
Operaciones de observación: todas aquellas que el evaluador debe realizar para recopilar información, elaborar datos o conclusiones.

Para Cronbach, la evaluación tiene que ser cuantitativa y estructurada, pero apunta a la posibilidad de emplear métodos más cualitativos. El evaluador es un técnico externo.

3.4. El Modelo C.I.P.P. (Stufflebeam)

Propone una nueva definición de evaluación alternativa a la de Tyler. Este modelo entiende que la evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva sobre el valor o el mérito de las metas y el impacto de un objeto determinado con el fin de servir de guía para tomar decisiones, solucionar problemas de responsabilidad y promover la comprensión de los fenómenos implicados. Así, el evaluador, según Stufflebeam, tiene que cumplir dos funciones:

Proporcionar información útil.
Ayudar a tomar decisiones racionales y abiertas.

La gran aportación de este autor se centra en la cuestión de los contenidos de la evaluación, puesto que los estudios anteriores se han centrado en el producto y muy pocos en el proceso. Este autor amplía el contenido de la evaluación contemplando cuatro dimensiones:

Evaluación del contexto o de la realidad en la que se inscribe el programa.
Evaluación de entrada/diseño/planificación: Estudio de la planificación, el diseño y los recursos.
Evaluación del producto o de los resultados obtenidos.
Evaluación del proceso o de la implementación del programa.

La metodología de recogida de información es mixta. El modelo inicia una transición entre el paradigma cuantitativo y el cualitativo.

3.5. El Modelo sin Referencia a Objetivos (Scriven)

Se considera como el autor del “mejor modelo” de evaluación a nivel teórico, pero no a nivel práctico. Su modelo surge como una fuerte oposición al modelo basado en objetivos. Scriven propone que el evaluador desconozca los objetivos del programa, ya que su conocimiento puede obstaculizar la evaluación de diferentes aspectos. Centrarse en los objetivos identificados en el programa limita la evaluación y la información recogida será incompleta y errónea. En ocasiones, los resultados no previstos de un programa pueden ser más importantes que los identificados anteriormente. Su preocupación es atender a las necesidades de los destinatarios del programa, valorando no solo el logro de los objetivos previstos, sino también la de los no previstos. Toma como punto de referencia a los receptores de los programas educativos más que a las autoridades políticas. El análisis de las necesidades del cliente es primordial y deja en un segundo plano los objetivos e intenciones del programa. El evaluador tiene un rol externo. La metodología que utiliza es mixta (cuantitativa y cualitativa). Los contenidos de la evaluación son el contexto, el proceso y el producto. El papel del evaluador es externo, y se propone que desconozca los objetivos del programa.

4. Modelos Evaluativos del Paradigma Cualitativo

Desde esta perspectiva, la evaluación se concibe como la comprensión y valoración de los procesos y resultados de un programa educativo. La gran diferencia respecto a la perspectiva anterior es su concepción de la realidad y su forma de entender el conocimiento. La finalidad de la evaluación deja de ser prescribir o constatar, tal y como era en los modelos anteriores; la intencionalidad de la evaluación es describir, comprender y conocer. Los contenidos de la evaluación son mayoritariamente los procesos de implantación del programa, y quieren proporcionar información para mejorar la práctica educativa.

4.1. La Evaluación Respondiendo (Stake)

Desarrolla a lo largo de su vida dos modelos diferentes. En su juventud, desarrolla el primero de ellos, de tipo cuantitativo, siguiendo los principios de Tyler. Más adelante, desarrollará el modelo de evaluación respondiendo, en el que se opone frontalmente a Tyler y al paradigma cuantitativo. A finales de los años sesenta, el autor desarrolla el “modelo de la figura” basado, como hemos dicho antes, en la concepción Tyleriana. Se comparan los resultados deseados y los observados. A pesar de esta consideración, el modelo, además de los resultados, incluye el estudio del proceso. Para sistematizar y estructurar la información recogida, elabora dos tipos de matrices de datos. Para comprender este modelo, es fundamental conocer los conceptos de los antecedentes, que hacen referencia a las condiciones previas para la implantación del programa; los evaluadores tienen que conocer y tener en cuenta las condiciones personales e institucionales del contexto en que se aplica el programa.

Su segundo modelo de evaluación de Stake se desarrolla a principios de los años setenta. Stake presenta “la evaluación respondiendo” (countenance model), producto de la evolución y desarrollo de su modelo anterior. Esta alternativa rompe con la tradición Tyleriana basada en la medida y comprobación de resultados. Aquí la finalidad de la evaluación es responder a los problemas y cuestiones reales que se plantean los alumnos y profesores cuando desarrollan un programa educativo. El propósito fundamental de la evaluación ya no es constatar, prescribir, comprobar, etc.; el propósito es fomentar la comunicación y el debate alrededor de las intenciones iniciales de evaluación y cómo estas han podido cambiar. Uno de los propósitos básicos del modelo es el cambio de actitudes, opiniones y creencias de los implicados en la evaluación y por eso, se propone una comunicación continua y fluida entre el evaluador y los evaluados con el fin de descubrir, investigar y solucionar los problemas que se pueden producir durante el proceso. Stake es el creador de una nueva escuela de evaluación que exige un método pluralista, flexible, interactivo y orientado al cliente. Las interpretaciones son imprescindibles para el desarrollo de la evaluación. Así, el evaluador negocia y colabora con los participantes del programa. La finalidad última de esta evaluación es descubrir y ofrecer un relato completo sobre el programa educativo. La metodología utilizada es cualitativa. El papel del evaluador es el de interpretar las necesidades y los resultados del programa junto con los implicados.

4.2. La Evaluación Iluminativa (Parlett y Hamilton)

Está basado en la antropología social y está totalmente en desacuerdo con el paradigma experimental dominante en evaluación. La evaluación propuesta por estos dos autores está relacionada con la descripción y la interpretación y no con la medición y control de los modelos objetivos. Su finalidad no es manipular y controlar, sino describir y comprender el complejo contexto educativo. La tarea del evaluador es de cooperación y tiene que facilitar una comprensión global de la compleja realidad en la cual se desarrolla el programa. Desde esta evaluación se espera que las informaciones dadas por el evaluador sirvan a diferentes grupos para tomar decisiones difíciles. El evaluador aquí no tiene que emitir juicios de valor, sino descubrir y generar debates alrededor de lo que implica el programa; por lo tanto, el evaluador tiene que poner de manifiesto los juicios de valor de los participantes del programa. Este es un modelo cualitativo y sus características básicas son:

Los métodos principales para recoger datos son la observación y la entrevista.
Las estrategias metodológicas son elaboradas situacionalmente como consecuencia del contacto y del acuerdo con los participantes.
El diseño de investigación cambia en el transcurso de la propia investigación en función del conocimiento que se va generando de la realidad.

5. Modelos y Perspectivas Actuales: Paradigma Crítico o Social

La finalidad de los modelos de este paradigma es la transformación de los destinatarios del programa. La evaluación se centra en el análisis crítico de las circunstancias personales, sociales, políticas y económicas que rodean la propia acción. Pretende el cambio institucional y comunitario, puesto que considera que los cambios individuales de los participantes del programa serán la base para cambios más globales. La evaluación es una tarea de negociación y el evaluador contribuye a construir significados, generando conocimiento que facilita que las personas implicadas sean conscientes y tengan criterios personales. El evaluador tiene un papel de fuerte implicación y tiene que ayudar a que se manifiesten las necesidades de las audiencias, y se convierte en fundamental en la dinamización de la propia intervención. El proceso de evaluación es un proceso de reflexión y de autorreflexión, y el evaluador es un agente de cambio. A la vez, el hecho evaluativo es un proceso de diálogo, metaevaluación, comprensión del mundo, autorreflexión y autocomprensión. Propugnan la acción en forma de evaluación dialéctica; el evaluador es el catalizador del diálogo. El ritmo de la evaluación será lento, abierto, flexible y extremadamente participativo.

5.1. La Evaluación Democrática (McDonald)

El autor relaciona evaluación y política. El modelo aparece como fruto de la clasificación política que hace McDonald de la evaluación. Los evaluadores no solo están dentro del mundo de la política educativa, sino que influyen en las cambiantes relaciones de poder. La evaluación brinda información que sirve a intereses y valores personales. El autor identificó tres tipos de evaluaciones:

Evaluación burocrática: Se entiende como un servicio incondicional a las autoridades políticas que controlan los recursos educativos. Aquí el evaluador acepta el funcionamiento jerárquico que impone el sistema burocrático y da información que ayuda a los objetivos de la política. Los conceptos clave son: servicio, utilidad y eficacia.
Evaluación autocrática: Ofrece un servicio a los responsables en política educativa, pero este no tiene carácter incondicional. El evaluador ofrece una validación externa de su política a cambio del reconocimiento público de su tarea. Los conceptos clave son: normas y objetividad.
Evaluación democrática: Es un servicio de información en la comunidad sobre las características del programa educativo. El evaluador reconoce la pluralidad de valores. El valor básico es una colectividad de ciudadanos informados. El evaluador intercambia información entre los diferentes grupos participantes en el programa. Esta evaluación estudia la realidad desde una perspectiva naturalista y la condición indispensable para conocer la realidad es entrar dentro de ella. Los conceptos clave son: confidencialidad, negociación y accesibilidad.