Metodología Esencial para la Recolección y Medición de Datos Cuantitativos

Planificación y Recolección de Datos en Investigación Cuantitativa

De acuerdo con nuestro problema de estudio e hipótesis (si es que se establecieron), la siguiente etapa consiste en recolectar los datos pertinentes sobre los atributos, conceptos o variables de interés. Este plan incluye determinar:

¿Cuáles son las fuentes de donde se obtendrán los datos? Es decir, los datos van a ser proporcionados por personas, se producirán de observaciones o se encuentran en documentos, archivos, etc.
¿En dónde se localizan tales fuentes? Regularmente en la muestra seleccionada, pero es indispensable especificar el lugar.
¿A través de qué medio o método vamos a recolectar los datos? Esta fase implica elegir uno o varios instrumentos.
Una vez recolectados, ¿de qué forma vamos a prepararlos para que puedan analizarse y respondamos a las preguntas de investigación?

El plan se nutre de diversos elementos:

Las variables, conceptos o atributos a medir (contenidos en el planteamiento e hipótesis o directrices del estudio).
La manera como hemos operacionalizado las variables es crucial para determinar el método para medirlas, lo cual a su vez, resulta fundamental para realizar las inferencias pertinentes.
El plan se implementa para obtener los datos requeridos; no olvidemos que todos los atributos, conceptos o variables deben ser medidos.

Con la finalidad de recolectar datos disponemos de una gran variedad de instrumentos o técnicas, tanto cuantitativas como cualitativas. Es por ello que en un mismo estudio podemos utilizar ambos tipos de instrumentos. Incluso, hay instrumentos como la prueba de propósito vital (PIL) (que evalúa el propósito de vida de una persona) de Crumbaugh y Maholick (1969) que contienen una parte cuantitativa y una cualitativa.

Antes de continuar es necesario revisar algunos conceptos esenciales para la recolección de los datos.

El Concepto de Medición en Ciencias Sociales

¿Qué significa medir?

Por ejemplo, al levantarnos por las mañanas, miramos el reloj despertador y medimos la hora; al bañarnos, ajustamos la temperatura del agua en la tina o la regadera, calculamos la cantidad de café que habremos de colocar en la cafetera; nos asomamos por la ventana y estimamos cómo será el día para decidir la ropa o atuendos que nos pondremos; al ver el tránsito desde el autobús u otro vehículo, evaluamos e inferimos a qué hora llegaremos a la universidad o al trabajo, así como la velocidad a la que transitamos (u observamos el velocímetro); en ocasiones contamos cuántos anuncios espectaculares observamos en el trayecto u otras cuestiones, incluso inferimos, a partir de ciertos signos, acerca del operador del autobús u otros conductores: ¿qué tan alegres o enojados están?

Definición de Medición

Medir significa asignar números, símbolos o valores a las propiedades de objetos o eventos de acuerdo con reglas (Stevens, 1951). Sin embargo, como señalan Carmines y Zeller (1991), esta definición es más apropiada para las ciencias físicas que para las ciencias sociales, ya que varios de los fenómenos que son medidos en estas no pueden observarse directamente. La disonancia cognitiva, la pareja ideal, el clima organizacional, la cultura fiscal y la credibilidad son conceptos tan abstractos que no deben ser considerados cosas que pueden verse o tocarse (definición de objeto) o solamente como resultado, consecuencia o producto (definición de evento) (Carmines y Zeller, 1991).

La medición se define como el proceso de vincular conceptos abstractos con indicadores empíricos, el cual se realiza mediante un plan explícito y organizado para clasificar (y con frecuencia cuantificar) los datos disponibles (los indicadores), en términos del concepto que el investigador tiene en mente. En este proceso, el instrumento de medición o de recolección de datos es fundamental.

La definición sugerida incluye dos consideraciones: la primera es desde el punto de vista empírico y se resume en que el centro de atención es la respuesta observable (sea una alternativa de respuesta marcada, una conducta observada, etc.). La segunda es desde una perspectiva teórica y se refiere a que el interés se sitúa en el concepto mismo. Así, los registros del instrumento reflejan el concepto.

Un instrumento de medición es el recurso que utiliza el investigador para registrar información o datos sobre las variables.

Figura 9.1 Ejemplo de plan para la obtención de datos.

PLAN

Planteamiento
- Objetivo: Analizar la relación entre la satisfacción de las recompensas, el grado de responsabilidad, el desarrollo personal y la productividad.
- Pregunta: ¿Cuál es la relación entre la satisfacción de las recompensas, el grado de responsabilidad, el desarrollo personal y la productividad?
Variables a medir: satisfacción de las recompensas, grado de responsabilidad, desarrollo personal, y productividad.
Definiciones operacionales: escalas de un cuestionario que mide las variables de interés denominado Cuestionario de Clima Organizacional.
Fuentes de datos: Trabajadores de laboratorios farmacéuticos de la Ciudad de México.
¿A través de qué método vamos a recolectar los datos? Entrevista, utilizando un cuestionario que será autoadministrado.
¿De qué forma vamos a prepararlos para que puedan analizarse? Codificación y tabulación de datos.

Medición: Proceso que vincula conceptos abstractos con indicadores empíricos.

Los conceptos o las variables que el investigador tiene en mente (Grinnell, 2009). En términos cuantitativos: captura verdaderamente la realidad que se desea medir. Bostwick y Kyte (2005) lo señalan de la siguiente forma: La medición es el puente entre la teoría y la observación. El primero provee evidencia empírica, el segundo proporciona modelos teóricos para encontrar explicaciones.

En toda investigación cuantitativa aplicamos un instrumento para medir las variables contenidas en el estudio. Esa medición es efectiva cuando el instrumento de recolección de datos en realidad representa a las variables que se pretenden medir. Si no es así, nuestra medición es deficiente; por tanto, la investigación no es válida.

Es casi imposible que representemos con fidelidad variables tales como la inteligencia emocional, la motivación, el nivel socioeconómico, el liderazgo democrático, el abuso sexual infantil y otras más; pero es un hecho que debemos acercarnos lo más posible a la representación fiel de las variables a observar, mediante el instrumento diseñado. Al medir buscamos la mayor precisión posible.

Requisitos Esenciales de un Instrumento de Medición

Toda medición o instrumento de recolección de datos debe reunir tres requisitos esenciales: confiabilidad, validez y objetividad.

Confiabilidad del Instrumento

La confiabilidad es el grado en que un instrumento produce resultados consistentes y coherentes. Por ejemplo, si se midiera en este momento la temperatura ambiental usando un termómetro y este indicara que hay 22°C, y un minuto más tarde se consultara otra vez y señalara 5°C, tres minutos después se observara nuevamente y este indicara 40°C, dicho termómetro no sería confiable, pues su medición no sería consistente. Asimismo, si una prueba de inteligencia (Intelligence Quotient, IQ) se aplica hoy a un grupo de personas y da ciertos valores de inteligencia, se aplica un mes después y proporciona valores diferentes, al igual que en subsecuentes mediciones, tal prueba no sería confiable (analice los valores de la tabla 9.1, suponiendo que los coeficientes de inteligencia son estables). Los resultados no son coherentes, pues no se puede confiar en ellos.

Ejemplo de Instrumento sin Confiabilidad

Tabla 9.1 Ejemplo de resultados proporcionados por un instrumento de medición sin confiabilidad

	Primera aplicación	Segunda aplicación	Tercera aplicación
Mariana	135	110	118
Viridiana	125	105	108
Sergio	118	131	105
Laura	110	130	115
Guadalupe	108	112	127
Chester	106	125	112
Agustín	100	101	120

La confiabilidad de un instrumento de medición se determina mediante diversas técnicas, las cuales se describen a continuación.

Validez del Instrumento

La validez, en términos generales, se refiere al grado en que un instrumento realmente mide lo que pretende medir. Por ejemplo, un instrumento válido para medir la inteligencia debe medir la inteligencia y no la memoria. Un método para medir el rendimiento bursátil tiene que medir precisamente esto y no la satisfacción laboral. Después de todo, como dijo un experto: “Si no lo puedes medir, no lo puedes mejorar”. Esto sería una medición inválida. Sin embargo, la situación no es tan simple cuando se trata de variables como la motivación, la calidad del servicio a los clientes, la actitud hacia un candidato político, y menos aún con sentimientos y emociones, así como con constructos complejos. La validez es una cuestión más compleja que la confiabilidad. Cronbach (1971, p. 138) plantea que la validez es el grado en que la evidencia apoya las inferencias que se hacen a partir de los resultados de una prueba. Si es así, el instrumento es válido.

La validez es un concepto del cual pueden tenerse diferentes tipos de evidencia (Gronlund, 1990; Streiner y Norman, 2008; Wiersma y Jurs, 2008; y Babbie, 2009): 1) evidencia relacionada con el contenido, 2) evidencia relacionada con el criterio, y 3) evidencia relacionada con el constructo. A continuación se detallan.

Evidencia Relacionada con el Contenido (Validez de Contenido)

La validez de contenido se refiere al grado en que un instrumento refleja un dominio específico de contenido de lo que se mide. Es el grado en el que la medición representa adecuadamente el universo de contenido de la variable. Por ejemplo, una prueba de operaciones aritméticas no tendrá validez de contenido si incluyera solo sumas y restas, omitiendo multiplicaciones y divisiones. O bien, una prueba de conocimientos sobre las canciones de Los Beatles no deberá basarse solamente en sus éxitos más conocidos, sino también en canciones menos populares. O una prueba de conocimientos de líderes históricos de América Latina que omita a Simón Bolívar, Salvador Allende o Benito Juárez, y se concentre en Eva y Domingo Perón, Augusto Pinochet, el cura Miguel Hidalgo y otros. Un instrumento de medición requiere tener representados prácticamente a todos o la mayoría de los componentes del dominio de contenido.

Validez: Grado en que un instrumento en verdad mide la variable que se busca.

Validez de contenido: Se refiere al grado en que un instrumento refleja un dominio específico de contenido de lo que se mide.

Figura 9.2 Ejemplo de un instrumento de medición con validez de contenido frente a otro que carece de ella.

El dominio de contenido de una variable normalmente está definido o establecido por la literatura existente. En estudios exploratorios donde las fuentes previas son escasas, el investigador comienza a adentrarse en el problema de investigación y a sugerir cómo puede estar constituido el dominio. De cualquier manera, en cada estudio uno debe probar que el instrumento tiene validez de contenido. Un ejemplo del intento por establecer el dominio de contenido de una variable es el siguiente:

EJEMPLO

Hernández Sampieri (2005), para establecer el dominio de la variable clima organizacional, revisó 20 estudios clásicos sobre el concepto, comprendidos entre 1964 y 1977, así como más de 100 investigaciones empíricas. Por otro lado, consideró diversos libros y manuales. Encontró que en la literatura se han considerado decenas de dimensiones o componentes del clima organizacional, por lo que realizó un análisis para determinar cuáles habían sido los más frecuentes. Estos fueron: 1) moral, 2) apoyo de la dirección, 3) innovación, 4) identificación con la empresa, 5) comunicación, 6) percepción del desempeño, 7) motivación intrínseca, 8) autonomía, 9) satisfacción general, 10) recompensa. Dejó a un lado otras, como confianza en sí mismo, etc.

Si el dominio de un instrumento es demasiado estrecho con respecto al dominio de la variable, el instrumento no será válido. La pregunta que se responde con la validez de contenido es: ¿el instrumento cubre todos los aspectos relevantes de la variable? En un cuestionario, por ejemplo, cabría interrogar: ¿las preguntas qué tan bien representan a todas las preguntas que pudieran formularse sobre el tema?

Evidencia Relacionada con el Criterio (Validez de Criterio)

La validez de criterio establece la validez de un instrumento de medición al comparar sus resultados con algún criterio externo que se sabe que mide la misma variable. Supongamos que una persona quiere medir su nivel de estrés. Entonces decide utilizar un nuevo cuestionario. Supuestamente, si ella no está estresada, el cuestionario debería indicarlo. Pero para asegurarse que su medición es válida, decide utilizar otra forma de medición adicional, por ejemplo, mirarla fijamente sin apartar la vista y observar sus reacciones fisiológicas. El criterio externo es la observación directa. Cuanto más se relacionen los resultados del instrumento de medición con el criterio, la validez de criterio será mayor. Por ejemplo, un investigador valida un examen sobre manejo de aviones al mostrar la exactitud con la que el examen predice qué tan bien un grupo de pilotos es capaz de operar un avión en una simulación de vuelo. Por ejemplo, Núñez (2001) desarrolló una herramienta para medir el sentido de vida de acuerdo con la teoría de Viktor Frankl. Para aportar evidencia de validez en este caso, se podría correlacionar la puntuación del instrumento con la percepción de bienestar general de la persona, preguntando: ¿por qué sí o por qué no?

Validez de Expertos o «Face Validity»

Otro tipo de validez que algunos autores consideran es la validez de expertos o face validity, la cual se refiere al grado en que aparentemente un instrumento de medición mide la variable en cuestión. Se encuentra vinculada a la validez de contenido y, de hecho, se consideró por muchos años como parte de ella. Hoy se concibe como un tipo de evidencia distinta (Streiner y Norman, 2008). Por ejemplo, Hernández Sampieri (2005) sometió el instrumento a revisión por parte de asesores expertos en la materia.

Validez Consecuente

Asimismo, más recientemente se ha comentado en torno a la validez consecuente, que se refiere a las secuelas sociales del uso e interpretación de los resultados de un instrumento.

La Validez Total

Cuanta mayor evidencia de validez de contenido, de validez de criterio y de validez de constructo tenga un instrumento, mayor será su validez total.

Validez total = validez de contenido + validez de criterio + validez de constructo

Relación entre Confiabilidad y Validez

Un instrumento de medición puede ser confiable, pero no necesariamente válido (un aparato, por ejemplo, un termómetro que siempre marca 5 grados más de la temperatura real es confiable pero no válido). Para ampliar este comentario, recurriremos a una analogía de Bostwick y Kyte (2005). Imaginemos que un grupo de tiradores practica tiro al blanco. Cada uno debe realizar cinco disparos, entonces:

Tirador 1: Sus disparos no impactan en el centro del blanco y se encuentran diseminados por todo el blanco. (Ni confiable ni válido).
Tirador 2: Tampoco impacta en el centro del blanco, aunque sus disparos se encuentran cercanos entre sí. (Confiable, pero no válido).
Tirador 3: Sus disparos impactan en el centro del blanco y se encuentran cercanos entre sí. (Confiable y válido).

Sus resultados podrían visualizarse como en la figura 9.3 (no proporcionada), en la cual se vinculan la confiabilidad y la validez. Por ejemplo, si un instrumento realmente mide el clima organizacional, ¿verdaderamente lo representa? En cuanto a contenido, sí. Pero esto no es suficiente. La validez de constructo es fundamental. Esta, basada en diversos estudios, indica que tales dimensiones se encuentran fuertemente vinculadas y que se unen o funden entre sí para formar un constructo multidimensional denominado clima organizacional, y que además se relaciona con otras variables. Entonces, para aportar validez de constructo, se correlacionaron todas las dimensiones entre sí y luego, la escala de clima con dicho constructo. Tales vínculos se encontraron mediante análisis estadístico y los resultados fueron consistentes.

Factores que Afectan la Confiabilidad y Validez

Hay diversos factores que llegan a afectar la confiabilidad y la validez de los instrumentos de medición.

Improvisación y Falta de Conocimiento

Algunas personas creen que elegir un instrumento de medición es una tarea sencilla. Incluso, algunos profesores piden a los alumnos que construyan instrumentos de medición de un día para otro o, lo que es casi lo mismo, de una semana a otra, lo cual habla del poco o nulo conocimiento del proceso de elaboración de instrumentos válidos y confiables. Esta improvisación genera casi siempre instrumentos poco válidos o confiables. También a las y los investigadores experimentados les toma cierto tiempo desarrollar un instrumento adecuado. Además, para construir un instrumento de medición se requiere conocer muy bien la variable a medir.

Uso de Instrumentos Extranjeros sin Adaptación

El segundo factor es que a veces se utilizan instrumentos desarrollados en el extranjero que no han sido adaptados ni validados en el contexto local. Traducir un instrumento, aun cuando adaptemos los términos, no es suficiente. Es un primer paso. En el caso de traducciones, es importante verificar que los términos centrales tengan referentes con el mismo significado o alguno muy parecido en la cultura en la que se va a utilizar dicho instrumento (vincular términos entre la cultura de origen y la cultura de destino). A veces se traduce, se obtiene una versión y esta, a su vez, se vuelve a traducir al idioma original para verificar la equivalencia (traducción inversa). Por otra parte, existen instrumentos que fueron validados en nuestro contexto, pero hace mucho tiempo. Las culturas, los grupos y las personas cambian; y esto debemos tomarlo en cuenta al elegir o desarrollar un instrumento de medición.

Inadecuación del Instrumento para los Participantes

Un tercer factor es que en ocasiones el instrumento resulta inadecuado para las personas a quienes se aplica. Utilizar un lenguaje muy elevado para el sujeto participante, no tomar en cuenta diferencias en cuanto a género, edad, conocimientos, memoria, nivel ocupacional y educativo, motivación para contestar, capacidades de conceptualización y otras diferencias en los participantes, puede afectar la validez y confiabilidad. Este error es común. Asimismo, hay grupos de la población que requieren instrumentos apropiados para ellos, tal es el caso de las personas con capacidades diferentes. En la actualidad se han desarrollado diversas pruebas que las toman en cuenta (por ejemplo, pruebas en sistema Braille para personas con discapacidades visuales o pruebas orales para individuos con dificultades de lectura). Otro ejemplo lo son los indígenas o inmigrantes de otras culturas, en ocasiones con barreras idiomáticas o culturales. Quien realiza una investigación debe siempre adaptarse a los participantes y no estos a él o ella, ya que el objetivo es obtener datos precisos. Si este es el caso, sugerimos que se consulte a Mertens y McLaughlen (2004), en cuyo libro tienen un capítulo dedicado a la recolección de información con poblaciones diversas. Asimismo, es recomendable revisar la página web de alguna asociación internacional como la American Psychological Association (APA).

Estilos Personales de los Participantes

El cuarto factor agrupa diversas cuestiones vinculadas con los estilos personales de los participantes (Bostwick y Kyte, 2005) tales como: deseabilidad social (tratar de dar una impresión muy favorable a través de las respuestas), tendencia a asentir con respecto a todo lo que se pregunta, dar respuestas extremas o intermedias.

Condiciones de Aplicación del Instrumento

Un quinto factor que puede influir está constituido por las condiciones en las que se aplica el instrumento. El ruido, la iluminación, el frío (por ejemplo, en una encuesta de casa en casa), un instrumento demasiado largo o tedioso, una encuesta telefónica después de que algunas compañías telefónicas han abusado de las llamadas comerciales (por ejemplo, a la hora de la cena o en fin de semana) son cuestiones que llegan a afectar negativamente la validez y la confiabilidad, al igual que si el tiempo que se brinda para responder al instrumento es insuficiente o excesivo. Por lo común en los experimentos se cuenta con instrumentos de medición más largos y detallados. Por ejemplo, en una encuesta pública sería muy difícil aplicar un instrumento extenso. Por ejemplo, que las instrucciones no sean las mismas para todos los participantes, que el orden de las preguntas sea distinto para algunos individuos, etcétera.

Aspectos Mecánicos y de Contenido

Aspectos mecánicos tales como que si el instrumento es escrito, que no sean legibles las instrucciones, falten páginas, no haya espacio adecuado para contestar o no se comprendan las instrucciones, también afectan. Con respecto a la validez de constructo dos factores pueden afectarla significativamente: a) la estrechez del contenido, es decir que se excluyan dimensiones importantes de la variable o las variables medidas y b) la amplitud exagerada, donde el riesgo es que el instrumento contenga excesiva intrusión de otras variables o conceptos. Muchos de los errores se pueden evitar mediante una adecuada revisión de la literatura, que nos permite seleccionar las dimensiones apropiadas de las variables del estudio, criterios para comparar los resultados de nuestro instrumento, teorías de respaldo, instrumentos de dónde elegir, etcétera.

La Objetividad en la Medición

La objetividad del instrumento se refiere al grado en que el instrumento es permeable a la influencia de los sesgos y tendencias de los investigadores que lo administran, califican e interpretan. En ciertas ciencias, la objetividad es más fácil de lograr. Al tratarse de cuestiones físicas las percepciones suelen compartirse (por ejemplo, la mayoría de las personas estarían de acuerdo en que el agua de mar contiene sal o los rayos del Sol queman), pero en temas que tienen que ver con la conducta humana como los valores, las atribuciones y las emociones, el consenso es más difícil de alcanzar. Imaginemos que 10 observadores deben ver una película y calificarla como muy violenta, violenta, neutral, poco violenta o nada violenta. Tres personas indican que es muy violenta, tres que es violenta y cuatro la evalúan como neutral; qué tan violenta es la película resulta un cuestionamiento subjetivo. Sin embargo, la objetividad es un ideal al que se aspira. Desde luego, la certidumbre total no existe ni en las ciencias físicas; el conocimiento es aceptado como probabilístico. La objetividad es permeable a la influencia de los sesgos y tendencias del investigador o investigadores. Investigadores racistas o machistas quizás influyan negativamente por su sesgo contra un grupo determinado. Lo mismo podría suceder con las tendencias ideológicas, religiosas o políticas. En este sentido, los aparatos y sistemas calibrados (por ejemplo, una pistola láser para medir la velocidad de un automóvil) son más objetivos que otros sistemas que requieren cierta interpretación (como un detector de mentiras) y estos, a su vez, más objetivos que la observación no estructurada. La objetividad se refuerza mediante la estandarización en la aplicación del instrumento (mismas instrucciones y condiciones para todos los participantes) y en la evaluación de los resultados; así como mediante el uso de múltiples observadores o jueces. Por ejemplo, si se utilizan observadores, su proceder en todos los casos debe ser lo más similar que sea posible y su entrenamiento debe ser riguroso. Los estudios cuantitativos buscan que la influencia de las características y las tendencias del investigador se reduzca al mínimo posible, lo que insistimos es un ideal, pues la investigación siempre es un proceso humano. Sin alguna de las características mencionadas, la medición será deficiente.

Evaluación de la Confiabilidad y Validez de un Instrumento

El Error de Medición

Generalmente se tiene un grado de error en cualquier medición. Desde luego, se trata de que este error sea el mínimo posible, por lo cual la medición de cualquier fenómeno se conceptualiza con la siguiente fórmula básica:

X = t + e

Donde X representa los valores observados (resultados disponibles); t, los valores verdaderos; y e, el error de medición. Si no hay un error de medición (e es igual a cero), el valor observado y el valor verdadero son idénticos. Esto puede verse claramente así:

X = t + 0

X = t

Cuanto mayor sea el error al medir, el valor que obtenemos se alejará más de la realidad. Por ejemplo, si medimos la motivación de un individuo y la medición está contaminada por un grado de error considerable, la medición no será precisa. Pero, ¿cómo sabemos el grado de error?

Cálculo de la Confiabilidad (Fiabilidad)

Todos los procedimientos para calcular la confiabilidad producen coeficientes de confiabilidad. La mayoría de estos pueden oscilar entre cero y uno, donde un coeficiente de cero significa nula confiabilidad y uno representa confiabilidad perfecta. Cuanto más se acerque el coeficiente a cero, menor será la confiabilidad.

Los procedimientos más utilizados para determinar la confiabilidad mediante un coeficiente son: 1) medida de estabilidad (confiabilidad por test-retest), 2) método de formas alternativas o paralelas, 3) método de mitades partidas, y 4) coeficientes de consistencia interna (como el alfa de Cronbach). Estos procedimientos no se detallan en esta sección, sino que se explican en el capítulo 10, Análisis de los datos cuantitativos. Simplemente comentaremos su interpretación con la medida de consistencia interna denominada coeficiente alfa de Cronbach.

Supongamos que una investigadora desarrolló un instrumento para medir el grado de amor romántico entre parejas de jóvenes universitarios, el cual se fundamentó en cuatro de las herramientas más conocidas para ello: la medida de Rubin sobre el amar y el vincularse con los demás, la escala sobre actitudes hacia el amor, la medida sobre el amor apasionado y la escala del amor triangular (Graham y Harvey, 2001). Para estimar la confiabilidad de su instrumento lo debe aplicar a su muestra y calcular el coeficiente alfa de Cronbach. Imaginemos que obtiene un valor alfa de Cronbach de 0.96, que es muy elevado, lo que significa que su medida del amor romántico es sumamente confiable. Lo cual resulta lógico; veámoslo con un ejemplo cotidiano: si se desea probar qué tan confiable o consistente es la lealtad de un amigo hacia nuestra persona, se observaría su comportamiento en diversas situaciones. Claro está que demasiados ítems pueden hacer el instrumento tedioso. Cada vez que se administra un instrumento de medición debe calcularse la confiabilidad, al igual que la validez.

Estimación de la Validez de Contenido

Para estimar la validez de contenido, se debe revisar la literatura existente sobre la variable a medir y, con base en dicha revisión, elaborar un universo de ítems o reactivos posibles. Después, se consulta a investigadores familiarizados con la variable para ver si el universo es verdaderamente representativo. Y si la variable está compuesta por diversas dimensiones o facetas, se extrae una muestra probabilística de ítems para cada dimensión. Se administran los ítems, se correlacionan las puntuaciones de estos entre sí (tiene que haber correlaciones altas, en especial entre ítems que miden una misma dimensión, pero teniendo cuidado que sean capaces de discriminar entre participantes) (Bohrnstedt, 1976; Punch, 2009); y se hacen estimaciones estadísticas para determinar la validez de contenido. Pero, como veremos más adelante, a veces no se calculan estos coeficientes, sino que se seleccionan los ítems mediante un proceso que asegura la representatividad del contenido.

Estimación de la Validez de Criterio

La validez de criterio se estima al correlacionar la medición con el criterio externo (puntuaciones del instrumento frente a las puntuaciones en el criterio), y este coeficiente se toma como coeficiente de validez (Bohrnstedt, 1976). Que podría representarse con el ejemplo de la figura 9.6.

Figura 9.6 Ejemplo para la estimación de la validez de criterio.

Instrumento para medir la motivación intrínseca
Persistencia en la tarea (horas extra sin recompensa extrínseca)
Correlación
Medición Criterio

Estimación de la Validez de Constructo

La validez de constructo suele determinarse mediante procedimientos de análisis estadístico multivariado (análisis de factores, análisis discriminante, regresiones múltiples, etc.), los cuales se revisan en el CD anexo: Material complementario » Capítulos » Capítulo 8: Análisis estadístico: Técnicas Avanzadas.

Procedimiento para Construir un Instrumento de Medición

Sin embargo, es un proceso sistemático. Este se resume mediante etapas en el diagrama de la figura 9.7 (no proporcionada) y corresponde a la parte del plan de recolección que contesta a la pregunta: ¿A través de qué medio o método vamos a recolectar los datos? Y cabe señalar que cada etapa o fase no se detalla en este capítulo, sino en el CD anexo: Material complementario » Capítulos » Capítulo 9: Construcción de Instrumentos de Medición.

Tipos de Preguntas en Instrumentos Cuantitativos

Asimismo, estas preguntas requieren un menor esfuerzo por parte de los encuestados, que no tienen que escribir o elaborar respuestas. Responder a un cuestionario con preguntas cerradas toma menos tiempo que contestar uno con preguntas abiertas. Cuando el cuestionario se envía por correo, se tiene un mayor grado de respuesta si las preguntas son cerradas. Otras ventajas son: se reduce la posibilidad de respuestas irrelevantes. La principal desventaja de las preguntas cerradas reside en que limitan las respuestas de la muestra y, en ocasiones, ninguna de las categorías describe con exactitud lo que las personas tienen en mente; su redacción exige mayor laboriosidad y un profundo conocimiento del planteamiento por parte del investigador o investigadora. De no ser así, las opciones pueden ser inadecuadas. Además, el investigador debe asegurarse de que los participantes a quienes se aplica el instrumento comprendan las opciones de respuesta. Por ejemplo, si preguntamos qué canal de televisión es el preferido, determinar las opciones de respuesta y que los participantes elijan una. Pero si preguntamos sobre las razones y los motivos que llevan a esa preferencia, se necesitarían preguntas abiertas.

Ventajas y Desventajas de Preguntas Cerradas

Ventajas: Fáciles de codificar y analizar, requieren menos esfuerzo del encuestado, mayor tasa de respuesta en encuestas postales.
Desventajas: Limitan las respuestas, pueden no capturar la complejidad de la opinión, requieren un diseño cuidadoso de las opciones.

Ventajas y Desventajas de Preguntas Abiertas

Las preguntas abiertas proporcionan una información más amplia y son particularmente útiles cuando no tenemos información sobre las posibles respuestas de las personas o cuando esta es insuficiente. También sirven en situaciones donde se desea profundizar una opinión o los motivos de un comportamiento. Su mayor desventaja es que son más difíciles de codificar, clasificar y preparar para el análisis. Además, llegan a presentarse sesgos derivados de distintas fuentes; por ejemplo, quienes enfrentan dificultades para expresarse en forma oral y por escrito quizá no respondan con precisión a las preguntas abiertas. El nivel educativo, la capacidad de manejo del lenguaje y otros factores pueden afectar la calidad de las respuestas (Black y Champion, 1976). Asimismo, responder a preguntas abiertas requiere de un mayor esfuerzo cognitivo.

La elección del tipo de preguntas que contenga el cuestionario depende del grado en que se puedan anticipar las posibles respuestas, los tiempos de que se disponga para codificar y si se quiere una respuesta detallada o una categorización rápida. Una recomendación para construir un cuestionario es que se analice, variable por variable, qué tipo de pregunta o preguntas suelen ser más confiables y válidas para medir esa variable, de acuerdo con la situación del estudio (planteamiento del problema, objetivos, etc.). Por ejemplo, en la prueba piloto puede elaborarse una pregunta abierta y posteriormente a su aplicación, convertirla en cerrada si las respuestas son recurrentes.

Preguntas Obligatorias (Demográficas)

Las preguntas llamadas demográficas o de ubicación del participante encuestado son esenciales: género, edad, nivel socioeconómico, estado civil, escolaridad (nivel de estudios), religión, afiliación política, colonia, barrio o zona donde vive, pertenencia a ciertas agrupaciones, ocupación (actividad a la que se dedica), años de residencia, etc.

Características Esenciales de una Pregunta

Independientemente de que las preguntas sean abiertas o cerradas, y de que sus respuestas estén precodificadas o no, hay una serie de características que deben cubrirse al plantearlas:

Las preguntas tienen que ser claras, precisas y comprensibles para los sujetos encuestados. Deben evitar la ambigüedad. Por ejemplo, la pregunta: ¿ve usted televisión? Sería mucho mejor especificar: ¿acostumbra usted ver televisión diariamente?, ¿cuántos días durante la última semana vio televisión?, y después preguntar sobre el tipo de programas. Otro ejemplo inconveniente: ¿Le gusta el fútbol? No se sabe si se trata de verlo por televisión o en vivo, si de practicarlo o de leer sobre ello. Otro caso que genera confusión son los términos con múltiples significados (Burnett, 2009), por ejemplo: ¿su empleo es estable?, implica un concepto subjetivo. ¿Qué se considera estable?: ¿un año, cinco años, indefinido? Un caso común de confusión son las palabras sobre la temporalidad, resulta nebuloso el cuestionamiento: ¿ha asistido recientemente al cine?, ya que implica otras preguntas: ¿qué significa recientemente?, ¿ayer, la última semana, el último mes? Sería mejor interrogar: durante las últimas cuatro semanas, ¿cuántas veces ha asistido al cine? De igual forma: ¿ha trabajado desde casa en el último mes?
Es aconsejable que las preguntas sean lo más breves posible, porque las preguntas largas suelen resultar tediosas, toman más tiempo y pueden distraer al participante; pero como menciona Corbetta (2003), cuando se trata de asuntos complicados tal vez es mejor una pregunta más larga, debido a que facilita el recuerdo, proporciona al sujeto más tiempo para pensar y favorece una respuesta más articulada (Corbetta, 2003). La directriz a seguir es que se incluyan las palabras necesarias para que se comprenda la pregunta sin ambigüedad.
Deben formularse con un vocabulario simple, directo y familiar para los participantes. El lenguaje debe adaptarse al habla de la población a la que van dirigidas las preguntas (Gambarra, 2005). Recuerde que es ineludible tomar en cuenta su nivel educativo y el socioeconómico, las características culturales, etc.
No pueden incomodar a la persona encuestada ni ser percibidas como amenazantes y nunca esta debe sentirse juzgada. Preguntas como: ¿acostumbra usted consumir drogas ilegales? Es mejor cuestionar: ¿algunos de sus amigos acostumbran consumir algún tipo de bebida alcohólica?, y después utilizar preguntas tenues que indirectamente nos indiquen si la persona acostumbra consumir esta sustancia. (En extremo amenazante), por la siguiente formulación: El consumo de bebidas como el ron, tequila, vodka y whisky en esta ciudad es de X botellas de un litro, ¿en qué medida usted estaría por encima o por debajo de esta cifra? Gochros (2005) recomienda cambiar la pregunta: ¿consume drogas?, por: ¿qué opina de las personas que consumen drogas en general? En estos casos de preguntas difíciles, es posible usar escalas de actitud en lugar de preguntas o aun otras formas de medición (como se verá en la parte de escalas actitudinales y diferencial semántico). Hay temáticas en las que a pesar de que se utilicen preguntas sutiles, el participante puede sentirse incómodo. Tal es el caso del desempleo, la homosexualidad, el SIDA, etcétera.
Las preguntas deben referirse preferentemente a un solo aspecto o una relación lógica. Por ejemplo, la pregunta: ¿acostumbra usted ver televisión y escuchar radio diariamente?, expresa dos ideas distintas. Es necesario dividirla en dos preguntas, una relacionada con la televisión y otra con la radio. Otro ejemplo: ¿sus padres eran saludables?, es una pregunta problemática, además del concepto saludable (confuso), es imposible de responder en el caso de que la madre nunca se hubiera enfermado de gravedad y nunca hubiera sido hospitalizada y el padre sí.
Las preguntas no habrán de inducir las respuestas. Se tienen que evitar preguntas tendenciosas o sesgadas. Por ejemplo, ¿considera a nuestro compañero Ricardo Hernández como el mejor candidato para dirigir nuestro sindicato?, es una pregunta tendenciosa. Resultaría mucho más conveniente interrogar: ¿qué opina de los candidatos para dirigir el sindicato?

EJEMPLO

¿Qué tan productivos considera usted, en general, a los trabajadores argentinos?

Sumamente productivos
Más bien productivos
Más bien improductivos
Sumamente improductivos

Otros ejemplos inconvenientes serían: ¿piensa usted votar por tal partido político en las próximas elecciones?, ¿usted considera que debemos retirar las tropas de nuestro país de la coalición…? El participante nunca debe sentirse presionado a dar una respuesta específica. Un factor importante a considerar es la deseabilidad social, a veces las personas utilizan las respuestas para proyectar una imagen socialmente aceptable. Por ejemplo, la pregunta: ¿le gustaría casarse?, podría generar una respuesta sesgada por la deseabilidad social. Resulta mejor cuestionar: ¿qué opina del matrimonio?, y más adelante inquirir sobre sus anhelos personales. Una interrogante como: ¿acostumbra leer el periódico?, puede llevarnos a una respuesta afirmativa por deseabilidad social, aunque no sea cierta. Es importante diseñar preguntas que minimicen este efecto.

Las preguntas no pueden apoyarse en instituciones, ideas respaldadas socialmente ni en evidencia científica para inducir una respuesta. Por ejemplo, la pregunta: la Organización Mundial de la Salud ha realizado diversos estudios y concluyó que el tabaquismo provoca cáncer, ¿usted fuma? Esquemas del tipo: la mayoría de las personas opinan que…, la Iglesia considera…, los padres de familia creen que…, deben evitarse.
Es aconsejable evitar preguntas que nieguen el asunto que se interroga. Por ejemplo: ¿qué niveles de satisfacción no tiene con este servicio? Es mejor preguntar sobre qué niveles de satisfacción tiene. O bien: ¿qué no le agrada de este centro comercial?, es preferible preguntar: ¿qué le agrada de este centro comercial y qué no le agrada? Tampoco es conveniente incluir dobles negaciones (son positivas, pero suelen confundir): ¿considera que la mayoría de las mujeres casadas no son infelices?
No deben hacerse preguntas racistas o sexistas ni que ofendan a los participantes. Es obvio, pero es un error que a veces se comete. Se recomienda también sortear las preguntas con fuerte carga emocional o muy complejas, que más bien son preguntas para entrevistas cualitativas (por ejemplo: ¿cómo se siente usted sobre la muerte de su hijo?, aunque una escala completa podría ser una solución para medir el impacto emocional de un evento).
En las preguntas con varias categorías de respuesta, y donde el sujeto participante solo tiene que elegir una, llega a ocurrir que el orden en que se presentan dichas opciones afecta las respuestas de los participantes (por ejemplo, que la primera o la última opción sean elegidas con mayor frecuencia).