Fiable no quiere decir exacto

La fiabilidad designa la constancia de una medida: un instrumento fiable da resultados próximos cuando se mide dos veces lo mismo. La validez designa otra cosa: que el resultado verse efectivamente sobre lo que el instrumento pretende medir. El lenguaje corriente confunde de buen grado ambas.

La imagen clásica es la de una báscula mal ajustada que marca cada mañana dos kilos de más. Es perfectamente fiable, puesto que repite el mismo error, y no es exacta. Una fiabilidad suficiente es necesaria para la validez; nunca la garantiza.

El índice de fiabilidad más extendido es el coeficiente alfa, propuesto por Lee Cronbach en 1951. Estima hasta qué punto las preguntas de una escala varían conjuntamente. Aparece en casi todas las publicaciones, a veces como único argumento de calidad.

Sin embargo, a menudo se lee mal. Un alfa elevado no prueba que una escala mida una sola cosa, y aumenta mecánicamente con el número de preguntas. Una escala hecha de formulaciones casi idénticas obtiene un coeficiente excelente, precisamente porque repite la misma pregunta.

Otra forma de fiabilidad consiste en aplicar el mismo cuestionario con unas semanas de intervalo. Para un rasgo que se supone estable, se esperan puntuaciones próximas. Para un estado, el humor del día por ejemplo, una gran estabilidad resultaría por el contrario sospechosa: el instrumento no captaría lo que cambia.

La pregunta no tiene, pues, respuesta general. El nivel de estabilidad esperado depende de lo que se pretende medir, y una misma cifra puede ser una cualidad para una escala y un defecto para otra. Esta dependencia no aparece en el coeficiente mismo.

Ninguna medida psicológica está exenta de error. La teoría clásica de los tests extrae de ello una consecuencia práctica: cada puntuación individual puede acompañarse de un intervalo, calculado a partir de la fiabilidad, dentro del cual se sitúa probablemente el valor que se busca estimar.

Ese intervalo suele ser amplio. Dos personas cuyas puntuaciones difieren en unos pocos puntos pueden no diferir en absoluto, y una misma persona puede cambiar de categoría de una aplicación a otra sin que nada haya cambiado en ella. Un resultado sin margen exhibe una precisión que no tiene.

La validez no se lee en ningún coeficiente único. Se establece mediante un conjunto de argumentos: el contenido de las preguntas, la relación de la puntuación con otras medidas del mismo objeto y su relativa independencia respecto de medidas de objetos vecinos pero distintos.

Este último punto pesa mucho en el ámbito emocional. Una escala que correlaciona fuertemente con un cuestionario de personalidad ya existente corre el riesgo de medir, con un nombre nuevo, algo ya conocido. La fiabilidad, por su parte, no puede decir nada al respecto.

Leer un resultado supone, pues, dos preguntas separadas: ¿da el instrumento el mismo resultado en las mismas condiciones?, y ¿versa ese resultado sobre lo que se anuncia? La primera se resume en una cifra. La segunda exige un expediente, y es ella la que decide lo que se puede concluir.