Fiabilidad en el análisis de contenido: cómo calcular fácilmente el alfa de Krippendorff

Uno de los momentos más “tensos” de mis clases sobre análisis de contenido llegan cuando tengo que explicar las medidas de fiabilidad entre codificadores. Todo lo que se relaciona con la estadística provoca auténtico pavor. En mi último seminario sobre el tema de hecho algún alumno llegó a suplicar que no les hiciese calcular el alfa de Krippendorff como requisito para superar el seminario.

Klaus Krippendorff, padre del Alfa de Krippendorff y uno de los terrores de mis estudiantes

Pero vayamos por partes, ¿qué es el alfa de Krippendorff? Se trata del índice más más habitual para medir el grado de acuerdo entre codificadores. Cualquier análisis de contenido que tenga un mínimo de rigor y donde participen más de dos investigadores “picando” o “vaciando” los textos en la base de datos tiene que indicar el grado de fiabilidad inter-jueces para cada una de las variables consideradas.

Pongamos un ejemplo hipotético. Partamos de un estudio que analiza las noticias sobre los candidatos a la presidencia del gobierno publicadas en diferentes medios durante la campaña electoral. Se plantea la hipótesis de que el enfoque noticioso variará en función de la ideología del medio y del candidato. El trabajo de campo lo llevaría a cabo dos codificadores distintos. Tendríamos que calcular el alfa de Krippendorff para cada una de las variables que contemplamos: enfoque noticioso, ideología del medio e ideología del candidato. Es decir, el alfa de Krippendorff se calcula para cada una de las variables analizadas, y en cada una de ellas tendremos un valor distinto. No se mide el acuerdo de los codificadores en general, sino que se mide su acuerdo en cada una de las variables utilizadas.

El alfa se calcula sobre un máximo de 1, que implicaría que los codificadores interpretan el código y realizan el análisis de manera idéntica. Suele considerarse que un buen grado de fiabilidad se encuentra entre 1 y 0,8. Por el contrario, si cae por debajo de 0,667 hablaríamos de un grado de acuerdo inaceptable: habría que volver a formar a los codificadores o revisar el código y las instrucciones para que fuesen más claras.

El procedimiento ha de ser previo al comienzo del análisis en sí. Los codificadores tienen que analizar por separado un mismo conjunto de mensajes, que idealmente debería ser en torno al 10% de la muestra total sobre la que se va a trabajar, seleccionada aleatoriamente.

Cómo calcular el alfa de Krippendorff

Prometí un recurso fácil para calcular este alfa: ReCal . Con esta web solo necesitaremos tener un archivo CSV (Excel y otras hojas de cálculo permiten guardar archivos en este formato). Cada columna debe corresponder a un codificador distinto (puede haber tantas columnas como codificadores distintos hayan participado). Cada fila debe equivaler a una unidad de análisis diferente. Y por supuesto, cada fila debe incluir los valores que cada codificador ha atribuido a la misma unidad de análisis. El archivo solo puede contener valores numéricos (no puede incluir texto). ReCal solo analiza la fiabilidad de una variable a la vez, con lo que deberemos preparar tantos documentos como variables haya en el código de análisis. Si consideramos 12 variables, necesitaremos tener 12 archivos.

Lo siguiente que necesitamos es recordar el tipo de datos que suelen considerarse en un análisis de contenido:

  • Nominal. El número no tiene valor (no se pueden arrojar medias, por ejemplo) sino que se trata solo de una “etiqueta” para agregar mensajes que comparte un mismo rasgo. Por ejemplo, si asignamos el 1 a medios de izquierda, el 2 a medios de derecha y el 0 a medios sin ideología.
  • Ordinal. Como su nombre indica, si el número equivale a una jerarquía u orden de aparición. Por ejemplo: el orden en el que aparece una pieza en un telediario.
  • Intervalo. Aquí ya hablamos de cifras aritméticas normales. Por ejemplo, el número de palabras que componen un discurso.
  • Ratio. Al igual que en el intervalo, aquí se habla de cifras artiméticas “normales”. La diferencia es que en intervalo no puede haber un valor 0. Con el ejemplo que poníamos antes, es evidente que todo discurso tiene que tener al menos una palabra. Si nos manejarmos ante “ratios”, existe la posibilidad de que sí introduzcamos el valor “0”. Por ejemplo, si medimos el número de verbos en pasiva, podemos econtrarnos con discursos donde solo se emplea la voz activa y por lo tanto, deberíamos codificar “0′”

Teniendo esto en mente, accedemos a ReCal



  1. Elegimos el tipo de datos que refleja el archivo (Nominal, ordinal, intervalo o ratio
  2. Subimos el archivo CSV
  3. Calculamos la fiabilidad

ReCal es un recurso sencillo, pero quienes estéis acostumbrados a utilizar algún tipo de software estadístico podéis consultar estos tutoriales para SPSS y para R.

Esta entrada fue publicada en Metodología y etiquetada , , . Guarda el enlace permanente.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s