¿Qué es la confiabilidad entre evaluadores?
¿Cómo, exactamente, recomendaría juzgar un concurso de arte? Después de todo, evaluar el arte es muy subjetivo y estoy seguro de que te has encontrado con las llamadas «grandes» piezas que pensabas que eran una absoluta basura. Entonces, ¿cómo puede un par de jueces determinar qué obra de arte es la mejor? Especialmente si cada juez tiene una opinión diferente, sesgo, etc. , puede parecer a primera vista que no hay una forma justa de evaluar las piezas.
Ahí es donde entra en juego la confiabilidad entre evaluadores (TIR). La confiabilidad entre evaluadores es un nivel de consenso entre los evaluadores. En el caso de nuestro concurso de arte, los jueces son los evaluadores. Aunque no hay forma de describir ‘mejor’, podemos darles a los jueces algunas piezas externas que pueden usar para calibrar sus juicios de modo que todos estén en sintonía con las actuaciones de los demás.
Por ejemplo, podemos pedirles que califiquen las piezas en aspectos como «originalidad», «calibre de la técnica» y uno o dos aspectos más que contribuyen a que una obra de arte sea buena. Luego, podemos determinar hasta qué punto los jueces están de acuerdo en sus calificaciones en las piezas de calibración y calcular la TIR. Con base en esa medida, sabremos si los jueces están más o menos en la misma página cuando toman sus determinaciones y como resultado, al menos podemos llegar a una convención sobre cómo definimos ‘buen arte’ … en este competencia, de todos modos.
Cálculo de la confiabilidad entre evaluadores (TIR)
Si bien hay muchas formas de calcular la TIR, los dos métodos más comunes son utilizar Kappa de Cohen y Rho de Spearman . El Kappa de Cohen se usa cuando la calificación es nominal y discreta (por ejemplo, sí / no; tenga en cuenta que el orden no importa), y esencialmente evalúa hasta qué punto los jueces están de acuerdo en relación con cuánto estarían de acuerdo si solo calificaran las cosas al azar. . El Rho de Spearman se utiliza para medidas ordinales más continuas (p. Ej., Escala del 1 al 10) y refleja la correlación entre las calificaciones de los jueces.
Kappa de Cohen
Supongamos que le pedimos a dos jueces de arte que califiquen 100 piezas según su originalidad en base a sí o no. Para cada pieza, habrá cuatro resultados posibles: dos en los que están de acuerdo (sí-sí; no-no) y dos en los que no están de acuerdo (sí-no; no-sí). Digamos que ambos llamaron 40 piezas ‘originales’ (sí-sí) y 30 piezas ‘no originales’ (no-no). Para otras 10 piezas, el juez A dijo «original» mientras que el juez B no estuvo de acuerdo, y para las otras 20 piezas, el juez B dijo «original» mientras que el juez A no estuvo de acuerdo.
En base a esto, los jueces están de acuerdo en 70/100 pinturas, o el 70% del tiempo. Pero, ¿cuáles son las probabilidades de que los jueces estén de acuerdo por casualidad?
A partir de los resultados, también vemos que el juez A dijo ‘original’ en 50/100 piezas, o el 50% del tiempo, y dijo ‘no original’ el otro 50% del tiempo. Sin embargo, el juez B declaró 60 piezas «originales» (60%) y 40 piezas «no originales» (40%).
Al calcular la probabilidad de que dos eventos independientes sucedan al azar, multiplicamos las probabilidades y, por lo tanto, la probabilidad de que ambos jueces digan que una pieza es «original» por azar es .5 * .6 = .3, o 30%. Las probabilidades de que los dos jueces declaren algo ‘no original’ por casualidad es .5 * .4 = .2, o 20%. En total, entonces, la probabilidad de que los jueces estén de acuerdo al azar es 30% (ambos ‘originales’) + 20% (ambos ‘no originales’) = 50%.
Calculamos el Kappa de Cohen de la siguiente manera:
 |
… donde Pr (a) es la probabilidad de acuerdo en esta situación particular, mientras que Pr (e) es la probabilidad de ‘error’, o el acuerdo se debe al azar. Kappa varía de 0 (sin acuerdo después de considerar el azar) a 1 (acuerdo perfecto después de considerar el azar), por lo que el valor de .4 es bastante bajo (la mayoría de las investigaciones de psicología publicadas buscan un Kappa de al menos .7 o .8) . En última instancia, los resultados sugieren que estos dos evaluadores están de acuerdo el 40% de las veces después de controlar los acuerdos al azar.
Rho de Spearman
El Rho de Spearman se basa en la clasificación de cada pieza en relación con las otras piezas dentro del sistema de cada juez. Por ejemplo, considere 10 obras de arte, AJ. El juez 1 los clasifica de la siguiente manera: A, B, C, D, E, F, G, H, I, J. El juez 2, sin embargo, los clasifica de forma un poco diferente: B, C, A, E, D, F, H, G, I, J. Si bien existen claras diferencias entre los rangos de cada pieza, también hay algunas consistencias generales. Tenga en cuenta, por ejemplo, que I y J están clasificados en el noveno y décimo lugar (respectivamente según ambos jueces, y que B tiene una alta clasificación. Cuando los dos sistemas de clasificación están más correlacionados, el Rho de Spearman (que está en una escala de 0 no correlacionado) a 1 perfectamente correlacionado) estará más cerca de 1. El cálculo de Rho de Spearman es un puñado y generalmente se deja a una computadora.
Resumen de la lección
Cuando es necesario participar en juicios subjetivos, podemos usar la confiabilidad entre evaluadores para asegurarnos de que los jueces estén en sintonía entre sí. La confiabilidad entre evaluadores es el nivel de consenso entre los evaluadores. La confiabilidad entre evaluadores ayuda a aportar una medida de objetividad o al menos equidad razonable a aspectos que no se pueden medir fácilmente.
Generalmente se mide con el Kappa de Cohen , cuando la calificación es nominal y discreta, o el Rho de Spearman , que se utiliza para medidas ordinales más continuas.
Continúa con:
- Historia y sistemas de la psicología
Papel de la mujer en la psicología a través de la historia
Cuando pensamos en los grandes nombres de la psicología, es probable que nos vengan a...
- Introducción a la psicología
Incongruencia en psicología: definición y descripción general
¿Qué es la incongruencia? Cuando eras pequeño, ¿querías crecer para ser bombero, estrella de cine...
- Introducción al Aprendizaje en Psicología
Psicólogo John Watson y el experimento de Little Albert
Imagina tener nueve meses de vida y que, de repente, cada vez que intentas acariciar...
- Química
¿Qué es el ácido Aconítico? – Fórmula y usos
Estructura y fórmula del ácido acónico ¿Alguna vez ha mirado los ingredientes en una barra...
Selecciona un tema para seguir aprendiendo
