Machine Learning - Matriz de Confusión - Exactitud / Precisión / Recall

 



Me han preguntado detalles a este respecto: 

Un programa o una función que asigna instancias sin etiquetar a clases se llama clasificador.


Una matriz de confusión, también llamada tabla de contingencia o matriz de errores, se usa para visualizar el rendimiento de un clasificador.


Las columnas de la matriz representan las instancias de las clases predichas y las filas representan las instancias de la clase real. (Nota: también puede ser al revés).
En el caso de clasificación binaria, la tabla tiene 2 filas y 2 columnas.


Ejemplo:


Matriz de confusión

Clases predichas

Hombre

Mujer

Clases actuales 

Hombre

42

8

Mujer

18

32


Esto significa que el clasificador predijo correctamente a una persona masculina en 42 casos y predijo incorrectamente 8 instancias masculinas como femeninas. Predijo correctamente 32 instancias femeninas. 18 casos fueron predichos incorrectamente como masculinos en lugar de femeninos.

Exactitud (tasa de error)
La exactitud es una medida estadística que se define como el cociente de predicciones correctas realizadas por un clasificador dividido por la suma de todas las predicciones realizadas por el clasificador.


El clasificador en nuestro ejemplo anterior predijo correctamente 42 instancias masculinas y 32 instancias femeninas.
Por lo tanto, la exactitud se puede calcular como:


exactitud = (42 + 32) / (42 + 8 + 18 + 32)


que es 0.72

Supongamos que tenemos un clasificador que siempre predice "femenino". En este caso, tenemos una exactitud del 50%.


Matriz de confusión

Clases predichas

Hombre

Mujer

Clases actuales 

Hombre

0

50

Mujer

0

50



Esto significa que el clasificador predijo correctamente a una persona masculina en 0 casos y predijo incorrectamente 50 instancias masculinas como femeninas. Predijo correctamente 50 instancias femeninas. 50 casos fueron predichos incorrectamente como masculinos en lugar de femeninos.

Demostraremos el llamado paradoja de la exactitud.


Un clasificador de reconocimiento de spam se describe con la siguiente matriz de confusión:


Matriz de confusión

Clases predichas

SPAM 

No Spam 

Clases actuales 

SPAM 

4

1

No Spam 

4

91



La exactitud de este clasificador es (4 + 91) / 100, es decir, 95%.


El siguiente clasificador predice únicamente "no spam" y tiene la misma exactitud.



Matriz de confusión

Clases predichas

SPAM 

No Spam 

Clases actuales 

SPAM 

0

5

No Spam 

0

95




La exactitud de este clasificador también es 95%, aunque no es capaz de reconocer ningún spam en absoluto.

Precisión y Recall


Matriz de confusión

Clases predichas

Negativo 

Positivo  

Clases actuales 

Negativo

Verdaderamente Negativo (VN)

Falso Positivo (FP)

Positivo 

Falso Negativo (FN)

Verdaderamente Positivo (VP)



Exactitud: (VP + VN) / (VN + VP + FN + FP)


Precisión: VP / (VP + FP)


Recall: VP / (VP + FN)

Comments

Popular posts from this blog

IBM goes big to keep quantum computers cold

IBM - avances en mantener adecuadamente fríos computadores cuánticos.

Estructura multinivel de los sistemas de agentes de IA