Curva ROC y valor AUC de los indicadores de rendimiento del clasificador

El problema de clasificación binaria es un problema muy común en el aprendizaje automático y también es un problema de uso frecuente. Las curvas ROC (característica operativa del receptor) y los valores AUC (área bajo la curva) se utilizan a menudo para evaluar el rendimiento de los clasificadores binarios.

Para clasificadores o algoritmos de clasificación, las principales métricas de evaluación son la precisión, la recuperación, la puntuación F, etc., así como ROC y AUC, que se analizarán aquí.

La matriz de confusión es la base para comprender la mayoría de las métricas de evaluación y, sin duda, la base para comprender las AUC. Existe una gran cantidad de información sobre el concepto de matriz de confusión. Aquí hay un diagrama clásico que explica qué es una matriz de confusión.

Obviamente, la matriz de confusión contiene cuatro partes de información:

Es fácil comprender las relaciones y conceptos comparando la matriz de confusión, pero también es fácil olvidar los conceptos. tiempo. También podríamos dividir la memoria en dos partes según las posiciones frontal y posterior. La primera parte es verdadero/falso, que representa la exactitud del resultado de la predicción. La última parte es positiva/negativa, que representa las muestras positivas y negativas. del resultado de la predicción Por lo tanto, la matriz de confusión se puede expresar como predicción de corrección Una colección de resultados. recopilación. Ahora echemos un vistazo a los conceptos de los cuatro componentes anteriores (todos representan el tamaño de la muestra, omitidos a continuación):

Casi todos los indicadores de evaluación que conozco se basan en matrices de confusión, incluida la exactitud, la precisión, el grado, la recuperación, Puntuación F1 y, por supuesto, AUC.

De hecho, no es fácil averiguar qué es el AUC de una vez. Primero tenemos que comenzar con la curva ROC y luego comenzar con la curva AUC. Primero, tenemos que comenzar con la curva ROC. Para un clasificador binario determinado, la etiqueta de salida (0 o 1) generalmente depende de la probabilidad de la salida y de un umbral de probabilidad predeterminado. Por ejemplo, un umbral común es 0,5, las muestras superiores a 0,5 se consideran muestras positivas y las muestras inferiores. 0,5 consideradas como muestras negativas. Si aumenta este umbral, la probabilidad de errores de predicción (para muestras positivas, es decir, predichas como muestras positivas pero predicciones incorrectas, lo mismo a continuación) disminuirá, pero luego la probabilidad de predicciones correctas también disminuirá si reduce este umbral; , la probabilidad de predicciones correctas aumentará, pero al mismo tiempo también aumentará la probabilidad de errores de predicción. De hecho, la elección de este umbral refleja hasta cierto punto la capacidad de clasificación del clasificador. Queremos que la clasificación sea lo más correcta posible sin importar qué umbral se elija, lo que significa que queremos que el clasificador sea lo más poderoso posible, lo que puede entenderse como una especie de robustez.

Para mostrar visualmente esta capacidad de clasificación, ¡presentamos la curva ROC! La curva ROC se muestra a continuación (los datos brutos de esta curva se presentarán en la Parte 3). Lo que nos preocupa ahora es:

- Eje horizontal: Tasa de falsos positivos (FPR)

- Eje vertical: Tasa de verdaderos positivos (TPR)

Falso La tasa positiva (FPR) es solo la probabilidad de predecir una muestra positiva pero equivocarse, ¡obviamente no queremos que sea demasiado alta! Evidentemente no queremos que este indicador sea demasiado alto.

Por otro lado, la tasa de verdaderos positivos representa la probabilidad de que la predicción sea positiva pero correcta, y por supuesto, queremos que esta tasa sea lo más alta posible.

Obviamente, la abscisa y la ordenada de la curva ROC están entre , por lo que el área de la curva ROC, naturalmente, no será mayor que 1. Ahora, analicemos varios casos especiales para comprender mejor las propiedades de la curva ROC:

Por lo tanto, podemos sacar una conclusión básica: si la curva ROC está por debajo de la diagonal, significa que el clasificador La proporción es Un clasificador aleatorio es peor. Por el contrario, es mejor que un clasificador aleatorio. Por supuesto, esperamos que la curva ROC esté lo más por encima de la línea diagonal, excepto por la línea diagonal, es decir, convexa a. la esquina superior izquierda (0,1).

La curva ROC refleja el efecto de clasificación del clasificador hasta cierto punto, pero no es lo suficientemente intuitivo. Esperamos tener un indicador de este tipo. Cuanto más grande sea el indicador, mejor será. es, peor es, entonces hay AUC. AUC es en realidad el área bajo la curva ROC. AUC refleja intuitivamente la capacidad de clasificación expresada por la curva ROC.

La aplicación más importante de AUC debería ser la evaluación fuera de línea de la estimación de la tasa de clics (CTR).

La evaluación offline del CTR juega un papel muy importante en los procesos técnicos de la empresa. En términos generales, el costo de recursos de ABTest y las observaciones por turnos es relativamente grande, por lo que una evaluación fuera de línea adecuada puede ahorrar mucho tiempo, mano de obra y costos de recursos. Entonces, ¿por qué se puede utilizar el AUC para evaluar el CTR? Primero debemos dejar claros dos puntos:

1. El CTR es la probabilidad de que el resultado del clasificador sea una estimación de la tasa de clics. Por ejemplo, el modelo LR comúnmente utilizado en la industria utiliza la función sigmoidea para conectar. entrada de características y la salida de probabilidad, y la probabilidad de salida es una estimación de la tasa de clics. La recuperación de contenido generalmente se clasifica según la tasa de clics.

2.AUC cuantifica la capacidad de clasificación representada por la curva ROC. Esta capacidad de clasificación está estrechamente relacionada con la probabilidad y el umbral. Cuanto más fuerte sea la capacidad de clasificación (cuanto mayor sea el AUC), más razonable será la probabilidad de salida y más razonable el resultado de la clasificación.

No solo esperamos que el clasificador pueda proporcionar información de clasificación sobre si hacer clic, sino que también necesitamos que el clasificador proporcione valores de probabilidad precisos como base para la clasificación. Por lo tanto, el AUC aquí refleja intuitivamente la precisión de la tasa de clics (es decir, la capacidad de clasificación de la tasa de clics)

[1] Extraído de "Aprendizaje automático y estadísticas" ¿Qué ¿Quieres decir auc?

[2] ¿Cuáles son las ventajas y desventajas de la precisión, recuperación, F1, ROC y AUC?

［3］De las métricas de rendimiento de clasificación de aprendizaje automático: curva ROC, AUC, precisión, tasa de recuperación.

［4］De la curva ROC, AUC.