Entropía de información, entropía condicional, ganancia de información, tasa de ganancia de información
1. Entropía de la información
1. El trasfondo de la entropía de la información
Vivimos en una era de explosión de la información Desde la perspectiva de la ciencia de la información, el progreso humano. La esencia es romper constantemente la asimetría de la información. Odiamos la incertidumbre y nos pasamos la vida tratando de convertir toda la incertidumbre en algo que podamos predecir y controlar.
2. ¿Qué es la entropía de la información?
En informática, para el receptor, la información enviada por el remitente es incierta, por lo que para el receptor, la información recibida es aleatoria y Aquí se introduce el concepto de entropía. En estadística, el concepto de entropía es el logaritmo del número de estados posibles en un sistema. Aunque para el receptor la cantidad de información que puede recibir es aleatoria, siempre está dentro de un rango. El logaritmo de la cantidad de información que puede recibir es la entropía de la información.
3. La fórmula de la entropía de la información
Para calcular la entropía, necesitamos calcular el valor esperado contenido en todos los valores posibles de todas las categorías. una cosa, mayor es la entropía de la información.
? , donde m representa la probabilidad de clasificar cosas en k tipos y representa la probabilidad de clasificar cosas en k tipos.
4. Escenarios de uso de la entropía de la información
Generalmente existen dos tipos de poda de carro, utilizando el coeficiente de Gini o la entropía de la información.
5. Problemas con la entropía de la información
De la fórmula de la entropía de la información, podemos ver que cuanto más cierta es la información, menor es la entropía de la información. En escenarios de la vida, la entropía de la información calculada mediante la fórmula de entropía de la información para características como la identificación es muy alta, pero de hecho esta característica juega un papel muy pequeño en nuestro juicio y toma de decisiones, como el número de identificación, el número de teléfono móvil y otros. información. ?
2. Entropía condicional
1. Antecedentes de la entropía condicional
Sabemos que algunas características conllevan mucha entropía, pero ¿qué es realmente importante? Para mí, ¿qué importancia tiene la toma de decisiones? En este momento, podemos pensar fácilmente en la probabilidad condicional. En este momento, introdujimos el concepto de entropía condicional.
2. ¿Qué es la entropía condicional?
La entropía condicional representa la incertidumbre de la variable aleatoria Y bajo la condición de una variable aleatoria conocida X.
3. La fórmula de la entropía condicional
La fórmula de la entropía condicional de la variable aleatoria Y bajo las condiciones dadas de la variable aleatoria X es la siguiente:
?
Entre ellos,
3. Obtención de información
1. Antecedentes de la obtención de información
Tome la escena de nuestras vidas como ejemplo , como cuando mi mejor amigo me llamó para pedir una cita. Fui de compras y mencioné que íbamos a comer estofado después de comprar. Ese día nevó y resultó que estaba en mi período. Tenía dos decisiones, ir o no ir. Aquí resumimos la información en el escenario anterior de la siguiente manera: comprar artículos (¿comprar ropa? ¿Comprar bolsos? ¿Comprar zapatos? ¿Comprar flores? ¿Comprar artículos para el hogar?), comer (¿comer estofado? ¿Comer brochetas? ¿Comer bocadillos? ¿Comer pizza?), el clima (¿llueve? ¿neva? ¿soleado? ¿nublado? y punto (¿sí? ¿no?), charlar, así que entre tantas características, ¿cuáles son los factores importantes que determinan si voy o no? Si lo miramos solo desde la perspectiva de la entropía de la información, entonces qué característica tiene más atributos tendrá mayor entropía de la información y mayor importancia, pero este no es el caso. Para mí, el motivo de ir puede que no sea importante comprar cosas, o qué comer, pero hace mucho que no la veo y la extraño mucho, así que la función de "charlar" determina que haré la decisión de acudir a la cita. En conjunto, "el chat ha aumentado enormemente la certeza de mi decisión de acudir a una cita".
2. ¿Qué es la ganancia de información?
La ganancia de información representa el grado en que la incertidumbre de la información de la clase Y se reduce al conocer la información de la característica X.
3. Fórmula de obtención de información
Aquí D es la decisión y A es la característica condicional
4. Escenarios de uso de la información ganancia
En el procesamiento de información, el núcleo del algoritmo ID3 es seleccionar características correspondientes al criterio de ganancia de información en cada nodo del árbol de decisión y construir recursivamente el árbol de decisión.
5. Problemas con la ganancia de información
De la fórmula de ganancia de información, podemos ver que el problema anterior de la entropía de la información de la característica de identificación única no se ha resuelto. Entonces, ¿hay alguna forma de equilibrar el problema de la entropía de información excesiva de la característica de identificación? Es fácil pensar en usar la entropía de información de la identificación de la característica misma como denominador para equilibrar todo el resultado del cálculo. concepto de tasa de ganancia de información.
4. Tasa de ganancia de información
1. Antecedentes de la tasa de ganancia de información
Tasa de ganancia de información, que representa la relación entre la información del nodo y la medición de la información dividida del nodo , La tasa de ganancia se utiliza generalmente como uno de los métodos de selección de atributos
2. ¿Qué es la tasa de ganancia de información
, que representa la relación entre la información del nodo y la división del nodo? medición de información, la tasa de ganancia se usa generalmente como uno de los métodos de selección de atributos
3. Fórmula de tasa de ganancia de información
La imagen de arriba es una imagen robada y la explicación es relativamente clara , así que no lo repetiré aquí.
4. Escenarios de uso de la tasa de ganancia de información
El algoritmo C4.5 utiliza la tasa de ganancia de información como condición de poda.
5. Referencias
blogs.com/ironan-liu/p/11769229.html