Caja de herramientas de procesamiento de lenguaje natural interpretable causal - GYC (II)
AAAI-2021IBM Research AI genera sus contrafactuales: implementación de generación contrafactual controlada de texto
El artículo tiene como objetivo generar muestras a través de contrafactuales para explicar mejor el rendimiento de los modelos de PNL existentes. . Los autores proponen un marco GYC que puede generar muestras contrafactuales razonables, diversas, orientadas a objetivos y efectivas basadas en condiciones específicas, como etiquetas de entidades con nombre, etiquetas de roles semánticos o emociones. Las muestras contrafactuales generadas se pueden utilizar como casos de prueba para evaluar el modelo y cualquier algoritmo de eliminación de texto.
La sección anterior presentó los antecedentes, ideas y marco específico del problema de investigación del autor. Esta sección continuará presentando los métodos de implementación específicos.
Como se mencionó en la sección anterior, los autores proponen un Marco Contrafactual Generativo (GYC). Este marco se puede aplicar a una variedad de modelos existentes para guiar la generación de textos contrafactuales. El marco consta de dos pasos básicos:
Al implementar la generación de texto controlado, el objetivo de control puede ser la categoría de opinión del texto, la entidad que se generará (NER escrita en el artículo) o una etiqueta de categoría específica. Entre ellos, la pérdida diferenciable se obtiene calculando el logaritmo basado en las oraciones de entrada, mientras que la pérdida no diferenciable se obtiene calculando RECOMPENSAS (artificialmente diseñadas) en el texto generado. Además, para garantizar la diversidad en los textos contrafactuales generados, los autores también agregaron una pérdida de entropía al logaritmo (maximizando la entropía, lo que aumenta la diversidad de los resultados generados y se usa comúnmente en muchos métodos de RL para garantizar que las acciones no sean demasiado singulares).
El modelo de lenguaje basado en convertidor se puede resumir usando una matriz de texto histórico (en realidad, el texto antes de la etiqueta actual) y etiquetas generadas históricamente para generar la etiqueta actual. **Cabe señalar que el autor afirma que la información en los marcadores históricos ha sido reflejada. Por lo tanto, no es necesario generar el marcado actual basado en... El proceso de generación se puede representar mediante la fórmula de la siguiente figura.
El objetivo (o método) de la generación de texto controlado es generar texto con algunas condiciones que puedan expresarse mediante fórmulas (Fórmula 3 en el texto). Puede ser una etiqueta de categoría, como una etiqueta positiva o negativa en la clasificación de sentimientos, o un tema de algún tipo, o incluso datos estructurados, incluido un cuadro de información de Wikipedia o incluso un gráfico de conocimiento. PPLM utiliza GPT-2 previamente entrenado para generar texto y perturba la matriz de texto histórico agregando perturbaciones que se pueden aprender para obtener la matriz de texto histórico perturbado (que yo personalmente llamo matriz de condición de perturbación). De acuerdo con la fórmula 2 anterior, podemos obtener. la siguiente fórmula de generación de texto.
Los autores señalan que PPLM puede considerarse como un muestreo de una distribución. Su función es conectar la distribución de la matriz de texto histórico y la distribución de la distribución (es decir, la perturbación se ajusta a la distribución condicional a través de la distribución incondicional). Aprendizaje maximizando la probabilidad logarítmica (aprendizaje de parámetros supervisado). Sin embargo, no hay forma de optimizar directamente la probabilidad de la condición (etiqueta, como sentimiento positivo) al texto. (Personalmente creo que esto se debe principalmente a que el espacio de distribución conjunta es demasiado grande y los datos son demasiado escasos). Sin embargo, es más fácil realizar estimaciones (como los modelos de clasificación de texto) a partir de los datos, por lo que se puede utilizar la fórmula bayesiana para lograr el objetivo de la transformación. Para una implementación específica, puede utilizar la fórmula que se muestra en la figura siguiente. El primer elemento es garantizar que se cumplan las condiciones requeridas (en realidad es una restricción suave, que solo se puede lograr en la medida de lo posible). para garantizar que la muestra generada esté cerca de la distribución real y sea consistente con la distribución futura antes de la perturbación).
La siguiente figura muestra algunos textos contrafactuales generados por GYC, que tienen cambios controlados en la información de ubicación o cambios controlados en etiquetas de categorías o temas. Al utilizar estos textos, podemos asegurarnos de que no estemos sesgados por el muestreo de datos y al mismo tiempo seguir siendo gramaticales y contextuales (generalmente consistentes con los requisitos de entrada reales). Por ejemplo, si todos los restaurantes de Londres fueron favorables cuando se tomaron muestras, el modelo podría sobreajustarse y pensar que Londres fue todo favorable, cuando en realidad fue solo porque las muestras de entrenamiento no fueron muestreadas.
Problemas como este pueden conducir a modelos injustos, que pueden abordarse con el aumento de datos mediante generación contrafactual.
La tarea que GYC intenta realizar es generar muestras contrafactuales que puedan expresarse como (Ecuación 9 en el artículo) dado el texto y las condiciones de entrada. No es difícil ver que la "matriz de condiciones de perturbación" anterior debe estar asociada con el texto y las condiciones de entrada. Por lo tanto, el autor adopta un enfoque de dos etapas.
El autor enfatiza que ambas se obtienen mediante perturbación, pero la primera es para la reconstrucción (asegurando que las muestras contrafactuales generadas sean reales y cercanas a la entrada original). , este último es para controlabilidad.
Una vez obtenido, se puede generar el texto contrafactual deseado mediante la fórmula que se muestra a continuación.
Además, para garantizar la diversidad, el autor también introduce la pérdida de diversidad, como se muestra en la figura siguiente. Esta pérdida calcula principalmente la entropía del texto contrafactual generado. mayor es el valor de entropía, lo que indica que el texto generado es más uniforme o disperso.
Finalmente, la función de pérdida general se ve así.
El autor utiliza un mecanismo de recocido para estabilizar el proceso de entrenamiento. En la etapa inicial, los hiperparámetros de reconstrucción son mayores. En la etapa posterior, una vez que se complete básicamente la reconstrucción, los hiperparámetros se reducirán o incluso se ajustarán a 0 para mejorar. Los detalles del proceso de capacitación se pueden encontrar en el apéndice original.
El uso que hace el autor de matrices de perturbaciones para lograr el control condicional es lo más destacado de este artículo. En términos generales, cuando pensamos en condiciones como condiciones, las implementamos utilizando codificaciones one-hot adicionales o vectores entrenables (pseudocodificaciones). Sin embargo, el autor combina directamente la perturbación con las condiciones históricas, lo que también está en línea con el escenario actual de LM. Es simple y directo, y el efecto es bueno.
[1] Pearl, J.; et al. Modelos, razonamiento y corolarios. Cambridge, Reino Unido: CambridgeUniversityPress.
[2] Garg, S.; Perot, V. Limtiaco, N.; Taly, A.; Chi, E. H.; y Beutel, A. 2019. Equidad contrafactual en el texto. clasificación mediante solidez en Actas de la Conferencia AAAI/ACM de 2019 sobre IA, Ética y Sociedad, 219-226
[3] Li, J.; 2016. Preimpresión de ArXiv arXiv: 1612.08220
[4] Jia, R.; y Liang, P. 2017. Ejemplos contradictorios para evaluar sistemas de comprensión lectora.
preimpresión de arXiv arXiv: 1707.07328
[5] Ribeiro, M. T.; Guestrin, C.; y Singh, S. 2020. Preimpresión de ArXiv arXiv: 2005.04118. [6] Michel, P.; Li, X.; Neubig, G.; , R.; Luan, D.; Amodei, D. y Sutskever, I. 2019. Blog OpenAI. 1(8): 9.
[8] Keskar, N. S.; .; Molino, P.; Yosinski, J.; y Liu, R. 2020. Modelos de lenguaje plug-and-play: una forma sencilla de controlar la generación de texto, Conferencia Internacional de Representaciones del Aprendizaje. URL /foro?id= H1edEyBKDS..