¿Qué es la optimización?
¿Métodos más utilizados? : 1. El método de descenso de gradiente es el método de optimización más antiguo, más simple y más utilizado.
El método de descenso de gradiente es sencillo de implementar. Cuando la función objetivo es convexa, la solución del método de descenso de gradiente es global. En términos generales, no se garantiza que su solución sea la solución óptima global y el método de descenso de gradiente no es necesariamente el más rápido.
La idea de optimización del método de descenso de gradiente es utilizar la dirección de gradiente negativo de la posición actual como dirección de búsqueda. Debido a que esta dirección es la dirección de descenso más rápida de la posición actual, también se llama. el "método de descenso más empinado". Cuanto más cerca esté el método de descenso más pronunciado del valor objetivo, menor será el tamaño del paso y más lento será el progreso.
2. Método de Newton y método cuasi-Newton (1) Método de Newton: El método de Newton es un método para resolver aproximadamente sistemas de ecuaciones en el dominio de los números reales y en el dominio de los números complejos. El método utiliza los primeros términos de la serie de Taylor de la función f(x) para encontrar las raíces de la ecuación f(x) = 0. La característica más importante del método de Newton es su rápida convergencia.
(2) Método Quasi-Newton: El método Quasi-Newton es uno de los métodos más eficaces para resolver problemas de optimización no lineal. La idea básica es mejorar la desventaja del método de Newton, que requiere resolver cada vez la inversa de la compleja matriz de Hesse. Utiliza una matriz definida positiva para aproximar la inversa de la matriz de Hesse, simplificando así la complejidad de la operación. El método cuasi-Newton es el mismo que el método de descenso más pronunciado. Solo necesita conocer el gradiente de la función objetivo en cada iteración.
Al medir el cambio de gradiente, se construye un modelo de función objetivo para producir una convergencia superlineal. Este método es mucho mejor que el descenso más empinado, especialmente para problemas difíciles. Además, el método cuasi-Newton es a veces más eficiente que el método de Newton porque no requiere información sobre la segunda derivada. El software de optimización actual contiene una gran cantidad de algoritmos cuasi-Newton para resolver problemas de optimización sin restricciones, con restricciones y a gran escala.
3.***Gradiente Conjugado** El método del gradiente conjugado es un método entre el método de descenso más pronunciado y el método de Newton. Solo requiere información derivada de primer orden, pero supera las deficiencias de la lenta convergencia del método de descenso más pronunciado y la necesidad del método de Newton de almacenar y calcular la inversión de la matriz de Hesse. * * * El método del gradiente conjugado no solo es uno de los métodos más útiles para resolver ecuaciones lineales a gran escala, sino también el método más eficaz para resolver optimizaciones no lineales a gran escala.
Entre varios algoritmos de optimización, el método de gradiente de yugo es muy importante. Sus ventajas son pequeña capacidad de almacenamiento, convergencia paso a paso, alta estabilidad y no requiere ningún parámetro externo.
4. Método de optimización heurística La heurística se refiere a un método que las personas utilizan para descubrir basándose en reglas empíricas al resolver problemas. Se caracteriza por utilizar la experiencia pasada para elegir métodos eficaces a la hora de resolver problemas, en lugar de buscar respuestas de forma sistemática y paso a paso.
Existen muchos métodos de optimización heurística, incluido el método clásico de recocido simulado, el algoritmo genético, el algoritmo de colonia de hormigas y el algoritmo de optimización de enjambre de partículas.
5. Como algoritmo de optimización, el método multiplicador de Lagrange se utiliza principalmente para resolver problemas de optimización restringidos. La idea básica es transformar el problema de optimización restringido con n variables y k restricciones en un problema de optimización no restringido con (n+k) variables mediante la introducción de multiplicadores de Lagrange. El significado matemático detrás del multiplicador de Lagrange es que es el coeficiente de cada vector en la combinación lineal de gradientes de la ecuación de restricción.
Convierta el problema de optimización restringido con n variables y k restricciones en un problema de optimización no restringido con (n+k) variables. Partiendo del significado matemático, el método del multiplicador de Lagrange establece condiciones de valores extremos introduciendo multiplicadores de Lagrange, tomando derivadas parciales de n variables correspondientes a n ecuaciones, más k restricciones (correspondientes al multiplicador de días de Lagrange), formando (n+k) ecuaciones con (norte+k) variables.