Resumen - Métodos estocásticos BFGS eficientes inspirados en principios bayesianos

Métodos estocásticos BFGS eficientes inspirados en principios bayesianos

2025-07-10 13:08:55

{"André Carlon","Luis Espath","Raúl Tempone"}

{math.OC}

Este documento propone un nuevo enfoque para desarrollar métodos quasi-Newton para la optimización estocástica, que es particularmente útil en aplicaciones de aprendizaje automático. La optimización estocástica implica optimizar una función con estimados de gradientes ruidosos, lo que puede hacer que la computación de derivadas de segundo orden (como la matriz Hessian) sea desafiante. El método propuesto, inspirado en la inferencia bayesiana, tiene como objetivo superar este desafío incorporando información de gradientes ruidosos en la aproximación de la matriz inversa de Hessian. Los autores se centran en dos métodos quasi-Newton específicos: el BFGS estocástico (S-BFGS) y el L-BFGS estocástico (L-S-BFGS). Estos métodos pueden aprender una aproximación de la matriz inversa de Hessian, incluso con tamaños de lotes pequeños, y son eficientes en términos de computación. El método S-BFGS tiene una complejidad de O(d^2) para un problema de d dimensiones, mientras que el método L-S-BFGS tiene una complejidad de O(d). El enfoque propuesto se basa en la inferencia bayesiana, donde se construye una distribución a priori para la matriz inversa de Hessian y se modelan las probabilidades de observación de pares de curvatura. Esto permite que el método aprenda efectivamente la aproximación inversa de la matriz de Hessian, incluso en presencia de ruido. Los autores también proponen una condición de curvatura para evitar la amplificación del ruido, lo que puede hacer que el proceso de optimización diverja. El documento incluye experimentos numéricos que demuestran la eficiencia y robustez de los métodos propuestos. En un problema cuadrático, el S-BFGS superó a SGD y BFGS, mientras que en experimentos de regresión logística, el L-S-BFGS mostró un rendimiento superior en comparación con métodos de base como SdLBFGS y oLBFGS. Los resultados indican que los métodos propuestos son adecuados para problemas de optimización estocástica a gran escala. En resumen, el documento presenta una nueva clase de métodos quasi-Newton para la optimización estocástica, inspirados en la inferencia bayesiana. Los métodos propuestos, S-BFGS y L-S-BFGS, son eficientes y robustos al ruido, lo que los hace adecuados para problemas a gran escala en aprendizaje automático. Los autores proporcionan un análisis de convergencia y demuestran el rendimiento de estos métodos a través de experimentos numéricos.