Resumen - Circuitos de p-eficiencia energética para Redes Neurales Generativas

Circuitos de p-eficiencia energética para Redes Neurales Generativas

2025-07-10 13:41:28

{"Lakshmi A. Ghantasala","Ming-Che Li","Risi Jaiswal","Archisman Ghosh","Behtash Behin-Aein","Joseph Makin","Shreyas Sen","Supriyo Datta"}

{cond-mat.dis-nn}

Este documento discute el desarrollo e implementación de circuitos p-eficientes en energía para redes neuronales generativas. Un circuito p, compuesto por una red de N p-bits, puede generar muestras de una distribución de probabilidad con 2^N posibilidades, similar a una red de q-bits. Sin embargo, hay diferencias fundamentales entre ambas. El documento introduce el concepto de p-bit, que es un neurona estocástica binaria utilizada en máquinas de Boltzmann. Cada p-bit examina el estado de 'n' otros p-bits, calcula la probabilidad de ser 0 o 1 y elige su siguiente estado en consecuencia. El costo energético, ϵ(n), de esta operación elemental se considera una métrica importante. Los autores argumentan que la misma operación elemental puede ser utilizada en inteligencia artificial generativa, reemplazando las neuronas digitales continuas o de múltiples bits con p-bits. Aunque esto podría introducir errores significativos, demuestran que al promediar un pequeño número de muestras (de 1 a 100), se puede restaurar la calidad de la imagen. El documento presenta un análisis energético de una máquina de Boltzmann, enfocándose en la energía por operación elemental. Discute los diferentes componentes energéticos del bloque de construcción, como la energía de acceso a la memoria, la energía de cómputo y la energía de muestreo. Los autores también exploran la viabilidad de utilizar el mismo bloque de construcción en inteligencia artificial generativa, reemplazando las neuronas digitales continuas o de múltiples bits con p-bits. En los resultados experimentales del documento, los autores utilizan una Red Neuronal Profunda Autoencodadora Variacional de 12 capas para generar imágenes de celebridades a partir de entradas aleatorias. Reemplazan las activaciones de 32 bits con p-bits, resultando en imágenes ruidosas. Sin embargo, al promediar 100 muestras se crean imágenes faciales reconocibles. Reiniciar los pesos utilizando el elemento no lineal real en lugar de la versión continua mejora significativamente la calidad de la imagen. El documento compara los costos energéticos de los bloques de construcción deterministas y basados en p-bits para las DNN. Concluye que los p-bits pueden ofrecer una ventaja en la simplificación del paso de cómputo y en la reducción de la energía de acceso a la memoria. Sin embargo, la ventaja energética general de los p-bits sobre las implementaciones estándar dependerá de otros factores, como la energía de acceso a la memoria y el número de muestras utilizadas.