Résumé - Circuits p-Économes en Énergie pour les Réseaux de Neurones Génératifs

Circuits p-Économes en Énergie pour les Réseaux de Neurones Génératifs

2025-07-10 13:41:28

{"Lakshmi A. Ghantasala","Ming-Che Li","Risi Jaiswal","Archisman Ghosh","Behtash Behin-Aein","Joseph Makin","Shreyas Sen","Supriyo Datta"}

{cond-mat.dis-nn}

Ce papier discute du développement et de la mise en œuvre de circuits p-économes en énergie pour les réseaux neuronaux génératifs. Un circuit p, composé d'un réseau de N p-bits, peut générer des échantillons à partir d'une distribution de probabilité avec 2^N possibilités, similaire à un réseau de q-bits. Cependant, il existe des différences fondamentales entre les deux. Le papier introduit le concept de p-bit, qui est un neurone stochastique binaire utilisé dans les machines de Boltzmann. Chaque p-bit examine l'état de 'n' autres p-bits, calcule la probabilité d'être à 0 ou 1, et choisit son état suivant en conséquence. Le coût énergétique, ϵ(n), de cette opération élémentaire est considéré comme une métrique importante. Les auteurs affirment que la même opération élémentaire peut être utilisée dans l'intelligence artificielle générative, remplaçant les neurones numériques continus ou à多位 de l'état standard par des p-bits. Bien que cela puisse introduire des erreurs significatives, ils démontrent que le passage à l'average d'un petit nombre d'échantillons (1 à 100) permet de restaurer la qualité de l'image. Le papier présente une analyse énergétique d'une machine de Boltzmann, se concentrant sur l'énergie par opération élémentaire. Il discute des différents composants énergétiques du bloc de construction, tels que l'énergie d'accès à la mémoire, l'énergie de calcul et l'énergie de sampling. Les auteurs explorent également la faisabilité d'utiliser le même bloc de construction dans l'intelligence artificielle générative, en remplaçant les neurones numériques continus ou à多位 par des p-bits. Dans les résultats expérimentaux du papier, les auteurs utilisent un réseau neuronal DNN Variational Autoencoder à 12 couches pour générer des images de célébrités à partir d'inputs aléatoires. Ils remplacent les activations 32-bits par des p-bits, ce qui conduit à des images bruitées. Cependant, l'average sur 100 échantillons crée des images faciales reconnaissables. Le réentraînement des poids en utilisant l'élément non linéaire réel plutôt que la version continue améliore considérablement la qualité de l'image. Le papier compare les coûts énergétiques des blocs de construction déterministes et basés sur les p-bits pour les DNN. Il conclut que les p-bits peuvent offrir un avantage dans la simplification de l'étape de calcul et la réduction de l'énergie d'accès à la mémoire. Cependant, l'avantage énergétique global des p-bits par rapport aux implémentations standard dépendra d'autres facteurs, tels que l'énergie d'accès à la mémoire et le nombre d'échantillons utilisés.