Résumé - Sur l'interaction de la compressibilité et de la robustesse aux attaques adverses

Sur l'interaction de la compressibilité et de la robustesse aux attaques adverses

2025-07-23 17:35:48

{"Melih Barsbey","Antônio H. Ribeiro","Umut Şimşekli","Tolga Birdal"}

{cs.LG,cs.AI,cs.CV,stat.ML}

Ce document enquête sur l'interaction entre la compressibilité et la robustesse aux attaques adverses dans les réseaux neuronaux. Il met en avant une tension fondamentale entre la compressibilité structurée et la robustesse, révélant comment la compression peut introduire involontairement des vulnérabilités que les adversaires peuvent exploiter. Les contributions clés du document sont les suivantes : 1. **Borne de Robustesse Adversaire** : Il introduit une borne qui se décompose en termes analytiquement interprétables, prédit que la compressibilité neuronale et spectrale peut créer des vulnérabilités adversaires contre les attaques L∞ et L2 par leur impact sur les constantes lipschitziennes du réseau. 2. **Validation Empirique** : Il valide ces prédictions par des expériences utilisant diverses techniques de compression et des modèles d'attaque, confirmant l'apparition de vulnérabilités adversaires sous la compressibilité structurée. 3. **Impact de la Compression** : Il montre que les effets négatifs de la compressibilité persistent sous l'entraînement adversaire et le transfert d'apprentissage, contribuant à l'apparition d'exemples adversaires universels. 4. **Stratégies de Pruning** : Il propose des stratégies de régularisation et de pruning qui atténuent les effets négatifs de la compressibilité et améliorent la robustesse. ### Découvertes Clés : * **Compression et Sensibilité** : La compression concentre la sensibilité le long d'un petit nombre de directions dans l'espace de représentation, rendant les modèles plus vulnérables aux attaques adversaires. * **Vulnérabilités Adversaires** : Différentes techniques de compression induisent différents types de vulnérabilités, avec la compressibilité structurée (par exemple, la sparsity neuronale) conduisant à des vulnérabilités L∞ et la compressibilité spectrale (par exemple, la basse-rank) conduisant à des vulnérabilités L2. * **Entraînement Adversaire et Transfert d'Apprentissage** : Les effets négatifs de la compressibilité persistent sous l'entraînement adversaire et le transfert d'apprentissage, soulignant l'importance de prendre en compte ces facteurs lors de la conception du modèle. * **Stratégies de Pruning** : Le document propose des stratégies de régularisation et de pruning qui atténuent les effets négatifs de la compressibilité et améliorent la robustesse, fournissant des orientations pratiques pour concevoir des modèles plus sécurisés et efficaces. ### Implications : Cette recherche fournit des insights précieux sur les compromis entre compressibilité et robustesse dans les réseaux neuronaux. Elle met en avant la nécessité de prendre en compte soigneusement ces facteurs lors de la conception du modèle et suggère des stratégies pour atteindre à la fois l'efficacité et la sécurité. Les découvertes ont des implications pour diverses applications, y compris les soins de santé, la conduite automatisée et d'autres domaines à haut risque où des systèmes IA fiables et sécurisés sont cruciaux.