Optimisation des performances des réseaux neuraux profonds par quantification dynamique et compression distribuée

Project Abstract

L'optimisation des performances des réseaux neuraux profonds par quantification dynamique et compression distribuée propose une approche intégrée pour améliorer l'efficacité computationnelle et l'efficacité énergétique des modèles profonds, tout en préservant la précision et la robustesse sur des tâches variées de vision par ordinateur et de traitement du langage. Ce travail s'articule autour de deux axes principaux (i) la quantification dynamique qui adapte les niveaux de précision en fonction de la complexité des activations et des gradients au cours de l'inférence et de la rétropropagation, et (ii) les mécanismes de compression distribuée qui répartissent le poids et les calculs sur des ressources edge et cloud, tout en minimisant la latence et le coût énergétique. Nous proposons un cadre inédit qui combine quantification adaptative en temps réel, stratification des niveaux de précision par couche et par bloc, et orchestration de la communication entre les nœuds via des algorithmes optimisés pour la sparsité et la transférabilité des paramètres. La méthodologie repose sur une modélisation hybride, mêlant théorie de la quantisation vectorielle, apprentissage par renforcement pour le contrôle dynamique du bit-width, et techniques de compression telles que la quantification uniformisée, la binarisation et les codes entiers, assorties de stratégies de ré-entrainement post-quantification afin de récupérer la perte de précision. Un noyau clé est l'évaluation multi-objectifs qui cherche à minimiser la consommation d'énergie et le temps d'inférence tout en maintenant des métriques de performance élevées (top-1/top-5, BLEU, ROUGE selon les tâches). Le cadre inclut également une dimension de robustesse adversaire et de tolérance au bruit, avec des mécanismes de réajustement automatique lorsque la distribution des données évolue ou lorsque les contraintes système changent. Les contributions spécifiques incluent (1) un algorithme de quantification dynamique qui ajuste dynamiquement le bit-width en fonction de l'erreur locale et du calendrier d'entraînement; (2) une architecture de compression distribuée qui optimise le placement des quantificateurs et le routage des gradients pour réduire la communication sans dégrader la convergence; (3) un module d'auto-apprentissage qui adapte les stratégies de compression en fonction du type de réseau (CNN, Transformer, ou RNN) et des contraintes matérielles; (4) un protocole d'évaluation standardisé incluant des benchmarks sur des modèles pré-entraînés et des jeux de données industriels simulant des environnements edge et cloud; et (5) une analyse approfondie de l'impact énergie-performance et d'un cadre de gouvernance pour la durabilité opérationnelle. Les résultats attendus démontrent une réduction significative de la consommation d'énergie et de la latence d'inférence, avec des pertes de précision minimales et une meilleure adaptabilité aux environnements hétérogènes. Ce travail ouvre des perspectives pour le déploiement scalable de réseaux profonds dans des systèmes à ressources limitées, tout en offrant une méthodologie réplicable pour d'autres architectures et domaines d'application.

Project Overview

What This Project Is About

---

This project explores how to make deep neural networks run faster and with less data use, by two main ideas: quantification and distributed compression. Quantification means using fewer distinct numbers to represent the model so it takes less memory. Distributed compression means sharing the workload of storing and updating the model across multiple devices or servers. The goal is to keep performance accurate while using fewer resources.

---

---

The Problem It Addresses

---

Large neural networks demand a lot of memory and computing power, which can slow down deployment on devices like phones or embedded systems. This limits real-time use, raises costs, and can hinder accessibility. The project tackles how to reduce model size and speed up inference without harming accuracy.

---

---

Objectives of the Project

---

1. Understand how quantization affects model size and accuracy.
2. Develop a method to compress models across multiple devices without losing much performance.
3. Evaluate trade-offs between speed, memory, and accuracy on standard benchmarks.
4. Propose guidelines for when and how to apply these techniques in practice.

---

---

What You Will Do Step by Step

---

1) Review simple concepts of neural networks and why they are large. 2) Implement basic quantization on a sample model and measure results. 3) Design a distributed compression approach and test on simulated multi-device setups. 4) Run experiments comparing speed, size, and accuracy. 5) Analyze results to identify best-practice settings. 6) Document findings and prepare recommendations for real-world use.

---

---

Expected Outcome

Expected outcomes include a smaller, faster neural network with comparable accuracy and a clear framework showing how to apply distributed quantization and compression. The project should provide concrete performance metrics and actionable guidance for developers deploying models in resource-limited environments.