Titre de projet : Développement d'un système embarqué de reconnaissance vocale en français pour l'assistance aux personnes malvoyantes utilisant l'apprentissage profond et l'Edge AI

Project Abstract

Ce travail présente le développement d’un système embarqué de reconnaissance vocale en français dédié à l’assistance des personnes malvoyantes, intégrant des techniques d’apprentissage profond et d’Edge AI pour une efficacité et une confidentialité accrues. L’objectif principal est de concevoir une solution légère, robuste et capable de fonctionner en temps réel sur des dispositifs à ressources limitées (microcontrôleurs et micro-ordinateurs embarqués), sans dépendance constante à une connexion réseau. Le système est articulé autour d’un pipeline vocal complet comprenant l’acoustique, la reconnaissance et la compréhension, ainsi que des modules d’interaction multimodale pour améliorer l’accessibilité au quotidien. Sur le plan acoustique, nous proposons une représentation spectrale adaptée au français (incluant des variantes dialectales et des bruits de fond typiques) et un apprentissage supervisé par transfert provenant de grandes bases de données multilingues, afin de maximiser la précision tout en minimisant la latence. Pour la reconnaissance, un modèle hybride léger, combinant des réseaux convolutifs et des transformeurs quantifiés pour réduire l’empreinte mémoire, est entraîné sur des corpus francophones variés (littéral, conversationnel et commandes). Le modèle est optimisé via techniques d’optimisation quantifiée et distillation de connaissances afin d’être déployé sur des architectures embarquées comme ARM Cortex-M et Raspberry Pi, tout en garantissant une performance comparable à des systèmes basés sur le cloud. La compréhension et la classification des intents sont réalisées à l’aide d’un classificateur multi-objectif capable de traiter des commandes courtes et des phrases complexes, avec une capacité de révision contextuelle locale pour améliorer la pertinence des réponses en situation d’assistance. Le système intègre également une synthèse vocale française naturelle, adaptée à la voix des utilisateurs malvoyants, et une gestion des défauts naturels (répétition, hésitation, amplification du bruit) pour assurer une interaction fluide et fiable. Un composant de détection de parole et d’activité vocale, robuste aux environnements bruyants, est combiné à des mécanismes d’auto-apprentissage en bordure pour adapter le modèle au profil vocal de chaque utilisateur sans compromettre la sécurité des données. Pour évaluer le système, des scénarios d’usabilité et des mesures objectives (taux de reconnaissance, latence, précision des commandes, consommation énergétique et robustesse au bruit) seront effectués dans des environnements domestiques simulés et réels. Les résultats seront comparés à des solutions non embarquées et à des systèmes existants afin de démontrer les gains en latence, confidentialité et accessibilité. Ce travail vise à proposer un cadre reproductible et déployable pour des applications d’assistance autonome, tout en ouvrant des perspectives d’extension vers d’autres langues et domaines d’aide à la mobilité et à la communication des personnes malvoyantes.

Project Overview

What This Project Is About

---

The project aims to create a compact voice recognition system that works directly on a small device, like a wearable or a handheld gadget, and understands French to help people who are blind or have low vision. It combines simple audio processing with smart learning methods to turn spoken French into commands or text without needing a constant internet connection.

---

---

The Problem It Addresses

---

Many assistive technologies rely on cloud services, which can be slow, require internet access, or raise privacy concerns. A local, embedded solution can run faster, protect user data, and work in places without reliable connectivity while still understanding natural French speech.

---

---

Objectives of the Project

---

1. Design a small, energy-efficient speech recognition model suitable for embedded hardware.
2. Enable offline operation so processing happens on the device itself.
3. Ensure the system understands French under different lighting, noise, and accent conditions.
4. Provide a simple interface to convert speech to text or to trigger actions.
5. Evaluate usability with target users and measure performance metrics.

---

---

What You Will Do Step by Step

---

1. Review basic literature on embedded AI and French speech datasets. 2. Collect or curate short French voice samples that cover common commands. 3. Build a lightweight model architecture optimized for edge devices. 4. Train and validate the model offline, adjusting for accuracy and latency. 5. Implement a user-friendly interface for outputs. 6. Test robustness with real-world scenarios and different microphones. 7. Compare energy use and speed to cloud-based alternatives. 8. Document design decisions and limitations.

---

---

Expected Outcome

A functional, offline French speech recognition system on an embedded device with acceptable accuracy and low latency, accompanied by a user guide and a performance report highlighting its benefits for visually impaired users.