Total des pages vues

mercredi 4 novembre 2020

#trendsincognitivesciences #réseauxneuronaux #apprentissage Accueillir le Nouveau : Apprentissage Continu dans les Réseaux Neuronaux Profonds

 

Time = Temps
Task = Tâche
Multi task sequences = Séquences multi - tâches 
Meta-learning (learning to learn) = Méta-apprentissage (apprendre à apprendre)

Paradigmes de l’Apprentissage Continu

(A) Différentes méthodes (…) représentent le standard de l’apprentissage séquentiel multitâche. Dans ce registre, les tâches sont apprises simultanément pour empêcher l’oubli et l’instabilité des apprentissages. (B) Des approches basées sur l’utilisation de gradients permettent de paramétrer les tâches préalablement apprises selon leur importance. (C) Des méthodes basées sur la modularité définissent des frontières clairement délimitées qui permettent de définir des paramètres tâches-spécifiques (souvent accompagnées de paramètres partagés pour permettre le transfert). (D) Les méthodes de mémorisation utilisent l’ « écriture de l’expérience » pour empêcher l’oubli. (E) Les techniques de méta-apprentissage optimisent les objectifs de l’apprentissage continu sur un vaste ensemble de tâches séquentielles ; permettant ce faisant d’apprendre à apprendre en continu.



La recherche dans le domaine de l’intelligence artificielle a fait d’immenses progrès en quelques décennies ; toutefois, elle repose essentiellement sur les bases de données fixes et des environnements statiques. L’apprentissage continu est un domaine de recherche dont la pertinence va croissant ; son objet étant de questionner comment les systèmes artificiels bio-inspirés peuvent être pourvus d’une capacité d’apprentissage à partir d’un flux de données corrélées, au même titre que les systèmes biologiques. Dans cette présente revue de littérature, nous relions l’apprentissage en continu à la dynamique d’apprentissage propre aux réseaux neuronaux, soulignant sa capacité à considérablement améliorer l’efficacité des données. Puis, nous fouillons plus en profondeur d’autres approches bio-inspirées qui ont émergé dans les années récentes, nous focalisant sur celles qui font usage de la régularisation, de la modularité, de la mémoire, du méta-apprentissage, et soulignons certaines des directions prises parmi les plus prometteuses. Raia Hadsell, et al, dans Trends in Cognitive Sciences, publication en ligne en avant-première, 3 novembre 2020

Source iconographique, légendaire et rédactionnelle : Science Direct / Traduction et adaptation : NZ

Aucun commentaire: