[MARS] La veille du mois

Source: Deep Learning on Medium


Go to the profile of Simon Coulet

Chaque sous-partie de ce medium présente un article, une actualité ou une technologie qui a marqué ce mois de mars.

Prix Alan Turing 2018

Le mois de mars a été marqué par l’annonce du prix Turing 2018, décerné à 3 pionniers de l’intelligence artificielle et des réseaux neuronaux. En effet Yoshua Bengio, Yann LeCun et Geoffrey Hinton ont été récompensés pour leur contribution à l’avénement du deep learning, même quand le domaine n’avait pas le vent en poupe dans les années 1990–2000. Ils occupent maintenant des postes proéminents dans le milieu de l’intelligence artificielle, oscillants entre recherche et industrie. Une rapide présentation des trois compères s’impose ;

Geoffrey Hinton, à la fois membre de Google Brain et chercheur à l’université de Toronto, a par exemple inventé les machines de Boltzmann en 1983 et a travaillé sur l’algorithme de backpropagation en 1986, technique aujourd’hui fondamentale dans l’apprentissage des réseaux neuronaux. Plus récemment, il s’est aussi illustré en 2012 dans la compétition de reconnaissance d’objets ImageNet, en augmentant drastiquement le taux de précision. Ce concours marquera aussi un boom de l’intelligence artificielle dans l’industrie.

Yoshua Bengio, quant à lui, s’est entre autres distingué pour son travail sur la technique du word-embedding dès le début des années 2000 ainsi que ses contributions sur les GANs depuis 2014. Il est aujourd’hui professeur au Département d’informatique et de recherche opérationnelle de l’Université de Montréal et directeur de l’institut québécois d’intelligence artificielle (Mila). En outre, il est aussi fondateur de la start-up Element AI, proposant de multiples applications liant IA et business, qui a par ailleurs réalisé une levée de fonds historique au Canada.

Enfin, le français Yann LeCun, actuellement scientifique en chef de l’IA chez Facebook et professeur à l’université de New York, a développé les réseaux neuronaux de convolutions (CNNs), aujourd’hui piliers dans de nombreux domaines tels que la synthèse d’image, la reconnaissance vocale, ou les traitements automatiques du langage naturel. Il a aussi proposé la première application industrielle des réseaux artificiels de neurones avec la reconnaissance des codes postaux rédigés à la main.

TensorFlow Dev Summit 2019

Google a organisé les 6 et 7 mars dernier le TF Dev Summit 2019 qui a été le théâtre de plusieurs présentations mais surtout d’une multitude d’annonces. Il a été question de la version 2.0 de Tensorflow avec le lancement, le 4 mars dernier, de l’alpha de la célèbre librairie python consacrée au machine learning et énormément populaire pour ses applications en deep learning. Au programme, la simplification et la facilité d’usage passant notamment par une refonte de nombreuses API. TF2.0 introduit en outre le mode “eager execution” qui permet l’execution immédiate des opérations comme le fait traditionnellement Python, au lieu de passer par une construction abstraite de graphe. Enfin, une autre grande nouveauté de la 2.0 réside dans l’utilisation proéminente de l’API Keras.

Des add-ons open-source ont aussi été annoncés, parmi eux figurent TensorFlow Federated qui décentralise l’apprentissage de modèles. Ainsi chacun pourra via son mobile améliorer un modèle en le téléchargeant, en l’améliorant avec ses propres données, sans les uploader ; c’est uniquement le modèle qui est mis à jour via le cloud. TensorFlow Privacy, par la théorie de la confidentialité différentielle, assure le respect de la vie privée lors de l’entraînement des modèles de machine learning. On notera aussi la mise à jour de la solution pour Mobile et appareils IoT, TensorFlow Lite.

Global Skill Index par Coursera for Business

La plateforme de formation en ligne aux 38 millions d’élèves a publié son compte rendu 2019 des compétences liées à la technologie, à l’industrie et à la data science. Ce rapport met en exergue le niveau de qualification des apprenants et permet à chaque pays de se situer au niveau mondial. Certaines tendances se dégagent :

L’Europe offre une grande concentration de profils hautement qualifiés ; la plupart des 24 pays occupent les premières places dans les trois domaines. Aussi la Finlande, la Suisse, l’Autriche, la Suède, l’Allemagne, la Belgique, la Norvège et les Pays-Bas sont constamment dans le premier quartile de chaque domaine. On remarquera la performance de la France qui se hisse à la 8ème place en data science (Israël étant en tête du classement), ainsi que nos bons résultats en ingénierie sécurité et génie logiciel.

Le rapport fait aussi état du niveau de compétence par domaine. Ainsi, la finance surprend par son manque de compétence dans l’ensemble des trois domaines en se classant 9ème en Business, 9ème en Data Science et 5ème en technologie. A contrario, l’industrie manufacturière démontre sa forte capacité d’adaptation à l’ère digitale : elle prend la première place en Technologie et en Business. Le secteur des Telecoms est aussi très solide en étant la seule industrie dans le top3 de chaque domaine.

Levée de fonds pour Sqreen

La start-up française Sqreen réalise une levée de fonds de série A de 14 millions de dollars menée par Greylock Partners. Basée à Paris et incubée à San Francisco, Sqreen souhaite s’imposer dans le milieu de la cybersécurité des applications Web et infrastructures cloud. En effet, leur solution Application Security Management (ASM), qui utilise les micro-agents intégrés dans les applications pour identifier les failles de sécurité et protéger automatiquement contre les menaces en temps réel.

Cette plateforme vise à permettre aux équipes de cybersécurité et de développeurs d’étendre leur sécurité sans impact sur la performance de leurs applications. Aussi, il est à souligner que cette solution ne requiert aucune modification dans le code ni d’installation de firewall. La société cofondée par l’ancien directeur du département de la sécurité d’Apple a notamment pour clients Le Monde, Algolia ou encore Y Combinator.

DeepAugment

Les performances des modèles de Deep Learning sont énormément dépendants des données à leur disposition. Un modèle entraîné sur trop peu de données généralisera mal ses résultats et donnera des résultats bancals. Pour pallier à ce problème sans avoir recours à une campagne de collecte de données, qui peut s’avérer onéreuse, une solution consiste à faire appel à la Data Augmentation. Ce procédé repose sur la transformation des données existantes pour en créer de nouvelles, par exemple en effectuant des rotations ou des changements de couleurs sur des images. La difficulté réside dans le fait de trouver la façon optimale d‘augmenter nos données.

La Data Augmentation Illusée, Image tirée du livre Deep Learning, par S. Varna et S. Das

Une première méthode, AutoAugment, a été proposée en 2018 par Google en se basant sur du reinforcement learning. Cependant, en plus de demander une puissance de calcul considérable, il n’est pas possible d’appliquer cet algorithme à ses propres jeux de données. Plus récemment, une autre solution autoML d’augmentation de données a vu le jour ; DeepAugment. Cette dernière permet de corriger les défauts d’AutoAugment à l’aide d’optimisations bayésiennes. DeepAugment affiche des performances nettement meilleures qu’AutoAugment que ce soit en vitesse d’execution ou en précision.