E-infectious Diseases

Deep Learning vs. COVID-19 – (2) Applications

écrit par Paul, relu par Diane et Erwan

L’article ‘Deep Learning vs. COVID-19′ se compose de deux parties :

-La première présente les principes mathématiques qui sous-tendent le fonctionnement des réseaux de neurones [article frère]

-La seconde présente des applications concrètes du deep learning pour la lutte contre la COVID-19 ainsi que les défis de cette technique [cet article].

Nous vous conseillons fortement d’avoir lu notre Partie 1 pour mieux aborder cette partie sur les applications du Deep Learning pour la lutte contre la COVID-19.

Si vous venez de lire à l’instant la Partie 1, vous pouvez directement commencer la lecture de l’article. Sinon, laissez-nous vous rafraîchir la mémoire 🙂

Apprentissage automatique supervisé : Tout commence par un jeu de données d’entraînement (exemple : photos), que l’on annote souvent manuellement (exemple : photos de plage vs. photos de montagne). A partir d’un jeu de données d’entraînement (images et leur annotations/étiquettes respectives), on souhaite créer un modèle pour automatiser l’annotation d’images nouvelles. Pour créer ce modèle, on peut par exemple utiliser les algorithmes du deep learning, mais il faut garder à l’esprit que ce n’est pas l’unique solution.

Réseau de neurone artificiel : Il est composé de petites boîtes de calcul, les neurones, qui sont assemblés en réseau via des synapses. On distingue les neurones des couches d’entrées, des couches cachées et des couches de sortie. Au cours de l’apprentissage, le réseau modifie les paramètres, poids synaptiques, (connexions entre neurones) pour minimiser l’erreur entre sa prédiction et l’annotation attendue.

Apprentissage profond (deep learning) : une approche très prometteuse pour le traitement de très grands jeux de données (langage, images, …). C’est une technique d’apprentissage automatique qui utilise plusieurs niveaux de traitements (les couches cachées), d’où l’adverbe ‘profond’

Convolutionnal Neural Network :
Modèle mathématique du deep learning particulièrement adapté (mais pas que) pour le traitement d’images. Il utilise notamment des couches de convolution et des couches de pooling pour réduire le nombre de paramètres à trouver.

Recurrent Neural Network : Modèle mathématique du deep learning particulièrement adapté (mais pas que) pour le traitement de séquences temporelles, comme des textes ou la courbe du nombre de cas COVID journaliers. Il utilise des neurones récurrents, qui reçoivent en entrée leur propre sortie. Mentionnons une variante des RNNs, les LSTMs, qui ‘possèdent’ une mémoire.

ROC-AUC : Un score pour évaluer les performances d’un modèle de classification. On représente en abscisse le taux de vrais positifs (sélectivité) en fonction du taux de faux positif (spécificité). ROC-AUC : Area Under the Receiver Operating Characteristic Curve
Petit aide-mémoire

Partie 2 : Quelques Applications

A) Diagnostiquer des maladies

1) Classification de Radiographies thoraciques

Les radiographies des poumons des patients (radiographies thoraciques) permettent de déterminer le type de maladie et d’évaluer la gravité de la maladie pour les formes avancées. Ce sont des images de haute résolution, et comme décrit dans la Partie 1-B (article précédent), les CNNs sont particulièrement adaptés pour ce type de données. Un programme à l’interface facile à prendre en main et permettant d’analyser automatiquement des milliers de radiographies permettrait de faciliter le travail des cliniciens.

Figure 2.1 : Le jeu de données d’entraînement est composé de radiographies annotées. Jeu de données pour les images

Plusieurs équipes ont souhaité réaliser un programme informatique qui, étant donné une radiographie thoracique d’un nouveau patient, évalue la gravité de la maladie (classification d’images). Lors de l’entraînement, différentes catégories de radiographies ont été utilisées. Certaines correspondaient (1) à des infections par la COVID-19, (2) d’autres par des infections pulmonaires non-COVID19 (causées par des bactéries). Enfin, (3) des radiographies de patients n’étant pas atteints de pneumonie faisaient partie du jeu d’entraînement. Des jeux de données (radiographies + annotations) ont été rendus publiques pour la recherche scientifique.

De nombreux réseaux de neurones convolutifs (on peut citer par exemple COVID-NET, CovNet, …) ont été utilisés pour déterminer la sévérité de la maladie et le pronostic de patients atteints de la COVID-19 à partir d’images de scanner thoracique. Leur architecture s’inspire de celle des CNNs. Les performances sont très bonnes (évaluées par le score ROC-AUC), qui doivent être nuancées un peu au vu de la présence de biais implicites dans certains jeux de données (voir Partie 3 – Données Frankenstein). Une revue est présentée par (Zhao et al. 2021). En plus de celles présentées dans cette revue, on peut citer comme applications en cours de déploiement XraySetu, qui ne nécessite seulement l’envoi d’une radiographie par Whatsapp.

2. Autodiagnostics sur smartphones

Un champ de recherche prometteur est le développement d’outils de diagnostic à moindre coût. Au lieu d’utiliser des kits médicaux ou scanner coûteux, on emploie de simples objets plus communs, comme les smartphones par exemple. Les smartphones contiennent de nombreux senseurs intégrés : des caméras, des microphones, des capteurs d’inertie ou encore des capteurs de température (pour le déverrouillage par empreinte digitale par exemple). Il existe des applications qui utilisent la caméra et les capteurs thermiques pour évaluer la posture et la température, pour déterminer le niveau de fatigue de l’utilisateur. (Maghed et al., 2020)

Figure 2.2 : Les smartphones possèdent de nombreux capteurs pour réaliser des diagnostics personnalisés.

D’autres utilisent les données audio : en toussant devant son téléphone, l’objectif est d’obtenir une application prédit s’il peut s’agir de la COVID-19 ou non. La base de données collaborative CoughVid, développée par des chercheurs de l’EPFL, contient des milliers d’enregistrements audio de toux. Si vous souhaitez participer, il suffit d’envoyer un enregistrement de votre toux, qui sera anonymisé puis téléchargé sur les serveurs pour aider la recherche. La toux sèche, présente chez 2/3 des personnes infectées selon l’OMS, se distingue phonétiquement de la toux humide d’autres maladies.

Si les médecins utilisent déjà le son de la toux pour les diagnostics, l’automatisation de ce processus présente un immense potentiel en permettant d’établir un diagnostic en quelques secondes et pourraient réduire la transmission de la maladie en conseillant les personnes identifiées comme infectées de s’isoler. L’application CoughVid utilise d’autres algorithmes d’apprentissage automatique que le deep learning mais est déjà déployée sur smartphone et permet d’obtenir un diagnostic rapide. On peut également citer d’autres applications ou projets d’applications comme AI4Covid-19 (Oklahoma), Covid-19 sounds (Cambridge), Coswara (Inde), Cough against Covid-19 (Inde), Covid-19 Voice detector (CMU), Opensigma (MIT), Novoic (Angleterre). A notre connaissance, les projets associant deep learning et diagnostics de toux sont encore à l’état de projet, mais présentent des résultats prometteurs.

Figure 2.3 : Proof-of-concept d’une application utilisant les senseurs pour déterminer la présence de fièvre ou non

Ces techniques présentent, en plus de leur bas coût, de nombreux avantages : le diagnostic est instantané, non-invasif et peut être répété au besoin.

B) Analyse de sentiments et détection de fausses informations sur les réseaux sociaux

L’opinion publique peut être évaluée en analysant les posts sur les réseaux sociaux. Ceux-ci contiennent des milliers d’informations sur l’état émotionnel des internautes à un instant t. Est-ce qu’une mesure est bien accueillie ? Comment la vie quotidienne des gens a-t-elle changé ? 

Figure 2.4 : L’application du deep learning sur des posts permet d’évaluer l’opinion publique ou encore de lutter contre la désinformation

Les tweets sont des ensembles de phrases dont l’ordre des mots importe, ce sont des séquences. Et comme nous l’avons vu précédemment, on utilise souvent (mais pas que)des réseaux de neurones récurrents (RNNs) pour analyser des séquences.

Les tweets (données brutes) sont tout d’abord extraits. Plusieurs pré-traitements peuvent être utilisés pour simplifier l’analyse. Par exemple, on remplace souvent les caractères spéciaux (ç, 🙂 ) par des équivalents (c, :smile:). De plus, le nombre de langues différentes étant très grand, on traduit par défaut les textes dans une seule langue pour faciliter l’analyse sous-jacente. Après ces étapes de pré-traitement, les textes sont transformés en valeurs numériques (tokénisation) et servent d’entrées pour des réseaux de neurones variés.

1. Classification de tweets avec BERT

Les problèmes liés à la classification de textes existaient dans notre vie de tous les jours avant la pandémie. On peut citer par exemple des programmes qui facilitent la vie en annotant automatiquement les mails dans différents onglets (‘spam’, ‘Promotion’, …).

Prenons l’exemple de COVID-Twitter-BERT. Pour développer COVID-Twitter-BERT (CT-BERT), des millions de tweets (97 millions !) ont été tokénisés. Ils ont été annotés de plusieurs façons : les tweets correspondant à une émotion positive ou négative, les tweets faisant la promotion, l’anti-promotion (ainsi que les tweets neutres et ambigus) de certains vaccins, …. Notons qu’un même tweet peut appartenir à plusieurs classes différentes. L’objectif était d’obtenir un programme pour comprendre la structure du langage et classifier automatiquement les tweets (traduisant une opinion positive ou négative par exemple). (Muller et al. 2020). Le modèle est disponible sur leur Github.

C’est BERT, un réseau de neurones particulier, un Transformeur, qui a été utilisé. Les transformeurs, comme BERT (Bidirectional Encoder Representations from Transformers), sont les successeurs des RNNs (LSTM) pour le traitement automatique de langage car ils peuvent gérer des jeux de données plus conséquents.

D’autres études ont également utilisé d’autres variantes de BERT pour par exemple identifier automatiquement les tweets informatifs de ceux qui ne le sont pas (Hossain et al., 2020), ou encore pour examiner quelles questions les personnes posaient pour mieux comprendre les inquiétudes d’une population (les questions concernent-elles la transmission, les modes de prévention, …) (Wei et al., 2020). Pour aider les recherches futures, Hossain et al. ont publié un jeu de données de 6761 tweets annotés manuellement intitulé COVIDLies pour évaluer la performance de futurs modèles.

2. Pourquoi classifier des tweets :

Analyse de sentiments : Connaître l’opinion publique est d’une aide précieuse lorsque les politiques de santé décident des mesures à prendre et de leur timing. Comme mentionné ci-dessus, on peut évaluer l’opinion publique en réalisant une analyse de sentiments sur des publications sur les réseaux sociaux. Une analyse de sentiments peut s’avérer utile pour comprendre le comportement d’une population. De nombreuses analyses de sentiments ont pu constater l’évolution du sentiment de peur dans une population.

Détection de fausses informations : A l’ère des réseaux sociaux, où l’information voyage quasi-instantanément, les fausses informations ont des conséquences immenses, la fois sur les réseaux sociaux mais aussi sur les moteurs de recherche. Lorsqu’une personne pose une question sur un moteur de recherche, elle peut consulter des milliers de pages. Comment lui indiquer si un site propose des informations pertinentes et non des fausses informations ? Cela pose quelques problèmes en pratique (voir Partie 3 – Interprétabilité) : imaginons la réaction d’un utilisateur voyant sa publication annotée comme ‘Fausse information’ sans plus d’explications.

C) Surveiller l’évolution de la maladie

Prédire le nombre de personnes infectées, les tendances, est essentiel pour décider des mesures sanitaires à prendre et pour gérer des ressources limitées (respirateurs par exemple).

Étant donné le nombre de personnes saines, infectées, en quarantaine et guéries dans une population à un instant t, on cherche à créer un programme qui prédit le nombre de cas à un temps t+n, c’est-à-dire dans un futur plus ou moins proche.

Certains modèles utilisent directement des LSTM, recevant en entrée les chiffres passés de l’épidémie. D’autres combinent le modèle SIR (pour Sain Infecté Guéri) , un modèle mathématique connu en épidémiologie pour prédire l’évolution d’une maladie dans une population, avec des réseaux de neurones pour augmenter son pouvoir de prédiction. Ces réseaux de neurones reçoivent en entrée non seulement les chiffres de l’épidémie (des séries temporelles) mais aussi les posts des réseaux sociaux (est-ce que la population accepte les mesures sanitaires), les coupures de journaux (annonce de mesures gouvernementales récentes, …) pour affiner les prédictions. Exemple ici ou encore ici

Figure 2.5 : La combinaison du deep learning avec des modèles épidémiologiques permet d’affiner les prédictions futures

D) D’autres applications

L’étude de liste un grand nombre d’autres applications du deep learning dans la lutte contre la COVID-19 (liste non exhaustive).

  • Surveillance urbaine : Des réseaux de neurones convolutifs (CNNs) sont utilisés pour repérer dans des vidéos issues de caméras urbaines la présence de piétons infectés. Cette technique est prometteuse pour repérer des cas de fièvre, et anticiper l’apparition de clusters dans une population.
  • Trouver de nouveaux médicaments candidats contre la COVID-19 : Habituellement, il s’écoule plusieurs années entre la découverte de molécules candidates et leur mise sur le marché. Le deep learning peut accélérer considérablement le processus. L’analyse de texte, similaire à l’analyse de tweets, permet de parcourir automatiquement les nombreuses publications sur la COVID-19, et d’identifier plus rapidement des molécules candidates.
  • Médecine personnalisée : à partir du génome du patient et de son historique médical, on pourrait entraîner des réseaux de neurones récurrents à prédire l’efficacité d’un traitement sur ce patient.
  • Quotas : des réseaux de neurones convolutifs (CNNs) pourrait apprendre à compter automatiquement le nombre de piétons qui rentrent dans un magasins, pour estimer si la jauge de personne est atteinte ou non.

Partie 3 : Défis et limitations

A. Défis techniques : L’entraînement est difficile et le réseau n’apprend pas toujours.

Nous avons évoqué ces différents points dans notre Partie 1, et nous ne rappellerons que brièvement ces points

  • L’entraînement n’est pas toujours facile (lent et parfois infructueux)
  • Le réseau peut sur-ajuster les données (il n’apprend rien d’utile et ne généralise pas)
  • L’entraînement est également très coûteux en énergie et limite l‘edge computing.
  • Il est difficile d’obtenir de grands jeux de données non biaisés (sans sur-représentation d’une catégorie)

Rajoutons également quelques points, qui font suite à ce qui a été décrit plus tôt :

  • Pour l’analyse de texte, il est parfois nécessaire de traduire des tweets multi-langues en une seule langue, ce qui peut conduire à des modifications du sens original du texte.
  • Pour l’analyse de texte (réseaux sociaux), il faut garder à l’esprit qu’ils ne reflètent pas nécessairement l’opinion exacte des internautes.

b. Données Frankenstein et autres biais méthodologiques

Le choix du jeu de données initial doit être judicieusement effectué pour éviter tout biais. Un célèbre exemple (légende urbaine?) d’échec de projet d’apprentissage profond est celui d’un réseau de neurones ayant pour objectif de détecter les tanks camouflés sur des photographies. Le réseau utilisait des photos de tanks camouflés derrière des arbres (étiquette ‘oui’) et des photos d’arbres sans tanks (étiquette ‘non’). En fait, les photos d’arbres étaient prises pendant un jour ensoleillé, alors que les photos de tanks étaient prises pendant un jour nuageux : le réseau avait appris à discriminer les jours nuageux et ensoleillés au lieu d’apprendre à repérer des tanks ! Ainsi, la variabilité environnementale dans un jeu de donnée peut s’avérer décisive.

Dans un article récent, Will Douglas Heaven et ses collègues remarquent qu’aucun outil d’analyse de scanner n’a été à la hauteur des attentes des personnes en profession médicale ! Les auteurs décrivent plusieurs raisons majeures :

(1) Des biais dans les jeux de données open source. Par exemple, les jeux de données ‘Frankenstein’ représentent un problème sérieux. Certains jeux de données publics  combinent plusieurs jeux de données existants sous un nouveau nom. La fusion de jeux de données conduit à des problèmes méthodologiques : on peut se retrouver à avoir le même exemple dans les données d’entraînement et de validation ! Il est également très important de vérifier s’il n’y a pas de cohortes dans le jeu de données (par exemple un modèle entraîné sur un jeu de données sur des patients d’un certain âge ne fonctionnera peut-être pas sur des patients d’un autre âge).

(2) Des difficultés dans l’annotation

(3) Une compétition plutôt qu’une collaboration entre les différents groupes

c. Interprétabilité : Qui doit prendre une décision ?

L’interprétabilité est difficile. Il est difficile d’interpréter la capacité prédictive de nombreux réseaux de neurones d’où leur qualification de boîte noires. Si un CNN prédit qu’une radiographie correspond à un patient infecté alors que ce n’est pas le cas, il est difficile de savoir pourquoi et de décoder les paramètres des couches de neurones successives. Le réseau a t’il appris des caractéristiques utiles de l’image, ou s’est-il basé sur des patchs de pixels indésirables dans l’arrière-plan ?

Figure 2.6 Différents degré d’automatisation des tâches.

Si un médecin est sûr qu’un patient a le COVID, mais qu’un réseau de neurone dit le contraire sans plus d’informations qu’un pourcentage de confiance (pas de description de la caractéristique discriminante), à qui doit-il faire confiance ? Un simple chiffre ne sera pas suffisant pour le convaincre. L’intelligence artificielle doit-elle rester un simple outil d’aide à la décision (gauche de la flèche) ou faut-il s’aventurer dans la partie droite de la flèche pour des décisions impliquant la vie/mort du patient ?

d. Sécurité et confidentialité

Le deep learning a un grand potentiel pour la médecine de précision. Mais qui dit médecine de précision dit centaine de données confidentielles sur l’historique médical d’un patient, potentiellement dérobables par des pirates informatiques. Aujourd’hui, des systèmes embarqués ne peuvent réaliser de gros projets de deep learning, et les données doivent aller sur des serveurs en ligne (cloud computing, à l’opposé de l’edge computing décrit dans notre Partie 1). De tels vols de données sont déjà arrivés dans le passé, et les patients ont reçu des mails hameçonnage (phishing) très réalistes avec beaucoup d’informations personnelles. Une solution consiste à anonymiser les données localement, avant de les envoyer sur des serveurs en ligne pour l’apprentissage. Pour des visages, on peut par exemple les flouter, pixeliser l’image (réduire sa dimension), ou diverses techniques de cryptage pour ne citer qu’elles.

Conclusion générale

Le deep learning est un outil puissant pour automatiser le traitement de jeux de données conséquents et chronophages pour l’homme. Les applications pour la lutte contre la COVID-19 sont variées et prometteuses : des diagnostics personnalisés, en passant par la lutte contre la désinformation. La publication en ligne sur des plateformes spécialisées comme GIthub d’algorithmes et de jeux de données a permis d’accélerer considérablement la recherche. En plus des défis technologiques qu’il pose, le deep learning soulève également des questions éthiques sur la gestion de bases de données privées par exemple.

Sources :

Diagnostic
-Farooq M, Hafeez A. COVID-ResNet: a deep learning framework for screening of COVID19 from radiographs; 
 arXiv:2003.14395. 
- Zhao, W., Jiang, W. & Qiu, X. Deep learning for COVID-19 detection based on CT images.                     Sci Rep 11, 14353 (2021). https://doi.org/10.1038/s41598-021-93832-2
- H. Maghded, et al., "A Novel AI-enabled Framework to Diagnose Coronavirus COVID-19 using Smartphone Embedded Sensors: Design Study," in 2020 IEEE 21st International Conference on Information Reuse and Integration for Data Science (IRI), Las Vegas, NV, USA, 2020 pp. 180-187. doi: 10.1109/IRI49571.2020.00033 
- https://www.epfl.ch/research/domains/cis/fr/reseau/coughvid-2/ 
- M. Pahar, M. Klopper, R. Warren, T. Niesler COVID-19 cough classification using machine learning and global smartphone recordings; Comput. Biol. Med., 135 (2021)
- Gauri Deshpande, Anton Batliner, Björn W. Schuller,
 AI-Based human audio processing for COVID-19: A comprehensive overview,2022,doi.org/10.1016/j.patcog.2021.108289.


Réseaux sociaux
- Müller,  Martin, M. Salathé and P. Kummervold. “COVID-Twitter-BERT: A Natural  Language Processing Model to Analyse COVID-19 Content on Twitter.” ArXiv abs/2005.07503 (2020)
- Hossain T, Logan RL, Ugarte A, Matsubara Y, Young S, Singh S. Detecting COVID-19 misinformation on social media
- Wei J, Huang C, Vosoughi S, Wei J. What are people asking about COVID-19? A question classifcation dataset; 
 arXiv:2005.12522. 
- https://medium.com/inside-machine-learning/what-is-a-transformer-d07dd1fbec04 
- Chandra R, Krishna A (2021) COVID-19 sentiment analysis via deep learning during the rise of novel cases. PLoS ONE 16(8): e0255615. https://doi.org/10.1371/journal.pone.0255615

Epidémiologie
- Dandekar R, Barbastathis G. Quantifying the efect of quarantine control in Covid-19 infectious spread using 
 machine learning. https://doi.org/10.1101/2020.04.03.20052084.
 
- Arik SO, Li C-L, Yoon J, Sinha R, Epshteyn A, Le LT, Menon V, Singh S, Zhang L, Yoder N, Nikoltchev M, Sonthalia 
 Y, Nakhost H, Kanal E, Pfster T. Interpretable sequence learning for COVID-19 forecasting; 2020. arXiv
 :2008.00646 

Autres
- Zhou Y, Wang F, Tang J, Nussinov R, Cheng F. Artifcial intelligence in covid-19 drug repurposing. Lancet Digital 
 Health. 2020. https://doi.org/10.1016/S2589-7500(20)30192-8.

Limitations
-https://www.gwern.net/Tanks 

-Roberts, M., Driggs, D., Thorpe, M. et al. Common pitfalls and  recommendations for using machine learning to detect and prognosticate  for COVID-19 using chest radiographs and CT scans. Nat Mach Intell 3, 199–217 (2021). https://doi.org/10.1038/s42256-021-00307-0

-Haque A, Milstein A, Fei-Fei L. Illuminating the dark spaces of healthcare with ambient intelligence. Nature. 
 2020;585(7824):193–202. https://doi.org/10.1038/s41586-020-2669-y.

Revues
-Nayak, J., Naik, B., Dinesh, P. et al. Significance of deep learning for Covid-19: state-of-the-art review.                     Res. Biomed. Eng.  (2021). https://doi.org/10.1007/s42600-021-00135-6
- Shorten, C., Khoshgoftaar, T.M. & Furht, B. Deep Learning applications for COVID-19. J Big Data 8, 18 (2021). https://doi.org/10.1186/s40537-020-00392-9

Ajouter un commentaire

Un petit commentaire :) ?

A NE PAS RATER !

Notre FAQ sur les vaccins Moderna, Pfizer, …

 

Ne manquez pas notre magazine sur le VIH !

Articles récents

%d blogueurs aiment cette page :