Pour répondre à cesquestions, de nombreux planificateurs d’hôpitaux, de médias et d’organismes gouvernementaux – dont la Maison Blanche –un modèle particulier parmi les nombreux qui ont été publiés au cours des deux derniers mois: l'Institut de métrologie et d'évaluation de la santé de l'Université de Washington (IHME).

Le modèle a estimé pour la première fois fin mars qu'il y aurait moins de 161 000 décès au total aux États-Unis; début avril, il a révisé ses projections pour indiquer que le nombre total de morts jusqu'en août était « prévu de 60 415 » (bien qu'il ait reconnu que la fourchette pourrait se situer entre 31 221 et 126 703).

Le modèle IHME du coronavirus continue de se tromper. Pourquoi l'écoutons-nous encore ?

Le modèle a été cité à maintes reprises par la Maison Blanche et a informé ses décideurs. Mais cela peut avoir égaré l'administration: l'IHME a systématiquement prévu beaucoup moins de décès que la plupart des autres modèles, en grande partie parce que le modèle IHME prévoit que les décès diminueront rapidement après le pic – une hypothèse qui n'a pas été confirmée.

Mercredi, le nombre de décès aux États-Unis a dépassé les 60 000 que le modèle IHME avait déclaré être le nombre total de morts cumulé probable. L'IHME le 29 avrila publié une nouvelle mise à jour portant ses estimations du nombre total de décès à 72 433, mais cela devrait également se révéler sous-estimé dès la semaine prochaine. Même sa limite supérieure sur les décès – désormais répertoriée comme 114.228 en août – est discutable, car certains autres modèles s'attendent à ce que les États-Unis atteignent ce jalon d'ici la fin mai, et la plupart le prévoient en juin.

Une analyse du modèle IHMEa constaté que ses prévisions de décès le lendemain pour chaque Étatétaient en dehors de son intervalle de confiance à 95% dans 70% des cas, ce qui signifie que le nombre réel de décès tombait en dehors de la fourchette qu'il prévoyait 70% du temps. Ce n'est pas génial ! (Une récente révision par l'IHME a résolu ce problème; plus d'informations à ce sujet ci-dessous.)

Ce bilan a conduit certains experts à critiquer le modèle.« Ce n'est pas un modèle que la plupart d'entre nous dans le domaine de l'épidémiologie des maladies infectieuses pense être bien adapté » pour faire des projections sur Covid-19

Mais si c'est le cas, commenta-t-elle atteint une telle importance parmi les décideurs ? D'autres modèles ont fait mieux que l'IHME pour prédire l'évolution de l'épidémie et nombre d'entre eux utilisent des approches que les épidémiologistes jugent plus prometteuses. Pourtant, c'est le modèle IHME qui a généralementdécideurs politiques guidés,pour l'essentiel dans le sens d'un retour à la normale.

Une explication potentielle de son influence surdimensionnée:Certains des facteurs qui rendent le modèle IHME peu fiable pour prédire le virus ont peut-être incité les gens à prêter attentionà elle. D'une part, il est plus simpliste que les autres modèles. Cela signifie qu'il peut être appliqué de manières plus complexes que les modèles, commeprojections au niveau de l'État (quelque chose que les responsables de l'État voulaient vraiment), que d'autres modélisateurs ont reconnu ne pas avoir suffisamment de données à offrir.

Pendant ce temps, ses intervalles de confiance étroits pour les estimations état par état signifiaient qu'il pouvait être cité (et optimiste)numéros de ligne du dessus. Un intervalle de confiance représente une plage de nombres où le modèle est très confiant que la vraie valeur se situera dans cette plage.Une gamme étroite qui donne« Une apparence de certitudeest séduisant quand le monde est désespéré de savoir ce qui nous attend « , a soutenu une critique du modèle IHME publiée dans les Annals of Internal Medicine. Mais les chiffres et les courbes précises que l'IHME publie « suggèrent une plus grande précision que ce que le modèle peut offrir ».

La critique du modèle IHME et un débat naissant sur les modèles d'épidémiologie plus largement ont mis en lumière d'importants défis dans la lutte contre le coronavirus. Une bonne planification nécessite de bonnes projections. Nous aurons besoin de modèles pour aider à prévoir les résurgences et repérer une deuxième vague potentielle. Il est essentiel de décortiquer ce qui a mal tourné dans le modèle IHME, ce que les autres modèles ont bien fait et comment le public et les décideurs politiques lisent ces modèles si nous voulons créer les meilleurs plans possibles en cas de pandémie.

Quel est le problème avec le modèle IHME du coronavirus ?

Les modèles de propagation des maladies visent à aider les décideurs dans un environnement où les mathématiques surclasseront les intuitions. La plupart des gens ont du mal à penser à une croissance exponentielle, c'est pourquoi beaucoup ont été pris par surprise en mars alors que le virus se propageait. C’est pourquoi les modèles peuvent être utiles.

Les modèles présentent généralement certaines hypothèses fondamentales et proposent des projections basées sur ces hypothèses. Le modèle IHME cherche à projeter les taux de mortalité et d'hospitalisation en supposant une distanciation sociale généralisée et des mesures fortes pour prévenir la propagation du virus. Étant donné que les tests sont si peu fiables pour identifier le taux d'infection, le modèle utilise uniquement les taux de mortalité comme données (bien qu'il soit intéressant de noter que les preuves provenant des données de mortalité toutes causes suggèrent que nous sous-estimons également les décès dus aux coronavirus).

Ce taux d'hospitalisation prévu était l'une des choses qui le distinguaient, m'a dit le chercheur de l'IHME Ali Mokdad. C'était l'un des rares modèles à proposer cette projection, et c'était une information exploitable que les gouvernements pouvaient saisir et planifier.

Une autre raison pour laquelle il a pris de l'importance est la décision de l'IHME de modéliser les effets de fortes mesures de distanciation sociale.Ce choix s'est avéré correct – des mesures vigoureuses ont en effet été prises à travers les États-Unis – et le nombre de décès plus bas que le modèle a produit en conséquence aurait conduit à ce qu'il soit accueilli favorablement par l'administration Trump.

Mais au fil des semaines, il est devenu clair que les projections de l'IHME ont été trop optimistes et lentes à s'ajuster pour refléter le fait que les décès se sont stabilisés plutôt que de tomber rapidement à zéro. L'IHME a régulièrement mis à jour son modèle à mesure que de nouvelles données arrivent, mais les mises à jour ont souvent été suffisamment lentes pour que les chiffres soient absurdes au moment où ils sont modifiés dans une mise à jour. Par exemple, fin avril, le modèle indiquait toujours que le nombre total de morts prévu était de 60 000, même si les États-Unis n'étaient clairement qu'à quelques jours de cette étape.

Mokdad m'a dit quand nous avons parlé qu'un correctif était en cours, et il a augmenté quelques jours plus tard: le modèle projette maintenant 73 433 décès en août. Cela aussi est probablement sous-estimé – la plupart des autres modèles prévoient que ce total sera atteint la semaine prochaine.

Pour la défense de l'IHME, il offre un intervalle de confiance de 95% plus précis que les chiffres de la ligne du dessus. Cette fourchette va de 59 343 – nettement moins que le nombre de personnes déjà mortes du virus – à 114 228. Cela peut sembler large, mais il reste optimiste, et le bilan réelest en voie de se situer entièrement en dehors de cette plage. Le MIT prévoit que les États-Unis dépasseront cette limite supérieureà la mi-juin, et les prévisions de Los Alamos, comme celle du MIT, pensent que le pays franchira l'intervalle de confiance de 95% de l'IHME dans environ six semaines.

C’est l’une des principales plaintes concernant le modèle IHME: ses intervalles de confiance semblent trop étroits,prévisions à plusieurs mois. Par exemple, lorsqu'ils sont utilisés pour prédire le nombre de décès dans un État le lendemain (ce qui ne nécessite aucune modélisation complexe des effets à long terme des politiques incertaines), d'autres chercheurs ont constaté que les vrais décès se situaient en dehors des 95 intervalle de confiance pour cent donné par le modèle 70 pour cent du temps. Ce sont des résultats extrêmement embarrassants.

Les chiffres au jour le jour sont instables parce que certains pays ne communiquent pas de chiffres tous les jours, m'a dit Mokdad. « Le modèle est un peu confus parce que les États ne signalent pas les décès de manière cohérente », a-t-il dit, ajoutant: « Le modèle suppose que les décès augmenteront puis redescendront », et il réagit donc mal lorsque les décès varient au lieu de jour en jour. Lissage au cours d'une semaine – la dernière mise à jour effectuée par l'équipe IHME –signifie que le modèle devrait être plus prédictif.

En effet, la dernière mise à jour du modèle résout le problème où les décès le lendemain sont généralement en dehors de l'intervalle de confiance du modèle en donnant au modèle des intervalles de confiance extrêmement larges. C’est louable. Il vaut mieux être honnête au sujet de votre incertitude extrêmement élevée que de revendiquer une certitude que vous n’avez pas.

Cela pourrait conduire à des modèles insatisfaisants avec des gammes extrêmement larges – 176 à 3885 décès aujourd'hui– mais si cela reflète fidèlement l'état d'incertitude, alors tant pis.Il vaut mieux avoir un large intervalle de confiance, reconnaissant votre incertitude, que d'avoir un intervalle étroit qui est généralement faux. Et si les décès le lendemain sont généralement erronés, comme le sont les IHME, cela sape la confiance dans la valeur prédictive à long terme du modèle.

(Mais alors que l'IHME a élargi ses intervalles de confiance au jour le jour, il a encore des intervalles de confiance très, très étroits pour ses projections à plusieurs semaines dans le futur – ce qui est étrange, car nous devrions être encore plus incertains à ce sujet.)

Un problème encore plus important avec le modèle IHME est quela façon dont le modèle est publié peut masquer ses problèmes. Lorsqu'il est mis à jour, il peut être difficile de voir quelles étaient ses anciennes prédictions évitées. Un site web, covid-projections.com, a été mis en place afin que vous puissiez consulter les prédictions faites par les anciennes versions du modèle IHME (et l'historique des autres modèles). Les modèles IHME sontsouvent assez loin.

Le modèle IHME est également inhabituel par rapport à d'autres modèles épidémiologiques pour sa conception. Alors que la plupart des modèles utilisent des tactiques de modélisation épidémiologique standard comme SEIR (modélisation sensible-exposée-infectée-récupérée) ou utilisent des simulations informatiques, le modèle IHME est en fait juste en train d'ajuster une courbe des premières données en Chine et en Italie à la trajectoire de la maladie ailleurs.

Le modèle IHME est basé « sur un modèle statistique sans fondement épidémiologique », soutient la critique Annals of Internal Medicine.

L'équipe IHME a défendu son modèle contre ces plaintes.

« Nous sommes prêts à faire des prévisions. La plupart des universitaires veulent couvrir leurs paris et ne jamais se tromper « , a déclaré le directeur de l'IHME, Christopher Murray, à Politico. « Ce n'est pas utile pour un planificateur – vous ne pouvez pas aller à l'hôpital et dire que vous pourriez avoir besoin de 1 000 ventilateurs, ou que vous pourriez en avoir besoin de 5 000. »

Le modèle s’est amélioré, mais des défauts subsistent

Le changement du modèle l'a certainement amélioré, mais certains problèmes avec les intervalles de confiance persistent.Le nouveau modèle reconnaît une incertitude extrêmement élevée quant à ce qui se passera demain – dans mon état, la Californie, il indique qu'il y aura entre 5 et 103 décès demain. C’est un très large éventail.

Mais le 20 mai, le modèle est tout à fait sûr qu'il n'y aura aucun décès. L'intervalle de confiance à 95% va de zéro décès à … zéro décès.

C’est une affirmation extrêmement forte. J'ai pressé l'équipe IHME de savoir s'ils en étaient sûrs. Mokdad a déclaré que les prévisions de zéro décès du modèle étaient correctes: « Sur la base du graphique, dans certains États, oui – en Californie, le 17 mai, zéro. Le virus ne circule plus; vous vous attendriez à ce qu'il atteigne zéro.  »

Mais le virus circule toujours en Californie. Le 28 avril, 1 187 nouveaux cas ont été signalés dans l'État. Même si toutes les infections en Californie ont cessé instantanément aujourd'hui, il est probable que certaines personnes déjà infectées mourraient à la mi-mai ou plus tard.

Le nombre de cas en Californie (comme ceux de nombreux États) diminue, mais seulement lentement, car l'éloignement social a limité la propagation du virus mais ne l'a pas complètement arrêté. Cela est lié à un autre problème avec le modèle IHME: il suppose que les mesures de distanciation sociale, une fois mises en place, sont toujours suffisantes pour ramener rapidement à zéro le nombre de cas.

Dans le rapport expliquant le modèle, les chercheurs écrivent qu'ils envisagent quatre mesures: « Fermetures d'écoles, fermetures d'entreprises non essentielles, y compris les bars et restaurants, recommandations de rester à la maison, et restrictions de voyage, y compris les fermetures de transports publics. Les jours avec 1 mesure étaient comptés comme 0,67 équivalents, les jours avec 2 mesures comme 0,334 équivalents et avec 3 ou 4 mesures comme 0.  »

En d'autres termes, le modèle repose sur l'hypothèse intrinsèque qu'une fois que trois de ces mesures auront été mises en place, les cas tomberont rapidement à zéro. Aucune nouvelle donnée ne peut changer cette hypothèse, c'est pourquoi le modèle continue de prévoir zéro décès à la mi-mai dans toute zone qui n'a pas levé les restrictions de distanciation sociale, même si le nombre de cas n'aplafonné plutôt que décliné dans de nombreuses régions.

Il existe de nombreuses prévisions similaires, confiantes et frustrantes: le 12 juillet, selon le modèle, nous aurons besoin de 0 à 12 lits d'hôpital aux États-Unis pour les patients atteints de coronavirus, et il y aura 0 décès à tout moment après le 12 juillet.

Pourquoi les problèmes du modèle IHME ne devraient pas être utilisés comme un acte d’accusation contre l’épidémiologie plus largement

Toutes ces préoccupations rendent frustrant pour de nombreux épidémiologistes que le modèle IHME est celui qui est largement utilisé et cité. « Le fait que le modèle IHME continue de changer est la preuve de son manque de fiabilité en tant qu'outil prédictif » « Qu'il soit utilisé pour des décisions politiques et que ses résultats soient mal interprétés est une parodie qui se déroule sous nos yeux. »

Alex Merz, microbiologiste à l’école de médecine de l’Université de Washingtonet a condamné leur « bande d'erreur rétrécissante étonnante qui, de façon absurde, limite à zéro l'incertitude à la mi-juin. Ce n'est pas seulement une mauvaise communication scientifique – c'est une mauvaise science.  »

Le modèle IHME aa également mis la discipline sous le feu d'autres domaines. Tyler Cowen, dont le blog largement lu Marginal Revolution a lié de nombreux articles démontrant à quel point le modèle IHME fonctionne mal, a fait valoir que « le moment est vraiment venu de poser des questions difficiles sur l'épidémiologie, et oui, les épidémiologistes ».

Ce n'est pas juste, de nombreux épidémiologistes disent – le modèle n'utilise aucun des outils standard de la discipline, et ils le détestent aussi.

« Le fait que le modèle IHME continue d'évoluer est la preuve de son manque de fiabilité en tant qu'outil prédictif »

« L'approche IHME s'écarte de la modélisation épidémiologique>

Il n'est donc peut-être pas juste de tirer des conclusions sur le domaine dans son ensemble à partir d'un modèle qui a généralement évité d'utiliser ses outils standard.

De plus,nous devons être conscients qu'il existe de meilleurs modèles. Le modèle de l'Imperial College sur lequel le gouvernement britannique s'est appuyé pour éclairer la stratégie du pays contre les coronavirus a relativement bien résisté, le nombre de cas suivant de manière approximative les prévisions du modèle quant à ce qui se passerait si la distanciation sociale était mise en œuvre (comme c'était peu de temps après la publication du modèle). . Il a également été fréquemment révisé en réponse à de nouvelles données et a fait l'objet de critiques pour excès de confiance, mais les inexactitudes sont plus petites et moins omniprésentes, et les chiffres initiaux avant toute révision n'étaient pas si éloignés.

D'autres modèles, utilisant des approches épidémiologiques plus standard, fonctionnent encore mieux – bien que généralement dans des domaines plus étroits, comme essayer de projeter uniquement le pic de l'épidémie ou simplement le taux de nouveaux cas.

L'équipe IHME dit que son modèle a plutôt bien fonctionné sur des problèmes clés comme la prévision du pic dans la plupart des États(il sera clair dans les semaines à venir à quel point c'est vrai)et qu'ils continuent de le réviser pour le rendre meilleur. Pendant ce temps, alors que le débat sur les modèles épidémiologiques s’échauffe, il est juste de dire que tenir les lacunes du modèle IHME contre l’épidémiologie dans son ensemble n’est pas juste.

Nous n’avons pas toutes les réponses

Mais cela laisse toujours la question: pourquoi le modèle IHME est-il devenu si populaire ?

Les défauts que j'ai notés ci-dessus sont également des caractéristiques qui ont rendu le modèle attrayant lors de son premier lancement. Il était optimiste, prévoyant des décès inférieurs à ceux des autres modèles. C'était clair et précis, avec des intervalles de confiance étroits. Il prévoyait des hospitalisations, ce que peu d'autres faisaient, bien que ces projections se soient révélées fausses parce que nous n'en savions pas assez pour bien projeter les hospitalisations à ce stade. En période d'incertitude, le modèle IHME était convaincant.

Mais il s'avère que l'incertitude se reflète dans de nombreux autres, de meilleurs modèles apparaissent pour une raison – il y a encore beaucoup de choses que nous ne savons pas sur le cours de cette maladie.

Comme l’a écrit mon collègue Matt Yglesias: « Nous devons valoriser les scientifiques et écouter les experts, mais une partie de l’écoute signifie comprendre qu’en ce moment, ce qu’ils disent, c’est qu’ils n’ont pas toutes les réponses. »

Compte tenu de l'énorme incertitude à laquelle nous sommes confrontés, les scientifiques responsables évitent de donner des chiffres dramatiques dont ils ne sont pas sûrs, en mettant l'accent sur les intervalles de confiance très larges dans leurs estimations et en veillant à ne pas publier de résultats que l'administration Trump ou le public pourraient interpréter comme définitive.

Mais les gens continuent de chercher des réponses définitives (c'est compréhensible ! ), Et donc tout modèle présenté avec plus de confiance deviendra plus important que les modèles plus humbles et reflétant mieux notre confusion.

Le modèle IHME est l'un des nombreux publiés par des chercheurs de l'Université de Washington, mais il a été beaucoup plus largement cité et discuté que les autres.– en dépit d'être moins précis.

En fin de compte, le problème peut ne pas être dû au fait que certains modèles sont inexacts. Il était prévisible que certains modèles seraient inexacts, la situation étant aussi confuse qu'elle l'est. Il existe des dizaines de modèles et, idéalement, nous ferions quelque chose comme les agréger, en pondérant chacun dans notre agrégation en fonction de la façon dont il a réussi jusqu'à présent à prédire la crise.

Notre processus actuel est presque exactement le contraire de cela. La plupart des modèles sont presque ignorés, tandis que quelques-uns sont cités par la Maison Blanche et largement mentionnés dans la presse. Le processus qui met certains modèles en avant n'est pas un processus qui sélectionne le meilleur des meilleurs – et en fait, il peut activement choisir des modèles pires, en mettant l'accent sur ceux qui ont des chiffres et des statistiques notables à citer, en se penchant sur le séduisant  » apparence de certitude « que les chercheurs nous ont mis en garde.

En d'autres termes, le fait que de nombreux modèles épidémiologiques fonctionnent mal n'est pas génial, mais cela pourrait faire partie d'un processus productif pour arriver à de meilleurs modèles.Mais les médias, les décideurs et le public doivent être conscients du type de modèles vers lesquels nous gravitons et pourquoi. Si nous élevons ceux que nous aimons et en citons des chiffres comme s'ils étaient définitifs, alors les modèles finiront certainement par dégager plus de chaleur que de lumière.

et nous vous enverrons un tour d'horizon des idées et des solutions pour relever les plus grands défis du monde – et comment vous améliorer en faisant le bien.

vox-mark

Inscrivez-vous au

        

          bulletin

        

      

      Future Perfect

Soutenez le journalisme explicatif de Vox

Chaque jour chez Vox, notre objectif est de répondre à vos questions les plus importantes et de vous fournir, ainsi qu'à notre public du monde entier, des informations qui ont le pouvoir de sauver des vies. Notre mission n'a jamais été aussi vitale qu'elle ne l'est en ce moment: vous responsabiliser par la compréhension. Le travail de Vox atteint plus de personnes que jamais, mais notre marque distinctive de journalisme explicatif prend des ressources – en particulier pendant une pandémie et un ralentissement économique. Votre contribution financière ne constituera pas un don, mais elle permettra à notre personnel de continuer à proposer gratuitement des articles Veuillez envisager de faire une contribution à Vox aujourd'hui.