Le Conseil National de l’ordre des Médecins a fait paraître, dans son bulletin bimestriel de Mai-Juin 2018, un article assez effarant intitulé « Vaccination, comment répondre aux interrogations des patients ». Un court paragraphe souhaitait balayer définitivement tout lien éventuel entre vaccin anti-hépatite B et sclérose en plaque, en s’aidant d’un travail qui lu correctement par un mathématicien de métier… pourrait démontrer exactement le contraire! Mauvaise pioche de la part de cette auguste institution, et que croyez-vous qu’il arrivât? Bonne lecture.

 

 

Lettre ouverte au Conseil national de l’Ordre des médecins, par Bernard Guennebaud, mathématicien

 

Monsieur le Président,

J’ai pu constater que les positions très tranchées du CNOM sur les vaccinations s’appuyaient tout particulièrement sur les conclusions d’études épidémiologiques. Il est tout à fait normal que vous n’en contestiez pas la méthodologie, ce n’est ni votre rôle ni votre fonction institutionnelle.  Votre position vous conduit à les utiliser sans restriction dans le débat public en considérant leurs conclusions comme des certitudes qui ne sauraient être contestées. Pourtant, souvent les auteurs eux-mêmes formulent des restrictions sur la portée de leurs résultats. Il est même fréquent que les conclusions attribuées à ces études ne soient en réalité que celles de commentateurs qui négligent les nuances apportées par les auteurs.

Généralement la contestation des études épidémiologiques porte sur des biais de sélection dans la collecte des données. Cependant, une fois l’échantillon retenu, il est analysé par des méthodes statistiques. Cette phase, tout aussi importante que la première, est rarement contestée. Comme vous le savez certainement, elle s’appuie sur des tests statistiques. Mais on oublie trop souvent qu’ils reposent eux-mêmes sur des modélisations par des lois de probabilités qui sont soumises à des conditions de validité. Quand ces conditions ne sont pas suffisamment satisfaites, cela peut conduire à voir dans l’échantillon des faits qui ne s’y trouvent pas et à ne pas voir ceux qui s’y trouvent. J’avais fait une communication orale au congrès Adelf-Sfsp des 4-6 octobre 2017 à Amiens. Le résumé de ma communication ainsi que le diaporama (muet) sont sur le site du congrès (1).

Cette lettre ouverte trouve sa justification dans vos affirmations rappelées ci-dessous et qu’on peut lire page 27 de votre bulletin  n°55 de mai-juin 2018 (2):

Vous faites référence à la publication Langer Gould d’octobre 2014, où l’on trouve ce tableau que vous n’avez peut-être pas consulté (3)  :

Pour la compréhension du tableau il faut savoir que les données sont cumulées comme le précisent explicitement les auteurs : « The cumulative number and percentage of cases/controls vaccinated during each time interval are listed in the right column »

 

Il indique que 195 cas d’atteintes démyélinisantes du système nerveux central sont apparus dans l’année qui suit la dernière vaccination reçue (quel que soit le vaccin) et que 301 cas sont apparus au cours des 3 années qui suivent la dernière vaccination reçue. En pratique, on part de la date d’apparition de la maladie chez un cas puis on cherche dans son dossier médical la date de sa dernière vaccination.

Il y a donc 106 cas (301-195=106) qui sont apparus au cours des années 2 et 3 qui suivent cette dernière vaccination.

Avec 106 cas sur 2 années cumulées contre 195 sur une seule année, il y a un signal statistique qui devrait interpeler car il apparaît immédiatement comme étant énorme sans qu’il soit nécessaire de faire le moindre calcul. C’est une évidence rare que les calculs confirmeraient bien entendu ! Pourtant, les auteurs vont conclure à l’absence de signal et les commentateurs  »autorisés » vont confirmer cette absence de signal, ce qui est pour le moins surprenant !

 

Voici d’abord la conclusion des auteurs sur ce point :

Puis voici  ce qu’en disait le président du CTV Daniel Floret dans  »Mesvaccins.net  » [3]:

« Cette étude est très rassurante dans la mesure où elle démontre à 3 ans l’absence de lien entre toute vaccination et la révélation d’un ADSN» ADSN : atteinte démyélinisante du système nerveux.

Il n’y aurait pas de signal statistique alors qu’il y en a un énorme, parfaitement et immédiatement visible à l’œil nu ! Comment les auteurs sont-ils parvenus à une telle conclusion ?

C’est simple, ils travaillent en cas-témoins en testant si les cas et les témoins se comportent de la même façon sur un délai donné et son délai complémentaire soit ici la première année et les 2 années suivantes cumulées.

On constate sur le tableau qu’il y a 854 témoins associés à la première année et 1362 pour les 3 premières années, soit 508 pour les années 2+3 cumulées. On voit immédiatement qu’il y a aussi un signal énorme sur les témoins : 854 sur 1 an contre 508 sur 2 années cumulées.  En clair, la répartition des témoins selon les années 1, 2 et 3 n’est pas du tout uniforme où, si vous préférez, les témoins ne sont pas du tout neutres par rapport aux différentes années.

Auteurs et commentateurs supposent implicitement comme allant de soi que les témoins seraient neutres puisque ce sont des témoins ! L’erreur principale commise ici se situe d’abord à ce niveau-là : les témoins sont affirmés neutres par principe. Pourtant, par construction d’une étude cas-témoins ils sont sélectionnés a posteriori en association spécifique avec chaque cas. En l’occurrence, dans cette publication il y a 5 témoins par cas, du même sexe, du même âge et d’une grande proximité géographique. Aussi, les témoins seront vaccinés le plus souvent à peu près à la même date que leurs cas associés. Or c’est le délai entre la date de leur vaccination et la date retenue pour le début de la maladie du cas associé qui est pris en compte. C’est pourquoi, si les nombres de cas apparus connaissent des fluctuations d’une année à l’autre, les nombres de témoins connaitront les mêmes fluctuations. Ils seront structurellement en phase avec les cas.

Pour approfondir un peu cette affaire au niveau des tests on peut affirmer que le test cas-témoins n’est pas du tout adapté pour tester sur des délais. Si ce test est adapté quand le facteur d’exposition est, par exemple,  »avoir été vacciné avant l’apparition de la maladie », il ne l’est pas du tout quand le facteur d’exposition devient  »la maladie apparaît dans l’année qui suit une vaccination » ce qui n’est pas du tout la même chose.

Si par exemple les 301 cas apparus au cours des 3 premières années qui suivent une vaccination se répartissaient de façon uniforme avec 100 cas chaque année et de même pour les témoins avec 454 témoins chaque année, le test cas-témoin sur ces délais ne donnera évidemment pas de signal : en testant sur la première année par exemple, l’odds ratio vaudra 1 car il y a 2 fois plus de cas et de témoins sur les années 2+3 cumulées que sur la première année : numériquement, l’odds ratio sera 100/200 divisé par 454/908 soit 1. Pour les données traitées, les auteurs ont trouvé un odds ratio très proche de 1 (1,05). Sur cet exemple nous  constatons que le test cas-témoins ne fait pas la distinction entre ces deux situations pourtant très différentes.

Le test adapté à une telle situation est celui par une loi de Poisson qui ne fait pas appel aux témoins qui sont inutiles ici. Un test statistique demande un système de référence avec lequel on va comparer la répartition des cas. Les délais sont par eux-mêmes un système de référence : pour la neutralité il faut 2 fois plus de cas sur une durée de 2 ans que sur une durée d’un an. La modélisation par une loi de Poisson permet de tester si les écarts observés entre ces deux durées sont compatibles avec des variations aléatoires, ce que le test cas-témoins ne peut pas faire.

 

Quelle signification pour ces signaux ?

Le lecteur s’interrogera sans doute sur la signification de signaux aussi énormes sur les cas et les témoins. Pourrait-on en déduire que les vaccinations précipiteraient l’apparition d’une atteinte démyélinisante dans l’année qui  suit, provoquant ainsi un très important déficit de cas les années suivantes ? Non, on ne saurait conclure aussi vite. L’interprétation de ces signaux n’est pas l’objet de ce courrier. Néanmoins on ne peut éviter que le lecteur s’interroge à leur sujet.

En fait, la cause la plus vraisemblable est la répartition des vaccinations dans le temps. Supposons que chacun reçoive une vaccination chaque année, il n’y aura alors aucun cas ni aucun témoin au delà de la première année. Ce sera un super-signal, mais de quoi ? Il pointera seulement la répartition des vaccinations dans le temps et rien d’autres !

Il est fort probable que beaucoup de cas et de témoins de l’étude ont reçu des vaccinations annuelles comme celle contre la grippe. Les données détaillées dont les auteurs disposent permettraient de le vérifier. D’ailleurs l’année 2009 est incluse dans la période d’étude. Si les 2/3 des cas et témoins reçoivent une vaccination tous les ans, il ne faudra pas être surpris si les 2/3 des cas et témoins sont classés dans la première année.   Avec les données publiées, il n’est pas possible d’étudier si ces vaccinations auraient favorisé ou non l’apparition d’atteintes démyélinisantes, contrairement aux affirmations péremptoires des auteurs et des commentateurs  »autorisés » qui, ne trouvant pas de signal en cas-témoins, ce qui est logique, en concluent qu’il n’y a pas de signal sur les cas, ce qui est complètement faux. Ils se croient alors fondés à en déduire que sur ces délais les vaccinations pratiquées n’ont eu aucune action sur l’apparition des atteintes démyélinisantes. Dans ces conditions, une telle conclusion n’a aucune valeur.

 

Où sont les responsabilités ?

Devant un tel constat de carence, on doit s’interroger : Où sont les responsabilités ?

  • Les auteurs ? Ils ne font que reproduire les méthodes de travail qu’ils ont apprises au cours de leur formation.
  • Les commentateurs  »autorisés » font de même comme par exemple le président du CTV dans ses commentaires. N’ayant aucune véritable compréhension des conditions d’utilisation et de validité des tests statistiques, ils reproduisent fidèlement ce qu’ils ont appris très superficiellement.
  • Il faut alors remonter jusqu’aux maîtres de la discipline qui les ont formé.  Sur ce seul constat – et il y en a d’autres – elle démontre ses limites, ce qui la rend dangereuse.

On retrouve en effet la même erreur dans d’autres publications comme celles de Marc Tardieu et al sur le lien entre vaccination hépatite B et l’apparition de sclérose en plaques chez les enfants :

Dans la publication de décembre 2007 (accès libre [5] tableau 2) les auteurs ont retenu 62 cas apparus au cours des 4 années qui suivent leur vaccination hépatite B contre 12 pour les 2 années suivantes, soit 5,1 fois moins alors qu’il en faudrait 2 fois moins. En modélisant par une loi de Poisson, on peut calculer qu’il y a 1,5 chances sur 10000 d’observer un tel écart par le seul fait du hasard.

Pourtant, les auteurs vont aussi conclure à l’absence de signal statistique car ils traitent la question en cas-témoins. Mais il y a 476 témoins classés dans les 4 premières années contre 102 pour les 2 années suivantes, soit 4,7 fois moins alors qu’il en faudrait 2 fois moins. Vu l’importance des nombres, on réalise sans calculs qu’il y a certainement un signal très fort chez les témoins. Mais comme les variations des nombres de cas et de témoins sont en phase quand on passe des 4 premières années aux 2 années suivantes, les auteurs ne trouvent pas de signal. Leur erreur est d’en conclure qu’il n’y a pas de signal sur les cas. Pour conclure ainsi il faudrait qu’il n’y ait pas de signal sur les témoins.

D’autres erreurs préjudiciables

On trouve d’autres types d’erreurs dans l’utilisation des tests statistiques. En voici deux.

1- Confusion entre une exploration de données et le risque de première espèce.

Dans les 2 situations il y a une multiplicité de tests. Au cours d’une exploration de données, ce qui change pour chaque test c’est l’objet du test mais au sein des mêmes données. Par exemple, ayant lancé un dé 120 fois, on teste s’il est équilibré par rapport à l’as, le 2, le 3, les jets de rang pair, de rang impair etc.

Par contre, le risque de première espèce peut apparaître quand on teste la même chose après avoir renouvelé les données. Quand on teste à 5% il faut renouveler les données 20 fois pour avoir en moyenne une expérience donnant à tort un résultat significatif. Par exemple si on réalise 20 séries de chacune 120 jets d’un dé (soit 2400 jets) et que pour chaque série on teste si le dé est équilibré par rapport à l’as, il y aura en moyenne une expérience donnant un résultat significatif d’un déséquilibre alors que le dé est équilibré. C’est pratiquement irréalisable avec des données médicales qui ont peu de chances d’être concernées par le risque de première espèce.

Cette confusion pour le moins grossière a été faite publiquement à propos du résultat significatif publié par l’équipe de Marc Tardieu en octobre 2008 sur  »les observants au calendrier vaccinal ». Selon ce que les auteurs affirmaient avoir trouvé, ils seraient significativement plus à risque de sclérose en plaques quand on les vaccinait plus tard contre l’hépatite B par Engerix B et pour ceux pour lesquels la première atteinte apparaissait au-delà des 3 premières années qui suivaient cette vaccination. L’existence de ce signal ne sera pas contestée par les  »commentateurs autorisés » mais sera mise sur le compte du risque de première espèce qui ne peut être évoqué ici en raison de l’absence de renouvèlement des données, les auteurs ayant évidemment exploré les données en faisant varier l’objet du test au sein des mêmes données.

2- Une autre erreur grossière et généralisée consiste à conserver dans les calculs les cas et les témoins non vaccinés pour étudier l’existence et la durée de l’incubation d’une maladie à partir d’une vaccination.

C’était l’objectif poursuivi dans les publications précédemment citées. Comme pour la recherche d’une durée de gestation, l’objectif est de rechercher s’il existe une concentration de cas autour d’une même durée, ce qui pourrait indiquer l’existence d’une incubation à partir de cette vaccination.

Indépendamment du fait que c’est un non-sens absolu de conduire cette recherche en cas-témoins comme je viens de l’expliquer, il est aberrant de conserver dans les calculs les cas non vaccinés pour lesquels l’incubation de la maladie étudiée à partir de cette vaccination ne saurait exister. Cela reviendrait à utiliser des souris non fécondées pour étudier une durée de gestation !!! Cette erreur a en particulier été commise systématiquement dans les publications que je viens de citer, ce qui peut être très lourd de conséquences comme je vais le montrer.

Par exemple, le signal obtenu par Marc Tardieu sur les  »observants au calendrier vaccinal » [6] en 2008 a en réalité été obtenu grâce aux 42 cas et 256 témoins non vaccinés Engerix B (soit 6 témoins pour un cas) alors que les  »exposés » sont 19 cas et 48 témoins soit 2,5 témoins pour un cas au lieu de 6 pour 1. C’est cette différence qui crée le signal statistique, d’autant  plus que les non vaccinés par Engerix sont beaucoup plus nombreux que les  »exposés ». En conséquence, ce sont les non vaccinés qui s’imposent dans les calculs alors qu’ils n’ont rien à faire dans l’histoire.

« Observants au calendrier vaccinal »

On peut calculer directement l’odds ratio qui est 19/(11+42) divisé par 48/(43+256) soit 2,23. On voit ainsi aisément que 42 et 256 contribuent fortement à l’obtention d’un odds ratio élevé.

Quand on pense au bruit qui fut fait à propos de cette affaire alors que tous les acteurs seraient ridicules si les explications que je donne ici étaient comprises, on a le droit de juger cette carence comme effrayante vu les responsabilités immenses des acteurs et décideurs qui pilotent un avion bourré de passagers alors qu’ils ne savent pas lire les cadrans de la cabine de pilotage.

 

 

Un intervalle de confiance très élastique

Pour terminer cette revue non exhaustive des affirmations pour le moins aventureuses de l’expertise, voici ce que Dominique Costagliola, considérée comme une de nos meilleures épidémiologistes sur le plan théorique, avait affirmé sur ces questions d’intervalles de confiance au cours de la Conférence de consensus des 10-11 septembre 2003 sur la vaccination hépatite B :

« Le résultat d’une étude d’association s’exprime par un risque relatif ou un odds ratio associé d’un intervalle de confiance (IC). Ces éléments sont plus importants à considérer que la simple interprétation du test d’association en significatif/non significatif. »

« Ainsi un risque de 3 avec un intervalle [1,1 ; 600] nous dit que l’étude manque grossièrement de puissance puisque le risque peut être à peu près n’importe quoi. »

On sait que le carré de l’odds ratio est le produit des bornes de l’intervalle de confiance : OR²=(inf)x(sup) où inf et sup sont les bornes inférieure et supérieure de cet intervalle*. On devrait donc avoir 3²=600×1,1=660 ! Si on fixe la borne inférieure inf=1,1 et OR=3 on en déduit aussitôt sup=9/1,1=8,18 et non pas 600 !

Qu’un expert de ce niveau puisse faire de telles erreurs en faisant un cours sur le sujet devant une salle d’experts de haut niveau pose la question de la formation. Voilà ce qui arrive quand on a appris les tests statistiques sur logiciels sans aucun support théorique réellement assimilé. Un étudiant m’a dit un jour :  « Pas besoin d’apprendre la statistique, y’a des logiciels pour ça ! » Oui, bien sûr … mais les conséquences peuvent en être très graves…

La formule est simplement la version multiplicative, après avoir pris l’exponentielle des nombres considérés, de l’intervalle de confiance centré de la forme [m-a m+a] dont la somme des bornes vaut 2m.

Conclusion

 Pour moi, le CNOM n’est évidemment pas responsable des erreurs systématiques, pour ne pas dire systémiques, commises par l’expertise dans le mésusage qu’elle fait des tests statistiques dans les études épidémiologiques. On pourrait cependant vous reprocher de ne pas tenir compte des conclusions nuancées des auteurs qui reconnaissent souvent une part des limites inhérentes à toute étude épidémiologique.

Mais ce n’était pas là l’essentiel de mon propos qui a été de tenter de vous faire prendre conscience des erreurs techniques invraisemblables commises par l’expertise et non seulement par tel ou tel auteur qui aurait mal compris les enseignements qu’il a reçu. Non, ce sont ces enseignements eux-mêmes qui sont en cause et ce au niveau international. L’affaire est donc très importante et j’ai saisi l’occasion de vous en faire part.

Conscient des difficultés techniques que vous pourriez rencontrer à la lecture de cette lettre, je reste bien entendu à votre disposition pour répondre à vos interrogations.

A suivre dans l’article prochain, SEP et vaccination anti HBV,  2-  La réponse de l’Ordre, nos commentaires.

LIENS
(1)  »Sur le mésusage des tests statistiques en épidémiologie »  résumé et diaporama.
www.adelf-sfsp.fr/?p=15493
(2)  https://www.conseil-national.medecin.fr/sites/default/files/cn_bulletin/2018-06-01/medecins_55_web.pdf
(3)  http://archneur.jamanetwork.com/article.aspx?articleid=1917549
Résumé de la publication américaine Langer Gould et al. d’octobre 2014 sur l’apparition d’atteintes démyélinisantes et SEP après vaccinations Le texte complet n’est pas en accès libre.
(4) https://www.mesvaccins.net/web/news/6111-vaccinations-et-affections-
demyelinisantes-du-systeme-nerveux-une-nouvelle-etude
(5) Publication de décembre 2007  de M. Tardieu et al. en accès libre
http://archpedi.ama-assn.org/cgi/content/full/161/12/1176
(6) Publication de M. Tardieu et al. du 8 octobre 2008. Elle  n’est pas en accès libre.
Résumé : http://www.ncbi.nlm.nih.gov/pubmed/18843097

La rédaction de l'AIMSIB

Auteur de l'article :

Lire tous les articles de