Nous allons aujourd’hui décrypter le récent sondage Conspiracy Watch / IFOP sur le complotisme, qui a entraîné une véritable “folie médiatique” comme l’a relevé ArrêtSurImages.

Ce sondage présente à l’évidence de lourdes lacunes méthodologiques, imperfections et inductions qui font que sa conception ne pouvait que produire un tel résultat.

 

Les nombreux biais que nous allons analyser ici expliquent pourquoi les critiques de ce sondage ont été presque unanimes :

I. Le sondage

Cette “Enquête sur le complotisme” porte sur 1 252 personnes (1 000 représentatives de la population + 252 personnes en plus, de moins de 35 ans, le tout ayant été redressé pour rester représentatif) et a été réalisée les 19 et 20 décembre par un questionnaire sur Internet :

Il est consultable ici (source).

C’est un sondage qui aura donc pour les réponses de l’ensemble des sondés, une marge d’erreur d’au moins 2 à 3 points, et, pour les sous-catégories d’au moins 5 à 8 points.

Confronté à de multiples critiques, Jérôme Fourquet, le directeur à l’IFOP ayant supervisé l’étude, a précisé ceci (Source) :

“L’enquête a été réalisée on line, comme la majorité des sondages depuis quelques années. Ce mode de recueil est particulièrement adapté à ce type de sujets, à l’opposé des sondages par téléphone ou en face-à-face, où une partie des interviewés n’ose pas dévoiler ses opinions à l’enquêteur de peur qu’elles soient jugées comme étant illégitimes ou « politiquement incorrectes ». En ce sens, cette étude portant sur les théories du complot et le rapport au « Système », il nous est apparu tout à fait judicieux de recourir à une enquête on line dans laquelle le sondé peut s’exprimer en totale liberté devant son écran sans craindre d’être jugé par un enquêteur.” [Jérôme Fourquet]

Cependant, on peut tout autant supposer que, sur ce genre de questions pouvant sembler peu sérieuses (pensez-vous que la terre est plate ?), le fait de ne pas avoir un interlocuteur physique pourrait aussi inciter des personnes à répondre n’importe quoi à des questions qui peuvent sembler peu sérieuses. Soulignons aussi que, si la majorité des sondages utilise désormais cette méthode par Internet, c’est surtout car c’est moins cher, et que les sondés par téléphone répondent de moins en moins aux sondeurs…

On noter également que ce sondage a posé 37 questions aux sondés ! Or, certains spécialistes des sondages estiment qu’après une vingtaine de questions, l’attention des sondés peut commencer à s’émousse.

Plus précisément, le déroulé du sondage a apparemment consisté en :

  • 14 questions diverses (dont certaines sur le réchauffement climatique ou le 11 Septembre) ;
  • 11 questions testant la notoriété de “différentes théories complotistes” ;
  • 11 de plus testant l’adhésion à ces dernières ;
  • et une finale sur les attentats de janvier 2015.

II. Les 11 “différentes théories complotistes”

Nous commençons avec ce point, car c’est celui qui a “buzzé” dans les médias.

Mais rappelons bien qu’à ce stade, on a des sondés seuls, face à leur PC, et déjà déconcentrés par la quinzaine de questions précédentes. Voici les 11 “théories”:

Après avoir obtenu ces 11 réponses quant à la notoriété des théories, on redemande aux sondés s’ils y adhèrent :

Il y a énormément à dire sur tout ceci. (Je précise, vu le contexte, que je n’aurais personnellement répondu oui à aucune de ces 11 questions).

 

II-1 Les problèmes méthodologiques

Plusieurs problèmes méthodologiques majeurs sautent aux yeux.

Le premier point problématique évident est qu’il y a une claire volonté d’enfermer les sondés, car il n’y a pas de possibilité de ne pas répondre à une question : il manque l’indispensable “Sans opinion”. Pourtant, le sondeur assume :

Le questionnaire ne prévoyait pas de « ne se prononce pas »

Le questionnaire comprenait pour l’essentiel des questions de notoriété et d’approbation. Pour ce qui est de la notoriété (« avez-vous déjà entendu parler ou non ? »), le « ne se prononce pas » ne fait pas sens et ne s’impose pas. De la même façon, pour la question d’approbation, compte tenu de la nature des items proposés, il nous a semblé que les interviewés seraient en mesure de se positionner assez aisément sur une échelle d’approbation et d’indiquer s’ils étaient d’accord ou pas avec ces assertions. Afin de nuancer le jugement et d’exprimer les doutes, une échelle en quatre points a été retenue : tout à fait d’accord, plutôt d’accord, plutôt pas d’accord et pas d’accord du tout.” [Jérôme Fourquet] (Source)

Pourtant, on peut soutenir que, même pour la notoriété, il est indispensable de disposer d’un “ne se prononce pas”. D’une part, par simple déontologie, pour laisser au sondé la liberté de ne pas répondre, et d’autre part, car les énoncés sont extrêmement confus, mélangent plein de choses, et peuvent donc susciter le doute chez le sondé (que répondra le sondé s’il a entendu parler de la théorie d’un deuxième homme ayant tué Kennedy, mais s’il ne sait plus si celui-ci faisait partie ou non de la CIA ?).

Ensuite, la réponse “ne se prononce pas” est évidemment indispensable quant à l’adhésion aux théories, surtout lorsqu’on considère que, pour la plupart, et dans 50 % à 80 % des cas, le sondé n’a jamais entendu parler de la théorie.

Deuxième point problématique : le choix de l’échelle d’approbation vantée par Jérôme Fourquet. Face à ces théories loufoques, les sondés étaient donc obligés de se prononcer sur 4 items : 1/ Tout à fait d’accord 2/ Plutôt d’accord 3/ Plutôt pas d’accord 4/ Pas d’accord du tout. C’est une forme réduite de l’échelle dite “de Likert”, en l’espèce à 4 points. Là encore, non seulement on force le sondé à répondre, mais on le force à choisir un des deux camps “pour” ou “contre”, alors qu’il a généralement indiqué ne pas connaitre la théorie. En plus de la réponse “Sans opinion”, il manque donc un point milieu : “Neutre” ou “Ni d’accord, ni pas d’accord”.

C’est très important, car les chercheurs Alwin et Krosnick (dans « The Reliability of Survey Attitude Measurement: The Influence of Question and Respondent Attributes », Sociological Methods Research, vol. 20, no 1,‎ 1991) ont noté que l’absence d’un tel point milieu diminue la fiabilité de l’échelle, le sondé en étant réduit à choisir au hasard un des deux points encadrant le point milieu omis. Ils recommandent également des échelles en 7 points. (Source) Plus récemment, une étude (Maydeu-Olivares, Alberto, Fairchild, Amanda J. et Hall, Alexander G., « Goodness of Fit in Item Factor Analysis: Effect of the Number of Response Alternatives », Structural Equation Modeling: A Multidisciplinary Journal, vol. 24, no 4,‎ 2017, ) ayant eu recours à de la simulation numérique, a mis en évidence qu’utiliser un nombre trop réduit de graduations (3 ou 5) pouvait conduire à des modèles d’analyse factorielle confirmatoire ne détectant pas des anomalies de spécification ou de distribution introduites volontairement. Les auteurs suggèrent donc un optimum de 7 ou 9 points. On est donc loin du compte avec cette échelle de 4 points.

Troisième point problématique : le principe même de l’échelle d’approbation. Comme le souligne le remarquable Observatoire des sondages dans un billet dédié à ce sondage Ifop :

“On touche là l’un des points les plus fantaisistes et critiques du sondage. Cette méthode rustique est utilisée fréquemment dans les enquêtes de satisfaction. Elle est totalement inadaptée pour mesurer des distinctions significatives entre les degrés d’accord ou de désaccord à des propositions un peu complexes ou sensibles. Illustration : que signifie précisément être plutôt d’accord avec : « le ministère de la santé est de mèche avec l’industrie pharmaceutique pour cacher au grand public la réalité sur la nocivité des vaccins » ? Les sondeurs le savent, en privilégiant cette réponse des sondés peuvent vouloir exprimer des doutes. Lesquels ? Le sondeur s’en moque. Tant pis. C’est ce qui la différencie néanmoins d’un « tout à fait d’accord avec ». Le sondeur s’en moque là aussi et fait comme si les deux types de réponses n’en était qu’une, il les additionne. « L’échelle de Likert » est donc un leurre. Il fallait oser, mais les coups de force sont rarement subtils.” [Observatoire des sondages]

Quatrième point soulevé : comme le rappelle l’Observatoire des sondages, il est très fortement contestable d’avoir additionné les “Tout à fait d’accord” et les “Plutôt d’accord”. On a ainsi embarqué ensemble dans la case “complotistes” des personnes qui déclarent croire dur comme fer à des théories loufoques et d’autres personnes qui ont simplement émis un doute (peut-être d’ailleurs, très léger, mais l’échelle retenue ne le mesure pas) sur une théorie dont ils n’ont, pour la plupart, jamais entendu parler !

D’ailleurs, que peut bien signifier ce “Plutôt d’accord” pour la plupart des sondés ? Ils ont marqué clairement qu’ils n’étaient pas “Tout à fait d’accord”. Mais veulent-ils dire qu’ils y croient un peu, qu’ils doutent de la fausseté de la réponse, qu’ils ne savent pas bien, qu’ils n’y croient pas, mais qu’ils jugent simplement que c’est en théorie possible ? Qu’il reste des zones d’ombre ? Mystère…

Ainsi, pour peu que cette notion ait un sens (nous y reviendrons), c’est bien dans les “Tout à fait d’accord” que Rudy Reichstadt devrait surtout chercher les “complotistes”. Mais c’est là qu’il a eu un gros problème :

Le souci, c’est que les vrais “complotistes”, il n’y en très pas… Le phénomène reste totalement marginal.

Et encore, ces chiffres sont des majorants, car faut-il encore être sûr que les sondés ne se sont pas moqués du sondeur, ou qu’ils ont bien répondu honnêtement et sérieusement…

Sachant, enfin, que si l’échantillon du sondeur est vraiment représentatif, on va également obtenir des réponses de personnes souffrant de troubles psychiatriques altérant leur discernement ou simplement leur humeur (une dizaine de pour cents de la population selon la Drees). Ceci va à l’évidence rendre difficile dans tous les cas d’obtenir un taux de ‘complotistes” présumés (suivant ces définitions extensives) inférieur à un plancher de probablement 1 à 4 %…

Mais nous reviendrons sur ce point.

Eh oui, il est possible que des personnes comme lui aient aussi répondu au sondage. Mais c’est marginal ! Et la Société ne devrait pas devenir obsédée par ce qu’elles pensent… (Source : Youtube)

 

Cinquième point problématique : les sondés ne connaissant pas certaines théories ont été obligés de se prononcer. La majorité des sondés a donc souvent dû se prononcer en quelques secondes – après déjà une vingtaine de réponses – sur leur adhésion à une théorie qu’ils ne connaissaient pas, en se basant seulement sur la ligne d’énoncé de la question, souvent confuse. Mais là encore, le sondeur assume :

Les sondés ont été amenés à se positionner sur des thèses ou opinions qu’ils ne connaissaient pas :

L’architecture du questionnaire était conçue en deux temps. On mesurait tout d’abord la notoriété de différentes théories pour évaluer quel était le niveau de diffusion de chacune d’elles. On sait en effet que ces théories circulent sur le mode viral et il était donc intéressant de pouvoir quantifier thème par thème combien de Français avaient déjà entendu parler du sujet en question.

Dans un second temps, que les interviewés en aient déjà entendu parler ou non, ils étaient appelés à exprimer leur niveau d’adhésion à chacune des thèses testées. Il s’agissait d’évaluer le crédit apporté à ces théories ou opinions et la propension des Français à y adhérer spontanément. Même sans avoir déjà vu, lu ou entendu cette thèse, les sondés nous semblaient pleinement en mesure d’indiquer dans le cadre de l’enquête si telle ou telle thèse leur paraissait crédible ou plausible.

Quand l’enquête indique par exemple que 20 % des Français se disent d’accord avec la thèse des « Chemtrails » (sur les traînées blanches laissées dans le ciel par les avions), nous n’en concluons pas qu’un Français sur cinq a déjà entendu parler de cette idée et la partage mais que, confrontée à cet argument, une personne sur cinq y adhère spontanément.” [Jérôme Fourquet] (Source)

Donc Monsieur Fourquet ne répond pas au problème méthodologique, et se contente d’indiquer que “les sondés nous semblaient pleinement en mesure d’indiquer […] si telle ou telle thèse leur paraissait crédible ou plausible”. On en appréciera la rigueur scientifique. Plus intéressante encore est la précision qu’il apporte : “nous n’en concluons pas [que les gens] partagent [cette idée] mais que [ils] y adhèrent spontanément”. On peine à comprendre le fond exact de son propos (partage / adhérer ?), mais, dans tous les cas, l’idée générale est démentie par les faits, puisqu’il a regroupé toutes ces personnes ensemble pour scinder la population entre “complotistes” et “non complotistes”.

Sixième point problématique : la formulation des questions. La plupart des questions posées sont mal rédigées, ambiguës, trompeuses, pousse au crime voire totalement inexploitables. Analysons ceci.

II-2 Analyse des questions

Il est intéressant de savoir si les réponses affichées sont bien le reflet de la pensée réelle des sondés et d’essayer de comprendre ce qui aurait incité les sondés à répondre positivement à celles-ci.

1. Le ministère de la Santé est de mèche avec l’industrie pharmaceutique pour cacher au grand public la réalité sur la nocivité des vaccins (17 % de pleine adhésion)

Question peu exploitable. Dans le contexte actuel, on mélange dans question deux idées différentes :

A/ Le ministère de la Santé est de mèche avec l’industrie pharmaceutique : question d’intégrité politique

B/ On cache au grand public la réalité sur la nocivité des vaccins : question de santé

Il apparaît qu’on aurait en fait pu – et dû – poser deux questions, ciblant chacune un des deux axes : 1-1 : “Le ministère de la Santé est de mèche avec l’industrie pharmaceutique pour augmenter le chiffre d’affaires de cette dernière” 1-2 “Le ministère de la Santé cache sciemment au grand public la réalité de la grande nocivité des vaccins” ou “Le corps médical cache sciemment au grand public la réalité de la grande nocivité de certains vaccins”.

Notons aussi qu’il existe des exemples passés venant soutenir une partie de ces questions : sang contaminé, scandales à répétition dans l’industrie du médicament, vaccination Bachelot de 2009, Médiator, Depakine, Glyphosate… La nouvelle ministre s’est même félicitée par le passé de l’existence de conflits d’intérêts majeurs (Source) – comment s’étonner de la perte de confiance ensuite (Source) ?

Beaucoup plus d’éthique serait peut-être une bonne réponse au complotisme…

Il est évident qu’en choisissant de tout mélanger dans la question aux sondés, on s’exposait à ce qu’ils s’arrêtent à une partie de la question qui peut les scandaliser, et, contraints de répondre et de choisir un camp, qu’ils aient basculé du mauvais côté assez facilement. D’où la proportion élevée – mais qui ne dépasse pas 17 % au maximum de réelle adhésion.

Enfin, il y a quelques informations intéressantes à tirer de cette question (même si elle a très vraisemblablement été mal comprise par les sondés, et simplement vue comme une question sur la compromission des pouvoirs publics avec les industriels) :

On observe donc que pour cette question, et contrairement à la plupart des autres, il n’y a pas de véritables écarts suivant l’âge ni suivant le niveau d’éducation, à l’exception des personnes très éduquées. On peut donc se demander si, au-delà seulement d’une meilleure compréhension de la question (les personnes du 1er cycle du supérieur ayant aussi probablement une bonne compréhension), il n’y aurait pas aussi chez ces “classes supérieures”, souvent sélectionnées par leur conformisme scolaire voire social, une plus grande imperméabilité au doute et à l’esprit critique. Ce qu’Emmanuel Todd a souligné en disant que :

“La révolution inégalitaire a pris sa source dans l’éducation supérieure […] L’alphabétisation universelle, base de la démocratie moderne, est, quoi qu’en disent certains déclinistes, toujours en place, mais il s’y est superposé une division de la société en « ordre méritocratiques » primaire, secondaire et supérieur. L’ordre supérieur est lui-même finement gradué par les niveaux de prestige des divers diplômes et titres universitaires. La sélection méritocratique ne peut, en effet, fonctionner sans la base d’alphabétisation dont est extrait l’ordre des supérieurs. Les sociétés avancées doivent donc vivre sous tension : l’éducation primaire universelle nourrit inlassablement la possibilité de la démocratie, l’éducation supérieure approvisionne non moins inlassablement une classe supérieure qui, parce qu’elle est sélectionnée par le mérite, se pense intellectuellement et moralement supérieure en droit. Cette supériorité est une illusion collective : l’homogénéité et le conformisme engendrés par le mécanisme de sélection produisent le paradoxe ultime d’un monde d’en haut sujet au repliement intellectuel, faiblement apte à la pensée individuelle. C’est ainsi qu’en un sens sociologique, on peut dire que le monde d’en haut est idiot et peu moral.” [Emmanuel Todd, Où en sommes-nous ?]

2. La CIA est impliquée dans l’assassinat du président John F. Kennedy à Dallas (11 % de pleine adhésion)

Même si c’est moins flagrant, la question est encore non exploitable, car on a finalement mélangé deux idées différentes :

A/ Lee Harvey Oswald n’a pas agi seul, il y avait un deuxième tireur : il y avait un complot pour tuer Kennedy, toute la lumière n’a pas été faite

B/ La CIA est impliquée

On aurait également encore pu poser deux questions pour mieux cibler ce que pensaient les gens, avec en particulier : “Un deuxième tireur à visé JFK, Oswald n’a pas agi seul” (qui aurait pu être un complice d’Oswald, de la mafia, de Cuba ou de ce qu’on voudra).

Soulignons qu’on teste ici une théorie qui est certes célèbre, mais qui concerne un autre pays. La grande majorité des sondés ne maîtrise clairement pas l’étendue du sujet, et des débats aux États-Unis.

Comme la presse en rajoute régulièrement, et qu’on a reparlé de l’affaire en 2017, il est peu surprenant d’arriver à un score élevé de Français qui doutent (Sources : ici, ici et ) :