Echantillon aléatoire, échantillon par quotas : les enseignements de l’enquête EVS 2008 en France

Version post-colloque francophone sur les sondages, mars 2010, Tanger (Maroc)[Ceci est une version originale de Pierre Bréchon, “Random Sample, Quota Sample: The Teachings of the EVS 2008 Survey in France”, Bulletin of Sociological Methodology/Bulletin de Méthodologie Sociologique, 2015, 126: 67-83]

 

 

Echantillon aléatoire, échantillon par quotas : les enseignements de l’enquête EVS 2008 en France[1]

 

 

BRÉCHON, Pierre,

professeur de science politique à l’Institut d’études politiques de Grenoble,

chercheur à PACTE (UMR CNRS 5194), France,

président d’ARVAL, association pour la recherche sur les systèmes de valeurs.

 

 

 

Les tenants de la théorie statistique refusent très souvent catégoriquement les échantillons par quotas parce qu’ils ne permettraient pas d’accéder à une bonne représentativité. En effet, cette procédure ne désigne pas la personne à interroger en fonction d’un choix aléatoire; l’enquêteur garde une certaine liberté de choix des enquêtés. Les enquêtés ont finalement des chances très différentes d’être sélectionnés puisque, en l’absence d’un individu correspondant aux quotas recherchés dans le premier ménage où il se présente, l’enquêteur passe au ménage d’à côté. Seuls les échantillons aléatoires permettraient de véritablement connaître le tout à partir d’une estimation sur une petite parcelle de population, puisqu’ils n’autorisent pas de substitution entre individus sélectionnés selon une procédure aléatoire. On peut calculer un taux de non contact et de refus, ainsi qu’une marge d’erreur, toutes choses sécurisantes aux yeux du statisticien.

 

Le poids des statisticiens dans l’organisation des enquêtes internationales de sciences sociales à conduit à interdire (en principe) la méthode de l’échantillonnage par quotas (c’est le cas aussi bien pour la European Social Survey (ESS) que pour l’International Social Survey Programme (ISSP) ou la European Values Survey (EVS). Or, dans de nombreux pays, dont la France, la réalisation d’enquêtes par échantillon aléatoire est particulièrement difficile et onéreuse, pour des avantages de qualité des données qui ne se vérifient pas toujours dans la pratique. C’est ce qu’on essaiera de montrer à partir d’une expérimentation faite sur la partie française de l’enquête EVS de 2008[2].

 

Le dispositif d’enquête prévu

La coordination internationale de l’enquête EVS demandait en 2008 que l’échantillon soit pour chaque pays d’au moins 1500 individus, sélectionnés selon la méthode aléatoire. Un tel nombre est suffisant pour faire de la comparaison entre pays européens, mais pas pour exploiter finement les données au niveau national et pouvoir tirer des conclusions sur l’évolution de différentes sous catégories de population. Vu les coûts très importants d’une enquête aléatoire, vu aussi la tradition française antérieure d’enquêtes EVS par quotas, vu enfin notre désir de pouvoir comparer méthodologiquement les réponses entre échantillon aléatoire et par quotas, il fut décidé de couper l’échantillon en deux parties et de réaliser la moitié des entretiens sur la base d’une sélection aléatoire, alors que l’autre serait réalisée selon un processus de quotas, renforcés par rapport à ce que pratiquent le plus habituellement les instituts de sondage. L’enquête devait donc comporter 3000 individus, avec deux ensembles de 1500 réponses[3].

 

Estimant qu’un bon échantillon de sondages repose assez largement sur une forte dispersion géographique, il fut décidé de limiter le nombre d’entretiens par zone à six et donc de sélectionner aléatoirement 250 communes[4] (ou arrondissements pour Paris, Lyon et Marseille) pour chaque sous échantillon, selon une matrice par région et taille d’agglomération, au prorata de sa part dans la population française métropolitaine de 18 ans et plus,  soit 500 zones géographiques de recueil au total.

 

L’échantillon aléatoire

Il faut rappeler qu’on ne peut réaliser en France comme dans de très nombreux pays, au sens strict, de bons échantillons aléatoires d’enquêtes d’opinion pour au moins trois raisons :

  • Les listes exhaustives d’individus ou de ménages français sont très rares et ne sont pas accessibles pour la recherche publique. Seul l’INSEE peut réutiliser, pour ces propres enquêtes, les listes des bulletins individuels du recensement[5].
  • Trouver la personne sélectionnée sur la liste n’est pas évident, malgré un nombre élevé de passages au domicile ; et il est plus facile de joindre les personnes appartenant à un ménage de plusieurs membres que les personnes vivant seules et très souvent absentes de leur domicile.
  • Dans un pays démocratique, la réponse à une enquête d’opinion n’est jamais obligatoire[6]. Les personnes sélectionnées peuvent donc toujours refuser de répondre, malgré les efforts de l’enquêteur pour inciter à participer au processus. Et on sait que la situation sociale des interviewés et le thème de l’enquête peuvent introduire une acceptation différentielle de l’entretien[7].

 

Du fait de l’absence de liste exhaustive de population, la méthode la plus souvent appliquée lorsqu’on veut réaliser une enquête aléatoire (administrée au domicile) est une sorte de substitut d’échantillon aléatoire, selon la technique du random route (méthode des itinéraires). Sur la base d’un choix aléatoire de points géographiques de départ, l’enquêteur suit un cheminement imposé pour arriver à une porte de logement. Il ne choisit donc pas qui il veut dans la limite de ses quotas, il doit interviewer un individu déterminé « aléatoirement » par le hasard du cheminement. L’un des problèmes de la méthode (utilisée notamment pour réaliser les eurobaromètres) est la difficulté de décrire un cheminement adapté à la fois au milieu rural et urbain, ce qui rend aussi difficile le contrôle du travail des enquêteurs : les indications données pour le cheminement ne sont pas toujours évidentes à suivre et en refaisant le parcours, un contrôleur n’arriverait pas forcément à la même porte. De plus, les enquêteurs peuvent être tentés de pratiquer une substitution avec un voisin lorsqu’une personne, normalement désignée, refuse de répondre. Pour parer en partie à cet écueil, la méthode utilisée en France pour l’enquête European Social Survey (ESS), – méthode mise au point par l’institut ISL – consiste à envoyer un premier enquêteur sur le point géographique sélectionné, chargé de relever selon le principe de la « route aléatoire » des adresses sur des boîtes aux lettres. Quelques jours ou semaines plus tard, un autre enquêteur prend contact avec les ménages figurant sur la liste préalablement établie. C’est cette méthodologie, très coûteuse mais en principe plus rigoureuse, qui a été également retenue pour l’enquête EVS.

 

En fonction de l’expérience d’autres enquêtes (notamment ESS), il avait été prévu de constituer une liste de 3750 noms [8], soit 15 par zone géographique; mais, dans un premier temps, deux adresses étaient gardées « en réserve », soit 500 adresses de secours. Le ratio entre adresses disponibles (3750) et entretiens attendus (1500) était donc de 2,5, correspondant à un taux minimal de réussite de 40 %[9]. Mais l’objectif était de faire mieux (60 %), sans espérer atteindre l’objectif utopique de 70 % demandé par la coordination européenne[10]. Pour cela, cinq visites au domicile, à des moments différents de la journée et de la semaine, étaient prévues (au moins une le week-end et une en soirée).

 

Les enquêteurs ont alors cherché à obtenir, dans chaque ménage dont l’adresse avait été préalablement sélectionnée, la réponse d’une personne, elle-même choisie aléatoirement (selon la méthode Kish, après avoir établi à l’arrivée au domicile la liste de ses habitants permanents).

 

L’échantillon par quotas

La seconde moitié des entretiens a été obtenue selon une méthode dite par « quotas renforcés » comportant un quota croisé entre sexe et âge (18-29 ans, 30-44 ans, 45-59 ans, 60 ans et plus, soit huit catégories), la profession du chef de ménage (actuelle ou dernière exercée) en six catégories (agriculteurs, artisans, commerçants; cadres supérieurs et professions libérales; professions intermédiaires; employés; ouvriers; inactifs résiduels), le niveau de diplôme en cinq groupes (aucun; CEP, BEPC, brevet élémentaire; CAP, BEP; baccalauréat général, technologique ou professionnel; diplôme supérieur au bac). L’introduction de ce dernier critère pour établir un modèle réduit de la population alourdit nettement les contraintes de l’enquêteur mais assure une bien meilleure représentativité des échantillons, comme on pourra le vérifier par la suite.

 

La réalisation du terrain

Au fur et à mesure de l’avancement du terrain, il apparut que la réalisation de la partie aléatoire était lente[11], du fait de la difficulté à obtenir les entretiens et du nombre exigé de visites avant d’abandonner l’exploitation d’une adresse. Il fallut en fait injecter les adresses en réserve vers la mi-juillet et parfois même inclure une adresse supplémentaire pour pouvoir arriver aux 1500 entretiens attendus[12]. Le tableau 1 ci-dessous présente le bilan. 3993 adresses ont été utilisées. Un contact n’a pu être établi qu’avec 74 % des adresses, certains logements pouvant se révéler vacants et d’autres ne connaître qu’une présence très intermittente de leurs occupants. Le contact avec l’individu aléatoirement sélectionné a de fait été établi pour 49 % des ménages. Du fait du refus de certains individus choisis, le taux de succès par rapport à la liste de population représentative n’est finalement que de 37.6 %, ce qui est faible. Sur les personnes ciblées, le taux de succès est bien sûr bien meilleur (76.8 % acceptent) et peut même être considéré comme bon, par rapport à tout ce qu’on sait des attitudes croissantes de refus de réponse aux enquêtes[13]. L’essentiel du problème réside en fait dans la difficulté à établir le contact avec certains ménages et individus aléatoirement sélectionnés.

 

Tableau 1 : Taux de succès de l’échantillon aléatoire

 

Adresses exploitées

 

3993

% sur les adresses % sur les contacts avec le ménage % d’acceptation par la personne sélectionnée
Contacts établis avec le ménage  

2952

 

74

 

 

Contacts avec l’individu choisi  

1952

 

49

 

66.1

 

Entretiens réalisés 1501 37.6 50.1 76.8

 

Notons aussi que le suivi sociodémographique de la constitution de l’échantillon (tableau 2) faisait apparaître début juillet un sensible manque de jeunes de 18 à 29 ans (dû uniquement à l’échantillon aléatoire). Le déficit de jeunes était pour nous très problématique. Nous souhaitions en effet disposer d’un échantillon d’au moins 600 personnes de 18-29 ans, du fait d’engagements pris auprès d’un partenaire intéressé par les valeurs des jeunes Français. Nous avons donc décidé – après beaucoup d’hésitations –  d’inclure un échantillon complémentaire de 70 jeunes de 18-29 ans par quotas pour corriger le manque de jeunes dans la partie aléatoire de l’échantillon.

 

Comparaison des deux échantillons : aspects infrastructurels

 

Sur les caractéristiques sociodémographiques constitutives des quotas

L’échantillon final par sexe et âge (toujours tableau 2) confirme ce qu’on voyait se profiler en cours de route : l’échantillon aléatoire est trop féminin et trop âgé. L’échantillon par quotas est au contraire très proche des pourcentages recherchés.

 

Tableau 2. L’échantillon (aléatoire et par quotas) selon le sexe et d’âge (% verticaux)

Population

recherchée

18 ans et  +

Début juillet (sur 1726) Final fin août par catégorie Complé-

ment

jeunes (70)

Total

final

(3071)

Aléatoire

(838)

Quotas

(888)

Aléatoire

(1501)

Quotas (1500)
Hommes 47.9 43.9 – 4 46.3 – 1.6 45.5 – 2.4 47.1 – 0.8 48.6 46.4
Femmes 52.1 56.1 + 4 53.7 + 1.6 54.5 + 2.4 52.9 + 0.8 51.4 53.6
18-29 ans 19.3 13.9 – 5.4 19.5 + 0.2 15.8 – 3.5 19.7 +0.4 98.6 19.6
30-44 ans 26.3 27.4 + 1.1 26.9 + 0.6 26.2 – 0.1 26.3 =   1.4 25.7
45-59 ans 26.0 24.9 – 1.1 24.1 – 1.9 25.8 – 0.2 25.3 – 0.7 25.0
60 ans et + 28.4 33.8 + 5.4 29.5 + 1.1 32.1 + 3.7 28.7 + 0.3 29.7

 

Le manque de jeunes de la partie aléatoire de l’échantillon est d’abord dû à deux phénomènes structurels :

– les échantillons de ménage, pris comme base pour une représentation des individus, surreprésentent les individus vivant dans des ménages de petite taille (une ou deux personnes), dont la moyenne d’âge est plus élevée.

– les échantillons sont uniquement constitués de ménages ordinaires : tous les jeunes vivant en résidences universitaires et en foyers de jeunes travailleurs échappent largement à l’enquête car ils sont très peu présents au domicile parental, même le week-end.

De plus la mobilité des jeunes et la fréquence de leurs sorties fait qu’il est plus difficile de les contacter (ce qui est se vérifie aussi bien dans l’échantillon aléatoire que par quotas).

 

Le déficit d’hommes s’explique largement par leur plus fort taux d’activité professionnelle et leur moindre présence au domicile.

 

Considérons à présent l’échantillon obtenu du point de vue du groupe socioprofessionnel (tableau 3). Pour la partie par quotas, on se réfère au groupe professionnel, actuel ou passé, du chef de ménage, qui était déclaré par l’enquêté en début d’entretien. Pour la partie aléatoire, on considère le groupe socioprofessionnel actuel ou passé de l’individu, tel que mesuré dans la partie sociodémographique de l’échantillon. Les deux ensembles comportent quelques écarts, mais relativement limités : le manque le plus important concerne les professions indépendantes, fortement sous-représentées dans les deux sous-échantillons. Ces catégories, aux horaires professionnels très chargés, répondent plus difficilement aux enquêtes, et la forte longueur du questionnaire est probablement très rédhibitoire pour ces catégories de population. On observe aussi un excès sensible de professions intermédiaires dans l’échantillon aléatoire.

 

Tableau 3. L’échantillon final (par quotas et aléatoire) selon le groupe socioprofessionnel

  Partie par quotas Partie aléatoire
  Recherché

par institut*

Obtenu

quotas

GSP  actuel  ou  passé** Obtenu

aléatoire

Agriculteur, artisan, commerçant 12.4   7.9 – 4.5 9.1   5.7 – 3.4
Cadre supérieur, profession libérale 15.3 17.3 + 2.0 12.5 13.9 + 1.4
Profession intermédiaire 19.3 18.9 – 0.4 19.7 24.4 + 4.7
Employé 15.8 17.9 + 2.1 27.5 25.4 – 2.1
Ouvrier 29.5 29.5    0.0 22.4 24.3 + 1.9
Inactif résiduel   7.6   8.4 + 0.8   8.8   6.3 + 2.5

* profession actuelle ou passée du chef de ménage; source RGP 1999, mise à jour par l’enquête emploi 2005.

**  profession actuelle ou passée de l’individu, d’après enquête emploi 2008.

 

En termes de niveau scolaire, l’échantillon par quotas a été calé sur le niveau de diplôme le plus élevé obtenu, pour éviter une tendance à la surévaluation. Par ailleurs, la partie sociodémographique du questionnaire mesure (pour l’ensemble de l’échantillon) le plus haut niveau d’études atteint (tableau 4). Pour ces deux indicateurs, on dispose de données INSEE qui permettent de juger de la qualité de l’échantillon. La partie par quotas montre un manque de faibles diplômes et un excédent de diplômes plus élevés. C’est avec l’indicateur de niveau d’études que les écarts sont les plus forts, tout particulièrement pour l’échantillon aléatoire, avec un excédent de 7,8 points d’études universitaires par rapport à la structure recherchée. Les écarts sont beaucoup plus faibles pour l’échantillon par quotas, même si les personnes de niveau primaire y sont aussi assez sous-représentées (au profit des niveaux scolaires intermédiaires). On sent bien qu’il est, quelle que soit la méthode utilisée, difficile de faire accepter l’enquête par des personnes de faible niveau culturel et social, tout comme il est difficile de la faire accepter par les groupes professionnels les plus investis dans leur emploi et peut-être par les moins « relationnels »[14].

 

Tableau 4. L’échantillon final (par quotas et aléatoire) selon le niveau de diplôme

  Recherché* Obtenu

aléatoire

Obtenu

quotas

sur quotas

sur aléatoire

Aucun diplôme 18.0 17.0 – 1.0
Certificat études, BEPC, BE 26.2 22.0 – 4.2
CAP, BEP 23.8 24.9 + 1.1
Bac général, techno et profes. 13.7 14.3 + 0.6
Diplôme supérieur au bac 18.3 21.7 + 3.4
École primaire 25.5 17.6 19.2 – 6.3 – 7.9
Collège (6ème-3ème), CAP, BEP 34.6 33.5 39.4 + 4.8 – 1.1
Second cycle lycées 17.0 17.9 17.2 + 0.2 + 0.9
Études supérieures 22.8 30.6 23.6 + 0.8 + 7.8
Indéterminé   0.4   0.6

* Statistique INSEE sur la base du recensement 1999 de la population, avec redressement fin 2007.

 

 

Sur d’autres dimensions socioculturelles

Si l’échantillon par quotas apparaît plutôt de meilleure qualité sur les tableaux jusque là présentés, on peut objecter que c’est en fait normal puisque les quotas sont justement prévus pour permettre une bonne représentativité sur ces critères contrôlés. C’est en fait sur d’autres variables qu’il faut comparer les deux échantillons pour évaluer leur qualité respective. C’est ce que fait le tableau 4 sur un ensemble de variables socioculturelles, en retenant celles pour lesquelles les écarts sont sensibles.

 

Tableau 4. Différences socioculturelles les plus importantes selon l’échantillon aléatoire et par quotas (sans pondération)

  Obtenu

Aléatoire

Obtenu

Quotas

Ecart
Habite une commune de – de 5000 habitants 35.3 27.1   8.2
de 5000 à 50 000 habitants 18.9 20.0   1.1
de 50 000 à 500 000 habitants 24.5 25.2   0.7
+ de 500 000 habitants 21.4 27.6   6.2
Emploi 30 heures et – 47.3 41.6   5.7
Emploi moins de 30 heures   6.4   7.6   1.2
Retraité 30.0 27.9   2.1
Femme au foyer   5.9   7.7   1.8
Étudiant   3.7   5.1   1.4
Chômeur, handicapé    6.3   9.8   3.5
Plus hauts revenus du ménage (par UC) 45.5 35.4 10.1
Français d’origine 80.0 78.2   1.8
Français d’origine étrangère 17.3 17.2    0.1
Étranger   2.7   4.6   1.9
Marié 46.3 43.6   2.7
Jamais marié vivant en couple 25.5 32.2   6.7
N’a pas eu d’enfant ou un seul 43.4 44.4   1.0
Deux enfants 30.1 26.5   3.6
3 enfants et plus 26.5 29.2   2.7
Membre d’au moins une association 44.6 36.8   7.8
Catholique 44.6 41.8   2.8
Musulman   3.1   4.2   1.1
Autre religion   3.3   3.6   0.3
Sans religion 31.8 30.4   1.4
Athée convaincu 17.3 19.9   2.6

 

On observe tout d’abord un excédent de ruraux (8.2 points) et un déficit d’habitants des grandes villes (6.2 points) dans l’échantillon aléatoire. Ceci est confirmé par la région de résidence (non présentée dans le tableau 4) : la région parisienne (au sens ZEAT) ne représente que 13.3 % de l’échantillon aléatoire mais 18.9 % de l’échantillon par quotas. Si la distribution régionale a bien été respectée dans la partie par quotas, elle ne put l’être pour la partie aléatoire. La réalisation du nombre d’entretiens désiré n’a été possible qu’en compensant les manques des régions parisienne et méditerranéenne par des excédants dans le Sud Ouest, le Sud Est, le Bassin parisien Ouest et l’Ouest. Il semble en fait très difficile de réunir (dans un temps raisonnable, ici 4 mois) les entretiens prévus dans des grandes villes où les gens sont peu présents à leur domicile. Dans les zones rurales ou semi-urbaines, l’échantillonnage aléatoire a un bien meilleur rendement. Néanmoins l’échantillon aléatoire comporte un pourcentage d’actifs à plein temps sensiblement supérieur à l’échantillon par quotas (5.7 points). Les actifs sont très difficiles à joindre dans les villes. Ce qui a probablement des effets sur le niveau de revenu des ménages. C’est pour cette variable que l’écart est le plus important : 10.1 points.

 

De même qu’il est plus difficile d’obtenir des catégories à faible niveau scolaire dans l’échantillon aléatoire, il y est plus difficile de représenter la population de nationalité étrangère. Celle-ci est en fait un peu sous évaluée dans les deux parties de l’échantillon (5.7 % dans la population française, d’après l’INSEE[15]).

 

Quelques écarts apparaissent quant aux situations familiales, notamment pour les personnes jamais mariés ni pacsées mais vivant en couple : ces dernières sont plus présentes dans l’échantillon par quotas, du fait probablement de son caractère plus urbain (6.7 points d’écart).

 

Un écart sensible (7.8 points) existe pour les adhésions associatives : selon l’échantillon aléatoire, les Français sont sensiblement plus associatifs que selon l’échantillon par quotas. Par contre les écarts dans les appartenances religieuses sont faibles. On peut cependant noter que les deux échantillons représentent la minorité musulmane[16], mais en la minimisant.

 

 

 

 

Comparaison des deux échantillons : aspects superstructurels

 

Sur l’ensemble des opinions et valeurs mesurées  dans l’enquête

Si, comme on vient de le voir, quelques différences socioculturelles entre les deux échantillons sont sensibles, elles ne semblent avoir que des effets limités sur les opinions et les valeurs. Une comparaison systématique de toutes les variables de l’enquête triées selon le type d’échantillon montre que, dans l’immense majorité des cas, les différences sont très minimes. Le tableau 5 présente à nouveau les différences les plus importantes (dont le degré de significativité est, d’après les V de Cramer, toujours très faible ou inexistant). Il présente les résultats à la fois sans et avec  pondération.

 

Tableau 5. Différences d’opinions et valeurs les plus importantes selon l’échantillon aléatoire et par quotas

  Résultats bruts Résultats pondérés
  Aléatoire Quotas Aléatoire Quotas
Insatisfait de son travail (positions 1 à 4)   8.8 11.9   8.3 11.7
Couples homosexuels peuvent adopter des enfants 36.6 40.4 35.5 39.8
Confiance au parlement 51.7 46.1 47.1 45.7
Confiance au gouvernement 34.7 29.5 33.3 30.1
En démocratie, le système économique fonctionne mal 52.3 56.4 57.5 56.6
Très libéral en économie (échelle avec v194-v199) 27.6 23.3 24.3 23.6
Très matérialiste d’après échelle

(v69 v72 v137 v140 v176 v201C v202C v203 v295)

 

33.7

 

38.7

 

40.8

 

39.5

Très forte permissivité privée (v240 à v244) 23.6 27.6 23.9 25.0
Croire à l’enfer 16.9 23.3 19.1 23.2
Croit à l’efficacité des porte-bonheur (positions 6-10) 14.9 18.9 17.4 19.2

 

Les individus de l’échantillon par quotas apparaissent un peu plus critiques sur les dimensions considérées (plus insatisfaits de leur travail, moindre confiants au parlement et au gouvernement, plus critiques à l’égard du fonctionnement démocratique…), ils sont aussi plus matérialistes, plus attachés à la permissivité et aux libertés des comportements et des choix individuels, davantage croyants à l’enfer et à l’efficacité des porte-bonheur. Ces attitudes peuvent probablement assez bien s’expliquer par le caractère plus jeune et plus urbain de l’échantillon par quotas.

 

On observe aussi que l’introduction des pondérations ne modifie que très peu les réponses par quotas mais sensiblement plus les données aléatoires du fait de leur écart  plus important avec la structure de la population française.

 

Sur le degré de participation sociale et politique

Si les critiques des théoriciens de la statistique à l’égard des échantillons par quotas sont justes, si notamment cette méthodologie permet d’accepter facilement le refus de répondre d’un enquêté potentiel et de lui substituer son voisin pourvu qu’il entre dans les quotas (alors que dans un sondage aléatoire, l’enquêteur serait contraint d’insister pour obtenir la réponse de la personne sélectionnée aléatoirement), les répondants d’un échantillon recueilli par quotas devraient se révéler plus participatifs dans la vie sociale et politique, plus désireux de s’exprimer, plus compétents et sophistiqués dans les domaines sociaux et politiques[17].

 

Un premier résultat (déjà présenté au tableau 4) discrédite plutôt l’hypothèse puisque les personnes de l’échantillon aléatoire sont plus souvent membres d’une association que celles de l’échantillon par quotas (écart de 7.8 points non pondéré), pourtant censé davantage participer à la vie sociale et politique. Pour toutes les autres variables de participation et de compétence testées, les écarts sont souvent faibles (tableau 6), mais ils sont aussi le plus souvent contraires à l’hypothèse formulée.

 

Les personnes de l’échantillon aléatoire sont en brut légèrement plus sociables que celles de l’échantillon par quotas : elles font un peu plus confiance aux autres, elles se déclarent un peu plus altruistes, elles se révèlent moins craintives à l’égard de la construction européenne, aussi moins inquiètes pour leur sécurité. Par contre, elles sont un peu plus sélectives à l’égard des catégories de voisins indésirables (seule variable qui va plutôt dans le sens de l’hypothèse envisagée). Concernant le rapport à la politique, toujours en brut, l’échantillon aléatoire est plus politisé, moins abstentionniste, plus soucieux du développement de la démocratie, toutes choses qui infirment l’hypothèse d’un échantillon aléatoire moins politisé et participatif que l’échantillon par quotas[18]. Notons que la prise en compte de la pondération fait là encore beaucoup bouger le résultat du sous-échantillon aléatoire, les écarts sont souvent faibles mais inversés par rapport aux données brutes.

 

Tableau 6. La participation sociale ou politique dans l’échantillon aléatoire et par quotas

  Résultats bruts Résultats pondérés
  Aléatoire Quotas Aléatoire Quotas
Confiance spontanée aux autres 27.0 25.0 23.1 24.6
Confiance forte aux institutions 52.0 51.0 50.0 50.7
Altruisme identitaire fort 47.1 45.9 41.9 45.6
Altruisme social fort 53.7 53.3 51.1 53.0
Sélectivité à l’égard des voisins forte 52.0 48.7 50.2 49.4
Peu xénophobe 51.4 51.1 47.8 50.1
Peine de mort pas justifiée (positions 1-4) 45.2 44.7 42.0 43.7
Craintes faibles à l’égard de l’Europe 51.5 47.3 46.7 46.2
Sentiment d’insécurité faible 48.9 45.9 46.4 46.0
Politisation forte 54.1 50.7 47.2 49.5
Activisme politique fort 45.0 45.3 39.1 43.8
Abstention ou vote blanc à la prochaine élection 19.4 22.8 21.8 23.5
Voterait pour l’extrême droite (FN, MNR, MPF)   4.7   6.9   3.7   5.0
Membre d’un mouvement politique   2.8   2.5   2.7   2.4
Objectif pour le pays : liberté d’expression 45.0 43.5 41.9 42.7
Objectif : participation citoyenne accrue 41.2 40.3 38.2 39.1

 

 

Les intentions de vote en faveur de l’extrême droite méritent un commentaire particulier. On sait que toutes les enquêtes minorent cet électorat pour deux raisons : celui-ci accepte moins que les autres de répondre à des enquêtes et il cache parfois son intention de voter pour un parti souvent considéré comme néfaste. La seconde explication existe aussi bien pour la méthode aléatoire que par quotas. Par contre, selon l’hypothèse des spécialistes critiques de la méthodologie des quotas, la première devrait davantage faire sentir ses effets sur un échantillon par quotas où l’insistance de l’enquêteur à obtenir des entretiens est considérée comme plus faible. L’échantillon par quotas devrait donc avoir moins de partisans de l’extrême droite qu’un échantillon aléatoire. A nouveau, cette hypothèse est démentie. La représentation de l’extrême droite est plus biaisée dans l’échantillon aléatoire que dans celui par quotas.

 

Comparaison des deux échantillons : les sans réponse

Toujours selon la même hypothèse théorique, un échantillon par quotas, puisqu’il est réputé sélectionner des individus plus sophistiqués et participatifs, devrait aboutir à des pourcentages de non réponse plus faibles que dans un échantillon aléatoire. Nous avons, là aussi, testé l’hypothèse. Il faut d’abord souligner que les non réponse avaient commencé à baisser dans l’enquête de 1999 et qu’elles se sont effondrées en 2008. Cette tendance à la baisse se constate aussi dans d’autres enquêtes et peut avoir plusieurs explications :

  • On accepte moins de répondre aux enquêtes par sondages, mais du coup, ceux qui acceptent de le faire seraient des individus plus compétents et répondraient donc davantage à toutes les questions;
  • Les progrès du niveau scolaire entraîneraient un plus fort sentiment de compétence pour répondre à des questions d’opinion;
  • Les enquêteurs auraient gagné en professionnalisme et sauraient mieux relancer les enquêtés pour les inciter à répondre.

 

Mais du fait du caractère important de la baisse des sans réponse dans l’enquête Valeurs de 2008, on ne peut exclure a priori un effet propre à cette enquête, qui pourrait être lié au choix d’un nouvel institut de sondage pour réaliser le terrain de 2008 (institut différent de ceux ayant opéré en 1999 et 1990), institut réputé pour son sérieux[19]. On peut imaginer que les enquêteurs d’un tel institut savent davantage laisser à certains enquêtés le temps de comprendre les questions (et de les répéter lentement une fois si nécessaire) au lieu de débiter le questionnaire machinalement, de façon standardisée et trop rapide. Du coup, les enquêtés auraient un meilleur taux de réponse. Si cette explication est valide, ce qui est indémontrable[20], elle s’applique aussi bien sur l’échantillon aléatoire que par quotas.

 

La considération de l’ensemble des non réponse à l’ensemble du questionnaire montre que les non réponse à beaucoup de questions sont devenues négligeables (concernant moins de 1 % des répondants). Quand on considère les cas où la non réponse concerne au moins un tel pourcentage, on observe globalement que les différences entre les taux enregistrés pour les deux échantillons sont souvent très minimes et ne vont pas toujours dans le même sens. On peut considérer que les sans réponse sont pour les deux tiers des variables légèrement plus élevées dans l’échantillon aléatoire, alors que pour un tiers des cas c’est l’échantillon par quotas qui comporte le plus de non prise de position[21]. Le résultat est donc très incertain par rapport à l’hypothèse. Il apparaît surtout que les deux échantillons sont très proches de ce point de vue et qu’il n’y a pas de tendance systématique, même infime. Le tableau 7 présente les écarts pour les variables où la non réponse est la plus fréquente. La colonne indiquant les écarts manifeste bien leur faiblesse (seulement 4 cas avec plus d’un point).

 

 

 

 

Tableau 7. Taux de non réponse maximal. Comparaison des parties de l’échantillon

 

(% non pondérés)

Obtenu

Aléatoire

Obtenu

Quotas

Ecart
Positionnement sur l’échelle gauche droite 7.7 9.3 1.7
Voterait ou s’abstiendrait à une élection nationale organisée demain 8.3 8.4 0.1
Confiance à l’OTAN 6.4 7.1 0.7
Confiance à l’ONU 3.7 4.1 0.4
Confiance à l’Union européenne 2.2 1.8 0.4
Confiance aux associations de défense de l’environnement 1.8 2.2 0.4
Confiance aux grandes entreprises 1.7 1.6 0.1
Système politique : leader fort 2.5 2.4 0.1
Système politique : gouvernement des experts 3.5 3.4 0.1
Système politique : démocratie 2.1 1.8 0.3
En démocratie, le système économique fonctionne mal 4.4 3.7 0.7
Les démocraties ont du mal à prendre des décisions, trop de disputes 2.4 2.5 0.1
Les démocraties ne savent pas bien maintenir l’ordre 2.7 2.5 0.2
La terre approche le nombre limite d’humains qu’elle peut supporter 6.3 5.9 0.4
Le génie de l’homme permettra que la terre reste vivable 3.4 1.9 1.5
Etre femme au foyer : aussi bien que d’avoir un emploi rémunéré 3.7 3.2 0.5
La plupart des femmes veulent avant tout un foyer et des enfants 2.0 2.9 0.9
Pour s’épanouir, une femme a-t-elle besoin d’avoir des enfants ? 3.1 2.9 0.2
L’homosexualité, toujours ou jamais justifiée (échelle  en 10 positions) 2.4 1.5 0.9
Suicide, toujours ou jamais justifié (échelle en 10 positions) 2.3 1.5 0.8
Croire en Dieu (oui/non) 5.1 3.3 1.8
Croire en une vie après la mort (oui/non) 7.2 6.2 1.0
Croire à l’enfer (oui/non) 3.0 2.9 0.1
Croire au paradis (oui/non) 3.0 2.8 0.2
Croire au péché (oui/non) 1.8 1.4 0.4
Croire dans la réincarnation 4.0 4.3 0.3
A sa propre manière d’être en contact avec le divin 2.8 1.7 1.1
Les églises apportent de bonnes réponses aux besoins moraux 4.8 4.3 0.5
Les églises apportent de bonnes réponses aux besoins spirituels 4.5 3.8 0.7
Les églises apportent de bonnes réponses aux problèmes familiaux 3.8 4.3 0.7
Les églises apportent de bonnes réponses aux problèmes sociaux 3.4 3.5 0.1

 

La non réponse peut avoir en fait plusieurs raisons. Concernant le positionnement sur l’échelle gauche droite, qui était de 21 % en 1990 et 17 % en 1999, ce choix indique à la fois une incapacité à se situer sur une telle échelle (par méconnaissance de l’univers politique) et un rejet de ce cadre de référence. C’est ce qui explique que la non réponse reste assez élevée. Les sans réponse à la question sur le vote ou l’abstention si une élection nationale était organisée demain traduisent aussi probablement à la fois une  difficulté à reconnaître publiquement qu’on pourrait ne pas être un bon citoyen, une difficulté de repérage politique et une absence de sympathie partisane claire, enfin un soupçon porté sur l’ensemble de la classe politique. L’importance des non réponse pour la confiance en l’OTAN et l’ONU s’explique avant tout par une connaissance insuffisante de ces organismes. De même, l’incapacité à dire si notre terre peut ou non supporter un accroissement de population tient au caractère très technique de la question : en rigueur de termes, seuls les économistes et les démographes devraient pouvoir tenter une prudente réponse. Mais évidemment beaucoup acceptent de répondre en fonction de leurs schèmes idéologiques et c’est bien évidemment ce qui a légitimé la question. En matière religieuse, le niveau assez élevé de sans réponse pour un nombre non négligeable de questions s’explique probablement par la sécularisation : un certain nombre de personnes estiment que l’univers religieux ne les concerne pas. Mais les non réponse aux questions dichotomiques sur les croyances peuvent aussi tenir au caractère très tranché des réponses prévues (oui ou non), à une période où beaucoup ont des croyances incertaines.

 

Conclusions

La comparaison structurelle des échantillons a montré des écarts assez sensibles dans les populations sélectionnées, au moins pour certaines dimensions. L’échantillon aléatoire est un peu trop âgé, manque de travailleurs indépendants, est nettement trop rural et pas très bien réparti selon les grandes régions, comporte trop d’actifs, trop diplômé, avec trop de personnes à hauts revenus. Bien sûr, l’échantillon par quotas n’est pas structurellement parfait mais il est moins décalé par rapport à la structure de la population et pas seulement sur les variables contrôlées dans le processus d’échantillonnage.

 

Le problème redoutable expérimenté pendant la réalisation du terrain a donc bien été de réussir à limiter les problèmes de l’échantillon aléatoire, alors que la réalisation du plan d’échantillonnage par quotas s’est révélée sans surprise, et donnant un échantillon plutôt meilleur, à moindre coût. L’hypothèse selon laquelle l’échantillon par quotas ne sélectionnerait pas suffisamment les catégories de population difficiles à interroger se révèle fausse, au moins dans cette étude, menée avec des moyens importants permettant de pratiquer selon des « quotas renforcés »[22]. C’est plutôt l’inverse qui s’est produit dans notre cas : plus diplômé, l’échantillon aléatoire est plus sophistiqué et participatif, il manque – encore plus que l’échantillon par quotas – de minorités défavorisées.

 

Heureusement ces faiblesses ne semblent pas avoir d’effets importants sur les réponses dans les différents domaines de valeurs au centre de l’étude. Ce qui n’est au fond pas très étonnant puisque les relations entre valeurs et variables infrastructurelles ne sont souvent que d’intensité faible ou moyenne. La proximité globale des réponses obtenues dans les deux échantillons permet de conclure qu’il est parfaitement légitime, surtout en utilisant la pondération, qui fait souvent disparaître une partie des différences brutes, de considérer l’échantillon comme un ensemble unique, dont la qualité des données est équivalente.

 

L’introduction du mode d’échantillonnage aléatoire, pour une partie de l’enquête, ne saurait expliquer les évolutions des données de 2008 par rapport aux vagues antérieures. Ces évolutions sont bien liées au changement social à l’œuvre en France comme dans les autres pays européen. A l’inverse, le maintien d’une partie d’échantillon par quotas n’introduit pas de problème particulier quant à la comparaison avec les données des pays utilisant la méthode aléatoire.

 

La qualité d’un échantillon dépend moins du choix de la méthode aléatoire (qui serait nécessairement, par principe, toujours la meilleure) que de la solidité du dispositif prévu, qu’il s’agisse d’aléatoire ou de quotas, du nombre et du choix des critères entrant dans une procédure de quotas, de la qualité du travail d’un réseau d’enquêteurs, de l’établissement de règles strictes quant à la pratique des enquêteurs et du contrôle de ses pratiques, sans compter l’importance du contenu même du questionnaire[23].

 

Pour l’avenir, les coordinations d’enquêtes internationales gagneraient à davantage tenir compte des habitudes nationales en matière d’enquête par sondages. L’échantillon aléatoire est certainement une bonne pratique lorsqu’on peut disposer d’une très bonne liste de population. Le pis-aller du random route – pour tenir lieu de méthode aléatoire – est largement un leurre. L’échantillonnage par quotas, lorsqu’il est pratiqué sur un nombre suffisant de critères et avec des professionnels qui en maîtrisent bien les failles possibles au niveau des enquêteurs, se révèle un très bon mode d’administration, pour un coût qui reste raisonnable.

[1] Je remercie tous ceux qui ont bien voulu me faire part de leurs commentaires sur une première version de ce texte, particulièrement la direction de GFK-ISL (Bernard Mandin, Hervé Bastide, Claire Blanchard), Dominique Joye, professeur à Lausanne, spécialiste des enquêtes internationales, Nicolas Sauger, chargé de recherche FNSP, responsable de l’enquête ESS en France, Yannick Lemel (INSEE), Michel Lejeune (professeur émérite de statistique à l’UPMF, Grenoble), Frédéric Gonthier, maître de conférence de science politique, IEP Grenoble, Benoit Riandey (INED).

[2] Les résultats de cette enquête, comparés à ceux des vagues précédentes (1981, 1990, 1999), sont présentés dans Bréchon Pierre, Tchernia Jean-François (direction), La France à travers ses valeurs, Armand Colin, 2009 et dans Bréchon Pierre, Galland Olivier (direction), L’individualisation des valeurs, Armand Colin, 2010.

[3] Un appel d’offres européen a été lancé pour la sélection de l’institut de sondages, au terme duquel  le terrain de l’enquête a été confié à l’Institut de sondage Lavialle (ISL). Les entretiens ont eu lieu entre mai à août 2008.

[4] Pour les toutes petites communes, un regroupement de plusieurs communes était opéré de manière à avoir au moins 300 ménages dans la zone retenue. De ce fait, il y a eu en fait 283 communes sélectionnées dans la partie aléatoire et 288 dans la partie sur quotas. 86 départements métropolitains ont été touchés par l’enquête. Seuls 10 y ont échappé (Ariège, Aveyron, Corrèze, Corse A et B, Creuse, Hautes-Alpes, Haute-Marne, Lozère, Territoire de Belfort).

[5] La législation vient d’évoluer; normalement les enquêtes répondant à des objectifs de recherche reconnus devraient, après acceptation du dossier par différentes instances, pouvoir accéder à un échantillon de ménages tiré aléatoirement dans le fichier du dernier recensement. On peut craindre que la durée du processus d’acceptation du dossier ne rende la procédure impraticable pour des enquêtes d’opinion sur des sujets d’actualité.

[6] Si elle l’était, on pourrait douter de la sincérité de certaines réponses, extorquées contre la volonté des individus.

[7] Ce biais existe aussi, bien sûr, lorsque la sélection des individus a été faite sur une liste parfaite ! Les statisticiens ont trop tendance à l’oublier. Le sondage d’opinion ne saurait être aussi représentatif que la sélection d’un échantillon d’objets inanimés, par exemple sur une chaîne de montage ou dans un processus de production chimique.

[8] Pour chaque zone géographique sélectionnée, quatre adresses de départ sont choisies aléatoirement, correspondant à 4 ilots. A partir de cette adresse, la personne chargée d’établir la liste recueille 4 noms et adresses de ménages dans les trois premiers ilots et 3 dans le dernier.

[9] Calculé sur le nombre d’adresses sélectionnées, correspondant en principe à des logements occupés. Mais certains logements se trouvent de fait inoccupés. On peut donc calculer aussi un taux de succès non plus sur les adresses de départ mais sur les logements effectivement occupés, ou sur les ménages avec lesquels le contact a été établi, ou encore sur les individus choisis aléatoirement dans chaque ménage. Voir le tableau 1 page 6.

[10] Ce taux de 70 % n’est atteint que pour des enquêtes obligatoires. Selon Romuald Le Lan, « Enquêtes ménages : vers la fin de la baisse des taux de réponse ? », Le Courrier des statistiques n° 128, septembre-décembre 2009, p. 33-41, le taux actuel des réponses pour les enquêtes de l’INSEE auprès des ménages est de 70 à 80 %, mais calculé sur les logements occupés et non pas l’ensemble des adresses sélectionnées. Au dire de l’institut de sondage, habitué aux enquêtes aléatoires, un taux de 70 % peut aussi être atteint pour des groupes spécifiques, très concernés par le sujet de l’enquête, notamment sur des questions de santé publique. De plus, le taux de réussite est très différent selon les régions (faible en région parisienne, fort dans le Nord) et les catégories d’agglomération.

[11] Le nombre d’enquêteurs mobilisés pour l’enquête aléatoire ayant probablement été trop faible au début. Au total, 191 enquêteurs ont réalisé des entretiens, 155 pour la partie aléatoire et 143 pour la partie par quotas. Plus de la moitié des enquêteurs ont réalisé des entretiens selon les deux méthodologies. Les plus productifs, au nombre de 8, ont réalisé entre 45 et 51 entretiens (sur quatre mois). Si l’on considère les plus fortes productivités pour un jour donné, 14 enquêteurs ont réalisé 6 ou 7 entretiens un même jour, 3 en ont fait entre 8 et 10.

[12] Les mois de juillet et d’août ne sont pas très favorables à la réalisation des enquêtes, encore plus en aléatoire que par quotas.

[13] D’après une expérimentation faite sur la vague 4 de l’ESS, une relance par téléphone des individus ayant refusé une première fois permet d’améliorer le taux de retour d’environ 3.5 points. Mais le coût en est élevé.

[14] Du fait de ces différences par rapport à la structure de la population, une pondération a été introduite dans les données pour les deux échantillons sur le sexe, l’âge et le diplôme. Elle n’est pas utilisée dans les tableaux qui précèdent.

[15] Dans l’ensemble de l’échantillon EVS 2008, une fois pondéré, le taux d’étranger est de 5.2 %.

[16] Beaucoup d’enquêtes n’arrivaient pas jusque là à obtenir des entretiens avec des personnes de religion musulmane. Dans l’enquête EVS de 1999, presque tous les musulmans (1.5 % de l’échantillon global de 1821 individus) étaient dans le sur-échantillon de 206 jeunes de 18 à 29 ans. La présence plus importante des musulmans en 2008 tient à deux phénomènes : cette population, aujourd’hui plus éduquée et mieux intégrée, accepte davantage de répondre à un enquêteur. Le fait d’avoir d’un côté un échantillon aléatoire, de l’autre un échantillon par quotas comportant le niveau de diplôme, permet de mieux atteindre cette catégorie de population. La sous-représentation continue cependant. L’estimation la plus souvent citée de leur part dans la population est de 6.5 % (mais ce chiffre pourrait être exagéré), alors que pour l’ensemble des deux échantillons redressés, le taux ressort à 4.5 %.

[17] L’hypothèse a notamment été formulée et testée sur l’enquête eurobaromètre pour la Suisse : Cf. Schöbi Nicole et Joye Dominique, « A la recherche du bon échantillon : Comparaison des résultats entre méthode des quotas et aléatoire », Neuchâtel, Sidos, 2001, 21 p.

[18] L’expérimentation faite en Suisse il y a une dizaine d’année (op. cit.) aboutissait à la même conclusion. Mais les échantillons étaient seulement de 164 réponses aléatoires et de 587 par quotas, ce qui pouvait laisser planer un doute sur le résultat obtenu.

 

[19] Les non réponse ont été programmées par l’institut conformément à nos demandes et donc de la même façon que dans les enquêtes précédentes.

[20] On peut simplement regarder si la durée de l’entretien modifie les taux de sans réponse, quel que soit le sous-échantillon. Le test n’est pas concluant. Les différences des taux de non réponse aux questions du tableau 7 selon la durée des entretiens est  faible et ne vont pas dans le sens d’un effet d’une pratique plus professionnelle de l’enquêteur : les entretiens les plus longs sont aussi ceux où l’on observe le plus de non réponses! En fait le test n’est pas adapté. On ne décèle pas par ce test un éventuel effet lié à la qualité de la pratique des enquêteurs mais simplement un effet lié aux caractéristiques des répondants. Les entretiens longs sont souvent ceux de personnes âgées, n’ayant fait que des études courtes. Leur plus difficile compréhension du questionnaire se traduit par une durée plus longue d’administration. Cependant, une autre observation peut poser quelques questions. La durée moyenne des entretiens varie sensiblement selon les enquêteurs, avec une dispersion assez importante aux marges. Pour une durée moyenne de 61,3 minutes sur le total de l’échantillon, on repère 4 enquêteurs très rapides, avec une moyenne de 33,8 minutes pour le premier (qui n’a fait que 4 entretiens), 36,2 pour le second (qui en a réalisé 14), 42,7 pour le troisième (21 entretiens) et 42,9 pour le quatrième (28 entretiens). A l’autre extrême, il n’y a que deux enquêteurs très décalés, le premier met en moyenne 102,3 minutes avec 7 entretiens réalisés et le second 99 minutes avec 3 entretiens. Sur la manière de repérer les pratiques douteuses de certains enquêteurs, on pourra consulter Patrick Che et Jean-Pierre Pagès, « Absence de rigueur dans les sondages d’opinion : les leçons d’un retour d’expérience », Bulletin de Méthodologie Sociologique, January 2006, n° 89, p. 5-30.

[21] Curieusement, dans le domaine religieux et familial, c’est l’échantillon aléatoire qui comporte en général un peu plus de sans réponse, alors qu’en matière politique cette « domination » est moins nette (tableau 7).

[22] C’est aussi la pratique  adoptée pour les enquêtes électorales françaises de 2006-2007 (CEVIPOF).

[23] Un questionnaire trop long et trop compliqué, avec des questions dont le sens n’est pas complètement évident, comme on peut parfois en trouver dans certaines enquêtes internationales, risque de décourager els enquêtés les mieux intentionnés.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s