Construire un questionnaire de mémoire qui tienne la route

La réponse courte

Un questionnaire de mémoire compte 15 à 25 questions, se remplit en moins de huit minutes, et vise une centaine de réponses pour des analyses descriptives. Il se teste sur cinq à dix personnes avant diffusion, et il se conçoit à partir de vos hypothèses, pas l’inverse.

La règle qui évite la plupart des désastres : pour chaque question, écrivez à l’avance ce que vous ferez de la réponse. Si vous n’avez pas de réponse à cela, la question ne sert à rien, et elle coûte du temps de passation qui manquera ailleurs.

Combien de réponses

• Moins de 30 : présentez des effectifs bruts (« 14 des 22 répondants »), jamais des pourcentages, qui suggèrent une précision inexistante.
• 30 à 100 : descriptif possible, comparaisons de sous-groupes à manier avec prudence.
• Plus de 100 : confortable pour du descriptif et des croisements simples.
• Comparer des sous-groupes : comptez environ 30 réponses par groupe. Trois groupes, c’est déjà 90 réponses minimum.

Un mémoire avec 45 réponses bien analysées vaut mieux qu’un mémoire avec 300 réponses traitées à la va-vite. Ce qui compte pour le jury, c’est que vos affirmations soient proportionnées à votre échantillon — et c’est ce que vous écrirez dans les limites de votre conclusion.

Rédiger les questions

• Une idée par question.« Trouvez-vous la formation utile et bien organisée ? » est inexploitable : on ne sait pas à quoi la réponse se rapporte.
• Pas de question orientée.« Ne pensez-vous pas que… » produit la réponse que vous souhaitez, et un jury le relève.
• Du vocabulaire du répondant.Vos concepts théoriques n’ont pas leur place dans le questionnaire ; ils reviendront au moment de l’analyse.
• Des modalités exhaustives et exclusives.Prévoyez toujours « autre » avec un champ libre, et « ne sais pas » quand la question le permet : forcer une réponse fabrique des données fausses.
• Du concret avant l’abstrait. On commence par des questions faciles sur la pratique, on place les questions sensibles au milieu, et les questions signalétiques (âge, statut) à la fin.
• Très peu de questions ouvertes.Deux ou trois au maximum : elles sont précieuses mais longues à coder, et sur 150 réponses cela devient un second mémoire.

Les échelles

L’échelle de Likert (pas du tout d’accord → tout à fait d’accord) est la plus courante. Deux décisions à prendre :

• Quatre ou cinq points ?Cinq laisse un point neutre — plus confortable pour le répondant, mais il attire les indécis. Quatre force une position. Il n’y a pas de bonne réponse universelle ; il y a une réponse à justifier en méthodologie.
• Étiquetez tous les points, pas seulement les extrêmes. Un répondant qui doit interpréter le « 3 » d’une échelle non étiquetée n’interprète pas comme son voisin.

Attention au traitement : une échelle de Likert produit des données ordinales. Calculer une moyenne dessus est courant et contesté ; pour un mémoire, la médiane et la distribution sont plus défendables, et montrer la distribution complète en graphique est souvent plus parlant qu’un chiffre unique.

Diffuser et relancer

• Annoncez la durée et l’objet dès la première ligne, et précisez l’anonymat. C’est ce qui fait cliquer.
• Passez par des relaisplutôt que par des envois individuels : responsable de formation, association, groupe professionnel. Un message relayé par quelqu’un de légitime obtient plusieurs fois le taux de réponse d’un message envoyé par un inconnu.
• Relancez une fois, à dix jours, jamais plus de deux fois.
• Gardez trace du mode de diffusion : vous devrez décrire précisément comment l’échantillon s’est constitué, et dire honnêtement qu’il s’agit d’un échantillon de convenance si c’est le cas.

Les biais qui coûtent cher

• Le biais de sélection.Ceux qui répondent à un questionnaire sur la charge de travail sont rarement ceux qui n’ont pas le temps d’y répondre. À nommer explicitement dans les limites.
• La désirabilité sociale.Sur les pratiques valorisées, les déclarations sont systématiquement plus flatteuses que la réalité. Des questions sur des faits datés (« la semaine dernière, combien de fois… ») limitent l’effet.
• Les questions signalétiques trop fines.Âge exact, poste précis et service suffisent souvent à identifier quelqu’un dans une petite structure : utilisez des tranches.
• Le questionnaire lancé sans pré-test.L’erreur la plus coûteuse, parce qu’elle est irréversible une fois la diffusion faite.

Le questionnaire vierge se reproduit intégralement en annexe, et la justification de vos choix va dans le chapitre de méthodologie.