Depuis sa première édition en 2000, l’enquête triennale PISA (Programme international de suivi des acquis des élèves) n’a cessé de subir des critiques que l’on pourrait qualifier d’idéologiques. En effet, les tests PISA sont placés sous l’égide de l’OCDE (Organisation de Coopération et de Développement Economiques), ce qui a pu provoquer des accusations de politisation des résultats. Ces critiques étaient finalement de bonne guerre puisque chaque camp voyait ses politiques éducatives respectives jugées à l’aune des résultats de son pays aux tests.
Depuis quelques temps cependant, les critiques se font moins subjectives quant à l’analyse et à la pertinence des résultats. Ce sont des statisticiens et des universitaires qui ont pris le relais, remettant en cause les fondements méthodologiques et la validité de PISA. Après avoir été initiées par les pays anglo-saxons et scandinaves, les critiques envers PISA entrent - avec un temps de retard - dans le champ francophone (notamment via une longue et pertinente analyse de Luc Cédelle, journaliste au Monde, sur son blogue "Interro écrite" (30 avril 2014) dans un article intitulé "Doutes sur PISA dans la presse internationale").
Les principales critiques émises sont d’ordre statistique et méthodologique. Les classements publiés ne seraient que des plages de classement, comme le reconnait publiquement l’OCDE. Ainsi, en tenant compte des marges d’erreurs liées à tout travail statistique de cette ampleur et à la problématique de la représentativité d’un panel, un pays comme le Danemark pourrait occuper n’importe quelle place entre la 5e et la 37e… Interpelant…
Sept heures sont nécessaires pour répondre à l’ensemble d’un questionnaire PISA. Il n’y a donc qu’un faible pourcentage (20 %) d’élèves qui répondent effectivement à l’ensemble des questions. Pour combler ces trous, PISA réalise une mise à l’échelle des réponses plausibles si 100 % des élèves répondaient. Selon les spécialistes, cette technique (méthode Rasch), pour diverses raisons, serait invalide dans le cas du panel PISA et ne pourrait donc s’y appliquer. Interpelant…
Chaque langue et chaque système d’enseignement sont jugés égaux par les tests PISA. Or, toutes les langues ne proposent pas les mêmes difficultés d’apprentissage et, surtout, tous les systèmes d’enseignement ne sont pas comparables. PISA, qui évalue les acquis des élèves à 15 ans, traite de la même manière les pays qui organisent un enseignement obligatoire jusqu’à 18 ans comme la Belgique et la France et des pays qui ne présentent aux tests que la moitié d’une génération (sans compter les pays qui ne donnent aucune indication sur les pourcentages de scolarisation…).
Des approximations dans la traduction de certaines questions ont également été mises au jour et peuvent également occasionner des biais.
Le ver est désormais dans le fruit, et il est temps de s’interroger : PISA fait-il du bien à notre système éducatif ou lui cause-t-il du tort ? PISA repose-t-il sur des bases objectives solides ou compare-t-il des pommes et des poires ? Ce classement n’est-il pas devenu au fil du temps un vecteur de défaitisme, de critiques négatives, de justification d’un fantasmé nivèlement par le bas fondé sur un mécanisme autour duquel rôde désormais une suspicion légitime.
A l’instar de ce que demande une lettre ouverte publiée dans The Guardian le 6 mai 2014 et signée par de nombreux universitaires, une analyse sérieuse des critiques émises par les milieux universitaires sur le classement PISA est devenue indispensable et devrait se doubler d’une suspension desdits tests en attendant les résultats. En outre, la pertinence d’une comparaison entre systèmes éducatifs est elle-même à interroger…
Benoit Wautelet
Maitre-assistant en langue française HELHa (Braine-le-Comte)
http://www.lalibre.be/debats/opinions/la-tour-de-pisa-536fa0753570102383c4f81e