Skip to navigation – Site map

HomeContentsLes comptes rendus2012Séverine Louvel, « L'évaluation d...

Séverine Louvel, « L'évaluation de la recherche : pour une réouverture des controverses », Quaderni, n° 77, hiver 2011-2012

Emilien Schultz
L'évaluation de la recherche : pour une réouverture des controverses
Séverine Louvel (dir.), « L'évaluation de la recherche : pour une réouverture des controverses », Quaderni, n° 77, hiver 2011-2012, 2012, 130 p., Maison des Sciences de l'Homme, ISBN : 978-2-7351-1406-1.
Top of page

Full text

1L’éclairage donné à l’évaluation de la recherche et de l’enseignement supérieur en France depuis une dizaine d’années autour a conduit à de nombreuses prises de positions. Création de l’Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur (AERES) ou publicisation des classements internationaux, autant de sujet qui ont focalisé l’attention sur les dispositifs socio-techniques d’évaluation. Parce que ceux-ci contribuent à transformer les pratiques, de manière directe par les décideurs s'y réfèrent ou de manière indirecte par la modification des normes professionnelles, les dispositifs d’évaluation deviennent l’objet de controverses à la fois sur leurs objectifs affichés et sur leurs effets réels.

2Ce dossier de la revue consacrée à la communication Quaderni dirigé par Séverine Louvel (qui a consacré une partie de ses travaux aux questions d’évaluation de l’enseignement supérieur et de recherche, ainsi qu’à l’organisation de la recherche) rassemble des contributions sur l’évaluation comme technologie de « pilotage à distance » en prenant la recherche pour son caractère exemplaire des transformations à l’œuvre. Le choix effectué pour ce dossier privilégie des analyses empiriques sur la constitution de dispositif d’évaluation (le cas des listes de classement des revues par l’AERES en SHS et l’analyse historique d’un classement d’écoles dans un journal français) et la réception de ces dispositifs d’évaluation par les professionnels dans son ambivalence (ambivalence entre évaluation et consultance, ou entre qualité prescrite et qualité souhaitable). Comme il est toujours délicat de présenter un dossier thématique dans son ensemble, chacune des contributions sera brièvement présentée et discutée.

3« Rendre public l’évaluation des SHS : les controverses sur les listes de revues de l’AERES », (D. Pontille et D. Torny). L’évaluation réalisée par l’AERES des laboratoires français mobilise le concept de taux de « chercheurs publiant », synonyme d’une qualité de production de la part du chercheur. Cela a conduit à la production d’un outil : des listes catégorisant les revues dans chaque discipline selon leur importance. Cependant, la situation controversée de l’AERES a contribué à des prises de position virulentes contre la légitimité de ces listes. Dans cet article, les auteurs retracent les débats et transformations de ces classements à partir de 2008 pour le cas des SHS, particulièrement sensibles aux transformations. Ils montrent que de telles listes préexistaient au CNRS et que leur réception au sein des SHS a été déterminée par les spécificités disciplinaires (à la fois au niveau de la production et de la réception de ces listes, établies par disciplines) : si la psychologie ou l’économie-gestion ont reconnu leur légitimité, la critique s’est élevée d’autres domaines comme en philosophie. Cet article apporte ainsi une double contribution par l'éclairage apporté sur la chronologie de cette construction : il rend compte de l’hétérogénéité des pratiques légitimes au sein des différentes disciplines et apporte une étude de cas sur la construction d’un instrument de pilotage en soulignant le rôle pris par les différents acteurs.

4« La fabrique d’un classement médiateur de l’enseignement supérieur et de la recherche : Le cas du monde de l’éducation (1976-1988) », (Julie Bouchard). Cet article propose une étude de cas sur la construction d’un des premiers classements dans l’espace médiatique. Le classement est présenté comme une réaction à l’idéologie de l’égalitarisme entre les différentes universités et écoles des années soixante-dix par un journalisme voulant offrir au lecteur la possibilité de juger par lui-même. Elle souligne le rôle qu’a joué un sociologue dans le choix de la méthode, tout en analysant les déterminants (économique, pragmatique) qui ont conduit à retenir une méthodologie discutable. Si l’étude de cas présente un fort intérêt, en soulignant les déterminants impliqués, le discours héroïque attribué au journalisme contre le discours jugé mythique des professionnels de l’Enseignement Supérieur sur l’homogénéité des EESR semble excessif (« Les classements médiatiques ont surgi au Monde de l’éducation dans les années 1970-1980 comme des dispositifs critiques conçus en dehors de toute industrialisation »), et est contredit plus loin : « [ils sont] le résultat d’un marché concurrentiel du classement qui encourage la diversité de la représentation et pas nécessairement la représentation de la diversité ».

5« Evaluation of science as consultancy ? », (S. Gülker, D. Simon, M. Torka). Par une approche microsociologique menée à partir d’entretiens sur une procédure d’évaluation allemande, les auteurs proposent de caractériser le mode d’évaluation constitué d’une visite par un comité d’évaluateurs dans l’Institut selon sa tension entre sa dimension d’évaluation au sens de notation et sa dimension d’évaluation au sens de l’audit (assess and advise) : « the decision wether to accept advice within a consultancy situation remains with the advice seeker, whereas in an assessment situation it is made by the evaluator ». Les auteurs observent que « that not only the evaluators, but also the institute representatives accord evaluations a meaning that goes beyond a purely externally forced monitoring situation ». Cette distinction entre assess et advise doit cependant être creusée, ce que ne permet pas la longueur limitée de l’article : ces deux aspects sont liés, et interviennent à des niveaux différents.

6« Les dispositifs d’évaluation de l’enseignement supérieur et de la recherche : quel devenir pour des établissements singuliers ? », (L. Gastaldi et C. Lanciano-Lorandat). Cet article propose d‘analyser l’application des critères d’évaluation de l’AERES sur le cas singulier de l’ESPCI. Au centre de l’article, les auteurs opposent deux formes d’évaluation : celle relevant de la « subjectivité substantielle » (SS), entreprise en vue d’informer un tiers dans un processus d’arbitrage, et celle relevant de « l’objectivité mécanique » (OM) qui a « comme objectif d’instaurer une régulation par le marché et une compétition entre établissements ». Si la présentation de la spécificité de l’ESPCI aux différents dispositifs d’évaluation est claire et informative sur les évolutions du système, la démonstration de l’article manque à convaincre de la pertinence des deux notions présentées. Les deux modes d’évaluation sont d’abord présentés comme relevant de mécanismes différents, ils sont ensuite définis par leurs utilisateurs : « Dans les dispositifs de SS, ces usagers sont les pouvoirs publics […] Dans les dispositifs OM ce sont des consommateurs au sens large ». D’autre part, certaines affirmations gagneraient à voir leur portée réduite, en particulier la présentation quasi-téléonomique de la multiplication des classements.

7« Entre qualité prescrite et qualité souhaitable : l’ambivalence des chercheurs en communication face à l’évaluation de leurs publications », (M. Vanholsbeeck). Comment les chercheurs perçoivent et s’approprient les exigences de qualité relatives à l’évaluation de leurs publications ? Cette question est abordée par l’auteur à travers des entretiens menés au sein de la communauté belge des chercheurs en communication à travers deux entrées : la qualité prescrite par les procédures d’évaluation et la qualité souhaitable par eux-mêmes. Si la première regroupe des observations souvent signalées (publications en grandes quantités, dans des revues internationales, de manière précoce) elle n’est cependant pas encore stabilisée dans des scripts de comportement explicites « et laisse le champ libre à une manifestation d’attitude ». La position sur la qualité souhaitable par contre est ambivalente, souvent pour dénoncer les dérives possibles des critères, mais rarement en opposition radicale avec la qualité souhaitée. Cette ambivalence se résout selon l’auteur « dans une ‘qualité en actes’composites, qui ‘bricole’avec les qualités prescrites et souhaitables ». Si l’article est intéressant à lire car présente la manière dont les chercheurs abordent les critères, la conclusion manque de force, probablement en raison de l'échantillon restreint d'interrogés.

8« Les chercheurs et la programmation de la recherche : du discours stratégique à la construction de sens », (M. Hubert, F. Chateauraynaud, J-M Fourniau). Ce dernier article ouvre le dossier en prenant un objet dépassant l’évaluation : la programmation de la recherche. Prolongeant des travaux récents sur le financement par projets, il propose de replacer le chercheur dans son action de donneur de sens aux injonctions de performance et à l’intensification de la programmation vécues. Les auteurs insistent sur l’analyse faite par les acteurs des incohérences des politiques scientifiques qui s’opposerait à un simple rejet qui opposerait une « science pour l’argent » d’une « science pour le savoir ». Ils en tirent de la diversité des discours que les interprétations en termes de stratégies de démarcation (dont naît la figure du chercheur entrepreneur) « surestime la rationalité stratégique des chercheurs et l’intelligibilité des transformations qui traversent la recherche scientifique ». L’approche suggérée, bien qu’invitant certaines critiques sur la généralité de certaines affirmations, invite à un programme d’analyse des instruments de pilotage centré sur le sens donné par l’acteur qui ne peut qu’être fertile.

9L'objectif du numéro d'apporter un éclairage empirique à distance des discours convenus sur l'évaluation est rempli. La principale limite que rencontre ce dossier thématique tient dans le format trop bref des articles qui retient les auteurs de développer leurs études empiriques, qui nourrissent les contributions, et qui ouvrent de nombreuses pistes de réflexions.

Top of page

References

Electronic reference

Emilien Schultz, « Séverine Louvel, « L'évaluation de la recherche : pour une réouverture des controverses », Quaderni, n° 77, hiver 2011-2012 », Lectures [Online], Reviews, Online since 30 August 2012, connection on 29 March 2024. URL : http://journals.openedition.org/lectures/9071 ; DOI : https://doi.org/10.4000/lectures.9071

Top of page

Copyright

The text and other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search