Navigation – Plan du site

Paul Servais (dir.), L'évaluation de la recherche en sciences humaines et sociales. Regards de chercheurs

Fanny Jedlicki
L'évaluation de la recherche en sciences humaines et sociales
Paul Servais (dir.), L'évaluation de la recherche en sciences humaines et sociales. Regards de chercheurs, Academia, coll. « Intellection », 2011, 298 p., ISBN : 978-2-8061-0023-8.
Haut de page

Texte intégral

  • 1  Institut d’Analyse du Changement dans l’Histoire et les Sociétés Contemporaines.
  • 2  Les auteurs sont essentiellement sociologues et historiens, mais aussi psychopédagogues et anthrop (...)
  • 3  La secrétaire générale du Fonds de la Recherche Scientifique F.R.S.-FNR (Belgique), le vice-présid (...)
  • 4  Les différents systèmes d’évaluation évoqués d’une contribution à l’autre ne sont pas strictement (...)

1Cet ouvrage collectif rassemble des textes issus de communications effectuées lors de deux journées de réflexion sur l’évaluation de la recherche en sciences humaines et sociales, qui se sont tenues en novembre 2009 à l’université catholique de Louvain, à l’initiative des chercheurs de l’IACHSC1. L’un de ses apports consiste en la multiplicité de points de vue qui y sont déclinés, ancrés dans des espaces géographiques, des positions disciplinaires2 et/ou institutionnelles variées : si la majorité des intervenants sont des enseignant(e)s-chercheur(e)s ou des chercheur(e)s, certains d’entre eux occupent également des postes clés relatifs au financement de la recherche donc à l’évaluation des « meilleurs » projets3. Aussi plusieurs dispositifs d’évaluation de la recherche en sciences humaines et sociales sont abordés : en lien avec le classement des revues, les publications en général, relatifs à la quête de financement, ou encore plus marginalement à l’évaluation des laboratoires4... Ce qui caractérise évidemment cet ensemble de contributions réside dans le périmètre disciplinaire choisi : les sciences humaines et sociales. Quelles questions pose l’introduction accrue de dispositifs d’évaluation majoritairement quantitatifs, prévus d’abord pour les sciences naturelles et techniques, à des disciplines en grande partie qualitatives, dans un contexte général de réduction des financements publics alloués à la recherche et aux universités engagées dans une compétition internationale ? A la mesure de la diversité des quatorze contributions proposées, les lecteurs soucieux de saisir l’ensemble des rouages, enjeux et effets de l’évaluation de nos disciplines, peuvent être saisis de vertige. Pour autant, détracteurs comme défenseurs du système évaluatif tel qu’il est mis -et se met, via l’évaluation individuelle des enseignant(e)s-chercheur(e)s- en place, comme plus largement l’ensemble de la communauté scientifique, y trouveront réflexions et argumentations, basées sur des recherches comme des expériences, plus ou moins étayées. De multiples références bibliographiques réjouiront en outre celles et ceux qui prennent ce débat à cœur et veulent asseoir leur opinion sur des travaux et réflexions déjà élaborés. Plutôt que de suivre le fil de l’ouvrage, organisé en trois grandes sections, assorties d’une préface, j’en proposerai un compte-rendu non exhaustif, car ciblé, privilégiant la sociologie et l’anthropologie en contexte francophone ainsi que les apports réflexifs critiques.

  • 5  Publié annuellement depuis 2003, décliné par disciplines scientifiques (dont SHS) depuis 2006.
  • 6  Le classement des meilleures universités est établi sur un indice constitué de 6 valeurs : 1/ les (...)
  • 7  « L’indice h d’un chercheur est défini comme étant égal au nombre d’articles n qu’il a publié et q (...)
  • 8  Néanmoins selon les travaux de Gingras et de ses collègues, les classements de la production scien (...)

2L’évaluation de la recherche apparaît en France dans un contexte marqué par une série de lois et dispositifs apparus entre 2001 et 2007 (LOLF, RGPP et LRU), évoqués dans plusieurs contributions, en particulier dans celle de Philippe Martin (historien et vice président recherche de Nancy 2, université essentiellement liée aux SHS) qui explicite la manière dont son université tente de « faire au mieux » pour répartir des moyens limités et piloter la recherche de son établissement. La « rationalisation » des financements (autrement dit la diminution des subsides publics et le strict contrôle de leur usage) repose en grande partie sur l’évaluation des performances des unités de recherche comme des chercheurs. Aux « inputs » (investissements financiers, ressources humaines mobilisées) doivent correspondre des « outputs » (résultats ou rendements obtenus à l’issue du projet, productions savantes), vocables gestionnaires qui se banalisent dans les dossiers de financement de projets scientifiques. Or le dispositif d’évaluation des laboratoires comme des enseignant(e)s-chercheur(e)s, basés sur leurs publications, donc sur le classement des revues, trouve son inspiration dans le modèle anglo-saxon et dans une plus large dynamique internationale. Le processus de Bologne et la stratégie de Lisbonne sont peu, sinon pas, évoqués dans cet ouvrage : une contribution explorant les enjeux recouvrant l’instauration de ces nouvelles règles, dans le cadre des politiques européennes, comme les étapes de l’élaboration et de la diffusion de l’idéologie évaluative qui les accompagnent aurait été bienvenue. Néanmoins, les lecteurs comprennent que le cœur du dispositif d’évaluation est lié aux critères du classement de Shanghai5, censé mesurer le rayonnement international des établissements d’enseignement et de recherche supérieurs. Les 6 indicateurs de ce classement6, devenu l’étalon-or des dirigeants d’établissements, sont passés en revue de façon critique dans deux contributions (celles de Véronique Halloin et de Gaëtan du Roy et Caroline Sappia à partir des travaux d’Yves Gingras). L’un de ces indicateurs est le fameux index h7. Là encore les auteurs précités soulignent et explicitent les effets inéquitables et néfastes pour la recherche, en SHS en particulier, induits par cette bibliométrie-là. Si la quantification en tant que telle n’est pas discutée, ni véritablement le principe de l’évaluation (Gingras considérant que l’évaluation n’est pas un problème en soi mais que les indices retenus actuellement ne reposent pas sur de bons indicateurs), c’est en revanche une objectivation des pratiques en cours qui est menée : les bases de données bibliométriques en usage (Web of Sciences qui existe depuis 1960 et appartient à la société commerciale Thomson Reuters, et Elsevier Scopus, apparu en 20048) favoriseraient très fortement les « sciences de la nature et l’ingénierie », comme les productions en anglais, donc britanniques et étatsuniennes, sous-estimant les publications réellement produites, notamment dans le secteur SHS, et en particulier francophones.

3Les précurseurs en matière évaluative sont ainsi nord-américains. Force est de constater que nos collègues anglo-saxons participant à cet ouvrage adhèrent plus que les autres contributeurs, belges et français, aux principes, enjeux et fonctionnement du système évaluatif. Le sociologue Herbert L. Smith, dresse un tableau succinct et acritique d’un « modèle américain » académique. Pointant certaines failles et dérives (en premier lieu, les énormes disparités salariales) d’un système basé sur la croyance en l’autorégulation du marché des « meilleurs enseignants », il décrit avec enthousiasme une recherche basée sur le « pluralisme et la décentralisation » liée au nombre historiquement élevé d’institutions universitaires publiques et privées, reposant sur une « compétition amicale » entre établissements. L’université américaine apparaît sous sa plume légère comme « une jungle assez paisible », dont les étudiants sont les premiers financeurs, ce qui assurerait l’engagement pédagogique des enseignant(e)s-chercheur(e)s en dépit des pressions pesant sur leur production scientifique. Cette approche, optimiste, des dispositifs d’évaluation se retrouve dans la contribution prêtée à Chad Gaffield, décrivant l’action d’un organisme public canadien, le CRSH, consacré aux crédits alloués à la recherche en sciences humaines. Afin de rendre un « service efficace et rentable » à l’ensemble de la société canadienne, l’organisme lutterait activement pour la reconnaissance des retombées, économiques notamment, des recherches en sciences humaines sur la société canadienne. Il œuvre donc à la légitimation institutionnelle de ces disciplines au Canada et c’est dans cette optique qu’est mise en place et récemment réformée, une politique évaluative des projets financés, dans un idéal mélioratif et promotionnel constant. Là encore, la contribution est teintée d’une adhésion enthousiaste, dont le pendant est l’absence de mise en perspective critique : ces contributeurs seraient-ils plutôt bien positionnés dans l’ordre darwinien de la « jungle » académique ?

  • 9  Dans l’attribution des bourses doctorales, dans les procédures de qualification et de recrutement (...)

4Si la logique évaluative quantitative et gestionnaire est davantage remise en question par les chercheurs francophones, on retrouve dans l’ensemble des contributions proposées la volonté d’améliorer les dispositifs. Autrement dit, la volonté de chercher et de proposer les meilleurs, sinon les bons, principes et indicateurs fondant ce qui serait donc une « bonne évaluation », qui serait intrinsèquement liée, quelle que soit la politique scientifique mise en place, à l’organisation et à la régulation de notre travail9.

5Ainsi, l’évaluation collégiale, menée par des pairs, est préférée à celle menée par des comités d’experts. Ce point est d’autant plus important, qu’est soulignée la tendance à l’externalisation de l’évaluation à des agences, ou des experts internationaux, etc…. C’est justement au fonctionnement des comités d’évaluation, constitués de pairs, que s’intéresse Michèle Lamont. Sa contribution, passionnante, est tirée d’une recherche qualitative menée auprès de membres de comités pluridisciplinaires nord-américains jugeant des demandes de subvention de projets de recherche. Concevant l’évaluation comme un « processus émotionnel, moral et social », l’auteur (se) demande pourquoi « cela marche ». C’est-à-dire qu’est-ce qui explique que les évaluateurs, enseignant(e)s-chercheur(e)s et chercheurs, participent au dispositif d’évaluation de bonne foi, donc en y adhérant ? Qu’est-ce qui permet que les évaluateurs pensent accomplir « bien » leur travail, autrement dit qu’ils se croient capables de reconnaître et de voter, équitablement, pour les « meilleurs » dossiers ? Son analyse dégage ce que seraient les traits constitutifs du « bon évaluateur » comme les règles de fonctionnement d’un « bon comité » d’évaluation, c’est-à-dire reconnu comme une instance légitime par ses membres. Ce qui n’empêche en rien le déploiement de stratégies politiques lors des discussions et votes effectués en commission. Elles aussi parviennent à jouir des effets positifs de la croyance collective en un dispositif légitime, car légitimé par ceux qui en forment l’un des rouages essentiels. Enfin, Michèle Lamont évoque l’ordre social sur lequel repose l’univers académique, où les positions de genre, de classes, de « races », et académiques sont évidemment inégales. Cet ordre hiérarchique, rarement nommé dans le milieu, structure bien évidemment celui-ci comme le jeu et ses règles, celles de l’évaluation y comprises. Jean-Pierre Olivier de Sardan interroge quant à lui les failles du système évaluatif au regard de ce qu’il nomme la plus « qualitative des disciplines », l’anthropologie. Il montre combien la démarche anthropologique fondée sur une longue immersion sur le terrain, comme le type de données récoltées et le format de diffusion des résultats –le livre, préféré aux articles- ne sont pas en phase avec les indicateurs et la logique quantitative en vigueur. Il prône pour une évaluation qualitative, ajustée à la réalité de la discipline, en nous rappelant le principe premier qui devrait sursoir à tout dispositif d’évaluation : « un produit scientifique ne peut être évalué sérieusement sans assurer une place de choix dans cette évaluation aux conditions dans lesquelles les données sont produites, mises en forme et mises en arguments » (p. 233). A cet élément qui devrait être central dans tout préambule concernant l’évaluation, deux psychopédagogues, Jean-Marie De Ketele et Léopold Paquay, en ajoutent un autre. Ils rappellent en effet la définition de toute recherche scientifique : produire des données et réflexions, des connaissances nouvelles et provisoires. Or pour être de « qualité » (ce que toute évaluation est censée certifier), les productions de la recherche se doivent d’être scientifiquement fondées. Aussi la rigueur méthodologique, fondée sur trois critères – la pertinence, la validité et la fiabilité - est indispensable, à l’étape de conceptualisation, comme à celle du recueil des données et à celle du traitement de ces dernières.

6Le système de l’évaluation a évidemment des effets sur l’univers académique et sur les carrières des enseignant(e)s-chercheur(e)s. Plusieurs auteurs soulignent la tendance à une standardisation de la recherche, qui, au-delà de l’enfermement dans « la commande » - les financements comme l’institution qui les procure - se ferait moins originale, négligeant certains objets, préférant les protocoles courts aux recherches longues, quitte à écraser les « courants minoritaires » existants dans chaque discipline. L’évaluation des publications, telle qu’elle est pratiquée amènent les chercheurs à délaisser la rédaction d’ouvrages pour préférer la multiplication d’articles, quitte à s’auto-plagier comme à se citer eux-mêmes pour augmenter leur ranking. Les classements des revues entraînent la disparition de certains supports, au mépris du travail et de l’investissement des collègues, découragés par le déclassement dont font l’objet leurs titres. Par ailleurs, la non prise en compte dans l’évaluation des performances des enseignant(e)-chercheur(e)s de leurs activités de colloques et séminaires, dévalorisées dans le dispositif, participe à la transformation d’un métier « où il y a [pourtant] besoin de se rencontrer » (Béaur, p. 179).

  • 10  Plus encore : la qualité de la production scientifique est ramenée à la qualité du producteur, c’e (...)

7Enfin, dans la continuité des travaux menés en sociologie du travail, en ergonomie et en clinique du travail,  les contributions des sociologues Alain Eraly (ULB) et de Thomas Périlleux (UCL) pointent les effets néfastes du système d’évaluation sur la santé morale des chercheur(e)s et particulièrement des enseignant(e)s-chercheur(e)s. Il s’agit tout d’abord de la tendance des dispositifs évaluatifs à confondre le travail et les produits du travail10. Or juger des derniers pour rendre compte du premier tend à cristalliser le « malaise » sinon la souffrance des salariés. Il est en effet impossible de saisir totalement la réalité du travail vivant, de calculer celui-ci, donc de l’évaluer… or l’évaluation est vécue comme particulièrement injuste lorsqu’elle passe à côté des efforts réellement consentis par les travailleurs. Ainsi en va-t-il de l’évaluation des performances individuelles dans la recherche, prenant comme support les publications et les indicateurs précités, qui vont à contre-courant d’un métier, fait en partie de « tâtonnements, d’échecs [et de] découvertes provisoires dans l’incertitude ; un travail d’arpentage de chemins tortueux, qui ne peuvent être planifiés à l’avance » (Périlleux, p. 43), qui rimerait donc avec une temporalité longue, voire avec la possibilité de ne pas trouver de résultats, c’est-à-dire de ne pas être en mesure d’en produire une analyse… intéressant les critères actuels. Il peut donc y avoir un déficit de reconnaissance du travail réellement effectué. Ceci s’accompagne de sentiments d’échecs, de la crainte de ne pouvoir être capable de répondre à des attentes grandissantes et continues, dans un contexte de plus en plus tendu, mais qui est nié, ignoré ou rapidement balayé comme une évidence à laquelle il faut s’adapter, ce qui entraîne des positions d’instabilité et d’insécurité, touchant particulièrement les plus jeunes et les plus précaires.

8Par ailleurs, la mise en concurrence des uns et des autres, dans un contexte d’activités tendu, fragilise les collectifs de travail, formels et informels, sapant davantage encore les structures sur lesquels les individus peuvent s’appuyer pour mener leurs différentes tâches à bien.

  • 11  Selon l’expression de Martin Benninghoff, « «Publish or perish!»: la fabrique du chercheur-entrepr (...)

9Incité à « produire toujours plus », l’enseignant-chercheur peut devenir un « entrepreneur »11 de sa carrière, quitte à mettre en place des stratégies qualifiées de cyniques, pouvant logiquement aller jusqu’au sabordage du travail effectué par d’autres. Placer un article dans une « bonne revue » est parfois un véritable combat, qui demande non seulement du temps (les délais de publication s’étendent de plus en plus) mais aussi de disposer du capital social adéquat, réparti comme on le sait de façon inéquitable. Ce qui n’empêcherait pas certains d’entre nous de souffrir du « syndrome de l’imposteur », qui pourrait se manifester à plusieurs étapes de la carrière : le recrutement dans un contexte hyper-concurrentiel, qui laisse aux marges des camarades doctorant(e)s pourtant aussi capables, être affecté à plusieurs programmes de recherche plus ou moins prestigieux sans disposer du temps nécessaire à la réalisation réelles des recherches en question, égrainer au fil de toute sa carrière un CV censé refléter la qualité d’un excellent travail scientifique, quel que soit les événements qui peuvent survenir (naissance et élevage d’un ou plusieurs enfants, maladie, incident personnel, sans compter la temporalité d’une réflexion rarement linéaire, etc.)… pour autant ces doutes se doivent d’être tus, pour ne pas entacher la réputation publique, moteur essentiel de la carrière.

  • 12  En France, avec le non-remplacement d’un fonctionnaire sur deux, le corps serait plutôt décroissan (...)

10Par ailleurs, les conditions de production de la recherche sont ignorées, au-delà même des disparités locales, par les dispositifs d’évaluation. Or au moment même où la pression sur la production scientifique est très élevée, les autres missions que doivent remplir les enseignant(e)s-chercheur(e)s (l’enseignement, la participation à la vie collective – que ce soit sur le plan pédagogique ou administratif) dans leurs établissements ne sont ni redéfinies ni revues à la baisse. Au contraire, la gestionnarisation de la recherche entraîne une hausse des activités administratives (prospection de contrats, dossiers à rallonge à remplir, activités de reporting, etc…). Pris entre des injonctions contradictoires, à « corps professoral constant » (p. 28)12, les enseignant(e)s-chercheur(e)s sont incités à être les meilleurs partout : ils doivent mener au bout davantage de doctorants, produire davantage d’articles dans des revues classées, signer davantage de contrats de recherche internationaux, etc., tout en assumant leurs activités d’enseignements et collectives de façon à rester attractifs vis-à-vis de leurs étudiants, et pouvoir ainsi conserver leurs « meilleures » filières et leurs « meilleurs » diplômes (sanctionnés par les évaluations AERES). Niées par l’institution ou simplement évoquées, ces tensions sont donc prises en charge par les individus, tandis que les collectifs sont affaiblis par la compétition interne et la dégradation des conditions d’emploi (à peine évoquées dans l’ouvrage) : Thomas Périlleux évoque le stress, la frustration, l’amertume, la perplexité et le désarroi ou encore la « souffrance académique » qui se répandent dans les établissements d’enseignement supérieur.  Enfin, la pression sur la recherche tend à amener les enseignant(e)s-chercheur(e)s à négliger d’autres missions, telles que l’exercice de fonctions administratives liées à la gouvernance de leurs établissements d’exercice. Ceci alors même que la LRU accorde des pouvoirs étendus aux présidents d’université et que les organes collectifs de régulation semblent plus que jamais nécessaires à la « démocratie académique ».

  • 13  Ainsi l’ASES – dont l’auteure de la note critique est membre- organise une journée de débats sur l (...)

11Ces contributions montrent en définitive, via différents angles de vue argumentaires, combien les dispositifs d’évaluation actuellement prédominants sont inadéquats pour la recherche en sciences humaines et sociales ; ils montrent également que l’élection à la position du meilleur chercheur repose sur un jeu de dupes, inégalitaire, voire dont la légitimité est remise en cause dès lors que sont considérées réellement les différentes missions et tâches qui doivent être effectuées comme le cadre dans lequel ces dernières doivent être menées. Pour autant, le sociologue qui souhaiterait augmenter son h index, pour asseoir sa carrière, comprend qu’il a tout intérêt à se spécialiser en sociobiologie ou neuro-sociologie, afin de publier, évidemment en anglais et plutôt individuellement (ou seulement en tant que premier auteur), plusieurs articles relatant différents pans de sa recherche, dans les revues américaines Nature ou Science. A moins qu’il ne vaille mieux pour lui et l’avenir de nos institutions académiques comme de la recherche en SHS, exercer sa vigilance et ses capacités d’analyse, de réflexion et d’action pour remettre en cause collectivement des dispositifs d’évaluation qui ne sont pas encore totalement adoptés en France13.

Haut de page

Notes

1  Institut d’Analyse du Changement dans l’Histoire et les Sociétés Contemporaines.

2  Les auteurs sont essentiellement sociologues et historiens, mais aussi psychopédagogues et anthropologue. Si les collègues juristes, économistes et littéraires notamment sont absents, leurs disciplines sont néanmoins évoquées dans l’ouvrage.

3  La secrétaire générale du Fonds de la Recherche Scientifique F.R.S.-FNR (Belgique), le vice-président recherche de l’université de Nancy 2, et Chad Gaffield dirigeant le Conseil de Recherches en Sciences Humaines canadien (CRSH) – ils sont tous trois également enseignants-chercheurs ou docteurs.

4  Les différents systèmes d’évaluation évoqués d’une contribution à l’autre ne sont pas strictement les mêmes ; ils relèvent cependant des mêmes logiques, aussi sera-t-il question dans cette note critique indifféremment du « dispositif d’évaluation » ou du « système d’évaluation », déclinés parfois au pluriel.

5  Publié annuellement depuis 2003, décliné par disciplines scientifiques (dont SHS) depuis 2006.

6  Le classement des meilleures universités est établi sur un indice constitué de 6 valeurs : 1/ les membres ayant reçu un prix Nobel ou la médaille Fields pour les mathématiques depuis 1901 ; 2/ le nombre de chercheurs se trouvant parmi les plus cités dans les bases de Thomson Reuters ; 3/ le nombre d’articles issus de l’institution publiés dans Nature et Sciences ; 4/ le nombre d’articles repris sur le Web of Science (Science Citation Index ou le Arts & Humanities Citation Index – tous deux émanant de Thomson Reuters) ; 5/ nombre d’anciens étudiants ayant reçu un Nobel ou une médaille Fields ; 6/ ajustement des données en fonction de la taille de l’institution. Les 4 premiers critères comptant pour 20 %, les deux derniers 10 %.

7  « L’indice h d’un chercheur est défini comme étant égal au nombre d’articles n qu’il a publié et qui ont reçu au moins n citations (pour une période donnée) » (Gingras, p. 272).

8  Néanmoins selon les travaux de Gingras et de ses collègues, les classements de la production scientifique par pays sont très proches quelle que soit la base de données choisie (ibid., p. 270).

9  Dans l’attribution des bourses doctorales, dans les procédures de qualification et de recrutement des enseignant(e)s-chercheur(e)s et chercheur(e)s, dans la production des résultats, notamment via la publication d’articles dans des revues classées rang A…

10  Plus encore : la qualité de la production scientifique est ramenée à la qualité du producteur, c’est-à-dire à la personne. C’est donc celle-ci qui est entièrement exposée. Ce, dans un univers où le narcissisme, lié à la nature d’activités culturelles « nobles », des un(e)s et des autres est particulièrement présent, fragilisant davantage les individus en cas de « mauvaise » évaluation…

11  Selon l’expression de Martin Benninghoff, « «Publish or perish!»: la fabrique du chercheur-entrepreneur », Carnets de bord, n°17, 2011, pp. 47-58. Article accessible ici (http://sociolog.cluster003.ovh.net/IMG/pdf/La_fabrique_du_chercheur-entrepreneur_Benninghoff.pdf)

12  En France, avec le non-remplacement d’un fonctionnaire sur deux, le corps serait plutôt décroissant, sinon atomisé en de multiples statuts, inégalitaires, entre les personnels.

13  Ainsi l’ASES – dont l’auteure de la note critique est membre- organise une journée de débats sur l’évaluation individuelle des enseignant(e)s-chercheur(e)s le samedi 9 juin 2012 ; les interventions et débats seront ensuite mis à disposition dans le bulletin de l’ASES. Informations ici (http://sociolog.cluster003.ovh.net/spip.php?article85&lang=fr)

Haut de page

Pour citer cet article

Référence électronique

Fanny Jedlicki, « Paul Servais (dir.), L'évaluation de la recherche en sciences humaines et sociales. Regards de chercheurs », Lectures [En ligne], Les notes critiques, 2012, mis en ligne le 24 avril 2012, consulté le 09 décembre 2016. URL : http://lectures.revues.org/8160

Haut de page

Rédacteur

Fanny Jedlicki

Maîtresse de conférences en sociologie, Université - IUT du Havre, UMR IDEES – CIRTAI, chercheure associée à l'URMIS

Haut de page

Droits d’auteur

© Lectures - Toute reproduction interdite sans autorisation explicite de la rédaction / Any replication is submitted to the authorization of the editors

Haut de page