Vices et vertus de l’évaluation par les pairs

Pige pour le n°5 de l’hebdomadaire Vrai­ment

Les cher­cheurs rêvent tous d’être à l’origine d’une décou­verte majeure. Pour s’assurer de la vali­di­té de leurs tra­vaux, les articles sont sou­mis à l’expertise de leurs confrères. Ce sys­tème, qui repose sur des  cri­tères scien­ti­fiques autant que sur un prin­cipe de confiance, n’est pas exempt de failles.

C’était en février 2014. La très sérieuse mai­son d’édition alle­mande de publi­ca­tions scien­ti­fiques Sprin­ger annon­çait dans un com­mu­ni­qué le retrait de ses archives de seize articles consa­crés à des tra­vaux qui n’avaient de scien­ti­fiques que le nom. Tota­le­ment dénuées de sens mais pré­sen­tant l’aspect et le jar­gon des publi­ca­tions spé­cia­li­sées, cita­tions et réfé­rences à l’appui, ces « études » avaient pour­tant figu­ré au pro­gramme de confé­rences sur les sciences de l’informatique et l’ingénierie entre 2008 et 2013, avant d’être publiées. Un « tis­su d’absurdités » de l’aveu même de l’éditeur, aler­té par Cyril Lab­bé, un infor­ma­ti­cien fran­çais de l’université Joseph-Fou­rier à Gre­noble (Isère) prompt à débus­quer les fausses enquêtes géné­rées par infor­ma­tique. « Mal­heu­reu­se­ment, l’édition scien­ti­fique n’est pas plus immu­ni­sée contre la fraude que contre les erreurs », avait recon­nu Sprin­ger.

Com­ment l’absurdité des pro­pos conte­nus dans ces publi­ca­tions a-t-elle pu échap­per à l’expertise de spé­cia­listes ? Depuis les années 1950, le monde de la recherche s’est orga­ni­sé col­lec­ti­ve­ment, à l’échelle inter­na­tio­nale, pour se pré­mu­nir contre les annonces far­fe­lues, un peu trop opti­mistes, voire clai­re­ment erro­nées. Face à la mul­ti­pli­ca­tion des champs d’études, un sys­tème a été ins­tau­ré au sein des revues et des confé­rences scien­ti­fiques spé­cia­li­sées, qui repose sur l’évaluation par ses pairs… et la confiance.

Pour la plu­part des dis­ci­plines, les revues scien­ti­fiques, telle la pres­ti­gieuse Nature, sont le lieu pri­vi­lé­gié pour expo­ser ses théo­ries. Le cher­cheur sou­met une pre­mière ver­sion de son article à l’éditeur de la publi­ca­tion, qui charge un comi­té d’experts, appe­lés relec­teurs, d’évaluer rigou­reu­se­ment la qua­li­té et la nou­veau­té de la recherche. Après ana­lyse, chaque relec­teur rend un rap­port. Sur la base de ces avis, l’éditeur choi­sit soit de refu­ser l’article, soit de l’accepter sous réserve de modi­fi­ca­tions mineures ou majeures.

Dans ce der­nier cas, un cycle d’allers et retours s’enclenche dans le but d’enrichir la qua­li­té de l’article. Ces échanges peuvent durer des semaines, voire plu­sieurs mois et néces­si­ter des expé­ri­men­ta­tions com­plé­men­taires.

Dans le domaine de l’informatique, les scien­ti­fiques cherchent tout autant à être publiés mais « le plus impor­tant est de pré­sen­ter ses tra­vaux dans des confé­rences inter­na­tio­nales, comme la Constraint Pro­gram­ming Confe­rence (CP) ou l’International Joint Confe­rence on Arti­fi­cial Intel­li­gence (IJCAI), raconte Char­lotte Tru­chet, maître de confé­rences à l’université de Nantes (Loire-Atlan­tique) et membre du comi­té scien­ti­fique de la CP Confe­rence. Contrai­re­ment aux édi­teurs, les orga­ni­sa­teurs de confé­rences n’ont pas le temps de mul­ti­plier les échanges avec l’auteur. Le comi­té scien­ti­fique prend sa déci­sion après une à deux semaines de dis­cus­sions. S’il est accep­té, l’article sera expo­sé puis publié dans les actes de la confé­rence. »

Préserver l’anonymat des relecteurs

Ce mode d’évaluation échappe aux uni­ver­si­tés, ins­ti­tuts de recherche ou entre­prises pour les­quels tra­vaillent les cher­cheurs afin que les seuls cri­tères pure­ment scien­ti­fiques soient pris en compte.

Pour évi­ter les conflits d’intérêts, la plu­part des revues ne trans­mettent pas les noms des relec­teurs aux auteurs qui demandent à être publiés. Cer­taines ont même mis en place un sys­tème dit en « double aveugle ».

« Dans ce cas, le cher­cheur ne connaît pas l’identité de ses éva­lua­teurs, mais ces der­niers ignorent aus­si le nom de l’auteur tant que son article n’est pas publié », explique Chris­tine Kos­mo­pou­los, ingé­nieur de recherche au CNRS et rédac­trice en chef de la revue Cyber­géo. Un pro­cé­dé loin de faire l’unanimité. « Le double aveugle est très rare en chi­mie, sou­ligne ain­si Fran­çois-Xavier Cou­dert, char­gé de recherche du CNRS à l’institut de recherche de Chi­mie Paris et édi­teur pour la revue de chi­mie Adsorp­tion Science & Tech­no­lo­gy. Per­son­nel­le­ment, je n’y ai pas recours. Cette méthode sup­pose qu’une par­tie du contexte de la recherche ne soit pas expli­quée pour pré­ser­ver l’identité de l’auteur, ce qui est pro­blé­ma­tique pour la com­pré­hen­sion du texte. »

Chaque revue scien­ti­fique ou confé­rence fixe ses propres cri­tères de sélec­tion des relec­teurs, mais l’objectif reste de véri­fier l’originalité et la per­ti­nence du tra­vail sur la base de cri­tères scien­ti­fiques très stricts.

Un processus nécessaire mais insuffisant

Ain­si Nature, l’une des plus impor­tantes publi­ca­tions plu­ri­dis­ci­pli­naires, sou­met-elle ses relec­teurs à une série de ques­tions pré­cises : Y a-t-il des rai­sons de s’interdire de publier cet article ? La métho­do­lo­gie est-elle valide ? Les résul­tats sont-ils sta­tis­ti­que­ment fiables ? Cet article fait-il réfé­rence à la lit­té­ra­ture pré­cé­dente de manière appro­priée ? Pour Arnaud Saint-Mar­tin, socio­logue du CNRS au Centre euro­péen de socio­lo­gie et de science poli­tique à Paris et codi­rec­teur de publi­ca­tion de la revue Zil­sel, « ce pro­ces­sus d’évaluation par les pairs est fon­da­men­tal. Il demande, en tant que relec­teur, un impor­tant tra­vail de contre-argu­men­ta­tion pour jus­ti­fier le refus d’une publi­ca­tion – ce qui arrive fré­quem­ment – , mais il est essen­tiel. » La publi­ca­tion d’études fan­tasques par Sprin­ger démontre les limites du pro­cé­dé d’évaluation, basé sur la confiance. Au sein des confé­rences qui les avaient sélec­tion- nées, « le pro­ces­sus de “revue par les pairs” a été très mal fait. Ou bien les relec­teurs n’étaient pas com­pé­tents et se sont lais­sés impres­sion­ner par le jar­gon », avan­çait en 2014 Cyril Lab­bé, l’informaticien fran­çais à l’origine de la décou­verte de la super­che­rie. « Ce n’est pas parce qu’un tra­vail a été éva­lué par des pairs qu’il est for­cé­ment juste. C’est un pre­mier crible, une pre­mière étape de vali­da­tion néces­saire, mais qui n’est pas suf­fi­sante pour assu­rer la vali­di­té d’une recherche », explique Fran­çois- Xavier Cou­dert, l’éditeur d’Adsorption Science & Tech­no­lo­gy. Il fau­dra, entre autres, que les tra­vaux soient repris par d’autres équipes de cher­cheurs pour les confir­mer et exclure ain­si toute erreur, volon­taire ou invo­lon­taire. Mais la repro­duc­tion d’une expé­rience peut s’avérer dif­fi­cile, voire impos­sible dans cer­taines dis­ci­plines. Les scien­ti­fiques doivent régu­liè­re­ment faire paraître des articles pour démon­trer la réa­li­té et le sérieux de leurs recherches. L’évolution de leur car­rière et l’obtention de finan­ce­ments dépendent sou­vent de ces paru­tions et de la noto­rié­té des revues qui les accueillent. L’expression du socio­logue amé­ri­cain Cla­rence Marsh Case, « publish or per­ish » (« publier ou périr »), qui remonte à 1917, reste régu­liè­re­ment usi­tée pour poin­ter à la fois la néces­si­té de publier mais aus­si les effets per­vers de ce mode d’évaluation par ses pairs. Pour Fran­çois-Xavier Cou­dert, ce sys­tème « génère des frus­tra­tions, mais glo­ba­le­ment, c’est le moins mau­vais que l’on ait trou­vé. »

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.