header_031.jpg

D’importantes similitudes, vraiment ?

par Pierre Mercklé le 4 février 2013 · 8 commentaires

dans Divers

C’est Baptiste Coulmont qui a attiré mon attention sur cette note étonnante qui figure dans le dernier numéro de la revue Politix :

Information à nos lecteurs

Politix a publié en varia dans son numéro 97 (2012/1) un article de Aziz Jellab et Armelle Giglio-Jaquemot intitulé « Des profanes en justice. Les jurés d’assise, entre légitimité et contestation du pouvoir des juges ». Nous avons eu le désagrément de constater la parution simultanée, dans la revue L’Année sociologique, d’un article des mêmes auteurs intitulé « Les jurés populaires et les épreuves de la cour d’assise: entre légitimité d’un regard profane et interpellation du pouvoir des juges» (L’Année sociologique, 2012/1).

La lecture de ces deux articles révèle en effet d’importantes similitudes dans la problématique, le raisonnement, les matériaux traités et les formulations. Et pour cause: nous avons pu constater que les auteurs ont soumis le même texte en parallèle aux deux revues. Les différences qui apparaissent à la publication tiennent ainsi pour l’essentiel aux modifications demandées et aux inflexions suscitées de part et d’autre par les lecteurs des deux revues.

Nous voudrions à cette occasion rappeler que la double soumission est contraire aux règles professionnelles explicites des revues scientifiques, et plus encore l’absence de mention de la part des auteurs de la double acceptation d’un article, et son non-retrait de l’une des deux revues.

Le comité éditorial

Bien sûr, je souscris à cette règle rappelée par mes camarades de Politix, qui interdit de soumettre un même article à plusieurs revues simultanément. Mais participant activement aux travaux du comité de rédaction d’une autre revue de sciences sociales (la revue Sociologie, dirigée par Serge Paugam), je sais aussi que cette interdiction faite aux auteurs engage les comités de rédaction des revues à rendre leurs verdicts dans des délais raisonnables. Si l’évaluation d’un article « l’immobilise » pendant plus d’un an, et parfois pour finalement le rejeter, cela peut expliquer la tentation de la soumission simultanée à plusieurs revues… A Sociologie, nous essayons de tenir des délais raisonnables (ne pas dépasser quatre mois pour rendre un verdict), mais nous n’y parvenons pas toujours !

Cela étant dit, le « raté » exceptionnel révélé par la note agacée de Politix est intéressant à au moins un autre titre que celui de révélateur des tensions entre auteurs et revues. La note indique en effet que les différences observables entre les deux articles sont dues « pour l’essentiel aux modifications demandées et aux inflexions suscitées de part et d’autre par les lecteurs des deux revues. » L’explication attise la curiosité : et si on comparait précisément ces deux versions, pour voir comment chacune de ces deux revues – Politix d’un côté, et donc L’Année sociologique de l’autre – imprime sa marque spécifique sur un texte scientifique à l’origine identique ?

Techniquement, la recherche des différences ne pose aucune difficulté particulière : il suffit de télécharger les deux versions, puis d’utiliser un outil de comparaison… Les deux textes sont disponibles sur CAIRN (en accès restreint), aux adresses suivantes :

http://www.cairn.info/revue-politix-2012-1-page-149.htm

http://www.cairn.info/revue-l-annee-sociologique-2012-1-page-143.htm

Ensuite, pour comparer ces deux versions, on peut trouver quelques outils en ligne, en général destinés à la lutte contre le plagiat, comme par exemple celui proposé sur Wikilu. Mais il y a plus simple : il suffit d’utiliser l’outil proposé pour cela à l’intérieur même de Word, et accessible en cliquant sur le bouton « Comparer » du menu « Révision ». On peut alors indiquer les emplacements des deux fichiers à comparer, et le résultat pointe toutes les différences, ici en barrant les passages qui figuraient dans la version de L’Année sociologique et en colorant en rouge ceux qui ont été ajoutés dans la version de Politix.

La première leçon, c’est que la ressemblance est réelle, mais qu’elle est loin d’être totale : les passages retirés ou ajoutés (selon que l’on se place du point de vue de L’Année sociologique ou de Politix) sont en réalité nombreux, et peuvent autoriser à considérer que les deux textes sont cousins germains, plutôt que frères jumeaux. En effet, les passages identiques dans les deux versions ont une longueur accumulée de 14.558 caractères. Et donc, la version de Politix, qui compte au total 68.512 caractères, ne comporte donc que 20% de passages qui figuraient déjà dans la version de L’Année sociologique, soit seulement 5 pages sur 25 environ. Le grand Raymond Boudon dit souvent, m’a-t-on rapporté, que chacun de ses articles ne comporte que 10% de choses nouvelles, et 90% d’éléments repris et rabâchés de ses précédents travaux. C’est peut-être pour cela que L’Année sociologique n’a pas publié une telle note d’information et semble faire preuve de plus d’indulgence ? En tout cas ici, la proportion est presque contraire à celle édictée par Boudon, l’auto-plagiat reste donc très limité.

Je vous laisse lire les deux versions, et vous faire une idée des « grandes » différences entre les deux versions. Pour s’en faire une première idée, on peut quand même utiliser un autre outil, Textalyser (gratuit et en ligne), pour une rapide analyse lexicométrique. Il en ressort que chaque version a son vocabulaire privilégié :

  • Les 15 mots beaucoup plus fréquents dans la version de L’Année sociologique que dans celle de Politix (dans l’ordre décroissant des écarts de fréquence) : légitimité ; juges ; l’égard ; socialisation ; droit ; juré ; sociale ; épreuves ; victimes ; manière ; individus ; interactions ; l’expérience ; justice ; juge.
  • Les 15 mots beaucoup plus fréquents dans la version de Politix que dans celle de L’Année sociologique (toujours dans l’ordre décroissant des écarts de fréquence) : cour ; d’assises ; délibéré ; magistrats ; moment ; présidente ; jurés ; sentiment ; débats ; juger ; ans ; assesseurs ; présidents ; n’est ; judiciaire.

Voilà pour les « grandes » différences… De mon côté, je vais m’attarder ici plutôt un instant sur les « petites » différences, celles que le comparateur de textes révèle à l’intérieur même des paragraphes, voire même des phrases… Certaines d’entre elles sont tout à fait anecdotiques, et ne s’expliquent probablement que par le goût d’un correcteur pour un mot plutôt que pour un autre :

Cette interrogation accompagnejalonne largement la relation dominée aux magistrats professionnels, dont la forte légitimité peut aussi renforcer le sentiment d’être « manipulé » que certains jurés disent avoir éprouvé.

Plus curieux, on semble avoir du côté de Politix des exigences un peu plus élevées en matière de précision des chiffres :

comme dans les affaires de viol et de mœurs qui constituent l’essentiel des crimes jugés). De fait, il s’agit moins d’aboutir à la « manifestation de la vérité » (art. 81 du Code de procédure pénale) que de se forger une opinion appelée « intime conviction ».près de 60 % des crimes jugés).

Il y a aussi les différences bizarres : au détour d’un extrait d’entretien, un accusé qui est « d’origine turque » dans L’Année sociologique devient « d’origine syrienne » dans Politix ! Plus loin, Baptiste Coulmont, très attentif aux choix des prénoms utilisés pour anonymer les enquêtés, constaterait avec étonnement qu’un « Fabien » est devenu un « Bertrand » en passant d’une revue à l’autre…

La différence suivante est plus amusante, puisqu’il y a des collègues que l’on peut visiblement citer dans une revue, mais pas dans l’autre… Ainsi de Daniel Gaxie, qui semble plus en odeur de sainteté du côté de Politix que de L’Année sociologique :

Le modèle analytique opposant experts (ou professionnels) et profanes a montré son intérêt dans des recherches traitant des rapports entre militants ou sympathisants et hommes (ou femmes) politiques. Loïc Blondiaux (2008) souligneDaniel Gaxie souligne ainsi comment cette distinction entre experts ou professionnels et profanes procède de la division sociale du travail et qu’elle doit être pensée au regard de la multiplication actuelle des dispositifs de participation . Dans une perspective assez proche, Loïc Blondiaux défend l’idée que le profane n’a de sens qu’à l’aune du rôle qu’il exerce dans une relation sociale d’autorité.

Dans le même registre, on note aussi l’apparition d’une citation d’Yves Sintomer dans Politix, alors qu’elle était absente de L’Année sociologique. Au-delà des questions de personnes, il y a des concepts qu’on n’utilise pas dans L’Année sociologique, mais qu’on peut visiblement mobiliser dans Politix, comme celui de « violence symbolique » :

Aussi, et dès lors que le juré s’installe auprès des autres jurés et des magistrats, il réalise que sa « désignation » ou « confirmationson « élection » est l’aboutissement d’un processus qui n’est pas déterminé par le seul tirage au sort. Le juré qui arrive à siéger comme juré titulaire – ou éventuellement comme juré supplémentaire, mais cette position est décevante car il assiste à La récusation incarne une violence symbolique qui rappelle aux jurés leur statut dominé, tout le procès mais ne peut délibérer qu’en cas de défaillance d’un juré titulaire, ce qui arrive rarement – a ainsi traversé plusieurs étapes et se considère souvent comme un « miraculé ».

Dans l’autre sens, des conduites qu’on qualifiera de « criminelles » dans L’Année sociologique ne sont plus que des conduites « extrêmes » dans Politix

Au total, le passage en revue des petites différences, des modifications qui se nichent au cœur des paragraphes et des phrases mêmes, ne révèle rien de scandaleux : ce n’est pas comme si, à cette échelle-là de lecture du moins, les auteurs avaient complètement tordu leur propos pour l’adapter aux attentes théoriques éventuellement divergentes des deux revues. De ce point de vue, l’apparition ou la disparition de quelques noms propres ne constitue qu’un péché véniel.

Le problème n’est donc pas dans les petites différences ; il n’est pas non plus dans les ressemblances, contrairement à ce que veut faire croire la note de Politix, puisqu’il n’y a en fait que 20% de passages communs… Et si en réalité le problème était dans les « grandes différences » : soit nous avons affaire à deux façons différentes de répondre à une même question, ce qui peut s’expliquer par une adaptation très forte aux horizons d’attente fortement différenciés des deux revues, mais alors c’est très embêtant du point de vue de la science ; soit nous avons affaire en réalité non pas à deux versions différentes d’un même article, mais bien à deux articles différents, traitant différemment de deux questions différentes. Par exemple, d’un côté avec une perspective sociologique plus prononcée, mettant l’accent sur la façon dont les institutions modèlent les interactions entre juges et jurés, et de l’autre avec une perspective plus institutionnaliste, mettant au contraire l’accent sur la façon dont ces interactions modèlent les institutions… et dans ce cas la rédaction de Politix a eu une réaction en partie infondée. C’est du moins ce qu’on peut conclure en comparant les deux versions publiées. Quant à savoir jusqu’à quel point les différences observées relèvent des « inflexions » suscitées par les comités éditoriaux respectifs, il faudrait pour le dire pouvoir comparer les versions initialement soumises… Peut-être les auteurs de l’article pourront-ils nous éclairer ? J’ai ma petite idée sur la question, plutôt indulgente pour les auteurs, mais vous, qu’en pensez-vous ?

  • email
  • Print
  • Add to favorites
  • RSS
  • Wikio FR
  • del.icio.us
  • Digg
  • Diigo
  • Google Bookmarks
  • Google Buzz

Ajouter un commentaire

{ 7 commentaires… lisez-les ci-dessous ou ajoutez un commentaire }

Olivier Rey février 5, 2013 à 8h34

Anecdote très intéressante. Nous ne sommes finalement en présence que d’une manifestation extrême de la pratique courante d’exploitation effrénée d’une même recherche pour multiplier le nombre de publications, ce qui fait totalement partie de la règle du jeu scientifique communément acceptée. Dans le domaine de l’éducation, que je parcours de façon assez systématique, il est très fréquent de lire à quelques mots près le même article dans plusieurs supports différents (communication de colloque, ouvrage, articles, chapitres d’ouvrage…) sur une période de plusieurs années. Ce n’est pas très intéressant pour le lecteur qui se rend compte, trop tard, qu’il est dans la redondance mails il paraît que cela assure la survie de revues et de collections qui n’auraient sinon pas assez de matière et que cela enrichit les CV quand on compte plus qu’on ne lit…

Répondre

Anonymous février 8, 2013 à 16h31

Ce qui m’a beaucoup intéressé dans le billet de Pierre Mercklé c’est la méthode qu’il a utilisé pour établir si, oui ou non, les deux articles se rassemblent. L’argument « fort » de Pierre Mercklé est que, puisqu’il n’y a que 20% de recouvrements entre les deux articles, on ne peut pas soutenir que les deux textes se ressemblent, voir qu’ils soient identiques. Par taux de recouvrement, il faut entendre le nombre de caractères contenus dans les passages communs aux deux articles.

La question que nous devrions nous poser est dans quelle mesure cette quantification permet véritablement à elle seule de répondre à la question de la ressemblance des deux textes.

Pour se rendre compte que la procédure adoptée par Mercklé n’est pas fiable, imaginons qu’un collègue publie un article A1 en langue française dans la revue B et, ensuite, qu’il publie l’article A2 dans une revue C, A2 étant la traduction en langue anglaise d’A1. Puisque A2 n’est que la traduction d’A1, il va de soi que, sur le fond, A1 et A2 sont le même article. Cependant, si l’on appliquait la méthode de Pierre Mercklé, nous obtiendrions un taux de recouvrement égal à 0, ce qui nous conduirait à conclure qu’A1 et A2 sont deux articles radicalement différents. La façon dont Pierre Mercklé suggère de comparer les deux textes peut donc conduire à des résultats contradictoires et dépourvus de sens.

Le cas de figure d’A1 et d’A2 peut en effet se produire pour deux textes écrits dans la même langue et ceci pour la bonne et simple raison que la même idée (ou le même ensemble d’arguments) peuvent s’exprimer avec des chaines de mots très différents. Comparer mécaniquement ces chaines de mots et leur taux de recouvrement ne peut donc pas nous dire grande chose sur la similarité substantielle de deux textes.

La méthode adoptée par Pierre Mercklé contient une deuxième faiblesse qui saute aux yeux du lecteur attentif. Admettons pour un instant que le taux de recouvrement établi par Mercklé soit vraiment un bon indicateur de la similarité des deux articles. Encore faudrait-il avoir un terme de comparaison pour déterminer la fiabilité de ce taux, nul pouvant exclure a priori que ce taux soit le fruit du hasard ou d’un biais quelconque dans l’outil de mesure. Toute procédure statistique sérieuse a en effet besoin d’un étalon pour savoir si le résultat obtenu reflète quelque chose de réel ou bien s’il n’est pas le fruit de quelques aléas contenus dans les données et/ou dans la procédure de quantification. Comment Pierre Mercklé construit-il son étalon ? Au lieu de calculer la probabilité d’observer le taux de recouvrement de 20% pour deux textes contenant un nombre X de mots, Pierre Mercklé se base sur une boutade qu’on lui aurait rapportée à propos de l’un de nos plus insignes sociologues. Le commérage se substitue ici à la significativité statistique.

La réponse que Mercklé apporte à la question de savoir si les deux articles se rassemblent ou pas repose donc sur une utilisation superficielle d’un certain type de statistique textuelle. Au lieu d’éclairer le débat, le billet de Pierre Mercklé ne peut qu’encourager les mauvaises pratiques dans l’analyse quantitative des données qualitatives. Il est toujours regrettable de cacher la superficialité du propos derrière la technicité et l’objectivité apparente du procédé.

Répondre

Pierre Mercklé février 19, 2013 à 0h11

Mon analyse a certainement plein de défauts, mais au moins je l’assume : pourquoi ne signez-vous pas vos commentaires ? J’imagine une raison possible : vous savez qu’ils sont spécieux, puisque je suggère moi-même que la quantification de la similarité ne saurait constituer une méthode suffisante pour en juger, et puisque j’invite les lecteurs à s’en faire une idée par eux-mêmes en lisant « qualitativement » les deux articles. L’avez-vous fait ? Qu’en avez-vous conclu ?

Répondre

Sawicki Frédéric février 15, 2013 à 17h03

Cher Pierre. Politix conteste bien entendu ton argumentation. Les deux auteurs concernés sont respectivement PU et MCF à Lille 3, et ne sont ni des novices ni des candidats pressés de publier à tout prix… Ils ont effectivement soumis exactement le même texte aux deux revues, nous l’avons vérifié auprès de l’Année sociologique. Leur article (entre le moment où il a été reçu, évalué et accepté, moyennant quelques modifications qui ont en effet du coup fait différé le texte de celui publié dans l’AS), a été traité en 6 mois. Ils auraient alors alors parfaitement pu choisir de retirer leur article dans l’une ou l’autre des deux revues et ne l’ont pas fait. Lorsque nous avons pris connaissance de l’article de l’Année sociologique, nous l’avons lu et la proximité nous est apparue immédiatement. Nous avons ensuite soumis l’article à un logiciel (différent du tien), pour confirmer notre impression. Celui-ci révélait qu’il y a bien plus que « 20 % » en commun entre les deux versions !… Après avoir demandé aux auteurs de s’expliquer, leurs explications ne nous ayant guère convaincu, nous avons décidé de publier un communiqué pour alerter les lecteurs de la revue mais aussi les futurs contributeurs. Nous tenons bien sûr l’article initial à ta disposition. Rien ne saurait justifier ce type de pratique !

Répondre

Pierre Mercklé février 17, 2013 à 22h16

Bonsoir Frédéric,
Je suis très heureux de ces éléments supplémentaires apportés par Politix, que ne donnait pas la trop courte note publiée dans le dernier numéro. Effectivement, si les auteurs ont bien soumis simultanément, à l’origine, un article identique aux deux revues, alors bien sûr je comprends tout à fait votre position, et je la partage. A partir du moment où les revues jouent le jeu, c’est-à-dire parviennent à rendre des évaluations dans des délais raisonnables, alors les auteurs doivent jouer également le jeu, respecter les règles et respecter le travail des comités de rédaction, composés de pairs bénévoles. Cela étant dit, d’une part tu reconnaîtras qu’avec les seules données dont disposaient jusque là les lecteurs ordinaires (comme moi), autrement dit avec seulement les deux version publiées de l’article, on peut estimer que la zone de recouvrement n’est pas telle qu’elle mérite l’opprobre ; et que le mérite en revienne presque entièrement au travail des évaluateurs ne retire rien à l’expérience du lecteur, et donc au jugement qu’il peut légitimement porter. Et d’autre part, même si les auteurs sont suffisamment établis pour ne pas avoir l’excuse de la course à la publication, on peut tout de même imaginer qu’ils ont dû, pour en arriver là, suffisamment incorporer des dispositions à cette compétition pour qu’elles continuent de produire leurs effets même au-delà de la ligne d’arrivée… Donc, justifier cette pratique, non, mais on peut faire un peu de sociologie aussi, et donc chercher à la comprendre et l’expliquer. Quoi qu’il en soit, je pense vraiment qu’il ne faut pas que cette petite histoire (pas méchante, non ?) tourne au procès des auteurs, même si ce serait bien aussi de les entendre !

Répondre

Loirand février 22, 2013 à 18h08

Quelques remarques rapides et en vrac d’un rédacteur en chef adjoint d’une « petite » revue de sciences sociales (qui a d’ailleurs publié F. Sawicki !) exigeant aussi une soumission unique des articles qui lui parviennent.

La question fondamentale qui n’est malheureusement pas posée dans les échanges précédents est : qu’est-ce qui autorise une revue à exiger le monopole de la soumission d’un article ? Rien d’autre que les règles qu’elle se donne à elle-même et qu’elle livre dans ses consignes aux auteurs au titre de contrainte incontournable. Le procédé revient à s’approprier par avance une potentielle oeuvre de l’esprit dont l’auteur n’est pas sûr, de son côté, qu’elle deviendra une oeuvre de l’esprit commercialisable et commercialisée (même si les revues en question n’ont aucune rentabilité économique !). Il y a donc là un déséquilibre flagrant, une inégalité de position entre revues et auteurs qui pose problème.

Pour paraphraser de mémoire H. Becker, « si votre texte est bon, il finira par être publié. Peut être pas dans la très bonne revue visée au départ, mais dans une autre ». C’est là un conseil raisonnable qui, appliqué en l’état des files d’attentes dans les revues, des délais d’évaluation et des obligations de « mono-soumission » peut conduire de proche en proche à une période de cinq, voire six ans d’attente pour une parution dans une revue de troisième choix ! En conséquence, les auteurs ont raison de faire de la résistance et de soumettre un même texte à plusieurs revues au mépris des consignes de celles-ci. Consignes qui, au demeurant, ne font jamais l’objet d’un contrat d’exclusivité formalisé. (D’ailleurs, quel auteur accepterait de signer un contrat d’exclusivité de soumission sans la moindre garantie de publication ? Existe-t-il des éditeurs de romans qui imposent aux auteurs de ne soumettre leur manuscrit qu’à eux-mêmes ?)

En réalité, c’est parce que les revues sont en concurrence les unes contre les autres pour la publication des meilleurs articles qu’elles exigent de leurs auteurs potentiels une exclusivité de soumission. Au regard du « publish ou perish » du moment, il est possible de voir les chose autrement et de donner la possibilité aux auteurs de reprendre la main dans une telle concurrence en mettant les revues en concurrence entre elles pour l’appropriation de leur travaux. Et là, côté auteur, il n’y a qu’une seule solution : envoyer le même texte à deux, trois, quatre ou cinq revues de rang équivalent (ou à peu près) en même temps… Et tant mieux pour celle qui accepte le papier en premier et tant pis pour celle qui l’accepte aussi mais un peu plus tard.
Bref, il est clair que soumettre un même texte à plusieurs revues ne saurait constituer une infraction ni davantage une faute morale ou déontologique. Les revues sont faites pour valoriser les travaux de recherche et leurs auteurs, pas pour leur imposer en dehors de toute règle juridique clairement établie un monopole de soumission des textes qui, en raison scientifique, ne trouve absolument aucune justification. Toutefois, et là je ne peux qu’être entièrement d’accord avec la rédaction de Politix, « l’absence de mention de la part des auteurs de la double acceptation d’un article, et son non-retrait de l’une des deux revues » sont tout à fait condamnables et peuvent assurément être vus comme des « fautes académiques ». La question de savoir si c’est ou non strictement le même texte est ici tout à fait secondaire…

En tant que partisan assumée de la multi-soumission je pense sincèrement que les revues auraient intérêt à cesser d’exiger un monopole avant publication pour privilégier des engagements contractuels dûment signés en cas de publication effective. La note de Politix en elle-même plaide pour une tel changement de vision des choses propre à rééquilibrer les rapports entre revues et auteurs au profits de ses derniers. Faute d’avoir considéré dans toute sa pertinence le précepte Weberien selon lequel on obéit à la règle quand l’intérêt à lui obéir est supérieur à celui de lui désobéir, Politix s’est fait avoir ! Si au lieu de s’accrocher à un monopole désajusté relativement à la concurrence généralisé qui a cours dans l’univers de la recherche la revue s’était donné les moyens d’encadrer juridiquement les manières de faire des auteurs qu’elle publie effectivement, on n’en serait pas là.

(Je ferai volontiers l’hypothèse que les auteurs incriminés se sont aussi fait avoir par leur propre jeu, à mon goût légitime au départ. Une fois leur texte accepté dans les deux revues, ce à quoi ils ne s’attendaient probablement pas (la double soumission en fait preuve), ils ont du se trouver fort ennuyés pour annoncer à l’une comme à l’autre des revues que le texte était accepté dans les deux. Demander un retrait ou manifester dans une note de bas de page que le texte légèrement modifié est aussi publié ailleurs, c’était « avouer » que l’on n’avait pas respecté la règle de la soumission unique !!!)

Répondre

Histoires à lunettes mai 16, 2013 à 6h42

Comme le note Olivier Rey, au delà de la double soumission/double publication, on pourrait aussi parler du copié-collé. Et sur ce point permettez-moi d’en apporter un exemplaire, triple exemplaire même : http://histoiresalunettes.wordpress.com/2013/05/16/par-la-grace-du-copier-coller/

Répondre

{ 1 trackback }

Billet précédént :

Billet suivant :