Marlène's corner

Voilà quelquechose dont on a, à mon avis, pas fini d’entendre parler : l’eigenfactor. Il s’agit d’un outil d’évaluation des revues scientifiques, concurrent du facteur d’impact (« impact factor » en VO) mis au point par Eugene Garfield dans les années 60. C’est en fait un projet de recherche mené par Ted & Carl Bergstrom de l’Université de Washington, qui vise à développer de nouvelles méthodes d’évaluation de la recherche. Ce qui est intéressant ici, c’est que le projet prend en compte une échelle d’évaluation + importante (tout le réseau), qu’il traite aussi les citations dans les thèses, les magazines… et qu’il est lié à une autre réalisation du tandem Bergstrom, journalprices.com (dont j’avais parlé dans Biblioacid en novembre 2005), ce qui lui permet de fournir des informations tarifaires sur les revues analysées, et si ça c’est pas de la valeur ajoutée… Le tout en libre accès naturellement.

Certes ce n’est pour l’instant qu’un projet, et c’est pas demain que le célèbre Impact Factor sera détrôné, mais quand même, c’est un indicateur à suivre de près.

Dans ce post sur Academic productivity (« le guide de survie du checheur du 21ème siècle ;-)), Dario explore l’idée d’une utilisation des outils sociaux du web 2.0 comme des outils d’évaluation « soft » de l’activité scientifique. Il s’appuie notamment sur la dimension sociale des outils de gestion de références en ligne comme Connotea ou CiteUlike qui, s’ils sont considérés à l’échelle d’une communauté (institutionnelle ou disciplinaire), permettent d’afficher des tendances sur l’activité de recherche desdites communautés. La base du système, ce sont les métadonnées : les tags attachés aux articles et autres documents sélectionnés par les utilisateurs. Ensuite l’utilisation des fonctionnalités proposées par del.icio.us et autres outils de partage des bookmarks, comme la notion de popularité, ainsi que les possibilités d’annotation et de commentaire permettent une « pré-évaluation » des contenus qui peut constituer un indicateur utile.

Tout est plus (et mieux) détaillé dans le post et les commentaires ; lecture recommandée donc.

Repéré sur le dernier numéro d’Act-U, la lettre de l’AMUE :

« A l’heure de la compétition internationale sur le terrain de l’enseignement supérieur et de la recherche, la question des classements revêt un intérêt stratégique. Bien que décrié celui de Shanghaï ne cesse d’attirer l’attention et devient, peu à peu, une référence médiatique.

Xavier Chapuisat (ancien président de Paris XI) et Claudine Laurent (Directrice de recherche à l’Observatoire de Paris), dans le même numéro d’ « Horizons stratégiques », présentent un article en contrepoint par rapport à celui de Harfi et Mathieu. Ils proposent « des évolutions à visée stratégique qui permettraient aux établissements d’enseignement supérieur et de recherche français d’être considérés à leur juste valeur dans les comparaisons internationales »

C’est la question que pose Alison Mc Cook dans cet article de The Scientist : en effet, la nécessité pour les chercheurs d’établir leur réputation en publiant dans des revues au top niveau conduit à l’encombrement des circuits de validation de ces revues. Le nombre croissant de contributions proposées aux comités de lectures, et donc de contributions rejetées, alimente la grogne chez les auteurs. Le système est remis en cause sur son efficacité même :
« En 1998, lors d’une étude destinée à évaluer le peer-review, des chercheurs ont introduit intentionnellent 8 erreurs dans une proposition d’article de recherche. Plus de 200 reviewers ont pu identifier seulemtn 2 erreurs. La même année, un article d’Annals of emergency medicine a montré que les reviewers ne repéraient pas les 2/3 des erreurs d’un manuscrit bidon. »

Des pistes sont à l’étude pour une évolution du système : la suppression de l’anonymat des reviewers, l’open peer-review, la recommandation ou l’exclusion de certains reviewers… (à ce sujet, voir l’article de Gerry McKiernan « Five easy pieces : Alternative peer review in the internet age« ). On va dire que je me répète, mais l’Open Access est aussi un moyen de faire changer le système en accordant plus d’importance au contenu des articles qu’au facteur d’impact des revues qui les publient.