Archive for the 'e-valuation' Category



Plus fort que le factor

medium_rock.jpgVoilà quelquechose dont on a, à mon avis, pas fini d’entendre parler : l’eigenfactor. Il s’agit d’un outil d’évaluation des revues scientifiques, concurrent du facteur d’impact (« impact factor » en VO) mis au point par Eugene Garfield dans les années 60. C’est en fait un projet de recherche mené par Ted & Carl Bergstrom de l’Université de Washington, qui vise à développer de nouvelles méthodes d’évaluation de la recherche. Ce qui est intéressant ici, c’est que le projet prend en compte une échelle d’évaluation + importante (tout le réseau), qu’il traite aussi les citations dans les thèses, les magazines… et qu’il est lié à une autre réalisation du tandem Bergstrom, journalprices.com (dont j’avais parlé dans Biblioacid en novembre 2005), ce qui lui permet de fournir des informations tarifaires sur les revues analysées, et si ça c’est pas de la valeur ajoutée… Le tout en libre accès naturellement.

Certes ce n’est pour l’instant qu’un projet, et c’est pas demain que le célèbre Impact Factor sera détrôné, mais quand même, c’est un indicateur à suivre de près.

Soft review

medium_408660933_3aa3697dc8_m.jpgDans ce post sur Academic productivity (« le guide de survie du checheur du 21ème siècle ;-)), Dario explore l’idée d’une utilisation des outils sociaux du web 2.0 comme des outils d’évaluation « soft » de l’activité scientifique. Il s’appuie notamment sur la dimension sociale des outils de gestion de références en ligne comme Connotea ou CiteUlike qui, s’ils sont considérés à l’échelle d’une communauté (institutionnelle ou disciplinaire), permettent d’afficher des tendances sur l’activité de recherche desdites communautés. La base du système, ce sont les métadonnées : les tags attachés aux articles et autres documents sélectionnés par les utilisateurs. Ensuite l’utilisation des fonctionnalités proposées par del.icio.us et autres outils de partage des bookmarks, comme la notion de popularité, ainsi que les possibilités d’annotation et de commentaire permettent une « pré-évaluation » des contenus qui peut constituer un indicateur utile.

Tout est plus (et mieux) détaillé dans le post et les commentaires ; lecture recommandée donc.

Shangaï à la loupe

Repéré sur le dernier numéro d’Act-U, la lettre de l’AMUE :

« A l’heure de la compétition internationale sur le terrain de l’enseignement supérieur et de la recherche, la question des classements revêt un intérêt stratégique. Bien que décrié celui de Shanghaï ne cesse d’attirer l’attention et devient, peu à peu, une référence médiatique.

Mohamed Harfi (Docteur en économie, enseignant à Paris XI) et Claude Mathieu (Professeur à Paris XI) se sont concentrés sur les enjeux que cela pouvait représenter pour la France dans un article pour la revue « Horizons stratégiques » : « Classement de Shanghai et image internationale des universités : quels enjeux pour la France ?« 

Xavier Chapuisat (ancien président de Paris XI) et Claudine Laurent (Directrice de recherche à l’Observatoire de Paris), dans le même numéro d’ « Horizons stratégiques », présentent un article en contrepoint par rapport à celui de Harfi et Mathieu. Ils proposent « des évolutions à visée stratégique qui permettraient aux établissements d’enseignement supérieur et de recherche français d’être considérés à leur juste valeur dans les comparaisons internationales »

Une carte des livres en chiffres

Un « library mashup » commercial pas inintéressant : le Normative Data Project a pour objectif de compiler toute une série de données sur la circulation des documents dans les bibliothèques d’Amérique du nord, de les relier à des diverses données notamment géographiques, pour en faire de bien jolis tableaux de bord.

Les partenaires à l’initiative du projet sont Sirsi-Dynix, et un département de recherche de l’Université de Floride. Le service est accessible sur abonnement, les rapports sont payants ; une bonne centaine de bibliothèques publiques contribue au projet. Et il y a un blog.

I have a dream…

Quiconque s’est déjà frotté à l’administration de ressources électroniques en conviendra aisément : les statistiques, c’est la galère à récupérer, à traiter – et en plus quand on interprète les résultats, en général c’est pour s’apercevoir qu’on s’est tapé tout ce boulot pour un volume de consultations finalement assez maigre, mais bon, ça c’est une autre histoire.

Bref, tous les responsables de doc élec ont un jour rêvé d’un système qui permettrait de récupérer automatiquement les stats de tous les bouquets de revues et autres bases de données auxquels leur établissement est abonné, qui mettrait tout ça en forme tout seul pour nous pondre un superbe rapport, avec de jolis graphes en couleur…

(« – Le bilan statistique de la doc élec de l’année ? Laissez-moi 10 minutes, M. le Directeur… »)

Et bien c’est en passe de devenir réalité, et grâce à qui ? Grâce à SUSHI, le projet de protocole d’échange de données statistiques à l’initiative d’un groupe de bibliothécaires et de fournisseurs de contenus, devenu depuis peu une commission de la NISO, l’organisation internationale de normalisation. Une tentative d’échange de données a été menée avec succès auprès d’une vingtaine de fournisseurs pour l’Université de Melbourne, qui, on peut le supposer, va ouvrir la voie à d’autres expérimentations.

Ne pas attendre trop d’un coup quand même : SUSHI ne fait pas tout tout seul, même s’il est à base de XML (et donc a priori réutilisable simplement), il s’utilise avec des applications commerciales comme le système ScholarlyStats de MPS qui sous-tend le module de stats en développement chez Thomson Scientific, Journal Use Report.

Ces nouveaux services statistiques sont également une composante essentielle des outils d’ERM, ce qui promet donc une certaine compétition entre les acteurs de ce marché émergent qu’est celui de la gestion de la doc élec, marché qui laisse peu de place, pour l’instant, aux solutions alternatives non commerciales (contrairement à celui de l’accès aux ressources).

[communiqué de presse ScholarlyStats]

Postgenomic

Postgenomic est une initiative très intéressante : 200 blogs sur les sciences de la vie sont suivis et analysés pour dégager des tendances sur les thèmes de recherche, les articles les plus cités, les tags les plus utilisés… L’objectif du projet (à l’initiative de bloggueurs chercheurs dans le domaine bioinformatique) est de créer une archive de compte-rendus (« reviews ») d’articles et de conférences scientifiques. Ce type d’outil, qui constitue une première étape dans un circuit de validation des publications via les blogs, devrait prendre de l’importance vu la croissance des blogs dans le milieu scientifique. Ce serait bien que d’autres disciplines suivent… [via OAN]

Le peer-review, c’est fini ?

C’est la question que pose Alison Mc Cook dans cet article de The Scientist : en effet, la nécessité pour les chercheurs d’établir leur réputation en publiant dans des revues au top niveau conduit à l’encombrement des circuits de validation de ces revues. Le nombre croissant de contributions proposées aux comités de lectures, et donc de contributions rejetées, alimente la grogne chez les auteurs. Le système est remis en cause sur son efficacité même :
« En 1998, lors d’une étude destinée à évaluer le peer-review, des chercheurs ont introduit intentionnellent 8 erreurs dans une proposition d’article de recherche. Plus de 200 reviewers ont pu identifier seulemtn 2 erreurs. La même année, un article d’Annals of emergency medicine a montré que les reviewers ne repéraient pas les 2/3 des erreurs d’un manuscrit bidon. »

Des pistes sont à l’étude pour une évolution du système : la suppression de l’anonymat des reviewers, l’open peer-review, la recommandation ou l’exclusion de certains reviewers… (à ce sujet, voir l’article de Gerry McKiernan « Five easy pieces : Alternative peer review in the internet age« ). On va dire que je me répète, mais l’Open Access est aussi un moyen de faire changer le système en accordant plus d’importance au contenu des articles qu’au facteur d’impact des revues qui les publient.

Mashup et tableaux de bord

Aaron sur Walking Paper réfléchit à l’utilisation des pages d’accueil personnalisées (genre Netvibes ou Google ig) pour les bibliothécaires.

Dans l’idéal, on devrait pouvoir avoir d’un seul coup d’oeil les documents les plus empruntés, le nombre d’inscriptions, des stats de consultation du site web, le calendrier des réunions, … Ca pourrait constituer un genre de tableau de bord carrément performant sur l’activité de la bibliothèque. Evidemment, cet idéal ne sera accessible que le jour où nos sigb supporteront nativement xml et rss, mais bon…

En attendant, on peut toujours aller voir des mix d’applications (on dit mashup quand on est dans la hype) sur Web2.0 Mashup Matrix, une grille qui recense les expériences réalisées en croisant par applis et services du web2.0.


août 2022
L M M J V S D
1234567
891011121314
15161718192021
22232425262728
293031  

Archives

Licence

Licence Creative Commons
Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution 3.0 France.