Archive for the 'e-valuation' Category

Bilan du pilote de SCOSS

La première campagne de financement participatif institutionnel organisée par SCOSS (présentée dans ce billet) s’est achevée sur un résultat plutôt encourageant : 135 établissements se sont engagés à financer les services sélectionnés, à hauteur de plus d’un million d’euros.

Group of people giving a thumbs up gestureLes points positifs sont nombreux. Tout d’abord cette initiative a commencé à répandre l’idée au sein des bibliothèques académiques et plus largement, des gouvernances des établissements, que les infrastructures de soutien à la science ouverte doivent être financées d’une part, et par la communauté d’autre part, si l’on veut éviter de reproduire les dysfonctionnements du modèle éditorial actuel. La variété et le montant des engagement reçus témoignent d’une prise de conscience réelle par les acteurs de la nécessité de soutenir ces services pour en garantir la pérennité.

Ensuite la campagne pilote a permis d’éprouver la robustesse des choix de gouvernance et des processus de candidature et d’évaluation de SCOSS, qui sont jugés satisfaisants par les services sélectionnés.

La communication enfin, sur le contenu des projets comme sur leur mode de financement, est un élément essentiel du processus, qui doit être fortement investi par les services sélectionnés. Le travail de promotion effectué par SPARC Europe auprès de ses membres et de ses partenaires, a été considérable et salué par les bénéficiaires de la campagne.

Des axes d’amélioration ont également été définis :
– Communication : une clarification de la communication sur le modèle économique est nécessaire, ainsi que des canaux de communication spécifiques, indépendants et complémentaires de ceux de SPARC Europe (twitter, site web)
– Fonctionnement : un forfait fixe sera prélevé sur les contributions reçues pour financer 1 ETP chargé de la coordination du projet ; une convention sera établie entre SCOSS et les services financés, définissant les rôles de chacun.9280354819_d46d7cefe2_o
– Critères de sélection : priorité à la portée globale, internationale des projets candidats, définition par SCOSS d’une liste de domaines pertinents révisée annuellement
– Critères d’évaluation : introduction d’une pondération des critères en fonctions des priorités définies pour l’année
– Montant et gestion de l’engagement : les services sélectionnés seront invités à proposer une tarification adaptée aux différents types d’organismes financeurs d’une part, et à en prévoir les conditions de gestion (comptabilité et facturation) pérenne, éventuellement en passant par une agence d’abonnements.

Des pistes d’élargissement du périmètre de SCOSS se dessinent également : aux établissements qui ne renouvellent pas leurs big deals par exemple, ainsi qu’aux pays moins représentés dans les organismes de soutien à la science ouverte.

Le rapport en VO : Progress report – An evaluation of the SCOSS pilot project

[Photos : Catherine Mosiniak-PaillierMike Cohen]

[Disclaimer : je fais partie du Board de SPARC Europe]

Publicité

Impressions de Lille

J’ai assisté les 26 et 27/11/2009 à la 2ème édition du colloque international EPEF (Évaluation des périodiques électroniques dans le réseau universitaire français : approche comparative par les usages). La thématique de cette année était « Ressources électroniques académiques : mesures et usages« . Je ne ferai pas de compte-rendu ici, parce que des actes très complets seront publiés au printemps 2010. Et parce que tous les supports de présentation seront disponibles en ligne (et traduits même, pour les interventions en anglais). Je me contenterai d’un focus sur quelques points qui m’ont paru intéressants :

– A propos des mesures d’usage : qu’est-ce qu’on comptabilise réellement ? Des articles, des téléchargements ? Ni l’un ni l’autre, pour Dominique Rouger (Université Jean Monnet, Saint-Etienne), qui préfère parler de SFTAR (Successful Full-Text Access Requests). Il propose en outre une manière originale de former l’ensemble des personnels d’une BU à l’utilisation des ressources électroniques, en leur demandant d’interroger une revue en ligne par jour. Ce qui a pour corollaire l’augmentation des statistiques d’usage et devrait donc entraîner une baisse proportionnelle des coûts à l’article – ce qui n’est pas vraiment le cas, car toutes les requêtes ne se valent pas (il distingue les requêtes académiques, les requêtes pédagogiques et les requêtes de manipulation), et tout ce qui est comptabilisé n’est pas pertinent.

– A la bibliothèque de l’Université de Wageningen, aux Pays-Bas, Marco Van Weller établit un coût prévisionnel des revues en fonction des coûts et statistiques d’usage de l’année précédente (vous trouverez les formules mathématiques dans son diaporama) ; comme bon nombre de BU, il n’a guère de marge de manoeuvre pour faire évoluer sa politique documentaire : 90% de son budget pour les ressources électroniques étant consacré à des bouquets, seuls les 10% restants peuvent faire l’objet d’ajustements.

– Il a pas mal été question de l’usage des archives ouvertes et des ressources libres, avec 2 questionnements un peu différents :

* Comment le mesurer l’usage des AO, sachant que les utilisateurs sont de plus en plus nomades, et que le site de la bibliothèque est loin d’être leur point d’accès privilégié ? La solution passe apparemment par la création d’un identifiant unique (comme le DOI existant pour les articles du secteur commercial) pour la littérature grise. [A noter également, sur la question des rapports entre AO et bibliométrie, l’approche qui consiste, comme c’est le cas à l’Université de Wageningen, à utiliser l’AO comme source de l’analyse bibliométrique, avec la conséquence non négligeable qu’un affichage plus visible de l’activité de recherche sur le web motive fortement le dépôt par les chercheurs.]

* Comment promouvoir l’usage des revues en open access (OA) auprès des communautés scientifiques ? L’étude menée par Revues.org montre des résultats symétriquement opposés en terme de public touché par Revues.org et Cairn (les étudiants consultent Cairn, Revues.org touche plus les étudiants avancés et les chercheurs). Il y a vraisemblablement un lien avec le fait que Cairn, payé par les bibliothèques qui s’y abonnent, bénéficie d’une promotion que n’a pas Revues.org, en libre accès. Car politique documentaire et libre accès, cela ne va pas de soi : il me semble avoir déjà évoqué ici le désintérêt des bibliothécaires pour ce qui se passe sur le web en dehors du site de la bibliothèque en général, cela semble se confirmer. Cela dit, les revues en OA comme les archives ouvertes, si elles sont en accès libre, ne sont pas pour autant « gratuites » (il y a toujours quelqu’un qui paye) : il y aura donc forcément un jour ou l’autre à évaluer leur intérêt pour leurs financeurs (les universités, les organismes de recherche et autres acteurs institutionnels). D’où l’importance de leur promotion et de la mesure de leur usage. Est-ce aux bibliothèques d’assurer cette promotion ? Cela ne semble pas encore acquis dans les pratiques de politique documentaire actuelles.

Ce ne sont que quelques-uns des thèmes abordés aux cours de ces journées très intéressantes – et très denses -, je mettrai le lien vers les interventions dès qu’elles seront disponibles, en espérant que les actes seront peut-être sous forme numérique ? On ne sait jamais…

[photos : marlened, Gideon Burton]

<UPDATE>Les supports des différentes présentations sont en ligne sur le site de l’EPEF.</UPDATE>

Merci Bernard

2985716823_b66d58f867_m.jpgDans un commentaire à un post précédent, que je reprend ici (parce que la visibilité des commentaires sur cette plateforme de blog, c’est une horreur, de même que le référencement, mais bon, c’est une autre histoire), Bernard Teissier nous signale une information loin d’être anodine :

« Désolé de squatter ainsi le blog, mais comme ni je twitte, ni je blogue moi-même je ne vois pas ou mieux qu’ici mentionner cette info : dans le document annexe auProjet de Loi de Finances 2010pour la MIRES, l’indicateur du programme 150 sur la consultation de la doc electro a purement et simplement disparu… [En 2009 il était formulé ainsi : INDICATEUR 6.3 Consultation des ressources électroniques : nombre de documents téléchargés et taux de demandes satisfaites. Il est vrai que c’était débile de vouloir synthétiser cela en seul chiffre, mais du coup notre activité n’existe plus !]« 

Ce qui m’interpelle, c’est ce qui est mentionné dans les commentaires de l’un des 2 indicateurs restants, celui sur le taux de fréquentation des bibliothèques : « Les bibliothèques universitaires, au même titre que certains grands équipements publics, ont réussi depuis plusieurs années à fidéliser leurs lecteurs. Cependant, le développement de l’accès à distance pour les usagers, qui est un autre des axes de la politique des bibliothèques universitaires, joue en sens contraire de la fréquentation comptabilisée à travers les entrées : les usagers n’ont plus besoin de se déplacer et ont ainsi accès aux ressources électroniques des bibliothèques dans le cadre d’une « fréquentation » non comptabilisable mais qui, elle aussi, va croissant. Ce biais pèse de manière défavorable sur le numérateur du ratio.« 

Au lieu d’essayer de bâtir des indicateurs plus en phase avec la réalité des pratiques des étudiants et des chercheurs (car bizzarement les questions documentaires ne trouvent leur place que dans l’amélioration des condition de travail des étudiants, alors que la majorité des ressources électroniques achetées par les BU sert les chercheurs), prenant en compte la fréquentation sur place et à distance, on déduit abruptement que cette (« pseudo ») fréquentation n’est pas comptabilisable et on supprime l’indicateur. Alors à quoi ça sert que nous nous décarcassions à récupérer, pondérer, harmoniser et mettre en forme nos statistiques d’usage ? Pour notre gestion locale, c’est sûr, mais quel dommage de ne pas utiliser ce type d’outil d’aide au pilotage à plus grande échelle…

PS : Bernard, tu reviens quand tu veux… 😉

[photo : andre5]

Stats time !

3250397912_f7fed2ed2a_m.jpgDans le calendrier qui rythme la vie trépidante du responsable de la doc élec, le mois de février est le début de la longue quête du saint graal, qui va lui permettre de renseigner les indicateurs RAP puis l’ESGBU, faire son rapport d’activité, voire un bilan statistique annuel (je suppose que c’est à peu près pareil partout, enfin chez moi c’est comme ça) : la collecte des statistiques d’usage.

Pourquoi cette activité en apparence anodine prend-elle des allures de parcours du combattant ? L’objectif n’est pourtant pas insurmontable a priori : il s’agit de mettre dans un tableur ou une base de données des informations pour évaluer l’utilisation des ressources électroniques achetées par son établissement, données sur l’utilisation qu’il paraît pertinent de pouvoir croiser ensuite avec les coûts, les effectifs, etc. Mais tout un tas d’embûches guettent le bib-doc-élec :

– les éditeurs qui ne fournissent pas de statistiques du tout (Dalloz)

– les éditeurs qui fournissent des stats en pdf (vachement sympa quand on fait son rapport avec excel, ben oui pour faire des calculs c’est quand même plus indiqué) (Doctrinal, Juris-Classeurs)

– les éditeurs qui n’ont visiblement jamais entendu parler de COUNTER (tous les éditeurs juridiques)

– les éditeurs qui inventent leurs propres indicateurs (Universalis, Kompass)

– les éditeurs qu’il faut relancer plusieurs fois par mél pour récupérer les statistiques (Doctrinal, Lamyline)

– les éditeurs qui fournissent des stats « roulantes » sur 12 mois (Chemical Abstracts)

– les éditeurs qui fournissent des chiffres pour un groupement d’établissement, sans moyen de les distinguer (par IP par exemple) (Factiva)

– et j’en oublie sûrement…

Du coup cette opération, qui devrait prendre à mon avis une semaine maximum tout compris (collecte + traitement des données), s’étale sur 1 à 2 mois, et le bibliothécaire doit composer avec cette contrainte méconnue (ou ignorée) des responsables, qui nous demandent des chiffres « même partiels » pour début mars…
[photo : shiratski]

Open peer, la suite

7d6f49f4395f09e4aa731c6d182bd0b3.jpgJ’avais relayé ici il y a quelques semaines l’expérience de peer-review ouverte menée par un chercheur de l’Université de Californie à San Diego pour la publication d’un ouvrage (sur les veux vidéo) aux presses du MIT. Il était curieux de comparer les résultats du processus de validation officiel avec celle ayant eu lieu sur son blog. Les résultats sont arrivés, et l’ouvrage a été accepté pour publication après quelques changements mineurs. Au final, le chercheur constate :

– que le nombre de commentaires conséquent (plus de 400) ne permet pas d’entretenir une véritable conversation avec les commentateurs

– que la plupart des commentateurs ont signé de leur nom, alors qu’ils pouvaient commenter anonymement

– que, contre toute attente, les commentaires étaient plutôt critiques que trop bienveillants

Pour l’éditeur, ce modèle de validation est victime de son succès : le grand nombre d’intervenants rend le travail de suivi (notamment éditorial) difficile à suivre. Il se dit néanmoins prêt à renouveller l’expérience.
[photo : marmotte73]

SCImago

5aaf10dd045435f8c56eaf94c3942617.jpgPeut-être un nouvel acteur dans les outils d’évaluation de la recherche ? En effet, SCImago permet de sortir pour les revues scientifiques tout un tas d’indicateurs : nombre d’articles publiés, nombre de citations, H-index,… Les données proviennent de Scopus, la base (développée par Elsevier) concurrente du Journal of Citations Report (développé par Thomson-ISI), et chaque revue se voit attribuer un SJR (Scimago Journal Rank), obtenu grâce à l’algoritme de recherche/de tri de Google, le fameux Page Rank. N’ayant pas d’accès à Scopus, je ne peux pas savoir dans quelle mesure ce qui est proposé ici en libre accès est similaire/différent de l’outil d’Elsevier – si de charitables lecteurs veulent bien me dire ce qu’il en est dans les commentaires…
[photo : mark-thisorthat]

AO et statistiques

58242281704346dad3682de51453073e.jpgDans ce post sur The ubiquitous librarian, Brian Matthews s’intéresse aux statistiques de consultation des archives ouvertes : il a consulté une dizaine d’archives américaines et regardé quels étaient les taux de téléchargement des documents. Il n’a pas mené une analyse détaillée, mais juste regardé « à la louche » quels étaient les documents les plus consultés. Et constate que, pour toutes les archives, on observe d’une part un phénomène de (très) longue traîne, et d’autre part une grande disparité du nombre de consultations, qui vont de 500 pour un article de l’Université de l’Oregon à plus de 34 000 pour une thèse de l’Université du Maryland.
Il faudrait bien sûr creuser un peu le mode de recueil des stats, vérifier que ce sont bien des consultations qui sont comparées (et pas de simples hits), bref faire quelquechose d’un peu plus scientifique, mais cela donne quand même un aperçu des usages, et permet de se poser quelques questions :
– Quelle est la provenance des visiteurs : une recherche sur Google, Google Scholar, l’OPAC ? – penser à installer un outil d’analyse statistique sur le serveur qui héberge l’archive locale, et se renseigner sur ce qui existe / ce qui est prévu sur HAL ; d’où aussi l’importance de l’interopérabilité et du référencement
– Quel type de document est le plus consulté : les thèses, les articles ? – L’effet de longue traîne joue-t-il sur tous les documents ?
– Finalement, comment estime-t-on que l’archive « marche » : en fonction du nombre de dépôts, certes, mais aussi sans doute en fonction du nombre de connexions – mais à partir de combien de connexions ?
[Crédit photo : Billa]

PoP, GS, WoS…

0477e353658c5f315b7d8f2c921a4d81.jpgIntéressant, ce comparatif Google Scholar / Web of Science rappelle les différents défauts de l’un et de l’autre, ainsi que leurs défauts communs : mauvaise gestion des diacritiques et des ligatures typographiques. Son auteur, le professeur Anne Harzing, s’appuie sur Google Scholar pour alimenter son logiciel d’analyse des citations bibliographiques, ironiquement baptisé Publish or perish (gratuit pour un usage personnel).
[Crédit photo : Pixel Perfect]

Un dossier sur les classements

e7bbdab48c0aee6bad4ae9bfa6c595c5.jpgLa dernière livraison de AIU Horizons, nouvelles de l’enseignement supérieur dans le monde, la newsletter de l’Association Internationale des Universités, consacre un dossier très riche aux « Classements, typologie des établissements et classifications » des universités.

Merci à JB pour l’info.

ARWU

medium_78023560_c2f7b929de_m.jpgARWU, ça vous dit quelquechose ? Non ? Mais si, si vous travaillez en université, vous en avez forcément entendu parler ces dernières années, sous son appellation plus courante qui est… « le classement de Shangaï » !!

Pour les non-initiés, il s’agit du classement international des 500 « meilleures » universités mis au point par l’l’institut pour l’enseignement supérieur de l’Université Jiao Tong de Shangaï. L’objectif de l’exercice est de juger de l’excellence des universités, dans un contexte de concurrence mondialisée, à partir d’une série de critères objectifs, parmi lesquels :

– le nombre de Prix Nobel et de Médailles Fields (l’équivalent du Nobel pour les mathématiques)

– le nombre de chercheurs les plus cités (d’après HighlyCited d’ISI

– le nombre total d’articles publiés (=indexés dans la base Web of Science d’ISI)

– le nombre d’articles publiés dans les revues Nature et Science

– la taille de l’établissement (effectifs étudiants et enseignants)

Les universités ont pris l’habitude depuis l’été 2003 de scruter fébrilement la liste de Shangaï, pour voir si elle y sont, si elles ont gagné ou perdu des places… Et ce, malgré la controverse sur ces différents classements : entre autres biais, on leur reproche que les critères pris en compte se focalisent sur les publications dans les revues, ne prennent pas en compte les production non anglophones, et les outils de mesure (la panoplie des bases ISI) ne sont pas fiables, notamment en ce qui concerne le nommage des institutions.

Néanmoins ces jours-ci vient de sortir la première version du classement de Shangaï par discipline : les universités sont classées selon 5 grands champs disciplinaires (Sciences sociales, Médecine et pharmacie, Sciences de la vie, Sciences de l’ingénieur et informatique, Sciences dures et mathématiques), et 2 critères ont été ajoutés : le nombre de publications dans les revues les plus côtées de la discipline (selon le Journal of Citation Report d’ISI), et le montant des dépenses de recherche (uniquement pour les sciences de l’ingénieur, et encore, que pour les US et le Canada).


mai 2023
L M M J V S D
1234567
891011121314
15161718192021
22232425262728
293031  

Archives

Licence

Licence Creative Commons
Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution 3.0 France.