Archive for the 'e-valuation' Category

Impressions de Lille

J’ai assisté les 26 et 27/11/2009 à la 2ème édition du colloque international EPEF (Évaluation des périodiques électroniques dans le réseau universitaire français : approche comparative par les usages). La thématique de cette année était « Ressources électroniques académiques : mesures et usages« . Je ne ferai pas de compte-rendu ici, parce que des actes très complets seront publiés au printemps 2010. Et parce que tous les supports de présentation seront disponibles en ligne (et traduits même, pour les interventions en anglais). Je me contenterai d’un focus sur quelques points qui m’ont paru intéressants :

– A propos des mesures d’usage : qu’est-ce qu’on comptabilise réellement ? Des articles, des téléchargements ? Ni l’un ni l’autre, pour Dominique Rouger (Université Jean Monnet, Saint-Etienne), qui préfère parler de SFTAR (Successful Full-Text Access Requests). Il propose en outre une manière originale de former l’ensemble des personnels d’une BU à l’utilisation des ressources électroniques, en leur demandant d’interroger une revue en ligne par jour. Ce qui a pour corollaire l’augmentation des statistiques d’usage et devrait donc entraîner une baisse proportionnelle des coûts à l’article – ce qui n’est pas vraiment le cas, car toutes les requêtes ne se valent pas (il distingue les requêtes académiques, les requêtes pédagogiques et les requêtes de manipulation), et tout ce qui est comptabilisé n’est pas pertinent.

– A la bibliothèque de l’Université de Wageningen, aux Pays-Bas, Marco Van Weller établit un coût prévisionnel des revues en fonction des coûts et statistiques d’usage de l’année précédente (vous trouverez les formules mathématiques dans son diaporama) ; comme bon nombre de BU, il n’a guère de marge de manoeuvre pour faire évoluer sa politique documentaire : 90% de son budget pour les ressources électroniques étant consacré à des bouquets, seuls les 10% restants peuvent faire l’objet d’ajustements.

– Il a pas mal été question de l’usage des archives ouvertes et des ressources libres, avec 2 questionnements un peu différents :

* Comment le mesurer l’usage des AO, sachant que les utilisateurs sont de plus en plus nomades, et que le site de la bibliothèque est loin d’être leur point d’accès privilégié ? La solution passe apparemment par la création d’un identifiant unique (comme le DOI existant pour les articles du secteur commercial) pour la littérature grise. [A noter également, sur la question des rapports entre AO et bibliométrie, l’approche qui consiste, comme c’est le cas à l’Université de Wageningen, à utiliser l’AO comme source de l’analyse bibliométrique, avec la conséquence non négligeable qu’un affichage plus visible de l’activité de recherche sur le web motive fortement le dépôt par les chercheurs.]

* Comment promouvoir l’usage des revues en open access (OA) auprès des communautés scientifiques ? L’étude menée par Revues.org montre des résultats symétriquement opposés en terme de public touché par Revues.org et Cairn (les étudiants consultent Cairn, Revues.org touche plus les étudiants avancés et les chercheurs). Il y a vraisemblablement un lien avec le fait que Cairn, payé par les bibliothèques qui s’y abonnent, bénéficie d’une promotion que n’a pas Revues.org, en libre accès. Car politique documentaire et libre accès, cela ne va pas de soi : il me semble avoir déjà évoqué ici le désintérêt des bibliothécaires pour ce qui se passe sur le web en dehors du site de la bibliothèque en général, cela semble se confirmer. Cela dit, les revues en OA comme les archives ouvertes, si elles sont en accès libre, ne sont pas pour autant « gratuites » (il y a toujours quelqu’un qui paye) : il y aura donc forcément un jour ou l’autre à évaluer leur intérêt pour leurs financeurs (les universités, les organismes de recherche et autres acteurs institutionnels). D’où l’importance de leur promotion et de la mesure de leur usage. Est-ce aux bibliothèques d’assurer cette promotion ? Cela ne semble pas encore acquis dans les pratiques de politique documentaire actuelles.

Ce ne sont que quelques-uns des thèmes abordés aux cours de ces journées très intéressantes – et très denses -, je mettrai le lien vers les interventions dès qu’elles seront disponibles, en espérant que les actes seront peut-être sous forme numérique ? On ne sait jamais…

[photos : marlened, Gideon Burton]

<UPDATE>Les supports des différentes présentations sont en ligne sur le site de l’EPEF.</UPDATE>

Publicités

Merci Bernard

2985716823_b66d58f867_m.jpgDans un commentaire à un post précédent, que je reprend ici (parce que la visibilité des commentaires sur cette plateforme de blog, c’est une horreur, de même que le référencement, mais bon, c’est une autre histoire), Bernard Teissier nous signale une information loin d’être anodine :

« Désolé de squatter ainsi le blog, mais comme ni je twitte, ni je blogue moi-même je ne vois pas ou mieux qu’ici mentionner cette info : dans le document annexe auProjet de Loi de Finances 2010pour la MIRES, l’indicateur du programme 150 sur la consultation de la doc electro a purement et simplement disparu… [En 2009 il était formulé ainsi : INDICATEUR 6.3 Consultation des ressources électroniques : nombre de documents téléchargés et taux de demandes satisfaites. Il est vrai que c’était débile de vouloir synthétiser cela en seul chiffre, mais du coup notre activité n’existe plus !]« 

Ce qui m’interpelle, c’est ce qui est mentionné dans les commentaires de l’un des 2 indicateurs restants, celui sur le taux de fréquentation des bibliothèques : « Les bibliothèques universitaires, au même titre que certains grands équipements publics, ont réussi depuis plusieurs années à fidéliser leurs lecteurs. Cependant, le développement de l’accès à distance pour les usagers, qui est un autre des axes de la politique des bibliothèques universitaires, joue en sens contraire de la fréquentation comptabilisée à travers les entrées : les usagers n’ont plus besoin de se déplacer et ont ainsi accès aux ressources électroniques des bibliothèques dans le cadre d’une « fréquentation » non comptabilisable mais qui, elle aussi, va croissant. Ce biais pèse de manière défavorable sur le numérateur du ratio.« 

Au lieu d’essayer de bâtir des indicateurs plus en phase avec la réalité des pratiques des étudiants et des chercheurs (car bizzarement les questions documentaires ne trouvent leur place que dans l’amélioration des condition de travail des étudiants, alors que la majorité des ressources électroniques achetées par les BU sert les chercheurs), prenant en compte la fréquentation sur place et à distance, on déduit abruptement que cette (« pseudo ») fréquentation n’est pas comptabilisable et on supprime l’indicateur. Alors à quoi ça sert que nous nous décarcassions à récupérer, pondérer, harmoniser et mettre en forme nos statistiques d’usage ? Pour notre gestion locale, c’est sûr, mais quel dommage de ne pas utiliser ce type d’outil d’aide au pilotage à plus grande échelle…

PS : Bernard, tu reviens quand tu veux… 😉

[photo : andre5]

Stats time !

3250397912_f7fed2ed2a_m.jpgDans le calendrier qui rythme la vie trépidante du responsable de la doc élec, le mois de février est le début de la longue quête du saint graal, qui va lui permettre de renseigner les indicateurs RAP puis l’ESGBU, faire son rapport d’activité, voire un bilan statistique annuel (je suppose que c’est à peu près pareil partout, enfin chez moi c’est comme ça) : la collecte des statistiques d’usage.

Pourquoi cette activité en apparence anodine prend-elle des allures de parcours du combattant ? L’objectif n’est pourtant pas insurmontable a priori : il s’agit de mettre dans un tableur ou une base de données des informations pour évaluer l’utilisation des ressources électroniques achetées par son établissement, données sur l’utilisation qu’il paraît pertinent de pouvoir croiser ensuite avec les coûts, les effectifs, etc. Mais tout un tas d’embûches guettent le bib-doc-élec :

– les éditeurs qui ne fournissent pas de statistiques du tout (Dalloz)

– les éditeurs qui fournissent des stats en pdf (vachement sympa quand on fait son rapport avec excel, ben oui pour faire des calculs c’est quand même plus indiqué) (Doctrinal, Juris-Classeurs)

– les éditeurs qui n’ont visiblement jamais entendu parler de COUNTER (tous les éditeurs juridiques)

– les éditeurs qui inventent leurs propres indicateurs (Universalis, Kompass)

– les éditeurs qu’il faut relancer plusieurs fois par mél pour récupérer les statistiques (Doctrinal, Lamyline)

– les éditeurs qui fournissent des stats « roulantes » sur 12 mois (Chemical Abstracts)

– les éditeurs qui fournissent des chiffres pour un groupement d’établissement, sans moyen de les distinguer (par IP par exemple) (Factiva)

– et j’en oublie sûrement…

Du coup cette opération, qui devrait prendre à mon avis une semaine maximum tout compris (collecte + traitement des données), s’étale sur 1 à 2 mois, et le bibliothécaire doit composer avec cette contrainte méconnue (ou ignorée) des responsables, qui nous demandent des chiffres « même partiels » pour début mars…
[photo : shiratski]

Open peer, la suite

7d6f49f4395f09e4aa731c6d182bd0b3.jpgJ’avais relayé ici il y a quelques semaines l’expérience de peer-review ouverte menée par un chercheur de l’Université de Californie à San Diego pour la publication d’un ouvrage (sur les veux vidéo) aux presses du MIT. Il était curieux de comparer les résultats du processus de validation officiel avec celle ayant eu lieu sur son blog. Les résultats sont arrivés, et l’ouvrage a été accepté pour publication après quelques changements mineurs. Au final, le chercheur constate :

– que le nombre de commentaires conséquent (plus de 400) ne permet pas d’entretenir une véritable conversation avec les commentateurs

– que la plupart des commentateurs ont signé de leur nom, alors qu’ils pouvaient commenter anonymement

– que, contre toute attente, les commentaires étaient plutôt critiques que trop bienveillants

Pour l’éditeur, ce modèle de validation est victime de son succès : le grand nombre d’intervenants rend le travail de suivi (notamment éditorial) difficile à suivre. Il se dit néanmoins prêt à renouveller l’expérience.
[photo : marmotte73]

SCImago

5aaf10dd045435f8c56eaf94c3942617.jpgPeut-être un nouvel acteur dans les outils d’évaluation de la recherche ? En effet, SCImago permet de sortir pour les revues scientifiques tout un tas d’indicateurs : nombre d’articles publiés, nombre de citations, H-index,… Les données proviennent de Scopus, la base (développée par Elsevier) concurrente du Journal of Citations Report (développé par Thomson-ISI), et chaque revue se voit attribuer un SJR (Scimago Journal Rank), obtenu grâce à l’algoritme de recherche/de tri de Google, le fameux Page Rank. N’ayant pas d’accès à Scopus, je ne peux pas savoir dans quelle mesure ce qui est proposé ici en libre accès est similaire/différent de l’outil d’Elsevier – si de charitables lecteurs veulent bien me dire ce qu’il en est dans les commentaires…
[photo : mark-thisorthat]

AO et statistiques

58242281704346dad3682de51453073e.jpgDans ce post sur The ubiquitous librarian, Brian Matthews s’intéresse aux statistiques de consultation des archives ouvertes : il a consulté une dizaine d’archives américaines et regardé quels étaient les taux de téléchargement des documents. Il n’a pas mené une analyse détaillée, mais juste regardé « à la louche » quels étaient les documents les plus consultés. Et constate que, pour toutes les archives, on observe d’une part un phénomène de (très) longue traîne, et d’autre part une grande disparité du nombre de consultations, qui vont de 500 pour un article de l’Université de l’Oregon à plus de 34 000 pour une thèse de l’Université du Maryland.
Il faudrait bien sûr creuser un peu le mode de recueil des stats, vérifier que ce sont bien des consultations qui sont comparées (et pas de simples hits), bref faire quelquechose d’un peu plus scientifique, mais cela donne quand même un aperçu des usages, et permet de se poser quelques questions :
– Quelle est la provenance des visiteurs : une recherche sur Google, Google Scholar, l’OPAC ? – penser à installer un outil d’analyse statistique sur le serveur qui héberge l’archive locale, et se renseigner sur ce qui existe / ce qui est prévu sur HAL ; d’où aussi l’importance de l’interopérabilité et du référencement
– Quel type de document est le plus consulté : les thèses, les articles ? – L’effet de longue traîne joue-t-il sur tous les documents ?
– Finalement, comment estime-t-on que l’archive « marche » : en fonction du nombre de dépôts, certes, mais aussi sans doute en fonction du nombre de connexions – mais à partir de combien de connexions ?
[Crédit photo : Billa]

PoP, GS, WoS…

0477e353658c5f315b7d8f2c921a4d81.jpgIntéressant, ce comparatif Google Scholar / Web of Science rappelle les différents défauts de l’un et de l’autre, ainsi que leurs défauts communs : mauvaise gestion des diacritiques et des ligatures typographiques. Son auteur, le professeur Anne Harzing, s’appuie sur Google Scholar pour alimenter son logiciel d’analyse des citations bibliographiques, ironiquement baptisé Publish or perish (gratuit pour un usage personnel).
[Crédit photo : Pixel Perfect]


novembre 2017
L M M J V S D
« Sep    
 12345
6789101112
13141516171819
20212223242526
27282930  

Archives

Licence

Licence Creative Commons
Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution 3.0 France.