Archivos por Etiqueta: indicadores de uso

Altmetrics por todas partes

9 sep

Uno no deja de sorprenderse de la capacidad de ciertos conceptos o términos para hacer fortuna en un escaso margen de tiempo. En apenas unos meses, desde que se acuñara el término Altmetrics han surgido empresas (Altmetric, Plum Analytics), proyectos (total-impact), y todo tipo de papers al respecto. Algunas de las principales multinacionales de la publicación científica (Elsevier) han integrado estas métricas en sus productos, e incluso relevantes bibliómetras lo mencionan como una de las novedades más importantes en los últimos años. Al mismo tiempo son varias las aplicaciones de la ciencia 2.0 que están incorporando sus propios indicadores de repercusión, visibilidad, impacto, popularidad o lo que sea que midan las métricas alternativas.

Una de estas alianzas entre empresas tradicionales y altmétricas es la de Altmetric y Elsevier. Así, la app Altmetric en Scopus, ofrece información acerca de la repercusión de un trabajo en redes sociales como Twitter, Facebook o Google + o el número de lectores en Mendeley. Además la misma empresa ofrece un bookmarklet gratuito, de manera que podemos comprobar para un gran número de artículos el eco que ha generado en redes sociales. Asimismo, han generado una métrica propia que combina aspectos cuantitativos y cualitativos, si bien no se explica exactamente cómo se calcula. Como vimos hace algún tiempo, parece que la repercusión de un artículo en redes sociales podría estar vinculado a su impacto futuro lo que justifica este tipo de herramientas.

Una de las redes sociales científicas punteras, aunque a mi entender sin mucho valor práctico, es ResearchGate. Ellos han incluido hace poco el RG Score que definen como “una nueva forma de medir la reputación científica”. El indicador se computa a partir de las visitas al perfil, visitas a las publicaciones y descarga de artículos, aunque como en el caso anterior no se explicita cómo se realiza el cómputo. Además, anuncian que el número de citas será en un futuro otra de las variables que intervendrán en dicho índice. Lo bueno es que ofrece información comparativa; cómo se sitúa un usuario respecto al resto de usuarios de la aplicación, aunque como no sabemos exactamente lo que mide, tampoco parece tener mucho sentido esta comparación.

Y finalmente, el que a mi parecer es el avance más significativo dentro de la altmetrics y los indicadores de uso: Mendeley Institutional Edition. Es la iniciativa más interesante por cuanto supone un salto desde el nivel individual (artículo, perfil) al nivel institucional, algo que no han hecho ninguna de las otras iniciativas alternativas. En este caso, tomando los datos del magnífico gestor de referencias Mendeley, este producto distribuido por Swets ofrece una serie de indicadores a nivel institucional, tanto de los trabajos que están leyendo (mejor, almacenando) sus investigadores, como del número de lectores que tienen los artículos que realizan los investigadores de la institución. Esta perspectiva sí es muy interesante y novedosa ya que es (que yo sepa) el primer producto que integra indicadores de uso dentro de una suite enfocada a la gestión científica. Otro factor interesante es que permite conocer en tiempo real el uso de los materiales, sin tener que esperar (dos-tres años) para obtener estadísticas de citas fiables. Aunque no tengo claro que este cortoplacismo en medir resultados sea una táctica adecuada de cara a la gestión científica, es muy interesante contar con datos de uso reales de los trabajos de una institución. Eso sí, el que alguien se haya descargado un artículo a su gestor de referencias no implica necesariamente que lo vaya a leer en un futuro ni que le haya resultado útil para su investigación. Al contrario que en la citación, donde existen teorías fundamentadas sobre qué significa una cita (aunque sean teorías en permanente discusión), no se tiene muy claro que significa descargar un artículo ¿uso, popularidad?

En cualquier caso estos productos pueden complementar muy bien a los indicadores bibliométricos (bien establecidos, conocidos y aceptados por la mayor parte de investigadores), siempre y cuando se basen en un volumen de datos suficiente, lo cual parece dudoso para ciertas disciplinas y para publicaciones fuera de la corriente principal de la ciencia. De todas formas, y saludando cualquier iniciativa que pueda contribuir a medir de forma justa el uso de los materiales académicos, cuando lidiamos con las altmetrics no hay que olvidar la cita atribuida a Einstein; “no todo lo que se puede contar, cuenta”.

Twitter y los blogs incrementan la visibilidad de los artículos científicos

28 feb

Que las herramientas de la web social pueden ser muy útiles para los científicos, y que éstas pueden aumentar la difusión de los trabajos científicos, y eventualmente su citación, es algo que venimos diciendo en ec3 desde hace bastante tiempo [pdf] (1). Sin embargo ahora varios trabajos empíricos reafirman este extremo, alertando del impacto que las menciones en twitter o en blogs generan sobre la descarga y posterior citación de los artículos científicos. Así se ha afirmado para el repositorio Arxiv (How the Scientific Community Reacts to Newly Submitted Preprints: Article Downloads, Twitter Mentions, and Citations) (2), para el caso de una revista médica (Can tweets predict citations?) (3) y para las citas desde blogs relevantes en Economía (The Impact of Economics Blogs [pdf]) (4). Todos los trabajos tratan de establecer relaciones entre las diversas medidas, y más allá de cada trabajo concreto los diferentes autores concluyen que parece haber un efecto, y que los papers mencionados en estas herramientas 2.0 reciben más descargas (y/o más citas) que el resto.

El trabajo centrado en ArXiv presenta otros resultados muy interesantes sobre la naturaleza de las menciones en twitter. Por ejemplo, parece que la mayoría de los artículos subidos a este repositorio son mencionados en twitter entre uno y cuatro días después de ser depositados en el repositorio. Sin embargo, estas menciones (sean muchas o pocas) no se realizan durante más de 24 horas, esto es, el 90% de los papers en ArXiv sólo son tuiteados durante 24 horas como máximo, y no son mencionados después, lo que sugiere que estos mensajes se realizan para informar a la comunidad de la aparición de un artículo. Sin embargo, los autores encuentran que existe una relación (muy baja, pero existente) entre los articulos más tuiteados y las descargas. Además encuentran que ese efecto se mantiene en lo que respecta a las citas, es decir, que existe correlación entre los artículos más tuiteados y los más citados (figura 1).

Figura 1: Correlaciones entre menciones en twitter y descargas (T ˜A), y menciones en twitter y citas (T ˜C) para los 3,20,60 y 100 artículos más tuiteados.

A pesar de que algunos aspectos de la metodología son muy criticables (¿por qué buscan las citas sólo de los 100 artículos más tuiteados, y no de los más de 4000 que componen el conjunto documental?), sin duda el trabajo presenta los primeros resultados empíricos de una línea de investigación que va a producir abundante literatura en los próximos meses dentro de la llamada altmetrics. El trabajo no entra a valorar otra serie de cuestiones como el número de seguidores de las personas que tuitearon los papers (no puede causar el mismo efecto que tuitee alguien con 20 followers que con 10.000), y que probablemente tenga mucho que ver en los datos de descargas.

Otro de los trabajos sobre el tema presenta resultados aún más llamativos. El autor de Can tweets predict citations?, G. Eysenbach, afirma en un análisis sobre su propia revista que los trabajos más tuiteados multiplican ¡por once! su posibilidad de ser altamente citados. Este artículo ha levantado una importante controversia, y los resultados pueden estar bastante sesgados, sin embargo  lo que se pone de relieve en ambos estudios es que una mayor difusión de los trabajos puede jugar un papel importante en la descarga y citación de la información científica.

Así lo demuestra también un estudio sobre el impacto de los blogs de Economía. En la figura 2 se aprecia el efecto que la mención de un paper desde un importante blog económico produjo de inmediato en las descargas del trabajo desde el repositorio RePec.

Figura 2: Descargas mensuales de un artículo en RePec. El pico de descargas se produce tras ser citado desde el blog Freakonomics.

En definitiva, y pese a los reparos metodologicos que se le pueden poner a estos trabajos, parece claro que cualquier medio de difusión de las ideas puede generar potencialmente un incremento en la visibilidad e impacto de los trabajos científicos (¡también por supuesto enviar el trabajo vía mail a los colegas de tu campo, y depositarlo en repositorios open access!), y a medida que más científicos se van incorporando a la web 2.0 es de esperar que este fenómeno vaya en aumento. Probablemente, no basta con que tú sólo tuitees tu artículo, pero en cualquier caso, es un buen punto de partida.

——–

(1) Torres-Salinas, D., & Delgado-López-Cózar, E. (2009). Estrategia para mejorar la difusión de los resultados de investigación con la Web 2.0. El Profesional de la Informacion, 18(5), 534–539.

(2) Shuai, X., Pepe, A., & Bollen, J. (2012). How the Scientific Community Reacts to Newly Submitted Preprints: Article Downloads, Twitter Mentions, and Citations. Arxiv preprint arXiv:1202.2461, 1-15.

(3) Eysenbach, G. (2011). Can Tweets Predict Citations? Metrics of Social Impact Based on Twitter and Correlation with Traditional Metrics of Scientific Impact. Journal of Medical Internet Research, 13(4), e123.

(4) Mckenzie, D., & Ozler, B. (2011). The Impact of Economics Blogs.

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 140 seguidores

%d bloggers like this: