Archivo | Metrías Feed RSS para esta sección

¿Existe relación entre el tamaño del grupo de investigación y su rendimiento científico?

9 feb
En el fragor de la intensa actividad, sobre todo profesional, de los últimos meses, se me había pasado reseñar uno de los últimos trabajos elaborados, y publicado en la Revista España de Documentación Científica en verano de 2013. Aquí se toca el tema de la relación entre el tamaño del grupo de investigación y el rendimiento científico, asunto también derivado de la tesis doctoral que defendí hace unos meses.
La agregación “grupo de investigación” es, en mi opinión, la unidad de medida más adecuada para determinar el rendimiento dentro de una universidad, y detectar focos de excelencia (y de “excrecencia”, que diría mi director y compañero Emilio Delgado) más allá del espejismo burocrático que suponen los departamentos a la hora de realizar estudios bibliométricos. Es a este nivel donde se detectan auténticos oasis científicos en nuestras universidades (y donde salen a la luz las vergüenzas de “grupos de investigación” que ni son grupos -más bien bandas-, ni investigan).
Así dice el resumen:

Se presenta un análisis del rendimiento de grupos de investigación desde una perspectiva bibliométrica. Tomando como caso de estudio los grupos de investigación de la Universidad de Murcia, salvo los del área de Humanidades (n=258), se indaga en la relación entre el tamaño del grupo de investigación, y su rendimiento científico, usando para ello medidas bibliométricas absolutas y relativas. Los resultados indican que los grupos con más miembros muestran valores absolutos de producción, visibilidad e impacto más elevados que el resto de grupos, como consecuencia de su mayor tamaño. En lo que respecta a los indicadores relativos, se concluye que existe relación estadísticamente significativa entre tamaño del grupo y porcentaje de publicación en revistas del primer cuartil, así como con el valor de citas normalizado. Estos resultados vienen dados por el área de Ciencias Sociales donde la productividad per cápita también se ve afectada positivamente por el mayor tamaño del grupo de investigación. En las restantes áreas, sin embargo, no hay evidencia estadística de que los indicadores relativos estén influidos por el tamaño del grupo de investigación. Finalmente, se discuten las implicaciones de estos resultados para la toma de decisiones en política científica.

———–
Cabezas-Clavijo, Á., Jiménez-Contreras, E., & Delgado López-Cózar, E. (2013). ¿Existe relación entre el tamaño del grupo de investigación y su rendimiento científico? Estudio de caso de una universidad española. Revista española de Documentación Científica, 36(2): e006 doi: 10.3989/redc.2013.2.984 

Sexenios.com: Tú preocúpate sólo de investigar

19 oct

Esta semana hemos lanzado Sexenios.com, un servicio de asesoría en sexenios y acreditaciones dirigido a profesores de las universidades españolas e investigadores del CSIC y en el que participamos varios compañeros del grupo de investigación EC3. Lo cierto es que llevábamos ya unos años ayudando de manera informal en estos procesos, y tras comprobar que es un servicio necesario y útil para muchos profesores, nos hemos decidido por fin a lanzarnos al ruedo.

sexenios.comEstas convocatorias  se basan principalmente en parámetros bibliométricos, no siempre de fácil acceso para los que no son expertos en la materia. Los criterios de evaluacion laberinticos, junto a la sopa de letras de las bases de datos, especialmente en los campos de Ciencias Sociales y Humanas (INRECS, INRECJ, DICE, LATINDEX, MIAR, RESH, CIRC, ERIH,…), hacen que sea para muchos investigadores una tortuosa pérdida de tiempo identificar qué criterios y qué bases de datos usar y cómo presentar dichos indicios de calidad ante los organismos evaluadores. Tanto la CNEAI (Comisión Nacional de Evaluación de la Actividad Investigadora) con los sexenios, como la ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación) y las agencias regionales con las acreditaciones, adoptan una postura similar, dejan al candidato que aporte los méritos e indicios de calidad que crea conveniente, ciñéndose a unos criterios bien definidos, que posteriormente las comisiones o los evaluadores interpretan y aplican según su entender.

Lo cierto es que las modificaciones legislativas, que elevan al sexenio “vivo” como criterio para repartir cargas docentes, además de la consolidación del tramo de investigación como barrera de entrada para ciertas tareas académicas (por ejemplo, dirigir tesis doctorales y formar parte de tribunales, impartir docencia en doctorados, formar parte de institutos universitarios de investigación,…) ha generado que sin duda ésta sea una reválida imprescindible para la mayor parte del profesorado.

Con sexenios.com pretendemos ayudar al investigador a elegir el campo de investigación (ojo, que no es baladí, en Documentación por ejemplo se cargan buenos cv por ir por el campo inadecuado), seleccionar sus publicaciones, aconsejarle (si es el caso) si le conviene pedir dos o tres sexenios de golpe o adoptar una postura más conservadora, o finalmente buscarle los indicios de calidad de las aportaciones.

En el caso de las acreditaciones el foco se centra más en la búsqueda de indicios de calidad pero también aconsejamos la mejor disposición de los méritos en los distintos apartados de la demencial aplicación informática, que sin duda habrá contribuido en los últimos años a bajar la productividad científica del profesor medio español.

A juzgar por la cálida respuesta obtenida en estos primeros días, parece que no estábamos equivocados en nuestra percepción y que realmente este servicio tiene demanda entre los profesores de las universidades españolas. Nuestro objetivo es ahorrar quebraderos de cabeza y ayudar a los profesores a que se dediquen a lo que realmente se deben dedicar, que es a la docencia y a la investigacion.

Como dice nuestro lema: Tú preocúpate sólo de investigar.

Más información en nuestra web: http://sexenios.com/, Twitter  y Facebook.
Email: info@sexenios.com

Google Updates y el filtrado de información científica

16 sep

La aparición de Google Updates, o en español, Mis actualizaciones desde hace pocos días en Google Scholar nos recuerda que una de las exigencias más básicas que se le pueden pedir a un investigador o a un doctorando (como ¿bromeábamos? el otro día: una persona o un becario), es que esté al día de lo que se cuece en su campo. También es ésta una de las pesadillas recurrentes del doctorando, ¿se me habrá pasado citar en este paper algún artículo relevante? ¿habrá algo nuevo sobre este tema? O incluso peor, el gran pecado capital, ¿¿¿¡¡habrá dicho algo sobre este tema mi director de tesis y no le cito!!???

La Familia Scholar en español

Pero, ¿es posible estar al día de TODO lo que se publica en mi tema de interés? La respuesta es NO. Pero, ¿es posible estar al día de lo MÁS RELEVANTE que se publica en mi campo? La respuesta, con un cierto margen de error, es SÍ.

La cantidad de publicaciones que cada semana surgen dentro de un determinado campo es prácticamente inmanejable. En bibliometría por ejemplo es fácil encontrar cada semana del orden de 50 nuevos trabajos accesibles electrónicamente. Esto es absolutamente inabarcable por cualquiera, por lo que se hace necesario gestionar y filtrar este flujo de nuevos artículos.

En mi caso, supongo que como el muchas personas, uso una estrategia combinada, basada en las suscripciones vía RSS a las tablas de contenido de las revistas centrales de mi campo (la mayor parte de publicaciones relevantes dentro de una especialidad se publican en unas pocas revistas), junto a alertas periódicas de búsquedas predeterminadas en Google Scholar. Si a esto le sumamos los interesantes enlaces que se comparten vía Twitter, y los artículos que se referencian en las listas de correo específicas (SigMetrics, Scholarly Communication), y lo aderezamos con los sumarios de la Revista Española de Documentación Científica y de El Profesional de la Información que llegan periódicamente a través de Iwetel, tenemos un conjunto importante de documentos potenciales que leer.

Tengo que decir que de todos estos trabajos mensualmente quizá descargo un máximo de 10-12, de lo que probablemente leeré con suerte la mitad. La otra mitad dormirá el sueño de los justos en Mendeley, esperando quizá mejor ocasión para sacar la cabeza. La fuente de publicación es un criterio central para filtrar estos trabajos. A no ser que sean absolutamente centrales para alguno de los temas de mi interés, los capítulos de libro, los congresos, y los artículos publicados en revistas NO ISI quedan automáticamente descartados. No es nada personal, es un criterio.

Sugerencias de Scholar Updates, como véis muy pertinentesEn este contexto, la aparición de Google Updates, el producto basado en Google Scholar que sugiere lecturas académicas a partir de nuestro propio perfil cientifico, puede resultar un poco redundante para las personas que tienen un sistema bastante estructurado para localizar nueva información relevante, aunque muy útil para otras. Es un hecho que las lecturas que recomienda, como se aprecia en el pantallazo, son pertinentes (si bien el algoritmo que aplican parece bastante conservador) y su potencial es muy interesante. Aunque en algún blog piden que se pueda filtrar por artículos en acceso abierto, a mí me parecería más útil combinar las sugerencias de lectura con Google Scholar Metrics (aunque ya sabemos que es un producto poco riguroso [pdf]) de manera que sólo se mostraran alertas provenientes de revistas con un índice h superior a un umbral que estableciera el usuario, evitando así el ruido de los artículos publicados en revistas de escaso alcance. En este sentido hay que señalar que los dos grandes productos del ramo (Scopus, Web of Science) tampoco han conseguido crear sistemas de alerta y filtrado basados en la relevancia de las fuentes.

En definitiva, si algo necesitan los investigadores no son más fuentes, sino mejores sistemas de filtrado de información relevante. Ah, y por supuesto, más tiempo.

Altmetrics por todas partes

9 sep

Uno no deja de sorprenderse de la capacidad de ciertos conceptos o términos para hacer fortuna en un escaso margen de tiempo. En apenas unos meses, desde que se acuñara el término Altmetrics han surgido empresas (Altmetric, Plum Analytics), proyectos (total-impact), y todo tipo de papers al respecto. Algunas de las principales multinacionales de la publicación científica (Elsevier) han integrado estas métricas en sus productos, e incluso relevantes bibliómetras lo mencionan como una de las novedades más importantes en los últimos años. Al mismo tiempo son varias las aplicaciones de la ciencia 2.0 que están incorporando sus propios indicadores de repercusión, visibilidad, impacto, popularidad o lo que sea que midan las métricas alternativas.

Una de estas alianzas entre empresas tradicionales y altmétricas es la de Altmetric y Elsevier. Así, la app Altmetric en Scopus, ofrece información acerca de la repercusión de un trabajo en redes sociales como Twitter, Facebook o Google + o el número de lectores en Mendeley. Además la misma empresa ofrece un bookmarklet gratuito, de manera que podemos comprobar para un gran número de artículos el eco que ha generado en redes sociales. Asimismo, han generado una métrica propia que combina aspectos cuantitativos y cualitativos, si bien no se explica exactamente cómo se calcula. Como vimos hace algún tiempo, parece que la repercusión de un artículo en redes sociales podría estar vinculado a su impacto futuro lo que justifica este tipo de herramientas.

Una de las redes sociales científicas punteras, aunque a mi entender sin mucho valor práctico, es ResearchGate. Ellos han incluido hace poco el RG Score que definen como “una nueva forma de medir la reputación científica”. El indicador se computa a partir de las visitas al perfil, visitas a las publicaciones y descarga de artículos, aunque como en el caso anterior no se explicita cómo se realiza el cómputo. Además, anuncian que el número de citas será en un futuro otra de las variables que intervendrán en dicho índice. Lo bueno es que ofrece información comparativa; cómo se sitúa un usuario respecto al resto de usuarios de la aplicación, aunque como no sabemos exactamente lo que mide, tampoco parece tener mucho sentido esta comparación.

Y finalmente, el que a mi parecer es el avance más significativo dentro de la altmetrics y los indicadores de uso: Mendeley Institutional Edition. Es la iniciativa más interesante por cuanto supone un salto desde el nivel individual (artículo, perfil) al nivel institucional, algo que no han hecho ninguna de las otras iniciativas alternativas. En este caso, tomando los datos del magnífico gestor de referencias Mendeley, este producto distribuido por Swets ofrece una serie de indicadores a nivel institucional, tanto de los trabajos que están leyendo (mejor, almacenando) sus investigadores, como del número de lectores que tienen los artículos que realizan los investigadores de la institución. Esta perspectiva sí es muy interesante y novedosa ya que es (que yo sepa) el primer producto que integra indicadores de uso dentro de una suite enfocada a la gestión científica. Otro factor interesante es que permite conocer en tiempo real el uso de los materiales, sin tener que esperar (dos-tres años) para obtener estadísticas de citas fiables. Aunque no tengo claro que este cortoplacismo en medir resultados sea una táctica adecuada de cara a la gestión científica, es muy interesante contar con datos de uso reales de los trabajos de una institución. Eso sí, el que alguien se haya descargado un artículo a su gestor de referencias no implica necesariamente que lo vaya a leer en un futuro ni que le haya resultado útil para su investigación. Al contrario que en la citación, donde existen teorías fundamentadas sobre qué significa una cita (aunque sean teorías en permanente discusión), no se tiene muy claro que significa descargar un artículo ¿uso, popularidad?

En cualquier caso estos productos pueden complementar muy bien a los indicadores bibliométricos (bien establecidos, conocidos y aceptados por la mayor parte de investigadores), siempre y cuando se basen en un volumen de datos suficiente, lo cual parece dudoso para ciertas disciplinas y para publicaciones fuera de la corriente principal de la ciencia. De todas formas, y saludando cualquier iniciativa que pueda contribuir a medir de forma justa el uso de los materiales académicos, cuando lidiamos con las altmetrics no hay que olvidar la cita atribuida a Einstein; “no todo lo que se puede contar, cuenta”.

Análisis de Google Scholar y sus productos

23 jul

Acaba de publicarse en El Profesional de la Información un artículo en el que evaluamos Google Scholar Metrics, el nuevo y decepcionante producto bibliométrico de la compañía de Mountain View. Este trabajo en la versión resumida y pulida de diversos working papers publicados en los últimos meses, y que hemos ido difundiendo convenientemente a través de las listas de correo profesionales, y del blog ec3noticias, y que, siguiendo nuestra política habitual, pueden encontrarse en acceso abierto. Este trabajo, además, se puede encontrar tanto en español como en inglés.

Delgado-López-Cózar, E., & Cabezas-Clavijo, Á. (2012). Google Scholar Metrics: an unreliable tool for assessing scientific journals. El Profesional de la Información, 21(4), 419-427. doi:10.3145/epi.2012.jul.15

Esta línea de investigación, dirigida por Emilio Delgado, no es nueva en el grupo de investigación, ya que comenzó en el año 2009 [pdf], aunque mi participación en los distintos trabajos sí es más reciente. Listo por aquí a modo de cuaderno de a bordo los trabajos sobre Google Scholar y sus productos (Citations, Metrics) en los que he intervenido, con acceso al texto completo, por si a alguien le interesa echarle un vistazo.

Cabezas-Clavijo, Á., & Torres-Salinas, D. (2012). Google scholar citations y la emergencia de nuevos actores en la evaluación de la investigación. Anuario ThinkEPI, 6, 147-153.

Cabezas-Clavijo, Á., & Delgado-López-Cózar, E. (2012). Scholar Metrics: the impact of journals according to Google, just an amusement or a valid scientific tool? EC3 Working Papers, (1).

Cabezas-Clavijo, Á., & Delgado-López-Cózar, E. (2012). Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics , ¿están todas las que son? EC3 Working Papers, (2).

Cabezas-Clavijo, Á., & Delgado-López-Cózar, E. (2012). ¿Es posible usar Google Scholar para evaluar a las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers, (3).

Delgado López-Cózar, E., Marcos Cartagena, D., Cabezas Clavijo, A., Jiménez Contreras, E., & Ruiz Pérez, R. (2012). Índice H de las revistas españolas de Ciencias Jurídicas según Google Scholar (2001-2010).

Delgado López-Cózar, E., Marcos Cartagena, D., Cabezas Clavijo, A., Jiménez Contreras, E., & Ruiz Pérez, R. (2012). Índice H de las revistas españolas de Ciencias Sociales según Google Scholar (2001-2010).

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 294 seguidores

%d personas les gusta esto: