Archivo | Metrías RSS feed for this section

Nuevo informe: Frentes de investigación científica de la Región de Murcia a través de mapas heliocéntricos

22 jun

Hace ya unos meses, se presentó en Murcia el último informe de EC3 – EC3metrics elaborado por encargo de la Fundación Séneca, la agencia regional de Ciencia y Tecnología de la Región de Murcia, y con quienes tenemos el placer de colaborar desde hace ya varios años.

Este informe, denominado Frentes de investigación científica de la Región de Murcia a través de mapas heliocéntricos, analiza las principales temáticas de la investigación murciana en el periodo 2007-2011 a través de una técnica de mapping conocida como mapas heliocentricos y que ya había sido empleada con éxito en algún paper del grupo, pero que es inédita en lo que respecta a este tipo de informes.

A través de esta técnica, el lector pueda aprehender de forma rápida y sencilla los principales contenidos de la investigación regional. Al mismo tiempo puede percibirse tanto el impacto, medido en términos bibliométricos, de dicha actividad científica, como el tamaño de las comunidades científicas adscritas a estos frentes de investigación.

heliocentric

A través del desglose de 21 disciplinas (10 de Ciencias, 5 de Biomedicina, 3 de Ingenierías y 3 de Ciencias Sociales) se ha logrado identificar los temas que despiertan el interés de los principales centros de I+D de la Región. Los datos presentados muestran una investigación regional muy vinculada a algunos de sus principales actividades económicas, como es la relacionada con la industria agroalimentaria y en concreto con la producción y conservación de frutas y verduras, así como en la elaboración de productos derivados como zumos o vinos.

El informe puede consultarse online desde la web de la Fundación Séneca, o descargarse completo para una lectura agradable y reposada.

—–

EC3Metrics. Frentes de investigación científica de la Región de Murcia a través de mapas heliocéntricos. 2007-2011. Murcia: Fundación Séneca Agencia de Ciencia y Tecnología de la Región de Murcia, 2013.

Nuevo artículo: Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals?

22 jun
Hace ya varios meses publicamos en PLOS ONE un trabajo en el que analizamos hasta qué punto coinciden los indicadores bibliométricos con la revisión por pares en la evaluación de proyectos de investigación. A partir de los solicitantes de proyectos en la convocatoria del Plan Nacional de Investigación en el año 2007, se determina para cada una de las áreas el grado en que ambas cuestiones van parejas. Para ello hemos contado con las puntuaciones otorgadas por la ANEP a dichos proyectos así como con el listado de proyectos concedidos por el Ministerio, entonces de Ciencia (la ANEP sólo evalúa, el Ministerio concede los proyectos).

 

Explicación del proceso de evaluación de proyectos en el Plan Nacional 2007

Los resultados señalan en primer lugar que los proyectos se conceden a los solicitantes que han mostrado mejor rendimiento previo. En términos bibliométricos los solicitantes que reciben proyectos presentan datos de productividad e impacto que suelen duplicar los de los solicitantes denegados. Pese a algunas discrepancias, sólo explicables bajo criterios no científicos (prioridades políticas, áreas estratégicas, re-equilibrios territoriales o de género) el sistema cumple razonablemente bien su proposito. Interesante es también señalar que, entre los cinco parámetros evaluados, el principal factor que asegura la concesión de un proyecto de investigación es el cv del investigador principal.

A partir de estos datos y de diversos análisis estadísticos, proponemos el uso de indicadores bibliométricos como complemento al peer review, para evaluar el cv de los solicitantes, ya que, de facto, es lo que están haciendo los evaluadores. También analizamos, área por área, qué indicador bibliométrico (o combinación de ellos) influye más en la concesión del proyecto (producción vs impacto).
Este estudio es uno de los pocos, hasta el momento, que analizan el proceso de evaluación y concesión de proyectos en España. Con ello pretendemos contribuir al debate sobre la política científica en nuestro país.

—————————-

Background

The peer review system has been traditionally challenged due to its many limitations especially for allocating funding. Bibliometric indicators may well present themselves as a complement.

Objective

We analyze the relationship between peers’ ratings and bibliometric indicators for Spanish researchers in the 2007 National R&D Plan for 23 research fields.

Methods and Materials

We analyze peers’ ratings for 2333 applications. We also gathered principal investigators’ research output and impact and studied the differences between accepted and rejected applications. We used the Web of Science database and focused on the 2002-2006 period. First, we analyzed the distribution of granted and rejected proposals considering a given set of bibliometric indicators to test if there are significant differences. Then, we applied a multiple logistic regression analysis to determine if bibliometric indicators can explain by themselves the concession of grant proposals.

Results


63.4% of the applications were funded. Bibliometric indicators for accepted proposals showed a better previous performance than for those rejected; however the correlation between peer review and bibliometric indicators is very heterogeneous among most areas. The logistic regression analysis showed that the main bibliometric indicators that explain the granting of research proposals in most cases are the output (number of published articles) and the number of papers published in journals that belong to the first quartile ranking of the Journal Citations Report.

Discussion

Bibliometric indicators predict the concession of grant proposals at least as well as peer ratings. Social Sciences and Education are the only areas where no relation was found, although this may be due to the limitations of the Web of Science’s coverage. These findings encourage the use of bibliometric indicators as a complement to peer review in most of the analyzed areas.

——————

Cabezas-Clavijo Á., Robinson-García N., Escabias M., Jiménez-Contreras E. (2013) Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals? PLoS ONE 8(6): e68258. doi:10.1371/journal.pone.0068258

¿Existe relación entre el tamaño del grupo de investigación y su rendimiento científico?

9 feb
En el fragor de la intensa actividad, sobre todo profesional, de los últimos meses, se me había pasado reseñar uno de los últimos trabajos elaborados, y publicado en la Revista España de Documentación Científica en verano de 2013. Aquí se toca el tema de la relación entre el tamaño del grupo de investigación y el rendimiento científico, asunto también derivado de la tesis doctoral que defendí hace unos meses.
La agregación “grupo de investigación” es, en mi opinión, la unidad de medida más adecuada para determinar el rendimiento dentro de una universidad, y detectar focos de excelencia (y de “excrecencia”, que diría mi director y compañero Emilio Delgado) más allá del espejismo burocrático que suponen los departamentos a la hora de realizar estudios bibliométricos. Es a este nivel donde se detectan auténticos oasis científicos en nuestras universidades (y donde salen a la luz las vergüenzas de “grupos de investigación” que ni son grupos -más bien bandas-, ni investigan).
Así dice el resumen:

Se presenta un análisis del rendimiento de grupos de investigación desde una perspectiva bibliométrica. Tomando como caso de estudio los grupos de investigación de la Universidad de Murcia, salvo los del área de Humanidades (n=258), se indaga en la relación entre el tamaño del grupo de investigación, y su rendimiento científico, usando para ello medidas bibliométricas absolutas y relativas. Los resultados indican que los grupos con más miembros muestran valores absolutos de producción, visibilidad e impacto más elevados que el resto de grupos, como consecuencia de su mayor tamaño. En lo que respecta a los indicadores relativos, se concluye que existe relación estadísticamente significativa entre tamaño del grupo y porcentaje de publicación en revistas del primer cuartil, así como con el valor de citas normalizado. Estos resultados vienen dados por el área de Ciencias Sociales donde la productividad per cápita también se ve afectada positivamente por el mayor tamaño del grupo de investigación. En las restantes áreas, sin embargo, no hay evidencia estadística de que los indicadores relativos estén influidos por el tamaño del grupo de investigación. Finalmente, se discuten las implicaciones de estos resultados para la toma de decisiones en política científica.

———–
Cabezas-Clavijo, Á., Jiménez-Contreras, E., & Delgado López-Cózar, E. (2013). ¿Existe relación entre el tamaño del grupo de investigación y su rendimiento científico? Estudio de caso de una universidad española. Revista española de Documentación Científica, 36(2): e006 doi: 10.3989/redc.2013.2.984 

Sexenios.com: Tú preocúpate sólo de investigar

19 oct

Esta semana hemos lanzado Sexenios.com, un servicio de asesoría en sexenios y acreditaciones dirigido a profesores de las universidades españolas e investigadores del CSIC y en el que participamos varios compañeros del grupo de investigación EC3. Lo cierto es que llevábamos ya unos años ayudando de manera informal en estos procesos, y tras comprobar que es un servicio necesario y útil para muchos profesores, nos hemos decidido por fin a lanzarnos al ruedo.

sexenios.comEstas convocatorias  se basan principalmente en parámetros bibliométricos, no siempre de fácil acceso para los que no son expertos en la materia. Los criterios de evaluacion laberinticos, junto a la sopa de letras de las bases de datos, especialmente en los campos de Ciencias Sociales y Humanas (INRECS, INRECJ, DICE, LATINDEX, MIAR, RESH, CIRC, ERIH,…), hacen que sea para muchos investigadores una tortuosa pérdida de tiempo identificar qué criterios y qué bases de datos usar y cómo presentar dichos indicios de calidad ante los organismos evaluadores. Tanto la CNEAI (Comisión Nacional de Evaluación de la Actividad Investigadora) con los sexenios, como la ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación) y las agencias regionales con las acreditaciones, adoptan una postura similar, dejan al candidato que aporte los méritos e indicios de calidad que crea conveniente, ciñéndose a unos criterios bien definidos, que posteriormente las comisiones o los evaluadores interpretan y aplican según su entender.

Lo cierto es que las modificaciones legislativas, que elevan al sexenio “vivo” como criterio para repartir cargas docentes, además de la consolidación del tramo de investigación como barrera de entrada para ciertas tareas académicas (por ejemplo, dirigir tesis doctorales y formar parte de tribunales, impartir docencia en doctorados, formar parte de institutos universitarios de investigación,…) ha generado que sin duda ésta sea una reválida imprescindible para la mayor parte del profesorado.

Con sexenios.com pretendemos ayudar al investigador a elegir el campo de investigación (ojo, que no es baladí, en Documentación por ejemplo se cargan buenos cv por ir por el campo inadecuado), seleccionar sus publicaciones, aconsejarle (si es el caso) si le conviene pedir dos o tres sexenios de golpe o adoptar una postura más conservadora, o finalmente buscarle los indicios de calidad de las aportaciones.

En el caso de las acreditaciones el foco se centra más en la búsqueda de indicios de calidad pero también aconsejamos la mejor disposición de los méritos en los distintos apartados de la demencial aplicación informática, que sin duda habrá contribuido en los últimos años a bajar la productividad científica del profesor medio español.

A juzgar por la cálida respuesta obtenida en estos primeros días, parece que no estábamos equivocados en nuestra percepción y que realmente este servicio tiene demanda entre los profesores de las universidades españolas. Nuestro objetivo es ahorrar quebraderos de cabeza y ayudar a los profesores a que se dediquen a lo que realmente se deben dedicar, que es a la docencia y a la investigacion.

Como dice nuestro lema: Tú preocúpate sólo de investigar.

Más información en nuestra web: http://sexenios.com/, Twitter  y Facebook.
Email: info@sexenios.com

Google Updates y el filtrado de información científica

16 sep

La aparición de Google Updates, o en español, Mis actualizaciones desde hace pocos días en Google Scholar nos recuerda que una de las exigencias más básicas que se le pueden pedir a un investigador o a un doctorando (como ¿bromeábamos? el otro día: una persona o un becario), es que esté al día de lo que se cuece en su campo. También es ésta una de las pesadillas recurrentes del doctorando, ¿se me habrá pasado citar en este paper algún artículo relevante? ¿habrá algo nuevo sobre este tema? O incluso peor, el gran pecado capital, ¿¿¿¡¡habrá dicho algo sobre este tema mi director de tesis y no le cito!!???

La Familia Scholar en español

Pero, ¿es posible estar al día de TODO lo que se publica en mi tema de interés? La respuesta es NO. Pero, ¿es posible estar al día de lo MÁS RELEVANTE que se publica en mi campo? La respuesta, con un cierto margen de error, es SÍ.

La cantidad de publicaciones que cada semana surgen dentro de un determinado campo es prácticamente inmanejable. En bibliometría por ejemplo es fácil encontrar cada semana del orden de 50 nuevos trabajos accesibles electrónicamente. Esto es absolutamente inabarcable por cualquiera, por lo que se hace necesario gestionar y filtrar este flujo de nuevos artículos.

En mi caso, supongo que como el muchas personas, uso una estrategia combinada, basada en las suscripciones vía RSS a las tablas de contenido de las revistas centrales de mi campo (la mayor parte de publicaciones relevantes dentro de una especialidad se publican en unas pocas revistas), junto a alertas periódicas de búsquedas predeterminadas en Google Scholar. Si a esto le sumamos los interesantes enlaces que se comparten vía Twitter, y los artículos que se referencian en las listas de correo específicas (SigMetrics, Scholarly Communication), y lo aderezamos con los sumarios de la Revista Española de Documentación Científica y de El Profesional de la Información que llegan periódicamente a través de Iwetel, tenemos un conjunto importante de documentos potenciales que leer.

Tengo que decir que de todos estos trabajos mensualmente quizá descargo un máximo de 10-12, de lo que probablemente leeré con suerte la mitad. La otra mitad dormirá el sueño de los justos en Mendeley, esperando quizá mejor ocasión para sacar la cabeza. La fuente de publicación es un criterio central para filtrar estos trabajos. A no ser que sean absolutamente centrales para alguno de los temas de mi interés, los capítulos de libro, los congresos, y los artículos publicados en revistas NO ISI quedan automáticamente descartados. No es nada personal, es un criterio.

Sugerencias de Scholar Updates, como véis muy pertinentesEn este contexto, la aparición de Google Updates, el producto basado en Google Scholar que sugiere lecturas académicas a partir de nuestro propio perfil cientifico, puede resultar un poco redundante para las personas que tienen un sistema bastante estructurado para localizar nueva información relevante, aunque muy útil para otras. Es un hecho que las lecturas que recomienda, como se aprecia en el pantallazo, son pertinentes (si bien el algoritmo que aplican parece bastante conservador) y su potencial es muy interesante. Aunque en algún blog piden que se pueda filtrar por artículos en acceso abierto, a mí me parecería más útil combinar las sugerencias de lectura con Google Scholar Metrics (aunque ya sabemos que es un producto poco riguroso [pdf]) de manera que sólo se mostraran alertas provenientes de revistas con un índice h superior a un umbral que estableciera el usuario, evitando así el ruido de los artículos publicados en revistas de escaso alcance. En este sentido hay que señalar que los dos grandes productos del ramo (Scopus, Web of Science) tampoco han conseguido crear sistemas de alerta y filtrado basados en la relevancia de las fuentes.

En definitiva, si algo necesitan los investigadores no son más fuentes, sino mejores sistemas de filtrado de información relevante. Ah, y por supuesto, más tiempo.

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 299 seguidores

%d personas les gusta esto: