Nuevo informe: Frentes de investigación científica de la Región de Murcia a través de mapas heliocéntricos

22 jun

Hace ya unos meses, se presentó en Murcia el último informe de EC3 – EC3metrics elaborado por encargo de la Fundación Séneca, la agencia regional de Ciencia y Tecnología de la Región de Murcia, y con quienes tenemos el placer de colaborar desde hace ya varios años.

Este informe, denominado Frentes de investigación científica de la Región de Murcia a través de mapas heliocéntricos, analiza las principales temáticas de la investigación murciana en el periodo 2007-2011 a través de una técnica de mapping conocida como mapas heliocentricos y que ya había sido empleada con éxito en algún paper del grupo, pero que es inédita en lo que respecta a este tipo de informes.

A través de esta técnica, el lector pueda aprehender de forma rápida y sencilla los principales contenidos de la investigación regional. Al mismo tiempo puede percibirse tanto el impacto, medido en términos bibliométricos, de dicha actividad científica, como el tamaño de las comunidades científicas adscritas a estos frentes de investigación.

heliocentric

A través del desglose de 21 disciplinas (10 de Ciencias, 5 de Biomedicina, 3 de Ingenierías y 3 de Ciencias Sociales) se ha logrado identificar los temas que despiertan el interés de los principales centros de I+D de la Región. Los datos presentados muestran una investigación regional muy vinculada a algunos de sus principales actividades económicas, como es la relacionada con la industria agroalimentaria y en concreto con la producción y conservación de frutas y verduras, así como en la elaboración de productos derivados como zumos o vinos.

El informe puede consultarse online desde la web de la Fundación Séneca, o descargarse completo para una lectura agradable y reposada.

—–

EC3Metrics. Frentes de investigación científica de la Región de Murcia a través de mapas heliocéntricos. 2007-2011. Murcia: Fundación Séneca Agencia de Ciencia y Tecnología de la Región de Murcia, 2013.

Nuevo artículo: Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals?

22 jun
Hace ya varios meses publicamos en PLOS ONE un trabajo en el que analizamos hasta qué punto coinciden los indicadores bibliométricos con la revisión por pares en la evaluación de proyectos de investigación. A partir de los solicitantes de proyectos en la convocatoria del Plan Nacional de Investigación en el año 2007, se determina para cada una de las áreas el grado en que ambas cuestiones van parejas. Para ello hemos contado con las puntuaciones otorgadas por la ANEP a dichos proyectos así como con el listado de proyectos concedidos por el Ministerio, entonces de Ciencia (la ANEP sólo evalúa, el Ministerio concede los proyectos).

 

Explicación del proceso de evaluación de proyectos en el Plan Nacional 2007

Los resultados señalan en primer lugar que los proyectos se conceden a los solicitantes que han mostrado mejor rendimiento previo. En términos bibliométricos los solicitantes que reciben proyectos presentan datos de productividad e impacto que suelen duplicar los de los solicitantes denegados. Pese a algunas discrepancias, sólo explicables bajo criterios no científicos (prioridades políticas, áreas estratégicas, re-equilibrios territoriales o de género) el sistema cumple razonablemente bien su proposito. Interesante es también señalar que, entre los cinco parámetros evaluados, el principal factor que asegura la concesión de un proyecto de investigación es el cv del investigador principal.

A partir de estos datos y de diversos análisis estadísticos, proponemos el uso de indicadores bibliométricos como complemento al peer review, para evaluar el cv de los solicitantes, ya que, de facto, es lo que están haciendo los evaluadores. También analizamos, área por área, qué indicador bibliométrico (o combinación de ellos) influye más en la concesión del proyecto (producción vs impacto).
Este estudio es uno de los pocos, hasta el momento, que analizan el proceso de evaluación y concesión de proyectos en España. Con ello pretendemos contribuir al debate sobre la política científica en nuestro país.

—————————-

Background

The peer review system has been traditionally challenged due to its many limitations especially for allocating funding. Bibliometric indicators may well present themselves as a complement.

Objective

We analyze the relationship between peers’ ratings and bibliometric indicators for Spanish researchers in the 2007 National R&D Plan for 23 research fields.

Methods and Materials

We analyze peers’ ratings for 2333 applications. We also gathered principal investigators’ research output and impact and studied the differences between accepted and rejected applications. We used the Web of Science database and focused on the 2002-2006 period. First, we analyzed the distribution of granted and rejected proposals considering a given set of bibliometric indicators to test if there are significant differences. Then, we applied a multiple logistic regression analysis to determine if bibliometric indicators can explain by themselves the concession of grant proposals.

Results


63.4% of the applications were funded. Bibliometric indicators for accepted proposals showed a better previous performance than for those rejected; however the correlation between peer review and bibliometric indicators is very heterogeneous among most areas. The logistic regression analysis showed that the main bibliometric indicators that explain the granting of research proposals in most cases are the output (number of published articles) and the number of papers published in journals that belong to the first quartile ranking of the Journal Citations Report.

Discussion

Bibliometric indicators predict the concession of grant proposals at least as well as peer ratings. Social Sciences and Education are the only areas where no relation was found, although this may be due to the limitations of the Web of Science’s coverage. These findings encourage the use of bibliometric indicators as a complement to peer review in most of the analyzed areas.

——————

Cabezas-Clavijo Á., Robinson-García N., Escabias M., Jiménez-Contreras E. (2013) Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals? PLoS ONE 8(6): e68258. doi:10.1371/journal.pone.0068258

¿Existe relación entre el tamaño del grupo de investigación y su rendimiento científico?

9 feb
En el fragor de la intensa actividad, sobre todo profesional, de los últimos meses, se me había pasado reseñar uno de los últimos trabajos elaborados, y publicado en la Revista España de Documentación Científica en verano de 2013. Aquí se toca el tema de la relación entre el tamaño del grupo de investigación y el rendimiento científico, asunto también derivado de la tesis doctoral que defendí hace unos meses.
La agregación “grupo de investigación” es, en mi opinión, la unidad de medida más adecuada para determinar el rendimiento dentro de una universidad, y detectar focos de excelencia (y de “excrecencia”, que diría mi director y compañero Emilio Delgado) más allá del espejismo burocrático que suponen los departamentos a la hora de realizar estudios bibliométricos. Es a este nivel donde se detectan auténticos oasis científicos en nuestras universidades (y donde salen a la luz las vergüenzas de “grupos de investigación” que ni son grupos -más bien bandas-, ni investigan).
Así dice el resumen:

Se presenta un análisis del rendimiento de grupos de investigación desde una perspectiva bibliométrica. Tomando como caso de estudio los grupos de investigación de la Universidad de Murcia, salvo los del área de Humanidades (n=258), se indaga en la relación entre el tamaño del grupo de investigación, y su rendimiento científico, usando para ello medidas bibliométricas absolutas y relativas. Los resultados indican que los grupos con más miembros muestran valores absolutos de producción, visibilidad e impacto más elevados que el resto de grupos, como consecuencia de su mayor tamaño. En lo que respecta a los indicadores relativos, se concluye que existe relación estadísticamente significativa entre tamaño del grupo y porcentaje de publicación en revistas del primer cuartil, así como con el valor de citas normalizado. Estos resultados vienen dados por el área de Ciencias Sociales donde la productividad per cápita también se ve afectada positivamente por el mayor tamaño del grupo de investigación. En las restantes áreas, sin embargo, no hay evidencia estadística de que los indicadores relativos estén influidos por el tamaño del grupo de investigación. Finalmente, se discuten las implicaciones de estos resultados para la toma de decisiones en política científica.

———–
Cabezas-Clavijo, Á., Jiménez-Contreras, E., & Delgado López-Cózar, E. (2013). ¿Existe relación entre el tamaño del grupo de investigación y su rendimiento científico? Estudio de caso de una universidad española. Revista española de Documentación Científica, 36(2): e006 doi: 10.3989/redc.2013.2.984 

Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0

22 sep

La revista COMUNICAR publicó en verano un número especial dedicado a evaluación científica coordinado por Elea Giménez y Evaristo Jiménez. En ese número publiqué junto mi compañeros en EC3 y en EC3metrics Torres-Salinas y Jiménez-Contreras un trabajo sobre uno de los “hot topics” de la bibliometría en los últimos tiempos, las altmetrics. Ademas de presentar datos del campo de la Comunicación, reflexionamos sobre el concepto de altmetrics y su posible evolución a corto plazo, si bien somos un tanto escépticos acerca de su utilización real en la evaluación de la actividad científica.

Si realmente queremos que estos indicadores, más allá de las meras experimentaciones y estudios académicos, se empleen para la evaluación de la actividad científica, sin duda, deben resolverse aún muchos problemas teóricos (significado), metodológicos (validez de fuentes) y técnicos (normalización).

Sin más, os dejo con el resumen y los enlaces para la descarga del texto completo.

Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0

DESCARGAR

En el presente trabajo se realiza una revisión de las altmetrics o indicadores alternativos. Este concepto se define como la creación y estudio de nuevos indicadores, basados en la web 2.0, para el análisis de la actividad científica y académica. La idea que subyace es que, por ejemplo, las menciones en blogs, el número de tuits o el de personas que guardan un artículo en su gestor de referencias puede ser una medida válida del uso y repercusión de las publicaciones científicas. En este sentido, estas medidas se han situado en el centro del debate de los estudios bibliométricos cobrando especial relevancia.

En el artículo se ilustran en primer lugar las plataformas e indicadores principales de este tipo de medidas, para posteriormente estudiar un conjunto de trabajos del ámbito de la comunicación, comparando el número de citas recibidas con sus indicadores 2.0. Los resultados señalan que los artículos más citados de la disciplina en los últimos años también presentan indicadores significativamente más elevados de altmetrics. Seguidamente se realiza un repaso por los principales estudios empíricos realizados, deteniéndonos en las correlaciones entre indicadores bibliométricos y alternativos. Se finaliza, a modo de reflexión, señalando las principales limitaciones y el papel que las altmetrics pueden desempeñar a la hora de captar la repercusión de la investigación en las plataformas de la web 2.0.

————–

Torres, D., Cabezas, Á. & Jiménez, E. (2013). Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar, 41, 53-60. (DOI: 10.3916/C41-2013-05) http://dx.doi.org/10.3916/C41-2013-05

Torres, D., Cabezas, Á. & Jiménez, E. (2013). Altmetrics: New Indicators for Scientific Communication in Web 2.0. Comunicar, 41, 53-60. (DOI: 10.3916/C41-2013-05) http://dx.doi.org/10.3916/C41-2013-05

Doctor, al fin

26 may

Tras varios años de preparación y un número mayor de retrasos de lo tolerable, el pasado viernes 17 de mayo conseguí, al fin, mi Doctorado en Bibliometría (aunque formalmente seré Doctor en Ciencias Sociales). Esta carrera de fondo que es hacer una tesis doctoral se acabó pero realmente no es más que un acicate para continuar con la labor investigadora y profesional dentro del campo de la evaluación científica.

Realmente los sinsabores de la tesis quedaron desterrados en el acto de defensa, en el que me sentí muy cómodo y disfruté enormemente. No sólo yo, sino también el tribunal, ya que nos explayamos en un largo debate que se prolongó durante casi 4 horas. Tengo que agradecerles su generosidad por el tiempo dedicado tanto en la defensa como en la lectura y análisis del trabajo. También por los consejos que me ofrecieron tanto para la interpretación de resultados como para la posterior explotación científica de la tesis. Éste es el ppt empleado en la defensa.

Igualmente, me gustaría reconocer públicamente la labor de mis directores de tesis, que me han guiado sabiamente a buen puerto, tanto a Evaristo como a Emilio mi gratitud por darme siempre libertad absoluta para equivocarme y rectificar y volver a equivocarme…Fíjense qué exultante el feliz trío.

tesis cabezas

La sensación que queda ahora es más de alivio que de otra cosa, ya que en algún momento pensé que no iba a poder conseguir el objetivo del doctorado. Sin duda, ha sido posible también gracias a los compañeros del grupo que me han ayudado y animado a seguir adelante así como a la Fundación Séneca que desde 2004 ha confiado en EC3 para realizar el seguimiento de la actividad científica de la Región de Murcia.

A todos ellos muchas gracias por ayudarme a llegar al punto de partida.

——————-

TÍTULO:Estudio bibliométrico de la producción, actividad y colaboración científicas en grupos de investigación: el caso de la  Universidad de Murcia.

DIRECTORES: Evaristo Jiménez Contreras y Emilio Delgado López-Cózar

FECHA Y LUGAR DE LECTURA: 17 de mayo de 2013, Facultad de Comunicación y Documentación de la Universidad de Granada

TRIBUNAL: Presidente: Juan María Vázquez Rojas (Dirección General Investigación y Univ. Murcia); Secretario: Rafael Ruiz Pérez (Univ. Granada); Vocales: Manuel Fernández Esquinas (IESA-CSIC), Victoria Ley (Agencia Antidopaje, antes ANEP), Rodrigo Costas (CWTS, Univ. Leiden),

CALIFICACIÓN: Apto Cum Laude (9,8 sobre 10)

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 300 seguidores

%d personas les gusta esto: