Los términos métricas e indicadores, suelen usarse como sinonimos pero tienen diferencias. Las métricas son unidades de medida que cuantifican una magnitud (cuantifican un evento) y los indicadores son medidas que indican algo o dan información sobre algo (Diccionario de Cambridge, 2019), estos pueden estar basados en una o más variables o métricas y sirven de instrumentos para evaluar el desempeño de un sistema. Sin embargo, la diferente naturaleza y significado de cada métrica y su probabilidad de aparición han provocado la ausencia de indicadores almétricos rigurosos basados en supuestos teóricos (Ortega, 2020).
Un ejemplo de esto, es el Altmetric Attention Score (AAS) de Altmetric.com. Este indicador se calcula sumando todas las métricas que captura Altmetric.com, excepto los lectores de Mendeley, los guardados de CiteULike (estas fuentes no permiten auditar estas métricas) y las citas de Dimensions (las citas no se consideran una métrica alternativa). Estas métricas se ponderan de acuerdo con pesos arbitrarios y se utilizan varios criterios parciales para valorar diferentes eventos y fuentes (Almetrics Support, 2019). Sin embargo, hay varias críticas respecto a sus limitaciones ya que combina diferentes métricas en un mismo conteo y los pesos y criterios asignados no están sustentados con evidencias científicas (Gumpenberger et al., 2016; Mukherjee, Subotić y Chaubey, 2018). | Almetric Attention Score Métricas |
Ortega (2020) propone clasificar las métricas en dimensiones según su significado y establecer pesos según la prevalencia o frecuencia de aparición. En base a ello, cada dimensión agrupa un conjunto de métricas con un significado similar y que expresan el mismo impacto en un entorno preciso. Esta similitud en el significado se define por la proporción de información compartida entre dos métricas, y el entorno es el lugar donde estas métricas tienen significado y valor. Así pues, una cita será valiosa en un entorno científico, mientras que un tweet es relevante en un entorno mediático. Según el autor, el impacto que generan se entiende desde una perspectiva termodinámica y alude al grado en que un objeto puede cambiar el estado de un sistema. Así, una publicación impacta cuando provoca distintas reacciones (citas, menciones, guardados, visualizaciones, etc.) en un sistema de conocimiento (academia, medios, redes sociales, etc.).
Fuente: Adaptado de Ortega, J. L. (2020). Proposal of composed altmetric indicators based on prevalence and impact dimensions. Journal of Informetrics, 14(4), 1-12. https://doi.org/10.1016/j.joi.2020.101071
Asimismo, Qiu & Yu (2015), proponen un esquema estratificado en forma de pirámide en el que se clasifican diferentes métricas en función de su frecuencia y costo (prevalencia). Se establecen tres niveles de percepción: el nivel de uso básico relacionado con las métricas de vistas y descargas de trabajos de investigación, el nivel de social media relacionado con las acciones en redes sociales para la difusión, y el nivel de aplicación que se enfoca en el uso específico de los resultados de investigación para producir nuevos conocimientos. Además, se asume que la importancia de una métrica está inversamente relacionada con su frecuencia de aparición en un corpus bibliográfico, utilizando un enfoque cuantitativo. |
Fuente: Qiu, J., & Yu, H. (2015). Stratifying Altmetrics Indicators Based on Impact Generation Model. International Conference on Scientometrics and Informetrics. |
Muchos indicadores son diseñados a partir de una variable o métrica (simples), pero también existen propuestas de indicadores más complejos (compuestos) que tienen en consideración la diferente naturaleza y significado de cada métrica y su probabilidad de aparición. A continuación mostramos algunos ejemplos de indicadores propuestos por algunos autores y también algunos usados por agregadores como Almetrics.org e ImpactStory.
Elaboración propia