h-index, i10-index y Altmetric · qué mide cada uno y para qué sirve
Tres métricas dominan la conversación sobre impacto académico · y ninguna mide lo mismo. El h-index pregunta por consistencia, el i10-index por umbral mínimo, Altmetric por atención fuera de la academia. Confundirlas produce decisiones equivocadas.
// Resumen ejecutivoTres métricas académicas dominan la evaluación contemporánea de investigadores y artículos · cada una mide cosas distintas y se rompe en escenarios distintos.
Tres ideas para no confundirlas:
- h-index: mide productividad sostenida · castiga al que tiene un solo paper extraordinario y al que empieza carrera · sesgado por disciplina.
- i10-index: umbral simple de 10+ citas por paper · útil como filtro grueso · no captura magnitud del impacto.
- Altmetric: agregador de atención no-académica · útil para ver si un paper salió de la academia · vulnerable a campañas y bots.
Conclusión operativa: nunca usar una métrica sola. Triangular con contexto disciplinar y leer los papers reales antes de decidir.
1. Por qué proliferaron las métricas
Hasta los años noventa la evaluación académica era principalmente cualitativa: cartas de recomendación, comités, lectura del trabajo. La explosión de la producción científica (más de 5 millones de artículos al año en bases mundiales) y la presión administrativa por rankear instituciones forzaron la búsqueda de métricas cuantificables y comparables.1
El Journal Impact Factor (Garfield, 1955) fue la primera métrica masiva, pero medía revistas, no investigadores ni artículos. La pregunta abierta era: ¿cómo capturar el impacto de un autor individual o de un trabajo individual? Tres respuestas dominaron la última década: h-index, i10-index y Altmetric. Cada una resuelve una porción del problema y crea otros nuevos.2
// Análisis2. Cómo se calcula cada métrica
2.1. h-index (Hirsch, 2005)
Definición: un investigador tiene índice h si ha publicado h artículos con al menos h citas cada uno. Si tienes 12 papers con 12+ citas y el resto con menos, tu h-index es 12.3
Lo que mide bien: productividad sostenida con impacto. Es difícil tener h alto sin trabajar muchos años produciendo trabajo decente. Hirsch propuso h ≈ años de carrera × 1 como benchmark grueso para físicos.
Limitaciones técnicas conocidas:4 (1) monotonía · sólo crece, nunca corrige hacia abajo si un paper se desmiente. (2) insensibilidad a hits · un investigador con un Nobel-level paper de 50,000 citas y 9 papers más mediocres tiene h = 9 igual que alguien con 9 papers de exactamente 9 citas. (3) sesgo de antigüedad · estudiantes de doctorado y post-docs siempre quedan castigados. (4) sesgo disciplinar · biomedicina cita más rápido y más que matemáticas o humanidades; mismo h-index significa logros distintos.
2.2. i10-index (Google Scholar)
Definición: número de artículos del autor que han recibido al menos 10 citas. Si tienes 25 papers con 10+ citas, i10 = 25.5
Lo que mide bien: cuántos de tus trabajos cruzaron un umbral mínimo de relevancia. Es métrica de filtro · separa papers que salieron del olvido de los que no.
Limitaciones: el umbral 10 es arbitrario y depende de disciplina. En matemáticas puras, papers con 10 citas son sólidos; en biomedicina son apenas visibles. Además i10 no distingue entre 10 citas y 10,000.
2.3. Altmetric Attention Score (Adie & Roe, 2013)
Definición: agregador ponderado de menciones del paper en redes sociales (X/Twitter, LinkedIn), prensa (medios indexados), Wikipedia, Mendeley, blogs, post-publication peer review (F1000, PubPeer), policy documents. Cada fuente tiene peso distinto · una mención en política pública pesa más que un tweet.6
Lo que mide bien: atención no-académica · si un paper salió de los muros de la universidad y entró en la conversación pública. Útil para investigación con vocación aplicada (salud pública, política, divulgación).
Limitaciones técnicas:7 (1) vulnerable a campañas · un autor con red social activa puede inflar el score sin que el paper tenga calidad. (2) vulnerable a bots · automatización de menciones detectada en estudios sistemáticos. (3) sesgo lingüístico y geográfico · subrepresenta literatura no-anglófona. (4) no mide calidad · un paper polémico recibe más atención que uno excelente y silencioso.
3. Casos de uso · qué métrica usar en qué decisión
Tres escenarios típicos donde la elección de métrica importa:8
Tenure y promoción. h-index es la métrica de cabecera, pero comités responsables la triangulan con publicaciones específicas, contribución intelectual, mentoría. Comparar h-index entre disciplinas distintas es error metodológico.
Decisión de leer un paper hoy. i10-index del autor es un filtro grueso · si nunca ha cruzado 10 citas en ningún paper, probablemente su línea no está madura. Pero un i10 bajo en investigador joven no descalifica.
Comunicación pública e impacto en política. Altmetric es la única métrica que captura esa dimensión. Para divulgadores y aplicación práctica es la métrica más informativa.
4. Sesgos disciplinares y gaming
Las tres métricas comparten dos vulnerabilidades estructurales que ninguna corrige.9
Sesgo disciplinar. El número de citas promedio por paper varía 10x entre campos. Un h = 30 en biomedicina es estándar; en matemáticas puras es destacado. Soluciones parciales: h-frac (h-index normalizado por co-autoría), m-quotient (h dividido entre años de carrera), y métricas relativas al campo como Field-Weighted Citation Impact.
Gaming. Citation cartels (grupos que se citan mutuamente para inflar h), self-citation excesiva, salami slicing (dividir un trabajo en muchos papers pequeños). Para Altmetric, manipulación coordinada en redes sociales. La Declaración DORA (2012) y el Manifiesto de Leiden (2015) son intentos institucionales por desmontar el uso ingenuo de métricas en evaluación.10
// Implicaciones5. Qué hacer en práctica
Recomendación operativa: nunca usar una métrica sola para decisiones consecuenciales. Triangular siempre tres ángulos · número (h-index o i10), contexto disciplinar (cuál es el percentil del autor en su campo) y lectura directa de al menos uno de los papers principales.
SamSam expone las tres métricas en un mismo panel cuando se busca a un autor · pero el énfasis es triangulación, no ranking. La métrica jamás reemplaza la lectura del trabajo real.
- Bornmann, L., & Mutz, R. (2015). Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology, 66(11), 2215–2222.
- Garfield, E. (2006). The history and meaning of the journal impact factor. JAMA, 295(1), 90–93.
- Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569–16572.
- Bornmann, L., & Daniel, H.-D. (2007). What do we know about the h index? Journal of the American Society for Information Science and Technology, 58(9), 1381–1385.
- Connor, J. (2011). Google Scholar Citations Open to All. Google Scholar Blog.
- Adie, E., & Roe, W. (2013). Altmetric: Enriching scholarly content with article-level discussion and metrics. Learned Publishing, 26(1), 11–17.
- Haustein, S., Bowman, T. D., & Costas, R. (2016). Interpreting "altmetrics": Viewing acts on social media through the lens of citation and social theories. In Theories of Informetrics and Scholarly Communication (pp. 372–406). De Gruyter.
- Wilsdon, J., Allen, L., Belfiore, E., et al. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. HEFCE.
- Waltman, L. (2016). A review of the literature on citation impact indicators. Journal of Informetrics, 10(2), 365–391.
- Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429–431.
¿Cómo le explicas a la vida en una frase que tienes una apreciación diferente a las cosas, que las ves de otra manera? ¿Cómo le explicas en una frase que disfrutas las cosas mucho con intensidad, de una manera diferente a la mayoría de las personas? ¿Cómo explicas que, sin ser especial, la vida te hace sentir así? Hay personas que ven la vida, yo la siento.
— Tolo Rullán
🦉 Powered by SamSam
h-index, i10-index and Altmetric · what each measures and what it is for
Three metrics dominate the conversation about academic impact · and none of them measures the same thing. The h-index asks about consistency, the i10-index about a minimum threshold, Altmetric about attention beyond academia. Confusing them produces wrong decisions.
// Executive summaryThree academic metrics dominate the contemporary evaluation of researchers and articles · each measures different things and breaks in different scenarios.
Three ideas to keep them apart:
- h-index: measures sustained productivity · penalizes the author of one extraordinary paper and the early-career researcher · biased by discipline.
- i10-index: simple threshold of 10+ citations per paper · useful as a coarse filter · does not capture magnitude of impact.
- Altmetric: aggregator of non-academic attention · useful to see if a paper escaped academia · vulnerable to campaigns and bots.
Operational conclusion: never use a metric alone. Triangulate with disciplinary context and read the actual papers before deciding.
1. Why metrics proliferated
Until the 1990s academic evaluation was mostly qualitative: recommendation letters, committees, reading the work. The explosion of scientific output (more than 5 million articles per year in global databases) and administrative pressure to rank institutions forced the search for quantifiable, comparable metrics.1
The Journal Impact Factor (Garfield, 1955) was the first mass metric, but it measured journals, not researchers or articles. The open question was: how do you capture the impact of an individual author or an individual work? Three answers dominated the last decade: h-index, i10-index and Altmetric. Each solves part of the problem and creates new ones.2
// Analysis2. How each metric is computed
2.1. h-index (Hirsch, 2005)
Definition: a researcher has index h if h of their papers have at least h citations each. If you have 12 papers with 12+ citations and the rest with fewer, your h-index is 12.3
What it measures well: sustained productivity with impact. It is hard to have a high h without working many years and producing decent work. Hirsch proposed h ≈ years of career × 1 as a coarse benchmark for physicists.
Known technical limitations:4 (1) monotonicity · h only grows, never corrects downward if a paper is retracted. (2) insensitivity to hits · a researcher with one Nobel-level paper of 50,000 citations and 9 mediocre ones has h = 9, the same as someone with 9 papers of exactly 9 citations. (3) seniority bias · doctoral students and post-docs are always penalized. (4) disciplinary bias · biomedicine cites faster and more than mathematics or humanities; the same h-index means very different achievements.
2.2. i10-index (Google Scholar)
Definition: number of articles by the author that have received at least 10 citations. If you have 25 papers with 10+ citations, i10 = 25.5
What it measures well: how many of your works crossed a minimum relevance threshold. It is a filter metric · separates papers that escaped oblivion from those that did not.
Limitations: the threshold of 10 is arbitrary and discipline-dependent. In pure mathematics, papers with 10 citations are solid; in biomedicine they are barely visible. Also i10 does not distinguish between 10 citations and 10,000.
2.3. Altmetric Attention Score (Adie & Roe, 2013)
Definition: weighted aggregator of paper mentions on social media (X/Twitter, LinkedIn), press (indexed media), Wikipedia, Mendeley, blogs, post-publication peer review (F1000, PubPeer), policy documents. Each source has a different weight · a public-policy mention weighs more than a tweet.6
What it measures well: non-academic attention · whether a paper escaped university walls and entered public conversation. Useful for applied research (public health, policy, science communication).
Technical limitations:7 (1) vulnerable to campaigns · an author with an active social network can inflate the score regardless of paper quality. (2) vulnerable to bots · automated mentions detected in systematic studies. (3) linguistic and geographic bias · underrepresents non-English literature. (4) does not measure quality · a controversial paper draws more attention than an excellent quiet one.
3. Use cases · which metric for which decision
Three typical scenarios where the choice of metric matters:8
Tenure and promotion. h-index is the workhorse, but responsible committees triangulate with specific publications, intellectual contribution, mentoring. Comparing h-index across disciplines is a methodological mistake.
Decision to read a paper today. The author's i10-index is a coarse filter · if they have never crossed 10 citations on any paper, the line of work is probably immature. But a low i10 in a young researcher does not disqualify.
Public communication and policy impact. Altmetric is the only metric that captures this dimension. For science communicators and applied work it is the most informative metric.
4. Disciplinary biases and gaming
The three metrics share two structural vulnerabilities that none of them corrects.9
Disciplinary bias. The average number of citations per paper varies 10x across fields. h = 30 in biomedicine is standard; in pure mathematics it is exceptional. Partial fixes: h-frac (h-index normalized by co-authorship), m-quotient (h divided by years of career), and field-relative metrics such as Field-Weighted Citation Impact.
Gaming. Citation cartels (groups citing each other to inflate h), excessive self-citation, salami slicing (splitting one work into many small papers). For Altmetric, coordinated manipulation on social media. The DORA Declaration (2012) and the Leiden Manifesto (2015) are institutional attempts to dismantle naive use of metrics in evaluation.10
// Implications5. What to do in practice
Operational recommendation: never use a single metric for consequential decisions. Always triangulate three angles · the number (h-index or i10), disciplinary context (where the author sits in their field's percentile) and direct reading of at least one of their main papers.
SamSam exposes the three metrics on the same panel when an author is searched · but the emphasis is triangulation, not ranking. The metric never replaces reading the actual work.
- Bornmann, L., & Mutz, R. (2015). Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology, 66(11), 2215–2222.
- Garfield, E. (2006). The history and meaning of the journal impact factor. JAMA, 295(1), 90–93.
- Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569–16572.
- Bornmann, L., & Daniel, H.-D. (2007). What do we know about the h index? Journal of the American Society for Information Science and Technology, 58(9), 1381–1385.
- Connor, J. (2011). Google Scholar Citations Open to All. Google Scholar Blog.
- Adie, E., & Roe, W. (2013). Altmetric: Enriching scholarly content with article-level discussion and metrics. Learned Publishing, 26(1), 11–17.
- Haustein, S., Bowman, T. D., & Costas, R. (2016). Interpreting "altmetrics": Viewing acts on social media through the lens of citation and social theories. In Theories of Informetrics and Scholarly Communication (pp. 372–406). De Gruyter.
- Wilsdon, J., Allen, L., Belfiore, E., et al. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. HEFCE.
- Waltman, L. (2016). A review of the literature on citation impact indicators. Journal of Informetrics, 10(2), 365–391.
- Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429–431.
How do you explain to life in one sentence that you have a different appreciation of things, that you see them another way? How do you explain in one sentence that you enjoy things with intensity, in a way different from most people? How do you explain that, without being special, life makes you feel that way? Some people see life. I feel it.
— Tolo Rullán
🦉 Powered by SamSam