El Leiden Ranking de Universidades 2023 ha sido publicado el 21 de junio del presente año. Contiene 1411 universidades de todo el mundo, incluyendo 58 de América Latina. Al abrir la página para 2023 encontramos en un listado a la Universidad de São Paulo en la posición 12 y la Universidad Nacional Autónoma de México en la 98. Pero ¿qué significan estas posiciones? En este post, explicamos los indicadores del Leiden Ranking, lo que dicen y aún más importante lo que no dicen.

¡Hemos subido en el ranking!

Cuando un ranking se publica, es común ver noticias acerca de tal o cual universidad que se ha colocado en una posición superior comparada al año anterior y que ahora se encuentra en el top 5, 10 o 100 de cierta región. La nueva posición es usada como una muestra irrefutable de la excelencia de la institución y del esfuerzo de sus empleados. Las preguntas que casi nadie hace son ¿de qué manera es la universidad número 30 mejor que la universidad 31? O, ¿qué tan diferente es la universidad 30 en comparación con la 29?

Muchos rankings usan indicadores compuestos, esto quiere decir que toman varias medidas como publicaciones científicas, encuestas de estudiantes, número de subvenciones y premios internacionales entre sus graduados; los mezclan de acuerdo a una fórmula interna y le dan una calificación a cada institución. De esta forma es difícil saber de qué manera una universidad es “mejor” o “peor” que una universidad que está una posición arriba o abajo.

Este modo de asignar valor a una institución en comparación a otras ha sido ampliamente criticado por usar indicadores arbitrarios, por equiparar aspectos difíciles de comparar entre sí, o por la falta de transparencia en cuanto a los mecanismos para asignar valor. Por ejemplo, una universidad que se estableció hace más de 130 años tendrá probablemente más ganadores del premio Nobel que una universidad que se estableció hace 40 años. A pesar de ello, los listados jerárquicos de las “mejores universidades del mundo” siguen siendo publicados y usados ampliamente, especialmente por las propias universidades y los medios de comunicación.

El Leiden Ranking

El Leiden Ranking no es un listado jerárquico ni estático, sino que provee indicadores cubriendo varias dimensiones del desempeño de 1411 universidades mundiales a partir de datos bibliométricos, es decir a partir de publicaciones científicas. Las universidades que se han incluido en la última edición, 2023, son aquellas que tienen un mínimo de 800 publicaciones contadas de forma fraccional e indexadas en la Web of Science (WoS).

El ranking es publicado por el Center for Science and Technologies Studies (CWTS) un centro de la Universidad de Leiden en los Países Bajos, y se guía por 10 principios para el uso responsable de ranking de universidades.

Perspectiva de listado

A primera vista, el Leiden Ranking parece un ranking como cualquier otro dado que al abrir la página encontramos un listado de universidades ordenado de acuerdo a cierto criterio de impacto científico: por defecto el número de publicaciones (P) calculadas siguiendo el recuento fraccionario. Sin embargo, este no es un ordenamiento jerárquico estático de universidades ya que de forma interactiva podemos ordenar el listado basándonos en la dimensión e indicador que estemos interesados, de entre las diferentes opciones que se ofrecen. De hecho, el ranking no es un listado sino una herramienta que permite explorar los indicadores desde varias perspectivas. Además, el listado inicial que aparece es una de las tres perspectivas que ofrece el sitio para explorar diferentes dimensiones e indicadores, las otras dos son por mapa o por gráfico.

Diferentes dimensiones e indicadores

A diferencia de otros rankings, el Leiden Ranking sólo provee información sobre los resultados de la investigación científica a partir de publicaciones en revistas indexadas por la WoS. Este enfoque nos permite garantizar que los datos hayan sido recolectados y enriquecidos con rigor, y que la metodología usada para el análisis sea transparente.

Las diferentes dimensiones que se pueden explorar son:

• Impacto científico – basada en citas a las publicaciones de una universidad.
• Colaboración – basada en la colaboración de una universidad con otras organizaciones y regiones.
• Acceso Abierto – basada en las publicaciones en acceso abierto de diferentes tipos.
• Género – basada en el análisis de género de los autores de las publicaciones.

Por su parte, cada dimensión se puede explorar a través de diferentes indicadores como número total o porcentaje de publicaciones, distancias para la colaboración y tipos de Acceso Abierto. En la página de indicadores se encuentra una explicación más detallada de cada uno de ellos (en inglés).

Además de las dimensiones y sus indicadores, el usuario puede crear su propio ranking seleccionando un periodo, disciplina, región y número mínimo de publicaciones. Por último, los indicadores de impacto científico se pueden calcular utilizando un método de recuento total o fraccionario. El método de recuento completo otorga un peso total de 1 a cada publicación de una universidad. El método de recuento fraccionado da menos peso a las publicaciones colaborativas que a las no colaborativas.

La Universidad de São Paulo y la Universidad Nacional Autónoma de México

En la edición del 2023 encontramos a la Universidad de São Paulo (USP) y a la Universidad Nacional Autónoma de México (UNAM), entre muchas otras de América Latina. Al ver la vista estándar en el listado parece que USP está en 86 posiciones más arriba que la UNAM. Si nos fijamos en las opciones veremos que se trata del periodo 2018-2021, para todas las disciplinas, en todo el mundo, con un mínimo de publicaciones en 100, dimensión impacto científico, ordenado por número total de publicaciones (recuento fraccionado). Si cambiamos las opciones, las posiciones cambiarían. A continuación, presentamos algunos ejemplos.

• Impacto científico (Scientific impact); todas las disciplinas; indicadores [P, P(top 10%), PP(top 10%)]; recuento fraccionado:
  • Ordenado por número de publicaciones [P], posición - USP 12, UNAM 98
  • Ordenado por número de publicaciones en el 10% más citado [P(top10%)], posición – USP 75, UNAM 316
  • Ordenado por la proporción de publicaciones en el 10% de publicaciones más citadas [PP(top10%)], posición – USP 1083, UNAM 1299

• Colaboración (Collaboration); ciencias Físicas y de ingeniería; indicadores [P, P(collab), PP(collab)]:
  • Ordenado por número de publicaciones en coautoría [P(collab)], posición – USP 46, UNAM 96
  • Ordenado por proporción de publicaciones en coautoría [PP(collab)], posición – USP 541, UNAM 722

• Acceso Abierto (Open Access); ciencias sociales y humanidades; indicadores [P, P(gold OA), PP(gold OA)]:
  • Ordenado por número de publicaciones en gold [P(gold OA)], posición – USP 59, UNAM 267
  • Ordenado por proporción de publicaciones en gold [PP(gold OA)], posición – USP 308, UNAM 285

• Género (Gender); Ciencias biomédicas y de la salud; indicadores [A(MF), A(F), PA(F|MF)]:
  • Ordenado por la proporción del número de autoras en comparación con el número de autores para los que se ha podido determinar el género, femenino o masculino. [PA(F|MF)], posición – USP 175, UNAM 293

¿Quién es mejor?

Entonces, ¿qué universidad es mejor? A partir de los datos del Leiden Ranking, no podemos hacer ese juicio de valor. La mejor manera de usar el ranking es explorando las diferentes dimensiones y perspectivas, así como la información detallada de cada universidad en específico. Todo ello sin perder de vista lo que se está midiendo: el desempeño de investigación científica a partir de publicaciones en una base de datos específica.

Como se mencionó anteriormente, el Leiden Ranking es una herramienta interactiva que proporciona diferentes dimensiones e indicadores, no análisis completos. Estos indicadores pueden ser utilizados en conjunto con otros indicadores y análisis para analizar el desempeño de una institución a partir de estrategias específicas.

El Leiden Ranking tiene, entre sus limitaciones, basarse en datos propietarios, los cuales no cubren muchos idiomas y que no son de Acceso Abierto. En CWTS somos conscientes de estas limitaciones, es por ello que apoyamos More Than Our Rank, una iniciativa de INORMS (International Network of Research Management Societies). La iniciativa busca proveer a instituciones académicas “una oportunidad para destacar las muchas y variadas formas en que sirven al mundo, las cuales no están reflejadas en posiciones de rankings”. Los objetivos de More Than our Rank se alínean perfectamente con nuestros principios de uso responsable de rankings. Esperamos que muchas universidades y partes interesadas se unan a esta iniciativa tan importante y necesaria.