1/1:  20121007 532x800 ()

A fines de agosto, varios medios informaron sobre un ranking de universidades en Iberoamérica. Del mismo surgía que, entre 2006 y 2010, investigadores de la Universidad de la República habían publicado 2.664 trabajos en las revistas que sigue la base de datos Scopus; la Ucudal publicó 77, la Universidad ORT Uruguay 47, el Claeh 37 y la Universidad de Montevideo 23. Dos de las lecturas de estos datos fueron que la UdelaR hacía el 80% de la investigación en el país y que, según Luis Garibaldi del Ministerio de Educación y Cultura, el déficit de investigación estaba en las universidades privadas.

En los análisis estuvo conspicuamente ausente una discusión de la calidad de la investigación, aun cuando el "Scimago Institutions Ranking, World Report 2012" lista la cantidad de publicaciones y cuatro indicadores de calidad, y dice expresamente que no considera que las instituciones se deban ranquear por el número de publicaciones, pues ese es solo uno de los indicadores.

La calidad es importante, es más, muchos han argumentado que es lo más importante. Por ejemplo, Glenn Ellison del MIT ilustra cómo el determinante más importante del prestigio de un investigador es la cantidad de veces que sus 5 o 10 mejores trabajos son referenciados en otras investigaciones científicas. Básicamente, no importa la cantidad que uno produce, sino el impacto de sus 5 o 10 mejores publicaciones.

Cuando se mira la calidad, en el mismo documento que citó la prensa, dependiendo del criterio, cambia mucho el orden de las instituciones. En esta nota queremos ilustrar un punto simple: mirar solo la cantidad de publicaciones da una idea equivocada de la realidad. Para ello nos fijamos en el área que conocemos mejor, Economía, y mostramos cómo a medida que subimos la vara en términos de calidad de las publicaciones, las universidades privadas mejoran, a tal punto que superan a la UdelaR en cantidad de publicaciones de buen nivel.

Por supuesto, la situación en economía puede no repetirse en otras disciplinas, y quizás las privadas no estén produciendo mejor investigación que la UdelaR en las otras áreas. Pero comparar la cantidad de publicaciones de la UdelaR, que tiene carreras en todas las áreas, con la de las privadas que tienen solo algunas carreras tampoco tiene sentido.

El resumen de todo lo que viene es que, aunque la UdelaR publicó en revistas referidas 202 artículos desde el 2006 y las privadas 69, cuando se mira las publicaciones en el top 25% de revistas del mundo según la base de datos más reconocida (ISI de Thomson), la UdelaR tiene 7, mientras que las privadas alcanzan a 13.

MÉTODOS DE CALIDAD. Para este artículo consideramos a todos quienes fueron catalogados como investigadores, o candidatos a investigadores en economía dentro del Sistema Nacional de Investigadores (SNI). El SNI evalúa periódicamente a todos quienes realizan actividades de investigación en Uruguay y la ANII les da apoyo económico. Los investigadores llenan sus curricula vitae y si entran al SIN, los datos están públicamente disponibles en la página de la ANII. Para cada investigador nos fijamos cuántos artículos produjo desde el año 2006, dónde se publicaron y cuál era su inserción institucional principal.

Luego, evaluamos para cada revista su calidad. Un indicador mínimo de calidad es si la publicación tiene arbitraje: cuando un investigador envía un artículo a una revista, el editor se lo envía a expertos en el área para que (anónimamente) comenten sobre la calidad del trabajo, sugieran cambios y recomienden al editor su aceptación o no en la revista. No todas las publicaciones arbitradas son igualmente buenas, por lo que para medir la calidad existen muchos rankings de revistas. Nosotros consideramos dos metodologías. Por un lado, hay dos bases de datos que ordenan a las revistas científicas en función de su visibilidad, o de la cantidad de citas que reciben los artículos allí publicados: una es Scopus (que utilizó Scimago para el ranking que motiva esta nota) y otra es ISI de Thomson; ninguna de las dos bases incluye a todas las revistas arbitradas pero incluyen a todas las de calidad. Scopus es un poco más reciente, e incluye bastante más revistas. Por lo tanto, si una revista está incluida en Scopus, en principio es un indicador más débil de calidad que si está incluida en ISI; en forma similar, si una revista está entre el 25% mejor en Scopus, es un indicador menos restrictivo de calidad que si está en top 25% en ISI.

Como es sabido, ningún indicador es perfecto. Hay problemas conocidos con los índices de calidad basados en cantidad de citas como los de Scopus e ISI. Por eso hay partidarios de usar criterios subjetivos de evaluación de las revistas. Un ranking reconocido y utilizado a menudo, basado en criterios subjetivos, es ERA: un estudio comisionado por el equivalente de la ANII en Australia, que pidió a los investigadores que ordenaran las revistas de su área, dándoles notas A*, A, B, C o D. El número de revistas con nota A* en economía es bastante menor que el de revistas en el top 25% de ISI, por lo que tener una publicación en una revista A* es, en principio, un indicador de mejor calidad que si "solo" es una publicación en una revista del top 25% de ISI o Scopus.

El siguiente cuadro tiene en cada fila una institución donde trabajan investigadores en economía ranqueados por el SNI. Por ejemplo, dentro de la UdelaR hay investigadores en el Instituto de Economía de la Facultad de Ciencias Económicas, en el Departamento de Economía de la Facultad de Ciencias Sociales y algunos más en las Facultades de Agronomía y de Derecho (estas facultades agrupadas en "otros"). La primera columna muestra para cada institución el número de artículos que publicó desde 2006 en alguna revista arbitrada. En la segunda columna, aparece el número de artículos publicados en revistas científicas indizadas por Scopus; en la primera columna había artículos que se publicaron en revistas arbitradas, pero no suficientemente buenas como para que Scopus las indexara. Por lo tanto, al pasar de la primera a la segunda columna, aumenta la calidad de los artículos, y por tanto cae el número de trabajos de cada institución. Al pasar a la tercera columna, listamos solo los artículos que aparecieron en el top 25% de las revistas consideradas por Scopus. Otra vez, aumenta la calidad, y cae la cantidad. En la cuarta columna mostramos cuántos de los artículos aparecieron en revistas indexadas por ISI, y a continuación cuántos en las revistas en el top 25% de ese ranking. Finalmente, la última columna muestra el número de artículos en revistas que el ranking ERA considera A*, las más prestigiosas.

El patrón general que queremos ilustrar es que el 31,5% (23 en 73) de las publicaciones de la UdelaR que están en Scopus está en el top 25% de las revistas de esa base, mientras que el 57,9% (22 en 38) de los trabajos de las privadas está en ese top 25%. Esto ilustra las diferencias en la calidad promedio. No solo eso, sino que si miramos solo las publicaciones relativamente buenas (las que están en el 25% superior de Scopus), las privadas producen prácticamente la misma cantidad que la UdelaR: 22 las privadas, 23 la UdelaR.

Si subimos un escalón en calidad, y miramos cuántas publicaciones aparecieron en el top 25% de la base ISI, la UdelaR tiene 7, mientras que las privadas 13. Otro escalón más arriba, la UdelaR tiene una publicación en una revista de calidad A*, mientras que las privadas 8.

Finalmente, aunque no es nuestro foco, en economía la producción de la UdelaR viene de los 36 investigadores catalogados en el SNI, mientras que en las privadas hay 19. Por tanto, en términos de trabajos por investigador, la imagen es aún más favorable para las privadas.

Nota: Agradecemos a Denise Gandelman el procesamiento de los datos. Juan Dubra trabaja en la UM y Néstor Gandelman en la ORT.