The uncertainty of colombian scientific journals with Publindex.

The colombian National Bibliographic Index, Publindex, has defined during the last two decades the management and editorial quality, the dissemination and even the number of scientific journals indexed in Colombia . The criteria with which Publindex accepts a scientific journal and qualifies it in this index are the road map of a large number of editorial committees and universities. These criteria have not changed much since their inception and corresponded to a minimum editorial approach (ISSN registration, creation of editorial committees, percentage of institutional endogamy, punctuality in publication, among others) rather than results in indicators of use and diffusion (indexation in specialized databases, citations, international collaboration, etc.). For the year 2010, the number of journals indexed in Publindex increased, and it slowed down the promotion of journals to higher categories .

Due to the above, Publindex adopted in that year a mixed classification system with four categories (A1, A2, B and C) based on the quartiles of the SJR (Scientific Journal Rankings) indexes of Scopus or JCR (Journal Citation Report) of Web of Science (normalized), and it superimposed the top two quartiles of the classification with the Google Scholar Metrics H-5 index (not normalized) in the two lower categories (B and C). With this system, in the convocation No. 768, Publindex recognized 33 journals in the health area (medicine, nursing and pharmacy); 16 because they are indexed in Scopus (Colombia has only two health journals in Web of Science in quartiles inferior to those classified in Scopus) and 17 with the quartile system H-5 of Google Scholar Metrics (GSM). This measurement was aligned with international systems; but it did not correct the editorial stagnation suffered by scientific journals; and there will emerge others if corrections are not early made.

The first problem in the measurement was to match so many different metrics in the B and C categories of the classification. SJR differentially evaluates the citations of a high-impact journal compared to the times cited in a low-impact journal (standardization of the metric); while GSM attributes the same value to a citation in a high-impact journal with respect to a citation in a gray literature document (non-standard metric). Therefore, editorial stagnation is encouraged in journals not classified in Scopus or Web of Science. Staying in categories B and C is relatively easy with GSM, as it is very vulnerable to increase citations artificially, because it takes into account documents that are not scientific articles and that can be published more expeditiously than a scientific article, due to the editorial process of a journal .

So far, the results of the normalization of data in Google Scholar with the "Publish or Perish" software are not satisfactory , . This contrasts with the difficulty to ascend in the Scopus quartiles, which have a logarithmic tendency and the effort of a magazine to change the quartile is duplicated, regardless of the category (Fig. 1). Additionally, implementing citation strategies in GSM to maintain the Publindex category is unequal with respect to the effort to enter international citation databases and descend into the Publindex category (It would be expected that the journals with the best GSM rating, from category B, could aspire to Scopus; but they would be qualified as C when entering quartile 4). The pressure for immediate institutional results will give more weight to a decision to remain in the measurement with GSM, and the country will not grow with these indices.

Figure 1

SJR rating of Colombian journals in four categories of the Scimago Journal ranking 2016. The promotion of a journal to have a better quartile rating requires, at least, duplicating the effort with each quartile because the requirements of the SJR measure have a logarithmic trend.

Another problem is that bibliographic citation customs are different among the areas of social sciences compared with basic sciences and health areas. These differences are mainly noted in the number of citations and production of documents . This is also evident within the health area categories. Citations vary significantly among disciplinary categories such as medicine, nursing, dentistry, and pharmacy. The same happens with nearby categories such as neurology, psychiatry and neurosciences, or among clinical areas, basic sciences or public health categories (Fig. 2). For this reason, the grouping of magazines of different categories with GSM in large areas is inequitable.

Figure 2

Production of articles and citations according to categories of the Scimago Journal Ranking in 2016. The variability in the citation habits (citations/document), and the citations received (represented by index H) mean that journals of different categories cannot be grouped together in the health area with Google Scholar Metrics.

With the above, it is easier to understand the underlying problems: the limited editorial development of the journals and the lack of knowledge of Colciencias to assume a measurement of the journals with the universal indexes. Using a single metric for national journals and approved international journals, coupled with the absence of training strategies and support for journals, will lead most Colombian journals to fragility. Brazil, a regional competitor, implemented with SciELO a powerful editorial content manager for its journals, Scholar OneTM, improving the editorial processes and allowing an external audit in real time from SciELO , . For a Latin American health journal, indexing in PubMed is more important than in citation bases; 90 have achieved it, among them, 51 Brazilians and 5 Colombians. But for Brazil, inclusion in PubMed Central is more important: 20 have been admitted in the last 5 years; and only one in the rest of Latin America: Colombia Médica. Citations and rankings come with the progress of the journal. If the singularity of each area is not understood, it is not possible to apply differences in the dynamics and the way of measuring the national magazines system.

Colombia is the third country in number of scientific journals in Latin America, which is why it is a regional reference in its models of production, edition, measurement and editorial projection. Publindex should reassess the measurement system proposed for the next convocations, defining the following characteristics: to maintain a mixed system, but not superimposed; with bets towards differential editorial development by areas and internationalization; to establish guidelines and subsidize solutions that improve the organizational, editorial and bibliometric deficiencies of the entire system; but that discourage the comfort of the magazines classified in the inferior quartiles. It is necessary the integration of the policies of other information systems in Colciencias, as the estimation of products in classification GrupLAC will strengthen the scientific journals in the medium term. But there remains the lack of promotion of peer evaluation, which is absent as a product in the categorization of CvLAC researchers; and the editors suffer the unquantified silence of the researchers better qualified by Colciencias when they are invited to evaluate the manuscript of a colleague. If the policies, strategies and convocations of Colciencias do not include and make visible values ​​such as equity, solidarity and reliability, it will be the main responsible for the delay of the investigation in this country.

El Índice Bibliográfico Nacional colombiano, Publindex, ha definido durante las últimas dos décadas la gestión y calidad editorial, la difusión y hasta el número de revistas científicas indexadas en Colombia . Los criterios con los cuales Publindex acepta una revista científica y la califica en este índice son la hoja de ruta de un gran número de comités editoriales y universidades. Estos criterios no han variado mucho desde sus comienzos y correspondían a un enfoque de mínimos editoriales (registro ISSN, conformación de comités editoriales, porcentaje de endogamia institucional, puntualidad en publicación, entre otros) más que a resultados en indicadores de uso y difusión (indexación en bases de datos especializadas, citaciones, colaboración internacional, etc). Para el año 2010, aumentó el número de revistas indexadas en Publindex y se desaceleró el ascenso de las revistas a las categorías superiores .

Debido a lo anterior, Publindex adoptó en este año un sistema de clasificación mixto con cuatro categorías (A1, A2, B y C) basado en los cuartiles de los índices SJR (Scientific Journal Rankings) de Scopus o JCR (Journal Citation Report) de Web of Science (normalizados), y le superpuso los dos cuartiles superiores de la clasificación con el índice H-5 de Google Scholar Metrics (GSM, no normalizado) en las dos categorías inferiores (B y C). Con este sistema, en la convocatoria N. 768, Publindex reconoció 33 revistas del área de salud (medicina, enfermería y farmacología); 16 por estar indexadas en Scopus (Colombia tiene solo dos revistas de salud en Web of Science en cuartiles inferiores a los clasificados en Scopus) y 17 con el sistema de cuartiles H-5 de Google Scholar Metrics (GSM). Esta medición se alineó con los sistemas internacionales; pero, no corrigió el estancamiento editorial que padecen las revistas científicas y emergerán otros, si no se hacen correcciones tempranamente.

El primer problema en la medición fue equiparar métricas tan diferentes en las categorías B y C de la clasificación. SJR valora diferencialmente las citaciones de una revista de alto impacto respecto a las veces citadas en una revista de bajo impacto (normalización de la métrica); mientras; GSM le atribuye el mismo valor a una cita en una revista de alto impacto con respecto a una cita en una documento de literatura gris (métrica no normalizada). Por lo tanto, se estimula el estancamiento editorial en las revistas no clasificadas en Scopus o Web of Science. Mantenerse en las categorías B y C es relativamente fácil con GSM, pues es muy vulnerable a aumentar citas artificialmente, debido a que tiene en cuenta documentos que no son artículos científicos y que pueden publicarse de forma más expedita que un artículo científico, debido al proceso editorial de una revista .

Hasta el momento, los resultados de la normalización de los datos en Google Scholar con la interface Publish or Perish no son satisfactorios ,. Esto contrasta con la dificultad para ascender en los cuartiles de Scopus, que tienen una tendencia logarítmica y el esfuerzo de una revista para cambiar de cuartil se duplica, independientemente de la categoría (Fig. 1). Adicionalmente, implementar estrategias de citación en GSM para mantener la categoría Publindex es desigual respecto al esfuerzo por ingresar a las bases de datos citacionales internacionales y descender en la categoría de Publindex (Se esperaría que las revistas con mejor calificación en GSM, de la categoría B podrían aspirar a Scopus; pero, serían calificadas como C al ingresar al cuartil 4). La presión por resultados inmediatos institucionales le dará más peso a una decisión de mantenerse en la medición con GSM, y el país no crecerá en estos índices.

Figura 1

Calificación SJR de revistas colombianas en cuatro de las categorías de Scimago Journal ranking 2016. El ascenso de una revista para tener una mejor calificación del cuartil requiere, al menos, duplicar el esfuerzo con cada cuartil porque los requisitos de la medida JCR tiene una tendencia logarítmica.

Otro problema, es que las costumbres de citación bibliográfica son diferentes entre las áreas de ciencias sociales con respecto a las áreas de las ciencias básicas y de salud. Estas diferencias se notan principalmente en el número de citas y de producción de documentos ). Esto, también es evidente dentro de las categorías del área de salud. Las citaciones varían significativamente entre categorías disciplinares como medicina, enfermería, odontología y farmacia. Igual sucede con categorías cercanas como neurología, psiquiatría y neurociencias, o entre las áreas clínicas, las ciencias básicas o las categorías de salud pública (Fig. 2). Por esta razón, la agrupación de revistas de categorías diferentes con GSM en grandes áreas es inequitativa.

Figura 2. Producción

de artículos y citas según categorías del Scimago Journal Ranking en el año 2016. La variabilidad en las costumbres de citación (citas/documento), y las citas recibidas (representadas por índice H) hacen que no puedan agruparse las revistas de categorías diferentes en el área de la salud con Google Scholar Metrics

Con lo expuesto, es más fácil de entender los problemas de fondo: el escaso desarrollo editorial de las revistas y el desconocimiento de Colciencias para asumir una medición de las revistas con los índices universales. Usar una sola métrica para las revistas nacionales y las internacionales homologadas, sumado a la ausencia de estrategias formativas y de apoyo a las revistas llevará a la fragilidad a la mayoría de las revistas colombianas. La competencia regional de Brasil implementó con SciELO el poderoso gestor de contenidos editoriales Scholar OneTM para sus revistas, mejorando los procesos editoriales y permitiendo una auditoria externa en tiempo real desde SciELO ,. Para una revista de salud latinoamericana, es más importante la indexación en PubMed que en las bases citacionales; 90 lo han logrado, entre ellas, 51 brasileñas y 5 colombianas. Pero, para Brasil es más importante la inclusión en PubMed Central, 20 han sido admitidas en los últimos cinco años, y una sola en el resto de Latinoamerica: Colombia Médica. Las citaciones y los rankings llegan con el progreso de la revista. Si no se comprende la singularidad de cada área, no es posible aplicar diferencias en las dinámicas y la forma de medir el sistema de revistas nacional.

Colombia es el tercer país en número de revistas científicas en Latinoamérica, por lo cual es un referente regional en sus modelos de producción, edición, medición y proyección editorial. Publindex debería revaluar el sistema de medición que propuso para las próximas convocatorias, definiendo las siguientes características: mantener un sistema mixto, pero no superpuesto; con apuestas hacia el desarrollo editorial diferencial por áreas y la internacionalización; que establezca pautas y subsidie soluciones que mejoren las deficiencias organizativas, editoriales y bibliométricas de todo el sistema; pero, que desestimule el confort de las revistas que se encuentran en las clasificaciones de los cuartiles inferiores. Es necesaria la integración de las políticas de los otros sistemas de información de Colciencias, como la estimación de productos en las clasificaciones de grupos GrupLAC fortalecerán a las revistas científicas a mediano plazo. Pero, falta la promoción de la evaluación por pares que está ausente como producto en la categorización de investigadores en el CvLAC y los editores padecemos el silencio no cuantificado de los investigadores mejor calificados por Colciencias cuando son invitados a evaluar el manuscrito de un colega. Si las políticas, estrategias y convocatorias de Colciencias no incluyen y visibilizan valores como la equidad, la solidaridad y la confiabilidad con el tiempo será el máximo responsable del retraso de la investigación en el país.