[Realistic evaluation mechanisms in primary health care interventions in rural and marginal urban populationsMecanismos de avaliação realistas em intervenções de atenção primária à saúde em populações rurais e urbanas periféricas].

Objective: Identify mechanisms reported in primary health care (PHC) interventions in rural and marginal urban populations from 1997 to 2019.
Methods: A scoping review was used to identify the literature. The literature search was conducted using the Medline (PubMed and Ovid), Global Health, Embase, Web of Science, Scopus, and Lilacs databases. Inclusion criteria considered literature on primary intervention and observational studies using qualitative, quantitative, or mixed methods. Articles in English, Portuguese, and Spanish published from 1997 to 2019 were included. Rayyan QCRI was used for definitive document selection; sources of information from gray literature or research in progress were excluded.
Results: At the individual level, three groups of mechanisms were identified: levels of relationships between interventions and subjects, transformations that can occur in individuals, and reciprocal relationships. At the institutional level, mechanisms were related to temporality, money, power relations, trust relations, the health system, expectations, and administrative conditions. Conclusions: Individual mechanisms are similar in different contexts. Institutional mechanisms are susceptible to variations in context and are expressed in terms of temporality, economic resources, power and trust relations, the health system, expectations, and administrative conditions.

La evaluación realista se está utilizando cada vez más para estudiar intervenciones sociales donde el contexto juega un papel importante en la determinación de los resultados. Al identificar mecanismos y contextos clave que optimizan la efectividad de una intervención se contribuye a crear un marco que guía el establecimiento y la evaluación de futuras intervenciones (1).

En el campo de la evaluación de intervenciones en atención primaria en salud (APS) la evaluación realista se propone como la alternativa para entender qué elementos de esas intervenciones funcionan o no, para quién, y bajo qué circunstancias desde la perspectiva de la complejidad (1–3).

La evaluación realista se fundamenta en el realismo crítico, que plantea que hay una realidad social, que no se puede medir directamente, pero se puede conocer indirectamente. El realismo se ubica entre los paradigmas positivista y constructivista, busca dar cuenta de intervenciones en contextos e implementaciones cambiantes, y comprende la relación entre el contexto y los resultados de la intervención, a través de los mecanismos, entendidos como entidades subyacentes, procesos o estructuras sociales que operan en contextos particulares para generar resultados de interés (4–9).

En América Latina se han producido cambios y ajustes en los sistemas de salud orientados a dar solución a los problemas poblacionales, la APS es una de las estrategias más reconocidas para lograr abordajes diferenciales de acuerdo con el contexto local (7).

Doi y cols. (10) informan que los contextos de visitas domiciliarias proporcionadas a la población interactuaron con los mecanismos del programa produciendo resultados como la identificación temprana de problemas de salud y bienestar entre las familias que necesitaban más apoyo, lo que condujo a la derivación y el compromiso con fuentes de ayuda adicional. Oosterveer y cols. (11) en zona rural de Canadá identificaron que el alto nivel de satisfacción da cuenta de la efectividad general de la APS en la región y a pesar de las distancias geográficas, se pueden hacer mejoras en términos de las habilidades clínicas del equipo de visita domiciliaria y de los miembros de la comunidad entre otros.

La APS es la estrategia propuesta para mejorar la equidad en salud a través de su aplicación basada en los contextos locales (12). Debido a que una revisión exploratoria realista puede generar una gran cantidad de información, la expectativa es que esta revisión aporte información valiosa para identificar los hallazgos realizados en este campo a fin de tener elementos para el análisis y la discusión de evaluaciones de efectividad de intervenciones de APS.

En la evaluación realista se pretende entender el fenómeno de estudio integrando los componentes del contexto, los mecanismos y los resultados (CMR). Para efectos de esta revisión nos centramos en los mecanismos, entendidos como los razonamientos y las reacciones de un (os) agente (s) individual (es) o colectivo (s) con respecto a los recursos disponibles en un contexto dado para generar cambios a través de la implementación de una intervención (6).

Debido a que este tipo de evaluaciones aporta elementos para su futuro desarrollo, este artículo propone una revisión exploratoria de los aportes realizados a la fecha en este campo, con el objetivo de identificar los mecanismos reportados en intervenciones de APS en poblaciones rurales y urbanas marginales entre los años 1997 y 2019.

El concepto rural hace alusión a la vida en el campo y la urbana marginal al espacio urbano que comprende zonas periféricas, ubicadas en el extrarradio urbano y, en consecuencia, alejadas del casco central de la ciudad, cuya población se encuentra compuesta por personas en situación de pobreza. Debido a que el interés del estudio era conocer experiencias en sectores con estas características se decidió incorporar ambas categorías.

Se han logrado aportes a la APS a partir de las evaluaciones de impacto o las evaluaciones económicas con metodologías probadas. La contribución de una revisión exploratoria de evaluaciones realistas en el campo de las evaluaciones en atención primaria radica en identificar las nuevas formas de aproximarse a estas intervenciones dando cuenta de los aspectos que funcionan, cómo lo hacen y en qué contextos, lo cual permitirá entender aspectos que corresponden a la caja negra poco conocidas y tomar decisiones complementarias a las suministradas por las otras formas de evaluación.

Teniendo en cuenta la importancia de conocer los mecanismos identificados en contextos rurales o urbanos marginales a nivel de las investigaciones, la pregunta de investigación propuesta es ¿qué mecanismos se activan en poblaciones rurales y urbanas marginales con intervenciones de APS, y cuál es su relevancia en el análisis de estos para estudios, con el objetivo de identificar los mecanismos reportados en intervenciones de APS en poblaciones rurales y urbanas marginales entre los años 1997 y 2019.

MATERIALES Y MÉTODOS

Se realizó una selección de los estudios reportados desde que se inició el desarrollo de evaluaciones realistas, se mapearon los datos, se realizaron los procesos de cotejo, consolidación y reporte de resultados a partir de la información reportada de los mecanismos a nivel individual e institucional de manera explícita y en las configuraciones CMR (contexto-mecanismos-resultados)

Se efectuó una búsqueda exhaustiva de estudios originales en las bases de datos Medline (Pubmed y Ovid), Global health, Embase, Web of science, Scopus y Lilacs, empleando un lenguaje controlado por medio de los tesauros; también se usaron palabras claves en lenguaje natural, en los campos de título y resumen, a partir de las ecuaciones del cuadro 1:

CUADRO 1.

Estrategia de búsqueda de literatura

Base de datos	Ecuación
PUBMED	((((‘Program Evaluation’[Mesh]) OR ((‘evaluation theory’ [ti]) OR ‘Evaluation Studies as Topic’ [Mesh]) OR ‘Complex Evaluation’ [Mesh])))))))) AND ((‘Rural Population’[Mesh]) OR ‘Primary Health Care’[Mesh]))) AND (‘critical realism’ [ti]) OR ‘Realistic evaluation’ [ti] OR ‘Realist evaluation’ [ti] OR‘Protocol for realist’ [ti]).
OVID (MEDLINE, GLOBAL HEALTH)	exp Program Evaluation/ OR exp Evaluation Studies as Topic/ OR complex evaluation.mp. OR evaluation theory.mp. AND exp Rural Population/ OR exp Primary Health Care/ AND critical realism.mp. OR realistic evaluation.mp. OR realist evaluation.mp. OR protocol for realist.mp.
EMBASE	“program evaluation”/exp OR “evaluation study”/exp OR “evaluation study”/exp OR “evaluation theory”:ab,ti AND “rural population”/exp OR “primary health care”/exp AND “realistic evaluation”:ab,ti OR “realist evaluation”:ab,ti OR “protocol for realist”:ab,ti OR “critical realism”:ab,ti
WEB OF SCIENCE	TEMA: (Program Evaluation OR evaluation theory OR Evaluation Studies as Topic OR Complex Evaluation) AND TEMA: (Rural Population OR Primary Health Care) AND TEMA: (critical realism OR Realistic evaluation OR Realist evaluation OR Protocol for realist)
SCOPUS	(KEY (‘Program Evaluation’ OR ‘evaluation theory’ OR ‘Evaluation Studies as Topic’ OR complex AND evaluation) AND KEY (‘critical realism’ OR ‘Realistic evaluation’ OR ‘Realist evaluation’ OR ‘Protocol for realist’)).
LILACS	(Program Evaluation OR Evaluation Studies as Topic OR complex evaluation OR models theoretical OR evaluation theory) AND (Rural Population OR Primary Health Care OR Public Health) AND (critical realism OR realistic evaluation OR realist evaluation OR protocol for realist).

elaboración propia.

adaptado de PRISMA.

Los estudios identificados fueron exportados a Rayyan QCRI (13) para la identificación de duplicados y la selección de documentos incluidos.

Los criterios de selección incluyeron estudios que involucraron diseños cualitativos, cuantitativos y mixtos de evaluaciones realistas de intervenciones complejas en APS realizadas entre enero de 1997 y diciembre de 2019, el período comprendido desde que se originó este tipo de evaluación propuesto por Pawson y Tyler (3). Se excluyeron artículos teóricos, protocolos de evaluaciones realistas y revisiones sistemáticas.

Para la selección de estudios y extracción de datos dos investigadoras realizaron la filtración de los estudios arrojados en las estrategias de búsqueda a través de los títulos y resúmenes aplicando los criterios de selección definidos. Se identificaron las citas duplicadas para su eliminación a través de la función de verificación de duplicados mediante búsqueda manual. Se seleccionaron las primeras citas de acuerdo con el título y el resumen para su inclusión. Las revisoras se reunieron una vez por semana para resolver discrepancias a través de la discusión. Los artículos seleccionados fueron leídos a texto completo; aquellos que pasaron los dos filtros fueron utilizados para extraer la información por medio de una plantilla que contenía los datos de autor, año de publicación, país, diseño del estudio, contexto, seguimiento, principales resultados, conclusiones y recomendaciones.

Para el análisis de la información, se identificaron los artículos relativos a investigaciones originales en tres idiomas (inglés, portugués y español). Como criterio de exclusión se tuvo en cuenta que no fueran protocolos de investigación, revisiones sistemáticas o documentos de tesis. A través de la herramienta Rayyan (QCRI)(13) se seleccionaron los artículos desde el año 1997 hasta 2019. Cada evaluadora revisó el listado de artículos seleccionados y de allí se extrajeron aquellos que estaban en texto completo.

La extracción de datos se centró en varias categorías: 1) antecedentes del estudio, qué incluyó país, entorno y muestra; 2) métodos, que incorporó las teorías que informaron el estudio, medidas utilizadas, diseño del estudio y análisis utilizados; 3) resultados y criterios para establecer mecanismos. En los textos seleccionados se realizó la lectura para identificar si cumplían o no con los criterios para identificar los mecanismos.

Se seleccionaron 20 artículos, de los cuales se identificaron los siguientes datos: autor, país, diseño metodológico, resultados, conclusiones y recomendaciones. La referencia se centró en los datos reportados sobre contexto, mecanismos y configuraciones de resultados, buscando una explicación generativa de la causalidad, es decir, un resultado (R) de interés fue generado por los mecanismos relevantes (M) que se activaron en el contexto (C).

RESULTADOS

Se obtuvieron 473 artículos; 194 a través de Pubmed, 124 a través de Medline (Ovid), 12 a través de Embase, 60 a través de Scopus y 83 a través de Web of Science (WOS). Fueron eliminados 117 por duplicados y 336 por medio de la aplicación de criterios de exclusión. Finalmente, se incluyeron 20 estudios para el análisis. El proceso de selección completo se observa en la figura 1.

FIGURA 1.

Proceso de selección en diagrama de flujo. Adaptado del diagrama de flujo PRISMA.

Los artículos seleccionados se relacionaron por año, autores, países y temas trabajados, tal como lo muestra el cuadro 2.

CUADRO 2.

Resumen descriptivo de los estudios seleccionados.

Autores	País	Artículo	Año
1. Pommier y cols. (14)	Francia	Evaluación de promoción de la salud en escuelas francesas para mejorar la salud social, emocional y física de los niños al mejorar las prácticas de promoción de la salud de los maestros y promover un ambiente escolar saludable.	2010
2. Ranmuthugala y cols. (1)	Australia	Una evaluación realista del papel de las comunidades de práctica en el cambio de la práctica sanitaria.	2011
3. Goicolea y cols. (15)	Suecia	Mecanismos para lograr servicios amigables para los adolescentes en Ecuador: un enfoque de evaluación realista.	2012
4. Riippa y cols. (16)	Finlandia	¿Se pueden evaluar intervenciones de salud complejas utilizando datos clínicos y administrativos de rutina? - Un enfoque de evaluación realista.	2014
5. Jagosh y cols. (17)	Inglaterra	Una evaluación realista de la investigación participativa basada en la comunidad: sinergia de asociación, creación de confianza y efectos de onda relacionados.	2015
6. Adams y cols.(9)	Bangladesh	Lecciones aprendidas en el uso de la evaluación realista para evaluar la programación de salud materna y neonatal en las zonas rurales de Bangladesh.	2016
7. Sharma y cols. (18)	Nigeria	Plan de evaluación del proceso para evaluar una intervención compleja de salud materna comunitaria en el estado de Ogún en Nigeria.	2017
8. Lawrence y cols. (10)	Irlanda	Evaluación realista de un programa mejorado de visitas de salud.	2017
9. Berge y cols. (19)	Noruega	Teleasistencia: ¿dónde, ¿cuándo, por qué y para quién funciona? Una evaluación realista de un proyecto noruego.	2017
10. McDermott y cols. (20)	Inglaterra	Involucrar a los médicos de cabecera en la puesta en marcha: evaluación realista de las primeras experiencias de los grupos de puesta en marcha clínica en el NHS inglés.	2017
11. Bartlett y cols. (21)	Inglaterra	Brotes verdes de recuperación: una evaluación realista de un equipo para apoyar el cambio en la práctica general.	2017
12. Bertotti y cols. (22)	Inglaterra	Una evaluación realista de la prescripción social: una exploración del contexto y los mecanismos que sustentan una vía que vincula la atención primaria con el sector voluntario.	2018
13. Dainty y cols. (23)	Canadá	Una evaluación realista de la prestación de atención basada en el valor en la atención domiciliaria: la influencia de los actores, la autonomía y la responsabilidad.	2018
14. Limbani y cols. (24)	Sudáfrica	Cambio de tareas para mejorar la provisión de atención crónica integrada: evaluación realista de la intervención de un trabajador de salud laico en zonas rurales de Sudáfrica.	2019
15. Middleton y cols. (25)	Nueva Zelanda	Una evaluación realista de las redes locales diseñadas para lograr una atención más integrada.	2019
16. Levay y cols. (26)	Canadá	Implementación a nivel de distrito de la política de venta de alimentos y bebidas escolares de la Columbia Británica: una evaluación realista que explora los mecanismos de intervención en contextos urbanos y rurales.	2019
17. Caló y cols. (27)	Escocia	Explorando la contribución de la empresa social a la salud y la atención social: una evaluación realista.	2019
18. Sanerma y cols. (28)	Finlandia	Servicios de atención domiciliaria para personas mayores. Las opiniones de las personas mayores y los miembros de la familia: una evaluación realista.	2019
19. De Sutter y cols. (29)	Bélgica	La colaboración interprofesional reduce la carga de cuidar a los pacientes con enfermedades mentales en la atención primaria de salud.	2019
20. Ebenzo y cols. (30)	Nigeria	Manejo del contexto en el desarrollo del modelo lógico: reflexiones de una evaluación realista de un programa comunitario de trabajadores de la salud en Nigeria.	2019

elaboración propia.

Los 20 artículos seleccionados mostraron un alto nivel de rigor y calidad científica, de ellos 7 fueron realizados en Canadá e Inglaterra, países con altos desarrollos en la estrategia de APS. En la revisión realizada se identifican mecanismos de nivel individual e institucional. Con respecto a los mecanismos individuales se identifican el empoderamiento de los sujetos, la conciencia, el compromiso, la confianza, la motivación, el interés, la satisfacción, el sentido de pertenencia, el respeto, ganar la aceptación de nueva información, aceptabilidad, necesidad, legitimidad, procesos de transformación, enfoques integrales, rol femenino, sensación de seguridad, visión externa, creación de capacidad en salud, obligatoriedad, y el dinero como los factores que se activan para que las intervenciones funcionen (10,15,19,20,25,26).

Los mecanismos individuales pueden clasificarse en tres grupos el primero tiene que ver con los niveles de relaciones que se dan entre quienes generan las intervenciones y los sujetos; referidos en los mecanismos de confianza, respeto y legitimidad, el segundo grupo tiene que ver con las transformaciones que pueden generar las intervenciones en los individuos como son la creación de capacidades y el empoderamiento y el tercero está asociado con relaciones recíprocas a partir de las intervenciones tales como obligatoriedad y compromiso. Los mecanismos individuales se pueden visualizar en el cuadro 3.

CUADRO 3.

Clasificación de los Mecanismos individuales identificados.

Mecanismos relacionales	Confianza, respeto y legitimidad.
Mecanismos de transformación	Creación de capacidades y empoderamiento.
Mecanismos recíprocos	Obligatoriedad y compromiso.

elaboración Propia.

Los mecanismos individuales, se centran en empoderamiento de los sujetos, la conciencia, el compromiso, la confianza, la motivación aspectos que se ven reflejados en los artículos revisados. Según la oferta de la intervención pública y privada no se identifican diferencias en el nivel individual.

A nivel institucional los mecanismos están relacionados con la temporalidad (efectos a largo plazo, compromiso de tiempo), con el dinero (incentivos financieros), con relaciones de poder (dinámicas de poder y autoridad), relaciones de confianza (respeto, comunicación efectiva) el sistema de salud, las expectativas (temor al fracaso) y las condiciones administrativas (objetivos difusos, flexibilidad en los contratos y asistencia técnica). La información revisada responde a evaluaciones realizadas principalmente en países con altos ingresos, sin embargo, se identifican aportes de países latinoamericanos como parte de los aportes de países de medianos y bajos ingresos(17,21). Los mecanismos institucionales más comunes están centrados en la confianza, tipo de intervención, tipo de organización, los objetivos trazados, el tipo de población involucrada y el contexto en el que se implementa la intervención. En la figura 2 se representan en las categorías de asociados con la temporalidad, el dinero, las relaciones de poder y confianza, el sistema de salud y las expectativas de las instituciones involucradas.

FIGURA 2.

Mecanismos Institucionales identificados.

DISCUSIÓN

Los mecanismos reportados a nivel rural y urbano marginal permitieron explorar cómo las intervenciones de APS implementadas bajo este enfoque pueden dar mejores resultados. Tal como lo describe Doi y cols. (10) desde esta forma de entender las intervenciones se pueden ajustar para identificar los beneficios clave del programa, en este caso mejorado las visitas de salud. Así se logró establecer un programa de monitoreo, como también, la identificación temprana de la salud y el bienestar de la población.

Si bien este tipo de diseño no se ha explorado ampliamente a nivel latinoamericano, resultados identificados por Goicolea y cols. (15) en Ecuador y Bergeron y cols. (31) en Perú reportan mecanismos individuales relacionados con la confianza, legitimidad, y enfoque integral lo cual refleja importantes similitudes con los mecanismos individuales reportados en contextos diferentes pero en intervenciones similares como las reportados por Ranmuntala y cols. (1) en Australia y Levay y cols. (26) en Canadá.

Un hallazgo importante en esta revisión es que los mecanismos individuales de las intervenciones en APS se dividen en tres aspectos: el primero tiene que ver con las relaciones que se generan entre quienes proponen las intervenciones y los sujetos que las reciben; el segundo se relaciona con las transformaciones que pueden generar las intervenciones en los individuos; y el tercero está asociado con las expectativas de reciprocidad de ambas partes, aplicable a diferentes contextos.

A nivel Institucional los mecanismos están asociados con otros factores como el tipo de instituciones (empresas públicas, privadas, hospitales, etc.) lo que los hace diferentes y con mayor variabilidad. Si bien la creación de confianza para producir efectos es el mecanismo más reportado por Jagosh y cols. (17) y Barlet y cols. (21), existe una amplia gama de mecanismos propios de las instituciones, tales como, los objetivos y roles claramente definidos, el compromiso de tiempo, la transparencia e información sincera, la flexibilidad en los contratos, la asistencia técnica o incentivos financieros detrás de arreglos procesales, la conciencia y aceptabilidad de los cambios relacionados con la responsabilidad y las decisiones, la dinámicas de poder y autoridad, un sistema de salud que no responde, ser visto como una experiencia fallida, comunicación cuidadosa, autonomía de las organizaciones participantes, relaciones de poder dentro del equipo de implementación para impulsar el cambio, la opacidad de los objetivos del programa, el desprecio por el impacto de las relaciones históricas complejas, intervenciones diseñadas para las necesidades de los usuarios y el papel como un “límite de la comunidad”

Dentro de las limitaciones de este estudio se encuentra la poca literatura que se ha generado en este campo de la evaluación realista, lo que se refleja en el muestreo generado a través de la búsqueda. La principal fortaleza está relacionada con la inclusión de la evaluación realista en el campo de la APS para los países de América Latina lo que permitirá entender desde la lógica de los mecanismos como orientar las acciones y recursos para hacer más efectivas estas intervenciones.

Fuente: elaboración propia.

En conclusión, los mecanismos identificados son similares en diferentes contextos y permiten reconocer cuáles pueden ser las causas del éxito o el fracaso de una intervención basada en la APS. Los mecanismos individuales parecen estar ligados de manera similar en los diferentes contextos de los estudios realizados.

Con esta información los líderes de proyectos y los tomadores de decisiones tendrán información sobre lo que puede contribuir a generar buenos o malos resultados, pero no garantizar los resultados, debido a que son intervenciones complejas.

Los mecanismos institucionales son susceptibles a la variación del contexto, y se representan en aspectos como la temporalidad, los recursos económicos, las relaciones de poder, relaciones de confianza, el sistema de salud, las expectativas y las condiciones administrativas. La información publicada responde a evaluaciones realizadas principalmente en países con altos ingresos; sin embargo, se identifican aportes de países latinoamericanos como parte de la contribución de países de medianos y de bajos ingresos.

Se requiere obtener mayor información sobre contextos en los que se identifiquen los mecanismos relacionados con características culturales, sociales, étnicas y políticas diversas.

Declaración.

Las opiniones expresadas en este manuscrito son responsabilidad del autor y no reflejan necesariamente los criterios ni la política de la RPSP/PAJPH y/o de la OPS