[Psychometric validation in Spanish of the Brazilian short version of the Primary Care Assessment Tools-users questionnaire for the evaluation of the orientation of health systems towards primary care].

OBJECTIVE: To validate the Brazilian short version of the PCAT for adult patients in Spanish.
DESIGN: Analysis of secondary data from studies made to validate the extended version of the PCAT questionnaire. LOCATION: City of Córdoba, Argentina. Primary health care. PARTICIPANTS: The sample consisted of 46% of parents, whose children were enrolled in secondary education in three institutes in the city of Cordoba, and the remaining 54% were adult users of the National University of Cordoba Health Insurance. MAIN MEASURES: Pearson's correlation coefficient comparing the extended and short versions. Goodness-of-fit indices in confirmatory factor analysis, composite reliability, average variance extracted, and Cronbach's alpha values, in order to assess the construct validity and the reliability of the short version.
RESULTS: The values of Pearson's correlation coefficient between this short version and the long version were high .818 (P<.001), implying a very good criterion validity. The indicators of good global adjustment to the confirmatory factor analysis were good. The value of composite reliability was good (.802), but under the variance media extracted: .3306, since 3 variables had weak factorials loads. The Cronbach's alpha was acceptable (.85).
CONCLUSIONS: The short version of the PCAT-users developed in Brazil showed an acceptable psychometric performance in Spanish as a quick assessment tool, in a comparative study with the extended version.

Introducción

La atención primaria de la salud (APS) resulta esencial para el apropiado funcionamiento de los sistemas de salud, dado que optimiza la eficiencia y la equidad en la atención de la población1, 2.

En este escenario, la evaluación de la orientación del sistema de salud hacia la APS se convierte en un desafío, y las herramientas que la posibiliten, en un imperativo categórico.

Fue en ese contexto que Starfield organizó un modelo conceptual para definir la APS que incluye 4 atributos o funciones principales: primer contacto (considerando la accesibilidad como elemento estructural necesario), longitudinalidad de los cuidados, coordinación (función de enlace entre los servicios de atención) e integralidad (servicios prestados y servicios disponibles), y 3 funciones secundarias: enfoque familiar, orientación comunitaria y competencia cultural. Este marco teórico permitió desarrollar una de las herramienta más completas para evaluar el grado de implementación de la APS (en inglés, Primary Care Assessment Tools [PCAT]).

La familia de los cuestionarios PCAT desarrollada en la Universidad Johns Hopkins (EE. UU.) y posteriormente adaptada a la lengua y al sistema sanitario argentino4, 5 consta de 4 cuestionarios: 1) para gestores (PCAT-sistemas); 2) para directores de centros (PCAT-centros); 3) para profesionales (PCAT-proveedores), y 4) para usuarios de centros de salud (PCAT-usuarios)3, 4.

Una de las fortalezas de esta familia de cuestionarios es que permite comparar sistemas de diferentes regiones, lo que ha contribuido a que esté siendo utilizada a nivel mundial y en nuestra región en particular. Los cuestionarios comenzaron a ser usados en EE. UU.3, 6, continuando en Canadá, Brasil, España, Hong Kong, Argentina y Uruguay.

Basándose en el cuestionario PCAT para usuarios, que consta de 96 ítems, Oliveira et al. evaluaron el comportamiento psicométrico de una versión corta en portugués del cuestionario PCAT-usuarios. Estos autores incluyeron los 20 ítems cuyas propiedades psicométricas optimizan la captura de la información del cuestionario total y agregaron 3 ítems adicionales por razones conceptuales (B2, E6 y E10), para que de esta manera quedaran contemplados los 7 atributos de la APS, lo que resultó en un cuestionario con un total de 23 ítems (tabla 1).

Tabla 1

Ítems de la versión corta del cuestionario PCAT

Funciones o dimensiones	Subdimensiones	Nombre de los ítemsa	Descripción del ítem
Esenciales
Primer contacto	Utilización	B2b	Cuando tiene un nuevo problema de salud, ¿va a su CAPS antes de asistir a otro lado?
	Acceso	C4	Cuando su CAPS está abierto, ¿puede recibir indicaciones médicas por teléfono de manera rápida si lo necesita?
		C11	Cuando lo necesita, ¿resulta difícil ser atendido en su CAPS?
Continuidad	Grado de afiliación	GA	Una combinación de las 3 preguntas siguientes referentes al servicio de salud preferencial:¿Hay algún médico/a o lugar al que usted vaya habitualmente cuando está enfermo/a o necesita indicaciones acerca de su salud? / ¿Hay un médico/a o lugar donde lo/la conozcan mejor a usted como persona? / ¿Hay un médico/a o lugar que tenga mayor responsabilidad por la atención de su salud?
	Continuidad interpersonal	D1	Cuando va a su CAPS, ¿siempre lo/la atiende el mismo profesional de salud?
		D6	¿Se siente cómodo/a hablando de sus preocupaciones o problemas con el médico/a o profesionales de su CAPS?
		D9	¿Su médico/a o profesionales de su CAPS conocen cuáles son los problemas más importantes para Ud. y su familia?
		D15	¿Cambiaría de CAPS si fuera fácil?
Coordinación	Integración de la información	E6b	¿Su médico/a o algún profesional de su CAPS le recomendaron que consultara al especialista o servicio de especialidad médica?
		E10b	¿Su médico/a o algún profesional de su CAPS le dieron alguna información por escrito acerca del motivo de consulta para el especialista?
		E11	¿Su médico/a o algún profesional de su CAPS conocen cuáles fueron los resultados de esa consulta?
		E13	¿Su médico/a o algún profesional de su CAPS se interesan en la calidad de la atención que Ud. recibe cuando va al especialista o servicio de especialidad médica?
	Sistemas de información	F3	Cuando va a su CAPS, ¿su historia clínica está siempre disponible?
Integralidad o globalidad	Servicios disponibles	G8	Si hay servicios disponibles para asesorarlo en cuestiones de salud mental
		G19	Si hay servicios disponibles para asesorarlo sobre el consumo de tabaco
		G23	Si hay servicios disponibles para asesorarlo sobre los cambios con el envejecimiento
	Servicios prestados	H1	Si conversó con su proveedor de salud sobre hábitos saludables (alimentación y descanso)
		H5	Si conversó con su proveedor de salud sobre la práctica de ejercicio físico
		H7	Si conversó con su proveedor de salud sobre los medicamentos que consume
		H10	Si conversó con su proveedor de salud sobre la prevención de caídas
Secundarias
Enfoque familiar		I1	¿Su médico/a o profesionales de su CAPS le preguntan sus opiniones e intenciones para planificar la atención y tratamiento para Ud. o alguien de su familia?
		I3	¿Su médico/a o profesionales de su CAPS se reunieron con alguien de su familia para ayudar en su tratamiento?
Orientación comunitaria		J7	Si se realizan encuestas a los pacientes para determinar si los servicios responden a las necesidades de la gente

En la versión extensa argentina.

Ítems incluidos en el estudio original brasileño por motivos exclusivamente conceptuales.

Consideramos que contar con una versión corta análoga a la desarrollada en Brasil por Oliveira et al., en español, contribuirá a la factibilidad de la implementación de este tipo de evaluaciones en nuestra región.

El objetivo del trabajo fue validar en español la versión corta brasileña del PCAT para pacientes adultos.

Materiales y métodos

Se llevó a cabo un análisis de datos secundarios de una muestra de 303 personas a quienes se les había administrado la versión extensa del cuestionario PCAT en el contexto de su validación en Córdoba, Argentina. El 46% de esta muestra estuvo integrada por madres y padres, cuyos hijos estaban cursando educación media en 3 institutos de la Ciudad de Córdoba, y el 54% restante, por beneficiarios adultos de la Obra Social de la Universidad Nacional de Córdoba.

Se realizó una evaluación de la validez de criterio de la versión corta utilizando como prueba de referencia la versión extensa validada en Argentina por Berra et al., y como método de comparación, la correlación de Pearson.

Complementariamente, fue evaluado el constructo a través de un análisis factorial confirmatorio (AFC), considerando una distribución unidimensional de los ítems al igual que Oliveira et al.. Los ítems agregados por estos últimos autores por motivos conceptuales (B2, E6 y E10) (tabla 1) no fueron incluidos en el AFC, ya que este es un método de evaluación estrictamente matemático.

Dado que la técnica de AFC no permite trabajar con valores ausentes, y nuestros datos derivan de una encuesta, por lo que es esperable que haya algunos ítems no respondidos por los participantes, es necesario elegir una metodología para trabajar con esta problemática. Existen varias opciones técnicas de imputación de datos. Cualquiera de ellas, con diferente metodología, consiste en agregar un dato que no estaba presente y que no fue colocado por el encuestado. Otra de las formas para lidiar con este problema es eliminar los casos que tengan por lo menos un valor faltante. Es la que normalmente utilizan los programas por defecto, y la que escogimos para este trabajo. De esta manera disminuimos el n de la muestra, pero no introdujimos ningún valor arbitrario en ella. Debemos considerar que no estamos analizando la opinión de los encuestados (lo que eliminar casos podría producir sesgos importantes), sino que el AFC revela la relación de las variables o ítems, y el comportamiento de ellas entre sí.

Para optimizar el tamaño muestral se decidió emplear el uso de parcelas, agrupando los ítems por dimensión o subdimensión conceptual, luego de constatar su unidimensionalidad matemática (que los ítems de cada parcela se distribuyeran en un solo factor), y comprobando la fiabilidad de los ítems agrupados en cada parcela.

Para verificar que los ítems estuvieran agrupados en un mismo factor se utilizó el criterio de Kaiser, que solo considera a los factores que en el primer análisis tienen un valor propio o «eigenvalue» mayor que 1. Fueron consideradas válidas las parcelas cuyo coeficiente alpha de Cronbach fue mayor que 0,6, y ninguna de sus unicidades (varianzas de los errores de medida de los ítems) se correlacionó con unicidades de otras parcelas. Se asignó a cada parcela el valor promedio de los ítems que la compusieron.

Finalmente, se obtuvo un total de 9 variables para el AFC. Dado que la mayoría de ellas son ordinales (con 5 categorías), y dado que su distribución no fue normal, fue empleada la técnica de mínimos cuadrados ponderados diagonalizados (diagonally weighted least squares [DWLS]), considerando la fórmula (k + 1 × k + 2)/2, donde k es el número de variables. En nuestro caso: (9 + 1 × 9 + 2)/2 = 55.

También se especificó la fiabilidad compuesta y la varianza media extractada (VME).

La consistencia interna de la escala completa (23 ítems) fue evaluada a través del estadístico alpha de Cronbach.

Para el AFC se utilizó el programa Lisrel 9.10 y para el resto del análisis estadístico, el programa SPSS. Se aceptaron las sugerencias del programa Lisrel de correlacionar entre sí los errores de medida de los siguientes ítems o variables: ítem I 3 (si se reunieron con la familia) con integralidad-servicios disponibles, integralidad-servicios disponibles con integralidad-servicios prestados, e integralidad-servicios prestados con continuidad (fig. 1), ya que corresponden a áreas conceptualmente vinculadas.

Figura 1

Análisis factorial confirmatorio. Se describen las cargas factoriales estandarizadas a través del método de los mínimos cuadrados ponderados diagonalizados (diagonally weighted least squares).

Esquema general del estudio

Resultados

Los valores de correlación (Pearson) entre esta versión corta y la versión extensa fueron considerablemente altos, lo que implica una buena validez de criterio (tabla 2).

Tabla 2

Evaluación de la validez concurrente de la versión corta del cuestionario PCAT-usuarios a través de la correlación simultánea de sus resultados con los de la versión extensa

Correlación de las 4 versiones reducidas del cuestionario PCAT-usuarios con la versión extensa	Versión extensa
	Puntuación total	Puntuación sin incluir las funciones secundarias
Versión reducida
Con los 23 ítems de la versión reducida en castellano	0,818 (p < 0,001)	0,758 (p < 0,001)
Con los 20 ítems que quedan luego de excluir los que habían sido incluidos en el trabajo original brasileño solo por motivos conceptuales (B2, E6 y E10) (tabla 1)	0,841 (p < 0,001)	0,783 (p < 0,001)
Con los 20 ítems que quedan luego de excluir los que en nuestra investigación evidenciaron una débil carga factorial: C4, C11 e integralidad-servicios disponibles (ver más adelante)	0,812 (p < 0,001)	0,763 (p < 0,001)
Con los 17 ítems que quedan luego de excluir ambos de grupos ya nombrados	0,811 (p < 0,001)	0,747 (p < 0,001)

Al respecto de la evaluación de constructo a partir del AFC, las consideraciones son las siguientes:

El n final resultó en 176 casos, y fue suficiente según el cálculo de tamaño muestral mínimo trabajando con 9 variables. Fue posible disminuir la cantidad de variables, optimizando el tamaño muestral para el AFC, conformando las siguientes 4 parcelas (tabla 1) (fig. 1):

Continuidad: con 5 ítems pertenecientes a dicha dimensión (GA, D1, D6, D9 y D15).

Coordinación: con los 3 ítems de dicha dimensión que habían sido seleccionados por Oliveira et al. por motivos matemáticos (E11, E13 y F3).

Integralidad-servicios disponibles: con los 3 ítems de dicha subdimensión (G8, G19 y G23).

Integralidad-servicios prestados: con los 4 ítems de dicha subdimensión (H1, H5, H7 y H10).

Cinco ítems fueron analizados en forma individual, ya que no cumplieron los requisitos enunciados anteriormente: los 2 ítems relacionados con el enfoque familiar (I 1 e I 3), los 2 vinculados al primer contacto (C4 y C11), y el único ítem de orientación comunitaria (J7) (fig. 1) (tabla 1).

Los valores de los indicadores globales de ajuste del AFC fueron óptimos con el método DWLS (fig. 1) y con el método mínimos cuadrados no ponderados (ULS), lo que sugiere robustez de los hallazgos (ver tabla 3, que señala los valores que deben esperarse de los indicadores cuando se obtienen buenos resultados).

Tabla 3

Indicadores globales de ajuste del análisis factorial confirmatorio

Indicadores	χ2 g.l.a	p χ2b	RMSEA	NNFI	CFI	RMR st	GFI	Valores tc
Valores deseables de los indicadores	< 2	> 0,05	< 0,08	> 0,9	> 0,9	< 0,08	> 0,9	> 1,96
Valores obtenidos con el método DWLS	25,37/24: 1,057	0,386	0,053	0,997	0,998	0,050	0,988	Todos mayores a 1,96
Valores obtenidos con el método ULS	25,52/24: 1,06	0,378	0,054	0,997	0,998	0,049	0,987	Todos mayores a 1,96

CFI: índice de ajuste comparado; DWLS: mínimos cuadrados ponderados diagonalizados; GFI: índice de la bondad del ajuste; g.l.: grados de libertad; NNFI: índice ajustado no normado; RMR st: residuo cuadrático medio estandarizado; RMSEA: error de aproximación cuadrático medio; ULS: mínimos cuadrados no ponderados.

Chi-cuadrado sobre grados de libertad.

Valor «p» del estadístico chi-cuadrado.

Valores t mayores a 1,96 indican que las cargas factoriales son significativas.

Al respecto de la fiabilidad de la escala los resultados son:

El valor de fiabilidad compuesta al AFC fue bueno (0,802). Tres variables presentaron una carga factorial débil (C4, C11 e integralidad-servicios disponibles [fig. 1]), lo que deriva en una VME de 0,3306 (proporción de la varianza de los ítems explicada por el constructo). Se recomienda que la VME supere el valor de 0,5. La confiabilidad de la escala completa (23 ítems) arrojó un valor del estadístico alpha de Cronbach de 0,85. La eliminación individual de cualquiera de los ítems no mejoró en más de una centésima el valor de dicho estadístico.

Discusión

Dado que el análisis al respecto de la versión corta se ha realizado a partir de las respuestas a los 23 ítems que la conforman, que los usuarios realizaron respondiendo los 96 ítems que componen la versión extensa, y no directamente sobre el cuestionario corto, no se puede descartar que de alguna manera las preguntas restantes puedan haber condicionado algunas respuestas. En este sentido, nuestro Servicio de Medicina Familiar ya ha utilizado la versión corta en nuestros asociados con similares resultados psicométricos, en el marco de un estudio a publicarse, y en breve proyecta la realización de un estudio en el sector público para de esa manera coronar, al menos primordialmente, el proceso de validación.

Este trabajo muestra que la versión corta del cuestionario PCAT-usuarios posee adecuadas propiedades psicométricas globales. Sin embargo, los ítems o variables que se refieren a los servicios eventualmente disponibles (concretamente consejería sobre salud mental, tabaquismo y cambios con el envejecimiento, que hemos dado en llamar integralidad-servicios disponibles), y los que se refieren al acceso (C4 y C11), presentaron una carga factorial débil (fig. 1) (tabla 1). Esto podría afectar el uso de la escala para el desarrollo de modelos causales, pero no su utilización en evaluaciones rápidas de orientación hacia la APS, en el marco de acciones de mejora de calidad.

Como explican Oliveira et al., tanto en los estudios de validación de los cuestionarios completos PCAT-usuarios (infantil18, 19 y adultos) como en esta versión corta, los ítems de los atributos con mayor contribución o carga para la conformación del constructo orientación hacia la APS son los de continuidad y los de integralidad-servicios prestados. Estos autores también refieren que en esta versión corta se puede destacar la importancia del enfoque familiar (tabla 1).

En varios trabajos se ha fundamentado que cuestiones sensibles para la calidad de atención, y por ende ponderadas técnicamente (en lo que se refiere específicamente a la atención de la salud, por ejemplo el acceso, o la posibilidad de servicios disponibles como consejería sobre salud mental, tabaquismo y cambios con el envejecimiento), naturalmente pueden presentar cierta «distancia estadística» (baja carga factorial o menor correlación con las puntuaciones globales del cuestionario) del interés central del usuario común21, 22, 23, 24. Por el contrario, es natural que el usuario, en lo que a salud se refiere, esté más atento a los ítems vinculados a la continuidad de sus cuidados en el Centro de Salud, a los servicios concretamente prestados (no tanto a los disponibles, y no necesariamente utilizados), y al componente familiar de la atención.

Tomaremos ahora en consideración aspectos empíricos y conceptuales relacionados con las variables ya señaladas en este apartado que tuvieron baja carga factorial (integralidad-servicios disponibles: servicios eventualmente disponibles sobre salud mental, tabaquismo y cambios con el envejecimiento, y C4 y C11, ambas referentes al acceso).

Parasuraman et al. plantearon que la calidad percibida resulta de la comparación realizada por los usuarios entre las expectativas sobre el servicio que van a recibir y las percepciones de la actuación de la organización prestadora del servicio. Estas expectativas dependen de 4 factores: 1) lo que los usuarios escuchan de otros usuarios (comunicación boca a boca); 2) las necesidades personales de los clientes; 3) la extensión de las experiencias que han tenido con el uso de un servicio, y 4) las comunicaciones externas de los proveedores del servicio (ej. publicidad). Estos 4 factores suelen estar menos presentes para el usuario respecto de los servicios eventualmente disponibles, lo que hace difícil que pueda construir expectativas sobre ellos.

Ocurre algo similar con los ítems vinculados a la accesibilidad (accesos/turnos), que suelen presentar escasa correlación con los aspectos centrales de los cuestionarios de satisfacción en el ámbito de la salud, siendo observado esto tanto en el ámbito público como en el privado26, 27, 28, 29, y cuando se ha tomado la decisión de conservarlos en las versiones finales de dichos instrumentos, se ha hecho por su importancia conceptual. Podemos decir que si bien los usuarios de los sistemas de salud valoran una buena accesibilidad, esta no figuraría entre los elementos de mayor peso a ser tomados en cuenta a la hora de evaluar «globalmente» la calidad de un servicio de salud.

Bourdieu conceptualizó con el término habitus a los esquemas generativos de obrar, pensar, sentir y percibir, determinados por la historicidad del sujeto30, 31, que pueden definirse como estructuras estructurantes estructuradas. Son socialmente estructuradas porque han sido conformadas a lo largo de la historia de cada persona sin pasar por la conciencia, y suponen la incorporación de la estructura social y del campo concreto de relaciones humanas en el que el agente social se ha conformado como tal. Al mismo tiempo son estructurantes dado que constituyen sistemas de disposiciones a pensar, a percibir y a actuar, tendiendo a naturalizar condiciones de existencia y prácticas.

En el campo de la salud, tanto la demanda de servicios, como la caracterización que hacen de ellos los usuarios pueden ser entendidas como expresiones de los esquemas que propone Bordieu. Asimismo, plantea que en la relación con el habitus se constituye un mundo práctico y modos de procedimientos a seguir, que tienden a aparecer como necesarios e incluso como naturales30, 31. Las prácticas que el habitus engendra se presentan al sujeto como «razonables», de «sentido común», dado que se ajustan a la lógica característica de un campo determinado.

Siguiendo esa conceptualización, es posible decir que el habitus de los usuarios de los servicios de salud genera ciertas formas de acción que les permiten acceder a la atención de la enfermedad sorteando las diferentes barreras del sistema sanitario, que obstaculizan pero no impiden el acceso. De esta forma, podemos pensar que se da una naturalización de las dificultades en el acceso, lo cual impacta en el comportamiento de esta variable.

Consideramos que la decisión de eliminar o conservar ítems debe estar basada en una valoración conjunta de todos los estadísticos, junto con una evaluación de los aspectos conceptuales que motivaron la creación, incorporación y mantenimiento de dichos ítems, así como una evaluación que tenga en cuenta el uso específico que tendrá la escala que se está estudiando. Por estos motivos, consideramos apropiado utilizar la versión corta completa (con 23 ítems), como una herramienta de evaluación rápida de orientación hacia la APS en el marco de acciones para mejorar la calidad de atención, ya que presenta una fuerte validez concurrente con la versión extensa, y un lineamiento conceptual conforme al marco teórico que le dio origen.

Lo conocido sobre el tema

No existen herramientas en español que sean comunes a varios países, y breves, que permitan realizar evaluaciones globales y comparativas sobre la atención primaria.

En Brasil existe una versión corta del PCAT validada.

Qué aporta este estudio

Este estudio aporta una versión abreviada en español de la familia de cuestionarios PCAT, utilizados en diferentes continentes.

Una herramienta en español que permite evaluaciones rápidas y globales sobre la calidad de la atención primaria.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.