Literature DB >> 25234152

[Validation of the Spanish version of the Screening for Somatoform Symptoms-2 scale for use in Primary Care].

Margalida Gili1, Natalia Bauzá2, Margalida Vives2, Sergio Moreno3, Rosa Magallón4, Miquel Roca2.   

Abstract

OBJECTIVE: To study the diagnostic validity and to provide the sensitivity, specificity, positive predictive value and negative predictive value of the Spanish version of the Screening for Somatoform Symptoms-2 (SOMS-2) scale in a PC population sample.
DESIGN: Validation study.
SETTING: PC centres in Aragon and Balearic Islands, Spain. PARTICIPANTS: A sample of 109 patients from a clinical trial with somatoform disorders and 56 patients without somatoform disorder were included for the scale validation. MAIN OUTCOME MEASURES: Sensitivity, specificity, positive predictive value, negative predictive value and Cronbach's α coefficient.
RESULTS: Of the total sample of 165 subjects, 75% were women and 60% had a diagnosis of somatization disorder and/or anxiety or depressive disorder. The 53-item version of the SOMS-2 with a cut-off point of 4 showed a sensitivity of 97%, a specificity of 68%, a positive predictive value of 85%, a negative predictive value of 92%, and high internal consistency (Cronbach α=0.926).
CONCLUSIONS: The Spanish version of the SOMS-2 seems to be a reliable screening tool, easy to complete and useful for the assessment of somatoform disorders in PC settings. The results for specificity, sensitivity, and internal consistency are similar to previous studies in other European languages.
Copyright © 2013 Elsevier España, S.L.U. All rights reserved.

Entities:  

Keywords:  Atención Primaria; Especificidad; Primary Health Care; Sensibilidad; Sensitivity; Somatization disorder; Specificity; Trastorno de somatización; Validez; Validity

Mesh:

Year:  2014        PMID: 25234152      PMCID: PMC6985621          DOI: 10.1016/j.aprim.2014.07.001

Source DB:  PubMed          Journal:  Aten Primaria        ISSN: 0212-6567            Impact factor:   1.137


Introducción

Las enfermedades mentales más prevalentes en Atención Primaria (AP) son los trastornos afectivos, de ansiedad y somatomorfos1, 2, 3, 4, asociándose con frecuencia a síntomas físicos sin una explicación médica clara. Muchos de los problemas de salud mental se manifiestan a través de quejas físicas o somáticas, y no psicológicas o emocionales6, 7. Las consecuencias de esta situación para los pacientes y el sistema sanitario son: peor pronóstico, alta utilización de los recursos y aumento de los costes. Los médicos de AP constituyen habitualmente la puerta de entrada al sistema de salud, por lo que juegan un papel primordial en la detección, prevención y tratamiento de este tipo de dolencias. Por tanto, es evidente la necesidad de encontrar iniciativas que mejoren la identificación temprana de estos pacientes para realizar un diagnóstico precoz y, en consecuencia, aumentar las posibilidades de recibir un tratamiento adecuado. Numerosos estudios han desarrollado entrevistas estructuradas o listados de síntomas con el objetivo de realizar una buena valoración y clasificación diagnóstica. Muchos de estos instrumentos son difíciles de utilizar, por lo que habitualmente requieren un entrenamiento sistemático del clínico antes de su utilización. La principal ventaja de estas entrevistas es que dirigen al clínico hacia un proceso estructurado, estandarizado y claro para realizar un diagnóstico clínico, lo que asegura un alto nivel de coherencia y fiabilidad, por lo que se utilizan habitualmente como gold standard en trabajos de investigación. No obstante, el principal inconveniente y/o limitaciones de este tipo de evaluaciones son el tiempo de administración, en especial cuando nos referimos a entrevistas semiestructuradas como la Structured Clinical Interview for DSM Disorders y la Entrevista Psiquiátrica Estructurada Polivalente (EPEP), la necesidad de formación del profesional y el tiempo de administración (muchas de ellas requieren al menos una hora). Por todos estos motivos, los instrumentos autoaplicados de cribado que no requieran formación específica y cuyo tiempo de administración sea corto pueden resultar especialmente útiles para solucionar este problema de evaluación y diagnóstico en el contexto de AP. La escala Screening for Somatoform Symptoms-2 (SOMS-2) forma parte de este grupo de instrumentos de evaluación, por lo que consideramos que su validación en este contexto es de especial relevancia. La mayoría de las investigaciones en las que se ha utilizado la SOMS-2 se han llevado a cabo en hospitales o centros especializados. Solamente en 2 estudios13, 14 se ha utilizado en el contexto de AP. De las investigaciones publicadas obtenemos que la consistencia interna de la escala es buena. En el trabajo de Rief et al. se obtiene un α de Cronbach de 0,87. No todos los estudios aportan valores sobre la sensibilidad, la especificidad, el valor predictivo positivo (VPP) y el valor predictivo negativo (VPN) de la escala. El estudio de Fabião et al. señala una sensibilidad del 94,1% y una especificidad del 89,5%, y en otro estudio del mismo grupo de trabajo, un VPP del 71,7% y un VPN del 80,2%. El principal inconveniente a la hora de comparar las diferentes publicaciones es la divergencia de criterio para seleccionar el punto de corte óptimo y establecer un posible diagnóstico de trastorno de somatización. Algunos trabajos señalan diferencias entre hombres y mujeres, utilizando un punto de corte de 3 síntomas para los hombres y de 5 para las mujeres. Otros estudios sitúan un punto de 7 u 8 y no establecen diferencias entre hombres y mujeres14, 17. En algunos de los trabajos revisados se eliminan determinados ítems del cuestionario (por su baja prevalencia entre la muestra, y otros, por su bajo poder discriminativo), quedando una versión final con un número de ítems más reducido. El presente trabajo tiene como objetivo estudiar la validez diagnóstica y aportar los valores de sensibilidad, especificidad, VPP y VPN de la versión española de la escala SOMS-2 en una muestra de pacientes de AP.

Material y métodos

Muestra y procedimiento

El trabajo se llevó a cabo en 2 centros de salud de AP de Aragón (Zaragoza y Huesca) y en 4 de Baleares (Mallorca). La muestra total del presente trabajo proviene de 2 fuentes de selección: una primera muestra de pacientes somatizadores (n = 109) proviene de un ensayo clínico previo que se realizó en el marco de la Red de Investigación de Actividades Preventivas y Promoción de la salud, y una muestra adicional de pacientes no somatizadores (n = 56) fue incluida con la finalidad de validar la SOMS-2. Los sujetos participantes fueron seleccionados por los médicos de familia de cada uno de los centros (adscritos al estudio), a los que se había instruido previamente sobre las características del estudio y los criterios de inclusión y exclusión, los cuales valoraron si el paciente cumplía criterios de inclusión y derivaron a un miembro del equipo investigador para realizar la entrevista basal en un plazo máximo de 10 días. Este procedimiento de selección de pacientes fue idéntico en ambos casos. Los criterios de inclusión para la muestra de pacientes somatizadores fueron: paciente de AP atendido por cualquier motivo de consulta, edad entre 18-65 años y una puntuación de 5 o más en el test de Othmer y DeSouza. En el grupo de pacientes no somatizadores, los criterios de inclusión que debían cumplir fueron únicamente ser paciente de AP atendido por cualquier motivo de consulta y tener entre 18-65 años. Los criterios de exclusión para ambas muestras fueron: diagnóstico primario de enfermedad psiquiátrica grave distinta al trastorno de somatización (por ejemplo, esquizofrenia) y no saber leer ni escribir. Una vez el sujeto fue derivado a un terapeuta del estudio (2 psicólogos –NB y SM– previamente entrenados en la administración de las pruebas diagnósticas para aumentar la fiabilidad interjueces), este administra los instrumentos en una única visita de evaluación. La muestra final se compuso de 165 sujetos. Con la autorización de los autores de la escala original para su validación, se llevó a cabo el proceso de traducción y adaptación. En primer lugar, se realizó una traducción directa e inversa de la versión alemana por parte de 2 equipos independientes para obtener una versión inicial. Posteriormente, se valoraron matices culturales y se consensuó el protocolo de validación de la escala.

Instrumentos

Se obtuvieron los datos demográficos y clínicos para todos los pacientes y los controles. Se administró la EPEP completa y la escala SOMS-2 de forma autoaplicada para realizar el diagnóstico de posible trastorno de somatización. La EPEP es una entrevista estructurada que tiene por objetivo obtener un diagnóstico psicopatológico basado en los criterios diagnósticos del DSM-III-R y la CIE-10. Se diseñó a partir de la Entrevista Clínica Estructurada de Goldberg et al., y la versión española es de Lobo et al.. La EPEP mantiene todas las secciones de la escala original, que están subdivididas por ítems con el objetivo de explorar la frecuencia, la intensidad y la severidad de los síntomas, así como el grado de discapacidad que estos producen en la vida del sujeto, obteniendo, al final de cada sección, una puntuación global. El módulo referente al trastorno de somatización se utilizó como gold standard para establecer este diagnóstico. La SOMS-2 para síntomas somáticos es una escala de cribado autoaplicada que incluye todos los síntomas especificados en la definición de trastorno somatomorfo del DSM-IV y de la CIE-10, y de disfunción vegetativa somatomorfa de la CIE-10. Esta escala consta de 53 ítems con respuesta dicotómica, y el paciente debe responder de forma positiva solo a aquellos ítems que han estado presentes en los últimos 2 años y para los que el médico no ha encontrado una causa orgánica clara: los ítems 1-35 evalúan posibles síntomas de trastorno de somatización según el DSM-IV, los ítems 36-42 evalúan síntomas que pueden ocurrir durante una crisis de ansiedad, bajo estado de ánimo o en el trastorno somatomorfo indiferenciado, y los ítems 43-53 evalúan criterios de inclusión y exclusión de los diferentes subgrupos de trastornos somatomorfos. Al final de la escala se incluyen 16 ítems adicionales (ítems 53-68) que proporcionan información útil al clínico, por ejemplo, número de visitas realizadas al médico en el último año, influencia de los síntomas sobre la calidad de vida del paciente o si toma medicación a causa de sus dolencias. Si el cribado es positivo (según el punto de corte que se utilice), indica al clínico la necesidad de proceder con otros instrumentos o pruebas a la confirmación del diagnóstico. Se evaluó la gravedad de la sintomatología ansiosa y/o depresiva a través de las escalas Hamilton Anxiety Rating Scale y Hamilton Depression Rating Scale.

Análisis estadístico

Los resultados fueron analizados mediante el paquete estadístico SPSS® versión 19.0. El nivel de significación estadística utilizado fue de 0,05. En primer lugar, se realizó un análisis descriptivo de las variables sociodemográficas y clínicas de la muestra. Se utilizó la prueba Chi-cuadrado (χ2) para muestras independientes para determinar las diferencias estadísticamente significativas entre los 2 grupos según el diagnóstico del paciente. Se calculó la consistencia interna para el total de la escala con el empleo del coeficiente α de Cronbach. Con el objetivo de analizar qué ítems del cuestionario tienen un mayor peso en el diagnóstico final de somatización se realizó un análisis de regresión logística eliminando del modelo aquellas variables que no estaban estadísticamente asociadas con la variable somatización. Se calculó la capacidad diagnóstica global del cuestionario para distinguir entre pacientes y controles mediante el área bajo la curva de características del receptor. Este estadístico se utiliza para resumir la calidad diagnóstica global. Los valores del área bajo la curva de características del receptor se sitúan entre 0,5 (aleatoriedad total) y 1 (clasificación perfecta). Se analizó la sensibilidad, la especificidad, el VPP, y el VPN para diferentes puntos de corte y número de ítems con el fin de obtener el que mejor determina el diagnóstico de trastorno de somatización.

Resultados

La muestra total se compone de 165 sujetos, de los que 124 son mujeres (75%) y 41 son hombres (25%). La media de edad se sitúa en los 46,6 años, con una desviación estándar de 13,04 (IC 95% 44,4-48,5). El 66,1% de la muestra cumple criterios diagnósticos de trastorno de somatización, y el 33,9% no presenta este trastorno según criterios DSM-IV. La composición por sexos difiere entre los 2 grupos (somatización vs. no somatización), y esta diferencia es significativa, siendo mayor la proporción de mujeres con trastorno de somatización (χ2 = 7,08; p ≤ 0,001). La comorbilidad del trastorno de somatización con el trastorno de ansiedad y con la depresión es muy elevada. Del grupo de pacientes con diagnóstico de somatización según la EPEP, un 47,1% presenta este trastorno junto con un trastorno de ansiedad, un 10,1% presenta comorbilidad con un trastorno depresivo, y un 35,8% presenta un trastorno de somatización junto con un trastorno de ansiedad y depresión (tabla 1). La consistencia interna del total de la escala es de α = 0,926.
Tabla 1

Características sociodemográficas y clínicas de las muestras

Total (N = 165)Somatizador (n = 109)No somatizador (n = 56)
Género, n (%)
 Hombres41 (25)20 (18,5)21 (37,5)
 Mujeres124 (75)89 (81,48)35 (62,5)
Edad media (DE)46,45 (13,04)44,75 (10,85)49,73 (16,07)
HARS media13,6020,3811,21
HDRS media15,1217,4810,72
Comorbilidad psiquiátrica, n (%)
 Ansiedad47 (41,11)
 Depresión11 (10,1)
 Ansiedad + depresión39 (35,78)

DE: desviación estándar; HARS: Hamilton Anxiety Rating Scale; HDRS: Hamilton Depression Rating Scale.

Características sociodemográficas y clínicas de las muestras DE: desviación estándar; HARS: Hamilton Anxiety Rating Scale; HDRS: Hamilton Depression Rating Scale. Las variables incluidas en el modelo final y que mejor predicen el diagnóstico final del trastorno de somatización son: dolor de estómago (OR = 8,9; IC 95% 2,7-29,2), dolor de espalda (OR = 7,6; IC 95% 2,4-24), frecuentes diarreas (OR = 15,4; IC 95% 3-96,7; p ≤ 0,001), fuertes palpitaciones (OR = 6,2; IC 95% 2,1-18,1) y excesivo cansancio sin esfuerzo previo (OR = 5,8; IC 95% 2,1-15,8) (tabla 2).
Tabla 2

Análisis de la regresión logística para cada uno de los ítems de la escala Screening for Somatoform Symptoms-2 incluidos en el modelo

ÍtemsOR ajustadas (IC 95%)p
Dolor de estómago8,90 (2,71-29,23)≤ 0,001
Dolor de espalda7,58 (2,40-23,95)≤ 0,001
Hipo/quemazón pecho o estómago0,21 (0,06-0,73)0,015
Mal sabor de boca0,30 (0,09-1,00)0,05
Frecuentes diarreas15,40 (2,95-96,74)≤ 0,001
Secreción de fluidos por el ano0,15 (0,02-1,00)0,05
Fuertes palpitaciones6,15 (2,08-18,13)≤ 0,001
Excesivo cansancio5,77 (2,10-15,84)≤ 0,001

IC: intervalo de confianza; OR: odds ratio.

Análisis de la regresión logística para cada uno de los ítems de la escala Screening for Somatoform Symptoms-2 incluidos en el modelo IC: intervalo de confianza; OR: odds ratio. La curva de características del receptor es calculada a partir de la sensibilidad y especificidad del cuestionario. El resultado de nuestra área bajo la curva es de 0,90, por lo que consideramos que la clasificación es casi perfecta (fig. 1).
Figura 1

Curva de las características operativas del receptor.

Curva de las características operativas del receptor. En la tabla 3 podemos observar los resultados de la sensibilidad, la especificidad, el VPP y el VPN para diferentes puntos de corte y número de ítems. En primer lugar se analiza la versión original de 53 ítems con un punto de corte de 4 y de 7, y después con un punto de corte de 4 para hombres y de 6 para mujeres. Por último, se utiliza la versión de 32 ítems (una vez eliminados aquellos de baja frecuencia y poco poder discriminativo) del estudio de Rief y Hiller con un punto de corte de 7. La versión de 53 ítems con un punto de corte de 4 es la más recomendable, ya que obtiene una sensibilidad del 97%, una especificidad del 68%, un VPP del 85% y un VPN del 92%.
Tabla 3

Sensibilidad, especificidad, valor predictivo positivo y valor predictivo negativo para diferentes puntos de corte

Puntos de corteÍtemsSensibilidad, % (IC 95%)Especificidad, % (IC 95%)VPP, % (IC 95%)VPN, % (IC 95%)
45397 (94-100)68 (61-75)85 (80-90)92 (88-96)
75396 (93-99)45 (38-52)77 (71-83)86 (81-91)
4 (hombres)/6 (mujeres)5394 (90-98)37 (30-44)74 (68-80)77 (71-83)
7a3289578074

IC 95%: intervalo de confianza al 95%;VPN: valor predictivo negativo; VPP: valor predictivo positivo.

Versión de 32 ítems del estudio de Rief y Hiller (1999).

Sensibilidad, especificidad, valor predictivo positivo y valor predictivo negativo para diferentes puntos de corte IC 95%: intervalo de confianza al 95%;VPN: valor predictivo negativo; VPP: valor predictivo positivo. Versión de 32 ítems del estudio de Rief y Hiller (1999).

Discusión

Desde la introducción de los trastornos somatomorfos como un concepto diagnóstico diferenciado son muchos los instrumentos que se han desarrollado con la finalidad de poder establecer diagnósticos fiables, así como también evaluar la eficacia de diferentes tratamientos. Una de las principales ventajas de los estudios de validación de estos cuestionarios es la posibilidad de generalizar resultados entre diferentes países. La disponibilidad de instrumentos de evaluación con una alta fiabilidad permite su utilización en diferentes contextos clínicos (AP, centros de salud mental) y a través de diferentes profesionales de la salud (psiquiatras, psicólogos, médicos de AP). A pesar de la alta prevalencia de este tipo de enfermedad y la importante repercusión que tiene en la asistencia sanitaria (elevados costes y mala utilización de los recursos disponibles), todavía no se ha encontrado una alternativa eficaz a la hora de evaluar y diagnosticar de forma eficaz a este tipo de pacientes. Al analizar las características sociodemográficas y clínicas de nuestra muestra, observamos que los resultados de nuestro trabajo son muy parecidos a los de estudios previos en los que el porcentaje de mujeres es mayor que el de los hombres, así como también el diagnóstico de trastorno de somatización es mucho más prevalente entre las mujeres13, 14, 23. La media de edad de nuestro estudio es similar a la del grupo de Fabião et al., siendo esta de 46,5 años. Son muchos los estudios que señalan la elevada comorbilidad que existe entre la somatización y los trastornos de ansiedad y depresión12, 13, y el serio problema que esto supone para la evaluación y detección de este tipo de dolencia. Un elevado porcentaje de la muestra que cumple criterios para diagnóstico de trastorno de somatización también presenta un trastorno de ansiedad y/o depresión según la EPEP, así como también obtienen una mayor puntuación en la Hamilton Anxiety Rating Scale y en la Hamilton Depression Rating Scale. Nuestros resultados confirman esta elevada comorbilidad. Respecto a la fiabilidad de la escala, la versión española de la SOMS-2 presenta resultados similares a trabajos anteriores13, 15, y podemos afirmar que tiene una buena consistencia interna. Una de las principales divergencias entre los trabajos publicados que analizan las propiedades psicométricas de la SOMS-2 es la diferencia de criterio en el número de ítems del cuestionario y el punto de corte a utilizar para establecer un diagnóstico de trastorno de somatización. En este estudio, al igual que en otros trabajos anteriores como el de Rief et al. o Bankier et al., la versión original de 53 ítems y con un punto de corte de 4 es la que obtiene mejores resultados en cuanto a sensibilidad, especificidad, VPP y VPN. Sin embargo, trabajos como el de Fabião et al. o Rief y Hiller utilizan una versión final más reducida, de 19 y 32 ítems, y un punto de corte de 8 y 7, respectivamente. Otros estudios establecen un punto de corte de 6 para mujeres y 4 para hombres. Nuestro trabajo aporta datos sobre qué ítems del instrumento predicen mejor el diagnóstico final de trastorno de somatización. Estos resultados contribuyen a la elaboración de un modelo final de los ítems que diagnostican mejor el trastorno de somatización, eliminando aquellos que aportan una información redundante o no relevante. No obstante, debe considerarse el tamaño de la muestra al interpretar los amplios intervalos de confianza en esta prueba. Este trabajo presenta una serie de limitaciones a tener en cuenta a la hora de interpretar los resultados. En primer lugar, la selección del grupo control se realizó a posteriori y, por tanto, no es concurrente al de casos (pacientes somatizadores de un ensayo previo). En segundo lugar tenemos la falta de datos referentes al número de pacientes excluidos del estudio y el motivo de exclusión. De acuerdo con los resultados obtenidos, podemos afirmar que la SOMS-2 es un instrumento de cribado eficaz, útil y de fácil administración, por lo que se convierte en una alternativa a plantear frente a las entrevistas estructuradas para la detección y evaluación de este tipo de enfermedad en AP, y, por tanto, podemos afirmar que constituye un instrumento relevante desde el punto de vista clínico.

Lo conocido sobre el tema

Los trastornos somatomorfos son muy prevalentes en AP. Resulta fundamental mejorar la identificación temprana de estos pacientes en este contexto para intervenir de forma más eficaz en estados iniciales de la enfermedad. La mayoría de los instrumentos que evalúan síntomas somáticos muestran limitaciones y/o dificultades a la hora de utilizarse en la práctica clínica diaria de AP (tiempo de administración, formación específica del clínico, etc.). La SOMS-2 es un instrumento de cribado que no presenta estas limitaciones, por lo que su validación en este contexto es de especial relevancia.

Qué aporta este estudio

La adaptación y validación de la versión española de la SOMS-2 en población de AP.

Financiación

Este trabajo forma parte de un proyecto financiado por el Instituto de Salud Carlos III (PI051886), «Tratamiento cognitivo-conductual de pacientes con trastorno de somatización abreviado (SSI 4,6) en Atención Primaria».

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.
  21 in total

1.  Toward empirically based criteria for the classification of somatoform disorders.

Authors:  W Rief; W Hiller
Journal:  J Psychosom Res       Date:  1999-06       Impact factor: 3.006

2.  Prevalence and clinical features of newly diagnosed generalized anxiety disorder patients in Spanish primary care settings: the GADAP study.

Authors:  Javier García-Campayo; Fernando Caballero; María Perez; Vanessa López
Journal:  Actas Esp Psiquiatr       Date:  2012-05-01       Impact factor: 1.196

3.  The Structured Clinical Interview for DSM-III-R (SCID). I: History, rationale, and description.

Authors:  R L Spitzer; J B Williams; M Gibbon; M B First
Journal:  Arch Gen Psychiatry       Date:  1992-08

4.  A screening test for somatization disorder (hysteria).

Authors:  E Othmer; C DeSouza
Journal:  Am J Psychiatry       Date:  1985-10       Impact factor: 18.112

5.  Gender differences in major depressive disorder: somatic symptoms and quality of life.

Authors:  Dolores Saiz Gonzalez; Mercedes Rodríguez; Carmen García; Rita Prieto; Jerónimo Saiz-Ruiz
Journal:  Rev Psiquiatr Salud Ment       Date:  2009-10-14       Impact factor: 3.318

6.  Assessing medically unexplained symptoms: evaluation of a shortened version of the SOMS for use in primary care.

Authors:  Cristina Fabião; M C Silva; António Barbosa; Manuela Fleming; Winfried Rief
Journal:  BMC Psychiatry       Date:  2010-05-17       Impact factor: 3.630

7.  Somatoform disorders in general practice: prevalence, functional impairment and comorbidity with anxiety and depressive disorders.

Authors:  Margot W M de Waal; Ingrid A Arnold; Just A H Eekhof; Albert M van Hemert
Journal:  Br J Psychiatry       Date:  2004-06       Impact factor: 9.319

8.  Depression, anxiety and somatization in primary care: syndrome overlap and functional impairment.

Authors:  Bernd Löwe; Robert L Spitzer; Janet B W Williams; Monika Mussell; Dieter Schellberg; Kurt Kroenke
Journal:  Gen Hosp Psychiatry       Date:  2008 May-Jun       Impact factor: 3.238

9.  Prevalence and comorbidity of common mental disorders in primary care.

Authors:  M Roca; M Gili; M Garcia-Garcia; J Salva; M Vives; J Garcia Campayo; A Comas
Journal:  J Affect Disord       Date:  2009-04-10       Impact factor: 4.839

10.  Unlimited access to health care--impact of psychosomatic co-morbidity on utilisation in German general practices.

Authors:  Antonius Schneider; Elisabeth Hörlein; Eva Wartner; Isabelle Schumann; Peter Henningsen; Klaus Linde
Journal:  BMC Fam Pract       Date:  2011-06-18       Impact factor: 2.497

View more

北京卡尤迪生物科技股份有限公司 © 2022-2023.