Literature DB >> 34868410

Acide hyaluronique intra-articulaire dans la gonarthrose: résultats cliniques d'une famille de produits (ARTHRUM), avec méta-analyses comparatives.

Patrice Vincent1.   

Abstract

INTRODUCTION: La viscosupplémentation est largement pratiquée, pour réduire la douleur dans l'arthrose (OA), par des injections intra articulaires (IA) d'acide hyaluronique (AH). En Europe, ces produits sont des dispositifs médicaux de classe III, pour lesquels la réglementation Medical Device Regulation (MDR) impose une évaluation clinique, basée sur des études spécifiques et/ou une revue bibliographique des dispositifs équivalents. L'objet de cet article est de présenter une revue comparative entre une famille de dispositifs (ARTHRUM, de LCA Pharmaceuticals, Chartres, France) et un groupe important de dispositifs AH IA présumés équivalents dont les résultats et ceux de leurs contrôles, ont fait l'objet de publications dans des journaux scientifiques. MÉTHODES: Pour rejoindre les critères utilisés dans la plupart des études ARTHRUM, les sous-scores de l'indice Western Ontario and McMaster Universities ont été sélectionnés pour la douleur (WOMAC A), la raideur (WOMAC B) et la fonction (WOMAC C). Le critère principal était la variation du score WOMAC A depuis T0 (date d'inclusion) jusqu'à T6 (6 mois). Les autres critères WOMAC ont été évalués à T1, T3, T6 et complétés par les taux de répondeurs au traitement selon OMERACT-OARSI. Cinquante articles ont été sélectionnés, incluant des résultats portant sur plus de 12.000 patients. Ceux-ci ont été répartis en trois groupes: ARTHRUM, EQUIVALENTS et CONTROLES. Pour obtenir des comparaisons quantitatives, des méta-analyses furent réalisées pour chaque critère individuel. Les intervalles de confiance (CI) à 95% de chaque variation par rapport à l'inclusion, ont permis d'évaluer la pertinence clinique en se référant à un minimum validé dans la littérature de l'OA. L'investigation a été complétée par des comparaisons entre groupes et par l'évaluation de la tolérance. RÉSULTATS: Pour les scores WOMAC A, B et C, l'intégralité de CI 95% était toujours supérieure à l'amélioration minimale cliniquement perceptible (MPCI), pour les groupes ARTHRUM et EQUIVALENTS, ce qui n'a pas été observé pour la totalité des critères, avec le groupe CONTROLES. Dans les comparaisons, les groupes ARTHRUM et EQUIVALENTS ont été significativement meilleurs que le groupe CONTROLES pour chaque critère. La taille de l'effet (ES) sur la douleur, pour les groupes ARTHRUM et EQUIVALENTS, a varié de 0,28 à 0,56 et de 0,23 to 0,27, respectivement. Globalement, ARTHRUM a toujours été évalué non-inférieur aux EQUIVALENTS, et parfois statistiquement et cliniquement supérieur.
CONCLUSIONS: La comparaison des études cliniques ARTHRUM, avec les études tirées de la recherche bibliographique, permet de conclure que l'efficacité clinique des dispositifs médicaux ARTHRUM, pour réduire la douleur et améliorer la fonction dans la gonarthrose, sur une période de six mois, est au moins aussi élevée que celle des dispositifs équivalents. Avec un bon profil de tolérance (taux plus faible d'effets indésirables, et aucun sévère), le rapport risque-bénéfice est en faveur de la viscosupplémentation avec ARTHRUM.
© 2021 The Author(s).

Entities:  

Year:  2021        PMID: 34868410      PMCID: PMC8626835          DOI: 10.1016/j.curtheres.2021.100652

Source DB:  PubMed          Journal:  Curr Ther Res Clin Exp        ISSN: 0011-393X


évènement indésirable (adverse event) acide hyaluronique (hyaluronate de sodium) anti-inflammatoire non-stéroïdien indice de masse corporelle (body mass index) D de Cohen (taille d'effet) intervalle de confiance (avec probabilité en %) sulfate de chondroïtine taille d'effet glycosaminoglycane intra-articulaire Kellgren-Lawrence (échelle radiologique de sévérité de l'OA) différence moyenne Medical Device Regulation minimal perceptible clinical improvement cellules mésenchymateuses poids moléculaire (moyenne en masse) ostéoarthrose Osteoarthritis Research Society International Outcomes Measurements in Rheumatology (réseau international) plasma enrichi en plaquettes évènement indésirable grave écart-type (standard deviation) erreur standard fluide synovial smallest detectable difference Western Ontario & Mac Master Universities (indice de l'OA)

Introduction

L'arthrose (OA) est une maladie douloureuse et handicapante, qui touche une grande partie de la population âgée. L'OA est caractérisée par la perte d'acide hyaluronique (AH), lequel est un composant majeur du cartilage, naturellement présent dans le liquide synovial (SF) d'une articulation saine. L'AH est une longue chaîne moléculaire, qui appartient à la famille des glycosaminoglycanes (GAG). Son rôle dans l'articulation est complexe, procurant de la viscoélasticité au SF pour absorber les chocs, lubrifier, et protéger le cartilage. Le HA est aussi impliqué dans différents mécanismes biologiques, à l'intérieur de l'articulation. La viscosupplémentation du SF est un traitement symptomatique de la gonarthrose (OA du genou), qui consiste en injections intra articulaires (IA) de solutions à base d'AH, pour réduire la douleur et rétablir de la mobilité à l'articulation arthrosique. L'objet de cette étude est d’évaluer les résultats cliniques d'une famille de dispositifs AH IA (ARTHRUM de LCA Pharmaceuticals, Chartres, France), et de les comparer à des dispositifs potentiellement ‘équivalents’ selon la définition donnée dans la réglementation des dispositifs médicaux (MDR) par la directive européenne ECC93/42 et sa remplaçante imminente 2017/745. Pour les dispositifs de classe III, la preuve clinique doit être d'abord basée sur des résultats cliniques spécifiques obtenus sur le dispositif à évaluer et/ou la comparaison avec d'autres dispositifs identifiés comme étant ‘équivalents’. Ceux-ci sont définis comme appartenant au même groupe générique, car étant essentiellement similaires dans leur formulation (même ingrédient principal AH), leur présentation, leurs propriétés physiques et leur indication première. Tous ces dispositifs sont utilisés dans les mêmes conditions (injections IA), par les mêmes médecins spécialistes, sur des patients souffrant de la même maladie (gonarthrose, aux mêmes stades). Les résultats cliniques de ces dispositifs ‘équivalents’ sont ceux publiés dans des journaux scientifiques, de préférence revus par des pairs, pour en garantir la qualité. Pour résumer la logique de la démarche, il est apparu pertinent de consolider l’évaluation d'ARTHRUM par une comparaison aux dispositifs ‘équivalents’.

Methodes

Base de données

Pour le renouvellement du marquage CE des produits ARTHRUM, une recherche systématique de la bibliographie pertinente a été réalisée. Les résultats cliniques obtenus avec ARTHRUM ont été comparés à ceux de la littérature, pour les produits décrits comme ‘Equivalents’ ou pour les ‘Contrôles’. La famille des produits ARTHRUM fut réunie en un seul groupe, pour atteindre une taille comparable à celle des autres groupes. Les petites différences de formulation de deux dispositifs ARTHRUM ne furent pas prises en compte, car la plupart des études ont été menées sur le même produit : ARTHRUM H 2% (3 injections). La première variante dans la famille est ARTHRUM visc 75 – la version mono-injection – concentrant 75mg du même AH, en une injection. La seconde variante, dénommée ARTHRUM HCS, contient du sulfate de chondroïtine (CS), rajouté à l'AH dans la même proportion (2%). Le cas de ce produit unique est discuté à la fin de cet article. La recherche bibliographique a été menée sur les bases de données PubMed et Cochrane, en utilisant les mots-clés tels que ‘hyaluronate’, ‘viscosupplement’, ‘knee osteoarthritis’, ‘intra articular’, ‘infiltration’ et aussi ‘ARTHRUM’ et ‘SYNOVIUM’, pour détecter d’éventuelles publications inconnues sur les dispositifs ARTHRUM. Le mot ‘Human’ fut utilisé comme filtre avec Pubmed. Un contrôle a été fait sur Clinical Trials, pour identifier les essais en cours. Cette recherche procurant 60 articles, a été close fin mars 2020, puis elle a été complétée par plusieurs articles identifiés dans les méta-analyses, ainsi que par ceux des traitements ARTHRUM (Figure 1).
Figure 1

Recherche et collecte des données

Recherche et collecte des données Le sous-score douleur de l'indice Western Ontario and McMaster Universities (WOMAC A), fut choisi comme critère principal, car utilisé pour la plupart des essais cliniques réalisés sur ARTHRUM. En tant que critères secondaires, le sous-score raideur (WOMAC B), le sous-score fonction (WOMAC C) et le taux de répondeurs OMERACT-OARSI furent également analysés. La collecte des données et leur traitement furent entièrement faits à LCA. Après retrait des articles ne contenant aucun des critères précédents, une base de données cohérente fut obtenue pour une large population dont 12.860 patients de profils connus. Tous les patients furent évalués, au moins sur l'un des sous-scores WOMAC ou sur leur taux de répondeurs OMERACT-OARSI (Figure 1). Les temps d'observation furent ceux utilisés pour la majorité des études : T0 (à l'inclusion) puis T1, T3 et T6 (mois). Des analyses séparées ont été réalisées pour chacun des indices.

Groupes

Les dispositifs ARTHRUM furent regroupés en tant que famille, car tous utilisent les mêmes ingrédients de base et tous sont fabriqués dans des conditions strictement identiques, y compris pour leur stérilisation terminale. Pour les CONTROLES, les placebos IA furent sélectionnés, tout comme des simulacres d'injection et les arthrocentèses (ponction de SF, sans injection). Les exercices physiques et les traitements oraux (AINS) furent aussi admis. Mais les traitements locaux actifs tels que les injections IA de corticoïdes, de plasma enrichi en plaquettes (PRP), ou de cellules mésenchymateuses (MSC) furent exclus. Le groupe des EQUIVALENTS, a été constitué des produits AH IA génériques, indiqués dans le traitement symptomatique de la gonarthrose et dénommés viscosuppléments. Tous les poids moléculaires (Mw) et toutes les concentrations étaient permis pour l'AH, tout comme la présence d'un ingrédient auxiliaire (agent de réticulation, mannitol, sorbitol…). Cette large sélection fut adoptée pour obtenir une représentation réaliste du marché du IA HA.

Statistiques

Pour permettre une analyse statistique, les variables continues étaient définies par leur moyenne (score), accompagnée de l’écart-type (SD) et de la population concernée à chaque temps d'observation. Lorsque SD n’était pas fourni, une estimation en a été faite chaque fois que possible (mesure de graphique, ou calcul à partir de l'erreur-type (SE), de l'intervalle de confiance CI 95%, ou de la p-valeur). Chaque score a été ramené sur une base 0-100, et toutes les données ont été traitées sous Excel (MicroSoft). Pour les variables discrètes, les données devaient être disponibles sous la forme des sous-populations satisfaisant ou non, au critère analysé. Pour chaque série de données, la variation de score depuis l'inclusion a été évaluée, à chaque temps d'observation disponible. Le résultat de chaque mesure a été exprimé en différence moyenne (MD) par rapport au score à l'inclusion (baseline) – positive en cas d'amélioration du patient – et accompagnée de l'intervalle de confiance CI 95%. Ceci fut réalisé pour chaque bras des études individuelles : dispositifs ARTHRUM, CONTROLES, et dispositifs EQUIVALENTS.

Critère principal et critères secondaires

Le critère principal était la variation (MD) du sous-score WOMAC douleur (WOMAC A), depuis T0 (baseline) jusqu’à T6 (contrôle final). Ce critère était satisfait si la borne inférieure de CI 95%, était supérieure à un minimum clinique reconnu et accepté dans l‘état de l'art actuel de la médecine. Les critères secondaires comprenaient les variations (MD) du sous-score WOMAC A aux temps de mesures intermédiaires, et de même les sous-scores WOMAC B (raideur), WOMAC C (fonction), et les taux de patients répondant au traitement, selon les critères de l'OMERACT-OARSI, à tous les temps de mesures disponibles.

Méta-analyses des résultats des sous-scores WOMAC

Pour obtenir une évaluation globale comparative des dispositifs ARTHRUM versus les groupes CONTROLES, ou EQUIVALENTS, des méta-analyses ont été effectuées en utilisant Mix2.0 (BioStatXL), en mode ‘random effects’, afin de déterminer la moyenne de chaque groupe MD (CI 95%), aux temps T1, T3 et T6. Ceci a été répété pour chaque sous-score WOMAC. Pour compléter l'analyse, les résultats de chaque groupe furent comparés entre eux. Le résultat du groupe ARTHRUM fut considéré comme satisfaisant, lorsque le gain moyen par rapport à la baseline était : Supérieur – pour l'intégralité de son intervalle CI 95% – au Minimum Perceptible Clinical Improvement (MPCI), défini par Ehrich, pour les sous-scores WOMAC A, B ou C. Cliniquement non-inférieur au groupe EQUIVALENTS, en vérifiant que la borne inférieure de l'intervalle CI 95%, était supérieure à une limite de non-infériorité. Cette limite était définie comme la MD du groupe EQUIVALENTS, réduite d'une marge de non-infériorité, arbitrairement choisie égale à la Smallest Detectable Difference (SDD) définie par Angst et al, pour chaque sous-score WOMAC. Statistiquement meilleur que le résultat homologue du groupe CONTROLES (p < 0,05) sans être statistiquement inférieur au résultat homologue du groupe EQUIVALENTS. La comparaison entre les groupes fut aussi effectuée et, pour conforter la valeur des résultats, la taille de l'effet (ES) par rapport au groupe CONTROLES fut calculée selon la définition de Cohen (CD).

Répondeurs OMERACT-OARSI

Les pourcentages de patients répondeurs, selon les critères de l'OMERACT-OARSI, ont été ré-évalués à partir des populations décrites dans les études, en suivant deux hypothèses d'interprétation : Définition ‘stricte’: base = population disposant de données suffisantes pour déterminer que les patients étaient soit répondeurs certains, soit non-répondeurs certains. Definition ‘minimale’: base = population avec réponses partielles aux critères, et pour laquelle une fraction des patients demeure incertaine. Dans de tels cas, le pourcentage de répondeurs est plus faible, car il est ramené à une population plus vaste (qui peut atteindre toute la population incluse dans l’étude). Ceci est parfois proposé, mais c'est un point de discussion, car certains patients, potentiellement répondeurs, peuvent avoir été écartés, juste pour des données manquantes. Après réévaluation ou contrôle des taux de répondeurs trouvés dans chaque étude, une évaluation globale fut proposée pour chacun des groupes ARTHRUM, EQUIVALENTS et CONTROLES. Ces résultats furent ensuite comparés, en utilisant le test chi et la p-valeur.

Resultats

Profils des patients

Les profils des patients décrits dans les différentes études (12.860 patients), furent cumulés pour vérifier leur représentativité par rapport à la population cible admise pour la viscosupplémentation. Cette démarche fut également reprise en détail pour comparer les groupes, et s'assurer d'une homogénéité minimale. L’évaluation du profil était basée sur les paramètres suivants : sexe (%); âge : moyenne (SD), [minimum-maximum]; antériorité de l'OA : moyenne (SD); indice de masse corporelle (BMI) : moyenne (SD), [minimum-maximum]; stade radiologique selon Kellgren & Lawrence, pour la sévérité de l'arthrose : KL I (%), KL II (%), KL III (%) et KL IV (%). Le groupe ARTHRUM comprend 2.597 patients : 61,8% femmes, âge 63,6 (10,4) ans [20-97], antériorité 4.1 (4.2) ans, BMI 27.3 (4.5) kg/m2 [16.2-60.0], KL I (11,0%), KL II (39,7%), KL III (40,6%) et KL IV (8,7%) Le groupe EQUIVALENTS comprend 6.970 patients : 66,7% femmes, âge 63,3 (8,9) ans [29-90], antériorité 4,9 (4,7) ans, BMI 28,1 (4,2) kg/m2 [18,0-61,1], KL I (4,8%), KL II (41,5%), KL III (47,6%) et KL IV (6,1%) Le groupe CONTROLES comprend 2.708 patients : 61,1% femmes, âge 63,3 (8,2) ans [30-86], antériorité 5,1 (5,0) ans, BMI 29,1 (4,5) kg/m2 [18,4-54,6], KL I (5,6%), KL II (37,2%), KL III (50,3%) et KL IV (6,9%) Tous ces profils sont voisins de ceux décrits dans la littérature, et proches entre eux, éliminant le risque d'une cause potentielle d'hétérogénéité, lors des comparaisons globales. Cependant, la distribution des paramètres ci-dessus, est large dans chaque groupe.

Revue des données

Une revue détaillée et critique des données,13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60 fut réalisée pour être certains de représenter pleinement la pratique courante de la viscosupplémentation dans la gonarthrose, selon les protocoles standards. A la suite, deux études et un bras ont été rejetés, en raison de leur protocole. Ce furent : Karlsson (2002) : patients inclus de stades OA très évolués (classés Ahlbäck), correspondant presque tous au stade KL IV (indication de chirurgie avec pose de prothèse totale), pour des résultats cliniques médiocres, en dehors de l'indication habituelle de la viscosupplémentation. Kearey (2016) : scores très élevés, attribués à une surestimation des réponses données par les patients, évalués par téléphone à longue distance (protocole expérimental, en Australie). De plus, cette étude ouverte (sans groupe de contrôle) était relative à un produit déjà bien représenté dans cette analyse (Synvisc-One). Neustadt (2005) : un bras étudiant l'effet de 4 injections successives d'Orthovisc, retiré de l'analyse, car l'information produit ne suggère que 3 injections. Une recherche des études aberrantes, proposant des résultats anormaux et sources d'hétérogénéité, fut réalisée sur l'ensemble de la population sélectionnée. Des tests préliminaires de méta-analyse furent menés, en utilisant des tracés en entonnoir (funnel plots) pour évaluer MD et ES (CD), qui devaient rester cohérents (Figure 2). Ce qui a conduit à exclure :
Figure 2

Graphiques en entonnoir (funnel plots) identifiant les études douteuses

Petrella (2006) : résultats incertains (précision très faible) et risque de biais Davalillo (2015) : résultats absurdes, et biais très importants Zhang (2015) : SD (et SE) sous-estimés procurant des résultats anormalement élevés pour ES (CD), avec risque de biais Graphiques en entonnoir (funnel plots) identifiant les études douteuses A la suite du retrait de ces études douteuses, les études sélectionnées restantes furent partagées en trois groupes, ARTHRUM, CONTROLES et EQUIVALENTS en distinguant chaque critère WOMAC A, B et C. Tous les détails sont donnés pour le WOMAC A (Tableau 1). Les données complétées (principalement pour SD) sont signalées par un fond gris, dans ces tableaux.
Table 1

Etudes sélectionnées pour les méta-analyses et synthèse des résultats WOMAC. Les tableaux suivants, donnent les résultats détaillés par groupe, du WOMAC A (sous-score douleur)

WOMAC A
Baseline
T1
T3
T6
AUTEURPUBARTHRUMNMOYSDNMOYSDNMOYSDNMOYSD
Maravic53(ART-QUALIVIE)2019Arthrum H 2%13450,615,111126,319,911123,419,1
Baron54(ART-ONE 75)2018Arthrum visc 7521850,315,6207282018019,617,818316,717,4
Thomas55(CELTIPHARM)2017Arthrum H 2%20249,917,220233,517,920227,618,2
Hilliquin56(< 60 ANS)2017Arthrum H 2%18232,418,418217,715,618212,313,0
Germonville572015Arthrum H 2%12649,117,412228,319,612023,519,4
Hilliquin60(DOULEUR & HANDICAP)2021Arthrum H 2%45151,019,243031,317,942726,919,4
Vincent58(LONG TERME)2020Arthrum H 2%117746,616,497031,219,090428,619,2
Rivera592016Arthrum HCS11252,115,211125,717,411120,416,310920,519,7
260231823082238
Etudes sélectionnées pour les méta-analyses et synthèse des résultats WOMAC. Les tableaux suivants, donnent les résultats détaillés par groupe, du WOMAC A (sous-score douleur)

Représentativité des études sélectionnées

Avec plus de 12.000 patients inclus dans ces études, cette revue avec méta-analyses est comparable en taille avec d'autres grandes méta-analyses menées sur la viscosupplémentation. Il était aussi nécessaire de vérifier que le groupe EQUIVALENTS était vraiment représentatif du marché. Ce qui fut réalisé pour la population du critère principal (base 5.413 patients) : Synvisc 915, Durolane 498, Orthovisc 495, Hyalgan 466, Synvisc One 460, Gel-One 399, Suplasyn 319, GoOn 237, Ostenil Plus 224, Hyruan Plus 221, Ostenil 219, Sinovial 192, Euflexxa 160, Hyruan One 137, Hya Joint Plus 112, Artz 108, Fermathron Plus 99, Hyal 71, Happy-Cross 40, Monovisc 21, Adant 20 Plus de 20 dispositifs sont représentés. Avec l'avantage d'un plus grand nombre d’études publiées, les dispositifs Synvisc concernent 25% des patients du groupe EQUIVALENTS. Quelques produits présents sur d'autres marchés (USA ou Asie), ont aussi été inclus ici (16% des patients), mais leur présence sur le marché Européen n'a pas été établie ni confirmée. Dans ce groupe, les produits en injection unique, ont été utilisés pour 33% des patients, montrant le développement de ce mode d'administration.

A propos de l'hétérogénéité

Dans la plupart des méta-analyses8, 9, 10, 11, 12 faites sur la viscosupplémentation, il est généralement observé que l'hétérogénéité est importante dans les essais cliniques, montrant toutes les difficultés. Au-delà de l'hétérogénéité interne des études (large distribution des profils des patients et écarts entre les réponses des patients), il existe de grosses différences entre études (différences entre les profils des patients à l'inclusion, différents investigateurs, et écarts possibles des réponses selon le pays, l'approche ou l’éducation). De plus, les risques de biais existent et peuvent être importants dans leur influence sur les résultats finaux. La recherche et l'exclusion des études aberrantes était essentielle, pour cette raison. Pour le WOMAC A à T6 (critère principal), l'indice d'hétérogénéité interne a varié de I2 = 95% pour l'ensemble des études avant exclusions, à I2 = 93% pour le groupe EQUIVALENTS, I2 = 86% pour le groupe CONTROLES, et I2 = 93% pour le groupe ARTHRUM. En dépit de cette faible amélioration, l'hétérogénéité est restée importante. Dans les mêmes conditions pour le WOMAC A à T6, l'indice d'hétérogénéité entre études τ2 (exprimé sans dimension) fut clairement amélioré, passant de τ2 = 0,34 pour toutes les études, à τ2 = 0,24 pour le groupe EQUIVALENTS, τ2 = 0,11 pour le groupe CONTROLES, et τ2 = 0,14 pour le groupe ARTHRUM. Cette amélioration est clairement le résultat de l'exclusion des protocoles divergents et des études aberrantes.

Graphiques en forêt

Les graphiques en forêt (forest plots) suivants (Figures 3 à 5) représentent les variations des scores depuis la baseline (échelle 0-100). Pour chaque bras d’étude, la différence moyenne (MD) est représentée par un carré, et son CI 95% est représentée par la barre horizontale associée. La synthèse est donnée par la barre verticale rouge sombre (moyenne) et la largeur horizontale du losange en bas, représente CI 95%, pour le groupe. Le tableau à gauche du graphique fournit les détails numériques avec l'identité du produit (ID), la pondération (%) utilisée pour calculer la moyenne d'ensemble (variance inverse, random effects). Ces résultats sont donnés à T6, respectivement pour le WOMAC A (Figure 3), le WOMAC B (Figure 4) et le WOMAC C (Figure 5).
Figure 3

Résultats du critère principal (WOMAC A à T6)

Figure 4

Résultats d'un critère secondaire (WOMAC B à T6)

Figure 5

Résultats d'un critère secondaire (WOMAC C à T6)

Résultats du critère principal (WOMAC A à T6) Résultats d'un critère secondaire (WOMAC B à T6) Résultats d'un critère secondaire (WOMAC C à T6)

Interprétation des résultats

Tous les résultats combinés (MD CI 95%) des méta-analyses sont détaillés par groupe et sous-score WOMAC aux temps T1, T3 et T6 (Tableau 2). Les populations sont données à l'inclusion (N0) et au temps d'observation (N). Pour évaluer l'importance du gain obtenu depuis l'inclusion (baseline), le minimal perceptible clinical improvement (MPCI) d'Ehrich a été utilisé (échelle 0-100): 9.7 pour le WOMAC A, 10.0 pour le WOMAC B and 9.3 pour le WOMAC C. Quand ces valeurs sont dépassées, la réponse ‘Oui’ est mentionnée dans le tableau.
Table 2

Synthèse des résultats WOMAC

ARTHRUMTempsN0NMDSDMPCI< CI 95%
WOMAC AT133031824,14 (20,14; 28,13)17,09,7Oui
T32602230821,61 (17,15; 26,07)17,39,7Oui
T62602223825,18 (21,02; 29,34)17,59,7Oui
WOMAC BT121820821,20 (17,02; 25,38)22,110,0Oui
T31179111720,02 (13,62; 26,41)20,210,0Oui
T61179111323,55 (18,55; 28,54)19,810,0Oui
WOMAC CT121818518,30 (14,70; 21,90)18,39,3Oui
T32356206616,72 (12,45; 21,00)18,49,3Oui
T62356200020,93 (16,61; 25,25)18,29,3Oui

EquivalentsTempsN0NMDSDMPCI< CI 95%

WOMAC AT14090380618,97 (16,75; 21,19)15,59,7Oui
T34682434620,91 (18,38; 23,44)17,39,7Oui
T64063376420,46 (17,50; 23,41)17,39,7Oui
WOMAC BT12069187415,29 (13,11; 17,48)19,910,0Oui
T32461224918,73 (16,35; 21,12)20,610,0Oui
T61987179917,99 (14,62; 21,36)21,410,0Oui
WOMAC CT12671246214,09 (12,16; 16,03)16,29,3Oui
T33242301117,62 (15,4; 19,85)17,39,3Oui
T62994273117,61 (15,38; 19,85)17,89,3Oui

ContrôlesTempsN0NMDSDMPCI< CI 95%

WOMAC AT11450135614,97 (12,76; 17,17)16,39,7Oui
T31568146916,84 (13,03; 20,65)18,19,7Oui
T61425120415,74 (12,02; 19,47)16,99,7Oui
WOMAC BT159655710,20 (6,98; 13,41)20,010,0Non
T371263411,27 (5,38; 17,15)20,110,0Non
T65975188,18 (4,59; 11,78)20,010,0Non
WOMAC CT11090103212,26 (9,18; 15,34)15,59,3Non
T31094102814,98 (9,83; 20,13)17,69,3Oui
T61208110813,51 (9,89; 17,12)18,09,3Oui
Synthèse des résultats WOMAC Pour le critère principal WOMAC A à T6 : Chaque borne inférieure de CI 95%, pour les études individuelles du groupe ARTHRUM, montre un gain important, plus élevé que le MPCI (= 9.7). Ceci, a fortiori , se retrouve pour la limite inférieure de 95% CI estimée à 21,02 pour l'ensemble du groupe. Pour le groupe EQUIVALENTS, la borne inférieure de CI 95% est inférieure au MPCI pour 35% des études individuelles. Cependant, pour l'ensemble du groupe, la borne inférieure de CI 95%, estimée à 17,50, est supérieure au MPCI. Pour le groupe CONTROLES, les résultats sont proches du groupe EQUIVALENTS et l'efficacité clinique du placebo IA peut être observée. La borne inférieure de CI 95% de l'ensemble du groupe, estimée à 12.02 est aussi supérieure au MPCI. Pour les critères secondaires WOMAC C à T6, les mêmes observations peuvent être émises, car le MPCI (= 9.3) est inférieur à chacune des bornes inférieures de CI 95% pour chaque étude individuelle du groupe ARTHRUM, et inférieur à la borne inférieure de CI 95%, estimée pour chaque groupe. Pour les autres critères à chaque temps, le MPCI est toujours inférieur à la borne inférieure de CI 95% pour les groupes ARTRUM et EQUIVALENTS. Cependant, pour le groupe CONTROLES, il existe plusieurs cas où le MPCI est supérieur à la borne inférieure de CI 95% (Tableau 2), démontrant que le placebo IA n'atteint pas toujours l'efficacité minimale, pour être cliniquement pertinent.

Comparaisons entre groupes

Les comparaisons entre groupes ont été faites par deux groupes à la fois, fournissant trois comparaisons (Tableau 3). Les résultats sont présentés pour chaque sous-score WOMAC, à chaque temps d'observation. Les différences entre les variations (MD) de score depuis la baseline, sont données avec SDpooled et SEpooled, et suivies du t-test, pour déterminer si les différences sont significatives (p<0.05). La non-inferiorité d'ARTHRUM par rapport aux EQUIVALENTS, fut déterminée en prenant SDD, comme marge de non-infériorité, ramenée en base 0-100, soit -8.1 pour le WOMAC A, -9.6 pour le WOMAC B et -7.8 pour le WOMAC C. La borne inférieure de CI 95% (gardée à la même dimension que dans le Tableau 2) était toujours située au dessus de cette limite, confirmant la non-inferiorité d'ARTHRUM. Dans les comparaisons versus CONTROLES, la taille d'effet ES fut calculée. Les analyses démontrent qu'ARTHRUM et les EQUIVALENTS sont significativement meilleurs que les CONTROLES à chaque temps d'aobservation, pour la totalité des critères. Pour le WOMAC A à T3 et T6, ES fut respectivement évalué à 0,28 et 0.56 pour ARTHRUM contre 0.23 et 0.27 pour les EQUIVALENTS. Cette différence en faveur d'ARTHRUM était significative à T6. Des résultats similaires furent observés pour les autres sous-scores WOMAC.
Table 3

Comparaisons inter-groupes des résultats WOMAC

CritèreTempsDifférenceLimite NINISD pooledSE pooledP-valueES
Arthrum versus Equivalents

WOMAC AT15,17 (1,18; 9,17)-8,1Oui15,670,91< 0,001NA
T30,70 (-3,76; 5,16)-8,1Oui17,280,450,12NA
T64,72 (0,56; 8,88)-8,1Oui17,390,46< 0,001NA
WOMAC BT15,91 (1,73; 10,09)-9,6Oui20,091,47< 0,001NA
T31,29 (-5,11; 7,69)-9,6Oui20,460,750,085NA
T65,56 (0,57; 10,56)-9,6Oui20,810,79< 0,001NA
WOMAC CT14,21 (0,61; 7,81)-7,8Oui16,351,25< 0,001NA
T3-0,90 (-5,18; 3,38)-7,8Oui17,730,510,076NA
T63,32 (-1,00; 7,64)-7,8Oui17,960,53< 0,001NA

Arthrum versus Contrôles

WOMAC AT19,17NANA16,411,02< 0,0010,56
T34,77NANA17,610,59< 0,0010,27
T69,44NANA17,290,62< 0,0010,55
WOMAC BT111,00NANA20,591,67< 0,0010,53
T38,75NANA20,191,00< 0,0010,43
T615,37NANA19,841,06< 0,0010,77
WOMAC CT16,04NANA15,971,28< 0,0010,38
T31,74NANA18,130,690,0120,10
T67,42NANA18,130,68< 0,0010,41

Equivalents versus Contrôles

WOMAC AT14,00NANA15,740,50< 0,0010,25
T34,07NANA17,490,53< 0,0010,23
T64,72NANA17,240,57< 0,0010,27
WOMAC BT15,09NANA19,890,96< 0,0010,26
T37,46NANA20,480,92< 0,0010,36
T69,81NANA21,101,05< 0,0010,46
WOMAC CT11,83NANA16,000,590,0020,11
T32,64NANA17,360,63< 0,0010,15
T64,10NANA17,850,64< 0,0010,23

Limite NI = - SDD (Angst)

Comparaisons inter-groupes des résultats WOMAC Limite NI = - SDD (Angst) Les résultats des répondeurs OMERACT-OARSI (Tableau 4), ont été collectés à partir de 13 études (3 pour ARTHRUM). Les données étaient insuffisantes, à T1 ou T2. Les résultats à T3 et T4 ont été réunis lorsque ceci apparaissait pertinent. Les taux de patients strictement répondeurs, selon OMERACT-OARSI, variaient de :
Table 4

Résultats des répondeurs OMERACT-OARSI

OMERACT-OARSI
T3-4
T6
AutEURPubPRODUITNNRNNR% Min% StrictNNRNNRMin% Strict
Maheu142019Ostenil Plus134931969,483,0
Synvisc-One132961672,785,7
Berenbaum232012Go-On2171516669,669,62171595873,373,3
Hyalgan2091268360,360,32091228758,458,4
Strand242012Gel One2471419057,161,0
Placebo128655450,854,6
Kawasaki262009Artz42222052,452,4
Exercices45252055,655,6
Onel302008Euflexxa1571124571,371,3
Synvisc158995962,762,7
Lundsgaard312008Hyalgan84503259,561,0
Placebo84334639,341,8
Ha432017Hyruan111555649,549,5
Hyruan Plus97574058,858,8
Maheu612011Structovial119764363,963,9119774264,764,7
Synvisc117704759,859,8117793867,567,5
Chevalier492010Synvisc124734358,962,9
Placebo129665251,255,9
Altman622009Euflexxa2911739059,565,82911698558,166,5
Placebo29516710756,660,929515510952,558,7
Baron542018Arthrum 752141562072,988,62141651677,191,2
Germonville572008Arthrum H 2%126962676,278,71261021881,085,0
Hyalgan122774463,163,6122774263,164,7
Vincent582020Arthrum H 2%97061535563,463,490465824672,872,8
TOTALArthrum131086740166,268,4124492528074,476,8
Equivalents1845113766361,663,21591101748263,967,8
Controls42323216154,859,055327922750,555,1

N Population étudiée pour les répondeurs OMERACT-OARSI

NR Nombre de patients répondeurs

NNR Nombre de patient non-répondeurs

63,4% à 88,6% à T3-4 et de 64,7% à 91,2% à T6, pour le groupe ARTHRUM 49,5% à 71,3% à T3-4 et de 52,4% à 85,7% à T6, pour le groupe EQUIVALENTS 54,6% à 60,9% à T3-4 et de 41,8% à 58,7% at T6, pour le groupe CONTROLES Résultats des répondeurs OMERACT-OARSI N Population étudiée pour les répondeurs OMERACT-OARSI NR Nombre de patients répondeurs NNR Nombre de patient non-répondeurs A T3-4 et T6 respectivement, les taux moyens ‘stricts’ étaient meilleurs pour ARTHRUM, 68,4% et 76,8%, contre 63,2% et 67,8% pour les EQUIVALENTS, et 59,0% - 55,1% pour les CONTROLES. Selon le concept ‘minimum’, ces taux à T3-4 et T6, étaient respectivement 66,2% et 74,4% pour ARTHRUM, contre 61,6% et 63,9% pour les EQUIVALENTS, ainsi que 54,8% et 50.5% pour les CONTROLES. Les comparaisons statistiques effectuées avec le test chi (Tableau 5), ont révélé que les taux de répondeurs OMERACT-OARSI étaient significativement meilleurs avec les dispositifs ARTHRUM.
Table 5

Comparative statistics for OMERACT-OARSI responders

OMERACT-OARSITimeCalculationchi2P-valueConclusion
ARTHRUM vs CONTROLST3-4Strict11,70,0006ARTHRUM better
Mini17,7< 0,0001
T6Strict79,9< 0,0001
Mini98,9< 0,0001
ARTHRUM vs EQUIVALENTST3-4Strict8,920,0028ARTHRUM better
Mini6,860,0088
T6Strict26,3< 0,0001
Mini35,2< 0,0001
EQUIVALENTS vs CONTROLST3-4Strict2,360,12unclear
Mini6,620,010EQUIVALENTS better
T6Strict761< 0,0001
Mini31,1< 0,0001
Comparative statistics for OMERACT-OARSI responders

Tolérance

La tolérance ne faisait pas partie des objectifs de cette méta-analyse. Cependant, les résultats de tolérance enregistrés lors de la recherche bibliographique, ont porté sur 59 articles, représentant 7.031 patients EQUIVALENTS, 2.959 patients CONTROLES et 5.831 patients ARTHRUM. Pour le groupe CONTROLES, tous les comparateurs furent acceptés, à l'exclusion des patients AH IA, qui furent inclus dans le groupe EQUIVALENTS, même lorsque d'autres traitements étaient associés. Pour cette population totale de 15.821 patients, aucun effet indésirable grave (SAE) n'a été rapporté. L’évaluation des effets indésirables mineurs – en lien possible avec le traitement – fut plus délicate, car les effets transitoires mineurs (presque tous au site d'injection), étaient rapportés de manière inégale au sein des études individuelles. En limitant l'investigation aux essais comparatifs (y compris ceux comparant plusieurs traitements dans le même groupe), les résultats sont devenus plus cohérents. Les taux de ces effets indésirables mineurs (AE) étaient de 13,2% pour le groupe EQUIVALENTS (6.481 patients), 12,5% pour le groupe CONTROLES (2.959 patients) et 6,5% pour le groupe ARTHRUM (718 patients). Globalement on peut conclure que la tolérance aux AH IA est bonne, car le taux d'AE était similaire entre le groupe EQUIVALENTS et le groupe CONTROLES (placebo IA majoritaire). En observant plus en détail, que 29% des patients ont reçu un AH modifié (réticulé) – Synvisc, Synvisc-One, Durolane, Monovisc ou Gel-One – le groupe EQUIVALENTS a été scindé en deux sous-groupes : pour les dispositifs réticulés (1.896 patients) le taux d'AE était de 18,8%, tandis que pour les dispositifs non-réticulés le taux était de 10,8%.

Discussion

Equivalence entre dispositifs

Selon la MDR, un dispositif strictement équivalent à celui auquel il est comparé, doit lui être identique sous tous les aspects : formulation, ingrédients, présentation et toutes les propriétés physiques, chimiques et biologiques. Pour l'ingrédient principal (AH) contenu dans les viscosuppléments, ceci pourrait inclure le poids moléculaire (Mw), la nature de la molécule (native ou modifiée par réticulation), et leur conséquence sur la rhéologie ou le temps de résidence. Ceci pourrait aussi inclure le procédé de fabrication complet, et pour ces raisons, ceci semble difficile à obtenir en dehors d'une même famille de dispositifs. A l'intérieur du groupe ARTHRUM, deux dispositifs présentent de légères différences par rapport à l'original ARTHRUM H 2% : un dispositif en injection unique (ARTHRUM visc 75) contenant 75mg du même AH (dans une seringue de 3mL), et un dispositif contenant 40 mg de sulfate de chondroïtine (ARTHRUM HCS) en sus des 40 mg AH (dans chaque seringue de 2 mL). Ces différences furent considérées comme mineures, par rapport aux propriétés générales des dispositifs. Du côté clinique, ‘l’équivalence’ est définie comme la non-infériorité combinée avec la non-supériorité. Ceci fut évalué lorsque des résultats comparables étaient disponibles. Dans cette étude, la plus petite différence détectable (SDD) de Angst, fut utilisée comme marge de non-infériorité et de supériorité, comme au chapitre ‘Résultats’. Donc, pour une équivalence clinique, l'intervalle CI 95% CI devait rester entre les 2 limites (Figure 6), ce qui fut observé à T3 pour tous les scores et pour le WOMAC C à T6. Dans les autres cas, ARTHRUM était non-inférieur et supérieur.
Figure 6

Non-infériorité ou équivalence clinique

Non-infériorité ou équivalence clinique

A propos de la méthode

Notre approche peut certainement soulever des questions pour différents aspects, notamment pour la conception du groupe CONTROLES, qui est hétérogène. Partant de là, il fut impossible de réaliser des comparaisons une-à-une avec les bras AH IA des études, pris individuellement. Cependant, la méthode fonctionne ‘globalement’ car nos résultats quantitatifs rejoignent ceux décrits dans la littérature, en particulier ceux de Bannuru (ES = 0.20 à 0.46), et de Rutjes (ES = 0.37), confirmant nos résultats pour les groupes ARTHRUM et EQUIVALENTS.

A propos des résultats

Par rapport à la baseline, les améliorations observées dans la durée avec le groupe ARTHRUM, sont statistiquement et cliniquement pertinentes, pour chacun des sous-scores WOMAC, à chaque temps d'observation. Comparées au groupe CONTROLES, ces améliorations sont aussi significativement en faveur du groupe ARTHRUM, pour les mêmes critères, à tous les temps d'observation. En se basant sur ES (valeur sans dimension), ces améliorations sont faibles à modérées à T3 (ES = 0.10 à 0.43), puis clairement meilleures à T6 (ES = 0.41 à 0.77). Selon Cohen, ES est faible à 0.2, moyen à 0.5 et important à 0.8. Globalement, ces résultats sur la douleur, rejoignent ceux publiés par les auteurs d'autres méta-analyses majeures.8, 9, 10, 11 A T6, quelque supériorité en faveur d'ARTHRUM a été mise en évidence pour les sous-scores WOMAC A et B (Figure 5). La supériorité d'ARTHRUM comparée aux EQUIVALENTS, a aussi été observée (p<0.01) sur les taux de répondeurs OMERACT-OARSI (Tableau 5). Les résultats d'ARTHRUM à T1, doivent être considérés avec précaution, car basés sur seulement deux études, bien que donnant toutes deux d'excellents résultats (Baron and Rivera). On peut conclure que l'efficacité à long terme est démontrée pour la famille des dispositifs ARTHRUM.

A propos du placebo intra-articulaire

L'importance de l'efficacité thérapeutique du placebo IA, peut être clairement perçue à partir de cette étude, car le gain sur l'indice douleur est supérieur au MPCI d'Ehrich, pour l'ensemble de son intervalle CI 95% (Tableau 2). Un tel gain dépasse celui d'un simple effet placebo : dans une articulation OA, l'injection d'un liquide physiologique (équilibré en pH) procure un effet bénéfique qui peut persister trois mois ou davantage. Des auteurs experts tels que Altman ou Bannuru ont observé ce phénomène. En conséquence, toute amélioration (même modeste ES = 0.23 à 0,56) obtenue versus placebo IA, doit être considérée comme un bénéfice positif des AH IA. Le rôle réel du placebo IA doit donc être pris en compte dans les essais cliniques de viscosupplémentation dans l'OA. Pour le patient, l'amélioration est perçue par rapport à la baseline, ce qui devrait être considéré comme pertinent. Ceci soutient l'utilisation d'indicateurs tels que les taux de répondeurs OMERACT-OARSI, dans des études en vie réelle.

A propos d'ARTHRUM HCS

La formulation originale d'ARTHRUM HCS (2% HA + 2% CS), n’était représentée dans ces méta-analyses que par l’étude de Rivera, fournissant les résultats du WOMAC A à T1, T3 and T6. Un graphique (Figure 6) permet de comparer l’évolution du sous-score WOMAC A (douleur) sous ARTHRUM HCS, avec celle des autres dispositifs ARTHRUM (basés sur l'AH seul), et représentés en nuage de points (avec leur courbe de tendance). Cette représentation, à l'avantage d'ARTHRUM HCS, est toutefois un peu biaisée en raison de l'hétérogénéité relativement élevée entre les essais d'ARTHRUM H, qui incluent une grande variété de patients, dont certains présentent un potentiel d'amélioration limité : stades radiologiques très évolués (KL IV) ou à l'inverse jeunes patients avec des symptômes d'OA débutantes. Pour cette raison, d'autres comparaisons furent faites entre Rivera et Baron, chacune de ces études proposant des résultats homogènes. La différence (base 0-100, positive en faveur d'ARTHRUM HCS pour la variation MD (SD) depuis la baseline, du WOMAC A (sous-score douleur) était : 4,1(17,4) à T1 ; 1,0(16,3) à T3 et -2,0(16,9) à T6. Comme dans les résultats principaux, l'amélioration était significativement meilleure à T1 (p=0,045) avec ARTHRUM HCS. Aux temps T3 et T6, les différences n’étaient plus significatives. Ce qui confirme l'information en retour fournie par les médecins prescrivant ARTHRUM HCS, qu'une réponse très rapide sur la douleur est obtenue. Cette présence de CS (évaluée à T1) est bénéfique dès le début du traitement, ce qui le recommande si l'OA est douloureuse au moment de la prescription (Figure 7).
Figure 7

ARTHRUM HCS comparé aux autres dispositifs ARTHRUM

ARTHRUM HCS comparé aux autres dispositifs ARTHRUM

Conclusions

La comparaison des études cliniques d'ARTHRUM (tous dispositifs), avec les études sélectionnées par la recherche bibliographique systématique (LCA, 2020), amène à conclure que l'efficacité clinique des dispositifs ARTHRUM, a été démontrée pour la réduction de la douleur et l'amélioration de la fonction, dans la gonarthrose, pour une période allant jusqu’à 6 mois. La non-infériorité et aussi la supériorité aux dispositifs AH IA équivalents, présents sur le marché, furent observées. Avec de bons résultats de tolérance (plus faible taux d'effets indésirables, et aucun sévère), le ratio risque/bénéfice favorise clairement la viscosupplémentation avec ARTHRUM.

Conflits d'intér^êts

En tant qu'actionnaire et employé de LCA Pharmaceutical (Chartres, France), je déclare mes intérêts pour la famille des dispositifs médicaux ARTHRUM, conçus pour la viscosupplémentation dans les articulations arthrosiques. Je suis le seul auteur de cet article de revue.
  56 in total

1.  Radiological assessment of osteo-arthrosis.

Authors:  J H KELLGREN; J S LAWRENCE
Journal:  Ann Rheum Dis       Date:  1957-12       Impact factor: 19.103

2.  A multicenter, randomized controlled trial comparing a single intra-articular injection of Gel-200, a new cross-linked formulation of hyaluronic acid, to phosphate buffered saline for treatment of osteoarthritis of the knee.

Authors:  V Strand; H S B Baraf; P T Lavin; S Lim; H Hosokawa
Journal:  Osteoarthritis Cartilage       Date:  2012-02-01       Impact factor: 6.576

3.  Validation study of WOMAC: a health status instrument for measuring clinically important patient relevant outcomes to antirheumatic drug therapy in patients with osteoarthritis of the hip or knee.

Authors:  N Bellamy; W W Buchanan; C H Goldsmith; J Campbell; L W Stitt
Journal:  J Rheumatol       Date:  1988-12       Impact factor: 4.666

4.  Single intra-articular injection of lightly cross-linked hyaluronic acid reduces knee pain in symptomatic knee osteoarthritis: a multicenter, double-blind, randomized, placebo-controlled trial.

Authors:  Stephanie C Petterson; Kevin D Plancher
Journal:  Knee Surg Sports Traumatol Arthrosc       Date:  2018-08-29       Impact factor: 4.342

5.  Efficacy of intra-articular hyaluronic acid injections and exercise-based rehabilitation programme, administered as isolated or integrated therapeutic regimens for the treatment of knee osteoarthritis.

Authors:  Maristella F Saccomanno; Fabrizio Donati; Silvia Careri; Matteo Bartoli; Gabriele Severini; Giuseppe Milano
Journal:  Knee Surg Sports Traumatol Arthrosc       Date:  2015-12-19       Impact factor: 4.342

6.  [Efficacy and safety of a single intra-articular injection of 2% hyaluronic acid plus mannitol in knee osteoarthritis over a 6-month period].

Authors:  A Borrás-Verdera; V Calcedo-Bernal; J Ojeda-Levenfeld; C Clavel-Sainz
Journal:  Rev Esp Cir Ortop Traumatol       Date:  2012-04-19

7.  A Single Intra-Articular Injection of Gel-200 for Treatment of Symptomatic Osteoarthritis of the Knee Is More Effective than Phosphate Buffered Saline at 6 Months: A Subgroup Analysis of a Multicenter, Randomized Controlled Trial.

Authors:  Junko Takamura; Takayuki Seo; Vibeke Strand
Journal:  Cartilage       Date:  2018-04-12       Impact factor: 4.634

8.  Post-Hoc analysis of a head-to-head hyaluronic acid comparison in knee osteoarthritis using the 2004 OMERACT-OARSI responder criteria.

Authors:  Erol Onel; Kathleen Kolsun; Jeffrey I Kauffman
Journal:  Clin Drug Investig       Date:  2008       Impact factor: 2.859

9.  A randomised, double-blind, controlled trial comparing two intra-articular hyaluronic acid preparations differing by their molecular weight in symptomatic knee osteoarthritis.

Authors:  Francis Berenbaum; Joachim Grifka; Sara Cazzaniga; Massimo D'Amato; Giampaolo Giacovelli; Xavier Chevalier; Francois Rannou; Lucio C Rovati; Emmanuel Maheu
Journal:  Ann Rheum Dis       Date:  2012-01-31       Impact factor: 19.103

10.  Clinical efficacy of intra-articular injections in knee osteoarthritis: a prospective randomized study comparing hyaluronic acid and betamethasone.

Authors:  Cesáreo Ángel Trueba Davalillo; Cesáreo Trueba Vasavilbaso; José Mario Navarrete Álvarez; Pilar Coronel Granado; Ozcar Alejandro García Jiménez; Mercedes Gimeno Del Sol; Félix Gil Orbezo
Journal:  Open Access Rheumatol       Date:  2015-01-09
View more

北京卡尤迪生物科技股份有限公司 © 2022-2023.