Translation and Transcultural Adaptation of the Milestones Instrument to Assess Teaching in Medical Residency Services on Orthopedics and Traumatology.

Objective Orthopedics is not very common in many Brazilian medical schools, and there is no questionnaire to assess the teaching of musculoskeletal disorders during medical training. The Orthopedic Surgery Milestone Project is an assessment tool for orthopedic residents in programs or fellowships recognized by the Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Orthopedic Surgery (ABOS). This study aims to translate the Orthopedic Surgery Milestone Project into Portuguese and to perform its transcultural adaptation. Methods  The translation and transcultural adaptation consisted of the initial translation into Portuguese, back-translation into English, preparation of a pretest consensual text, and the subsequent elaboration of a final text. Results  The final text was deemed adequate and equivalent to the original one for the evaluation of orthopedics residents throughout their program. Conclusions  Given the lack of instruments for the assessment of orthopedic residents, the translation and transcultural adaptation of the Orthopedic Surgery Milestone Project were compatible; this can be an instrument for improved medical education. Sociedade Brasileira de Ortopedia e Traumatologia. This is an open access article published by Thieme under the terms of the Creative Commons Attribution-NonDerivative-NonCommercial License, permitting copying and reproduction so long as the original work is given appropriate credit. Contents may not be used for commecial purposes, or adapted, remixed, transformed or built upon. ( https://creativecommons.org/licenses/by-nc-nd/4.0/ ).

Introduction

Musculoskeletal disorders, including lumbalgia, lumbosciatalgia, and arthrosis, are frequent complaints in primary clinics, accounting for up to 25% of the reasons to seek medical care. The World Health Organization declared the period from 2000 to 2010 as the Bone and Joints Decade , thus confirming the importance of this topic in medicine.

Therefore, it is essential to train adequately the professionals who will meet this high demand. The development of skills in multiple care dimensions during the training of orthopedists and traumatologists is paramount to assure the proper treatment of patients. To do so, tools assessing the development of these skills are protagonists both to encourage individuals to acquire abilities they still do not possess and to provide data to improve the educational quality of residency programs. 1

No instrument in Portuguese evaluates the teaching of musculoskeletal disorders throughout medical training. However, similar questionnaires, available for several medical specialties, have been created in other countries, including the Orthopedic Surgery Milestone Project. This instrument evaluates physicians from residency or fellowship programs recognized by the Accreditation Council for Graduate Medical Education (ACGME), a non-profit private institution that assesses and endorses all graduate medical training programs, including internships, residencies, fellowships, and subspecialty programs, in the United States. 2

The Orthopedic Surgery Milestone Project started in 2013 to evaluate the skills and knowledge of residents from a specialty within the same set of competencies. It does not replace existing assessments in residency programs but provides a common framework to analyze acquired skills. 3 The Milestones instrument generates detailed information on the strengths and weaknesses of each residency service and identifies syllabus gaps to be addressed, improving the educational quality of residency programs.

The ACGME requires an annual evaluation, including systematic analysis of curriculum, resident performance, faculty development, and program quality. It also suggests that assessment instruments include written examinations, global ratings, and case/procedure records. The teaching analysis model recommended by the ACGME is based on the skills deemed fundamental for professional practice.

Residents are evaluated through milestones, that is, medical knowledge, patient care, professionalism, communication skills, and system practice, in addition to learning based on such practices and improvements. During the assessment, a preceptor selects the milestone that best describes the resident's current performance, from levels 1 to 5. Level 1 represents the milestones expected from a 1st-year resident, and level 5 refers to the performance goals defined for the residency, potentially describing the performance of a professional practicing for several years. 4 However, it is worth mentioning that these levels do not correspond to the year of residency; moreover, the selection of a certain level implies that the resident substantially demonstrates the characteristics related to it, as well as those from lower levels. All residents, from the 1st to the last year of medical residency, will be evaluated using the Milestones instrument.

Thus, the translation and transcultural adaptation of the Orthopedic Surgery Milestone Project will help in the evaluation and, consequently, training of professionals specializing in orthopedics.

Methods

After the ACGME authorized the translation of the questionnaire, two Brazilian translators fluent in English performed the first translation into Portuguese, and both texts were compared to formulate a consensus text. This text was back translated into English by two bilingual translators whose main language is English and who had no knowledge of the original text of the instrument. This translation was evaluated and compared to the original text by a review committee to correct potential discrepancies and enable the preparation of a pretest version of the questionnaire.

The last step consisted of evaluating the clarity and understanding of the questionnaire regarding its intended use. Since the pretest version had the desired characteristics, it was confirmed as the final text.

Results

Figures 1234 to 5 describe the translation into Portuguese and transcultural adaptation of the Milestones 2.0 instrument. It is noteworthy that the back translation process showed that the initial Portuguese text corresponded to the English text, with no semantic divergence between translators.

Fig. 1.

Diagram of the protocol used for translation and transcultural adaptation of the Milestones evaluation instrument.

Fig. 2

Translation of the Milestones instrument. Clinical case 1-original text.

Fig. 3

Translation of the Milestones instrument. Clinical case 2-original text.

Fig. 4

Translation of the Milestones instrument. Clinical case 3-original text.

Fig. 5

Translation of the Milestones instrument. Clinical case 4-original text.

The first two texts were the initial translations into Portuguese. Both presented semantic similarity, with no modification of the analyzed proposition. However, sometimes, different words with similar meanings were used to translate the same term (e.g., basic imaging exams versus basic imaging studies). A specialized committee reviewed the two translations and reconciled them into a single, easier-to-understand text. The final text consisted of the back translation of the reviewed versions.

The original Milestones instrument has 54 pages and 20 clinical situations from different areas of orthopedics; its questions encompass the doctor-patient relationship, in addition to theoretical and practical medical knowledge ( Table 1 and Figures 1 – 2 ).

Table 1

Consensus for final text in Brazilian Portuguese

Original text	Initial text	Consensual text	Final text
Appropriately orders basic imaging studies	Solicita adequadamente os exames básicos de imagem	Solicita adequadamente os estudos básicos de imagem	Solicita adequadamente os estudos básicos de imagem
Provides procedure and patient specific postoperative management and rehabilitation	Fornece gerenciamento pós-operatório e reabilitação específicos para cada procedimento e paciente	Fornece procedimentos e gerenciamento pós-operatório e reabilitação paciente – específicos	Fornece gerenciamento pós-operatório e reabilitação específicos para cada procedimento e paciente
Prescribes and manages nonoperative treatment (e.g., nonsteroidal antiinflammatory drugs [NSAIDs], steroid injections, brace, rocker bottom shoes)	Prescreve e gerencia o tratamento não cirúrgico (por exemplo, anti-inflamatórios não-esteroides [AINEs], injeções de corticosteroides, imobilizadores, sapatos com a entressola curva)	Prescreve e gere o tratamento não cirúrgico (por exemplo, anti-inflamatórios não-esteroides [AINEs], injeções de corticosteroides, órteses, calçado ortopédico com sola curva (do inglês rocker bottom shoes )	Prescreve e gere o tratamento não cirúrgico (por exemplo, anti-inflamatórios não-esteroides [AINEs], injeções de corticosteroides, órteses, calçado ortopédico com sola curva (do inglês rocker bottom shoes )
Capable of surgical reduction and fixation of a full range of fractures and dislocations	Capaz de reduzir e fixar cirurgicamente uma gama completa de fraturas e luxações	Capaz de reduzir e fixar cirurgicamente uma série completa de fraturas e luxações	Capaz de reduzir e fixar cirurgicamente uma gama completa de fraturas e luxações
Performs surgical reduction and fixation of a simple fracture	Reduz cirurgicamente e fixa uma fratura simples	Realiza a redução cirúrgica e a fixação de uma fratura simples	Realiza a redução cirúrgica e a fixação de uma fratura simples

Discussion

There are no instruments to assess medical skills regarding musculoskeletal disorders in Portuguese, but the Orthopedic Surgery Milestone Project fulfills this purpose in English. The method of translation and transcultural adaptation used here was recommended by Guillemin et al. 4 It consists of four stages: initial translation, back translation, elaboration of a consensus text, and preparation of a commented pretest version and the final text.

The present study followed the guidelines recommended by Guillemin et al. 4 to minimize bias and biased results. This methodology makes the translated Milestones questionnaire suitable for application in Brazilian orthopedic residency services to assess the skills and abilities of these professionals.

Translation and adaptation of this instrument occurred after ACGME approval. The entire process was carried out properly, following the standards of cultural adaptation, and there were no difficulties in understanding any question. The Milestones instrument is widely recognized and used in the United States in different medical services and subspecialties, including clinical and surgical areas (e.g., Milestones for Plastic Surgery, Internal Medicine, Urology). It is applied easily through clinical situations that assess professionalism, communication skills, and medical knowledge. Residents are analyzed and graded on competency scales and developmental milestones throughout the year. It is a way for the student to recognize their limitations and deficiencies and improve them. The goal is to make specialist training programs more adequate to the current demand so that the specialized physician can work in public and private sectors, either in large or small centers. 5

A study based on competencies and milestones aims to identify and analyze any deficiency in the training process of resident physicians, allowing preceptors to reinforce the teaching/learning of that competency. 6 In addition, competency-based training allows for more uniform curricular development in medical residency schools.

The adaptation of this assessment instrument to the Brazilian context required minor grammatical and cultural adjustments. In preparing the pretest version and the final text, we tried to maintain the form that most closely resembled the original to achieve equivalent semantics between them.

It is also worth mentioning that no items from the original questionnaire were included or excluded throughout the development of the final text, preventing further changes in psychometric properties to allow texts comparison.

The potential use of Milestones as a method for evaluation and improvement of the quality of teaching in medical residency services will result in physicians better prepared to exercise their profession. The translation of this instrument and its application will allow the assessment of the main deficiencies in Brazilian Orthopedic Services, which may improve medical education.

The Portuguese version of the Milestones instrument, adapted to the Brazilian culture, is applied easily.

This instrument should be used once a year in residents of the 3 years, similar to the Assessment Test of Residents in Orthopedics (TARO) by the Brazilian Society of Orthopedics (SBOT). We initially propose the assessment of competency 1 in the 1st year of residency, competencies 2 and 3 in the 2nd year, and competencies 4 and 5 in the 3rd year of residency. However, instrument application will eventually determine the equivalence. The final text of this questionnaire was the result of the corrections made by all translators and review teams involved. Although there is no evidence against the adequate translation and transcultural adaptation of the Milestones instrument to Brazil, future studies will establish the accuracy and reliability of this tool in Brazilian orthopedic and traumatology residency programs.

Conclusion

The translation into Portuguese and the transcultural adaptation of The Orthopedic Surgery Milestone Project provide an instrument for assessing competencies suited to the Brazilian reality. This instrument can evaluate different aspects of knowledge and practice over the 3 years of specialization, seeking a better medical education. The translation of the Milestones assessment instrument into Portuguese was consistent with the original texts.

Introdução

As desordens musculoesqueléticas são queixas frequentes na prática clínica da atenção básica, representando até 25% da motivação para busca de atendimento médico - com destaque para lombalgia, lombociatalgia e artrose. A declaração da década de 2000 a 2010 como a Década do Osso e da Articulação pela Organização Mundial da Saúde corrobora a importância de tal tema no cenário médico.

Levando-se em conta esta perspectiva, é imprescindível uma formação adequada dos profissionais que serão responsáveis por atender essa elevada demanda. Nesse sentido, o desenvolvimento de habilidades em múltiplas dimensões do cuidado com o paciente é primordial para a formação do médico ortopedista e traumatologista, de modo a garantir um correto tratamento dos pacientes. A fim de garantir isso, ferramentas que avaliam o desenvolvimento destas habilidades são protagonistas tanto no que diz respeito a estimular o indivíduo a adquirir as que ainda não possui, quanto no que diz respeito a prover dados para a melhoria da qualidade educacional dos programas de residência. 1

Sob tal panorama, não foi identificado nenhum instrumento em língua portuguesa que avalie o ensino dos distúrbios musculoesqueléticos ao longo da formação médica. Contudo, questionários com tal objetivo – disponíveis para diversas especialidades médicas - já foram criados em outros países, como o Orthopedic Surgery Milestone Project . Ele objetiva a avaliação de médicos residentes participantes de programas de residência ou de bolsas credenciados pela Accreditation Council for Graduate Medical Education (ACGME), conselho privado sem fins lucrativos, que avalia e credencia todos os programas de treinamento médico de pós-graduação - estágios, residências e bolsas, programas de subespecialidades - para médicos nos Estados Unidos. 2

Tal instituição iniciou seu programa em 2013 com o objetivo de avaliar as habilidades e conhecimentos dos residentes de uma especialidade no mesmo conjunto de competências. Não havia a intenção de substituir as avaliações já existentes nos programas de residência, mas de fornecer uma estrutura em comum para analisar as competências adquiridas. 3 O instrumento de avaliação Milestones fornece informações detalhadas sobre os pontos fortes e fracos de cada serviço de residência e identifica lacunas no currículo que devem ser trabalhadas, promovendo a melhoria da qualidade educacional de programas de residência.

O ACGME exige que todos os programas realizem uma avaliação anual do programa, que deve incluir uma avaliação sistemática do currículo, desempenho dos residentes, desenvolvimento do corpo docente e qualidade do programa. A entidade sugere que os instrumentos de avaliação incluam exames escritos, classificações globais, e registros de procedimentos/casos. O modelo de análise de ensino preconizado pelo ACGME é baseado na aquisição de competências que julgam ser importantes para o exercício profissional.

Estes profissionais são avaliados por meio de milestones (marcos), ou seja, características que envolvem o conhecimento médico, cuidado ao paciente, profissionalismo, habilidades de comunicação e prática em sistemas, além do aprendizado baseado em tais práticas e melhorias. Na avaliação, o preceptor seleciona o marco que melhor descreve o desempenho atual do residente, sendo eles categorizados em níveis de 1 a 5. O primeiro representa os marcos esperados de um residente do primeiro ano, ao passo que o último se refere às metas de desempenho definidas para a residência e que podem descrever o desempenho de um profissional em prática há vários anos. 4 Entretanto, vale ressaltar que tais níveis não são correspondentes ao ano de estudo no programa de residência e que a seleção de um determinado nível implica que o profissional demonstre substancialmente as características a ele referentes, bem como aos de níveis inferiores. O instrumento de avaliação Milestones será aplicado a todos os residentes, do 1° ao último ano de residência médica.

Assim, a tradução e adaptação transcultural do Orthopedic Surgery Milestone Project pode auxiliar na avaliação e, consequentemente, na formação de profissionais especializados em ortopedia.

Métodos

Após contato com a ACGME, a autorização para a tradução de tal questionário foi concedida - de modo que dois tradutores brasileiros fluentes em inglês realizaram a primeira tradução para o português, com a confrontação de ambas para a formulação de uma versão de consenso. Esta foi retro traduzida para o inglês por dois tradutores bilíngues cuja principal língua é o inglês e que não possuíam conhecimento da versão original do instrumento de avaliação em questão. O resultado desta tradução foi avaliado e comparado à versão original por um comitê revisor a fim de corrigir possíveis discrepâncias entre as versões e de possibilitar a elaboração de uma versão pré-teste do questionário.

A última etapa consistiu na avaliação da clareza e da compreensão do questionário frente ao uso que se deseja fazer de tal instrumento. Assim, constatou-se que a versão pré-teste possuía as características desejadas, o que possibilitou sua confirmação como a versão final.

Resultados

Os processos de tradução e adaptação cultural do instrumento Milestones 2.0 para a língua portuguesa estão descritos conforme as Figuras 1 2 3 4 5 . Destaca-se que o processo de retro tradução demonstrou que a versão inicial em português era correspondente à versão em inglês, não havendo divergência semântica entre os tradutores.

Fig. 1

Representação esquemática do protocolo usado para tradução e adaptação cultural do instrumento de avaliação Milestones .

Fig. 2

Tradução do instrumento Milestones . Caso clínico 1-versão original.

Fig. 3

Tradução do instrumento Milestones . Caso clínico 2-versão original.

Fig. 4

Tradução do instrumento Milestones . Caso clínico 3-versão original.

Fig. 5

Tradução do instrumento Milestones . Caso clínico 4-versão original.

As duas primeiras versões foram as traduções iniciais para o português. Ambas apresentaram similaridade semântica, portanto, sem modificação da proposição analisada. Entretanto, em algumas situações, palavras distintas - mas com significados semelhantes - foram utilizadas por diferentes tradutores para a tradução de um mesmo termo (por exemplo: exames básicos de imagem x estudos básicos de imagem). As duas traduções foram submetidas a revisão por um comitê especializado com o objetivo de reconciliá-las em uma única versão de mais fácil compreensão. A obtenção da versão final foi realizada após a retro tradução das versões reconciliadas.

O instrumento de avaliação Milestones na sua versão original consta de 54 páginas com 20 situações clínicas divididas nas diversas áreas da ortopedia, com questões englobando a relação médico-paciente e conhecimento médico teórico e prático ( Tabela 1 e Figuras 1 – 2 ).

Tabela 1

Consenso para a versão final em português brasileiro

Versão original	Versão inicial	Versão de consenso	Versão final
Appropriately orders basic imaging studies	Solicita adequadamente os exames básicos de imagem	Solicita adequadamente os estudos básicos de imagem	Solicita adequadamente os estudos básicos de imagem
Provides procedure and patient specific post - operative management and rehabilitation	Fornece gerenciamento pós-operatório e reabilitação específicos para cada procedimento e paciente	Fornece procedimentos e gerenciamento pós-operatório e reabilitação paciente – específicos	Fornece gerenciamento pós-operatório e reabilitação específicos para cada procedimento e paciente
Prescribes and manages nonoperative treatment (e.g., nonsteroidal anti-inflammatory drugs [NSAIDs], steroid injections, brace, rocker bottom shoes)	Prescreve e gerencia o tratamento não cirúrgico (por exemplo, anti-inflamatórios não-esteroides [AINEs], injeções de corticosteroides, imobilizadores, sapatos com a entressola curva)	Prescreve e gere o tratamento não cirúrgico (por exemplo, anti-inflamatórios não-esteroides [AINEs], injeções de corticosteroides, órteses, calçado ortopédico com sola curva (do inglês rocker bottom shoes )	Prescreve e gere o tratamento não cirúrgico (por exemplo, anti-inflamatórios não-esteroides [AINEs], injeções de corticosteroides, órteses, calçado ortopédico com sola curva (do inglês rocker bottom shoes )
Capable of surgical reduction and fixation of a full range of fractures and dislocations	Capaz de reduzir e fixar cirurgicamente uma gama completa de fraturas e luxações	Capaz de reduzir e fixar cirurgicamente uma série completa de fraturas e luxações	Capaz de reduzir e fixar cirurgicamente uma gama completa de fraturas e luxações
Performs surgical reduction and fixation of a simple fracture	Reduz cirurgicamente e fixa uma fratura simples	Realiza a redução cirúrgica e a fixação de uma fratura simples	Realiza a redução cirúrgica e a fixação de uma fratura simples

Discussão

Diante da carência de instrumentos de avaliação da habilidade médica acerca das desordens musculoesqueléticas na língua portuguesa, constatou-se a disponibilidade do Orthopedic Surgery Milestone Project para tal fim na língua inglesa. O método de tradução e adaptação transcultural utilizado neste trabalho, foi preconizado por Guillemin et al., 4 composto por quatro etapas: tradução inicial, retro tradução, elaboração de uma versão de consenso, pré-teste comentado e confecção da versão final.

Este estudo seguiu as diretrizes preconizadas por Guillemin et al., 4 minimizando assim a ocorrência de viés e resultados tendenciosos. Esta metodologia torna a versão traduzida do Milestones apta a ser aplicada nos serviços de residência em ortopedia do país, com capacidade de avaliar as competências e habilidades dos residentes formandos.

O instrumento de avaliação em questão foi traduzido e adaptado após a aprovação da ACGME. Assim, todo o processo foi realizado de modo adequado, seguindo os padrões de adaptação cultural, não sendo identificadas dificuldades de compreensão em nenhuma das questões. O instrumento Milestones é amplamente reconhecido e utilizado nos Estados Unidos em diferentes serviços e subespecialidades médicas, nas áreas clínicas e cirúrgicas (exemplo: Milestones de Cirurgia Plástica, Milestones de Clínica Médica, Urologia). Ele é facilmente aplicado por meio de situações clínicas que avaliam profissionalismo, habilidades de comunicação e conhecimento médico. Os residentes são avaliados e graduados em escalas de competência e marcos do desenvolvimento ao longo do ano. É uma forma de o aluno reconhecer suas limitações e deficiências e aprimorá-las. A intenção é tornar os programas de treinamento de especialistas mais adequados à demanda atual, de forma que o médico especialista seja competente para atuar nos serviços públicos e privados, seja em grandes centros ou não. 5

O objetivo do estudo baseado em competências e marcos é identificar e analisar alguma deficiência no processo de formação do médico residente e, dessa forma, o preceptor deve reforçar o ensino/aprendizado daquela competência. 6 Além disso, o treinamento baseado em competências permite o desenvolvimento mais uniforme do currículo das escolas de residência médica.

Com relação à metodologia, pequenos ajustes gramaticais e culturais foram necessários a fim da melhor adaptação de tal instrumento de avaliação ao contexto brasileiro. Desta forma, na formulação da versão pré-teste e, consequentemente, da final, buscou-se manter a versão que mais se aproximasse da original a fim de atingir uma semântica equivalente entre elas.

Vale ainda ressaltar que ao longo do desenvolvimento da versão final, não foram incluídos ou excluídos itens do questionário original, a fim de não promover maiores alterações das propriedades psicométricas, permitindo a comparação das versões.

A possibilidade de ser utilizado como método de avaliação e melhoria da qualidade do ensino dos serviços de residência médica oferecerá à sociedade profissionais mais bem-preparados para o exercício da profissão. A tradução desse instrumento e a sua aplicação permitirá avaliar as principais deficiências nos serviços de ortopedia do país, com possibilidade de melhorias no ensino médico.

A versão para o português do instrumento Milestones adaptada à cultura brasileira é de fácil administração e aplicação.

O objetivo do instrumento é ser aplicado anualmente aos residentes dos 3 anos, semelhante ao Teste de Avaliação dos Residentes em Ortopedia (TARO) pela Sociedade Brasileira de Ortopedia (SBOT). Propomos, inicialmente, que a avaliação das competências esperadas será competência 1 para o 1° ano de residência, competências 2 e 3 para o 2° ano de residência e competências 4 e 5 para o residente do último ano; no entanto, somente a aplicação desse instrumento determinará a equivalência. A versão final deste trabalho foi fruto das correções finais feitas por todos os tradutores e equipes de revisão envolvidas. Ainda que não se tenha evidências contrárias à adequada tradução e adaptação transcultural do instrumento Milestones para a versão brasileira, estudos futuros serão realizados para verificar a acurácia e confiabilidade dessa ferramenta nos programas de residência médica de ortopedia e traumatologia brasileiros.

Conclusão

A tradução para a língua portuguesa e a adaptação transcultural do The Orthopedic Surgery Milestone Project disponibilizam um instrumento de avaliação de competências adequado à realidade brasileira. Esse instrumento poderá ser usado para avaliar profissionais em relação a diferentes aspectos do conhecimento e da prática ao longo dos 3 anos de sua especialização, buscando uma formação médica mais adequada. A tradução do instrumento de avaliação Milestones para o português foi compatível com os textos originais.