Validación de medidas de resultados informados por los pacientes en Ortopedia y Traumatología

Resumen

En los últimos años, ha habido un aumento en la aplicación de cuestionarios diseñados para la medición de resultados (o desenlaces) clínicos en la práctica médica. Para aplicar un cuestionario en una población distinta a la cual fue originalmente creado y diseñado, es necesario llevar a cabo un proceso riguroso de adaptación, con una determinada metodología. El objetivo de esta guía metodológica es describir el proceso de traducción, adaptación transcultural y validación de medidas de resultados informados por los pacientes (MRIPs) en Ortopedia y Traumatología.

Nivel de evidencia: IV

Palabras clave

resultados clínicos - resultados informados por los pacientes - MRIPs - metodología - validación

Introducción

En los últimos años, a medida que se ha migrado a una atención centrada en el paciente, ha habido un drástico aumento en la aplicación de cuestionarios diseñados para la medición de resultados (o desenlaces) clínicos informados por el paciente.[1] [2] Estas herramientas permiten determinar principalmente los cambios asociados a intervenciones terapéuticas, así como el seguimiento y pronóstico de distintas patologías, y objetivan la evaluación mediante un puntaje. Los resultados obtenidos a través de estos cuestionarios también se conocen como medidas de resultados clínicos informados por los pacientes (MRIPs) (patient-reported outcome measures, PROMs, en inglés).[3]

Específicamente en el área de la Ortopedia y Traumatología, las MRIPs han sido fundamentales para evaluar aspectos de salud relevantes para los pacientes, su familia y red de apoyo.[3] Hoy en día, se utilizan ampliamente en la práctica clínica, en especial en pacientes que reciben intervenciones quirúrgicas, y permiten recopilar información sobre el impacto en la funcionalidad de las actividades de la vida diaria, el autocuidado, síntomas, y la calidad de vida.[4] Además, tienen un impacto en el área de investigación, pues permiten comparar tratamientos de manera estandarizada.[1]

Estos cuestionarios logran medir el resultado de interés de forma precisa, siempre que sean aplicados en las poblaciones para las cuales fueron diseñados y probados.[5] En el caso de que se quiera aplicar estos cuestionarios en otras poblaciones, es necesario realizar previamente un proceso de traducción, adaptación cultural y validación, el cual debe seguir una metodología específica. Este proceso busca garantizar que el cuestionario adaptado tenga las mismas características que el original, de tal manera que sea capaz de interpretar correctamente los resultados obtenidos en cada aplicación, evitando errores de clasificación, diagnóstico, o toma de decisiones.[6]

En este contexto, el objetivo de esta guía metodológica es describir el proceso de traducción, adaptación transcultural y validación de cuestionarios para resultados clínicos en Ortopedia y Traumatología.

Metodología de traducción, adaptación transcultural y validación de cuestionarios

La traducción, adaptación transcultural y validación de cuestionarios debe realizarse en aquellos casos en que se quiera aplicar un cuestionario que mida resultados clínicos en una población con un idioma y/o cultura diferentes a los de la población para la que fue diseñado.

La primera acción es contactar a los autores que diseñaron el cuestionario original, y solicitar el permiso para iniciar el proceso de traducción y validación. Los pasos que se deben seguir, una vez autorizado el proceso, se describen a continuación:[4] [7]

• I. Traducción y adaptación transcultural; y

• II. Evaluación de las propiedades psicométricas.

I. Traducción y adaptación transcultural

Es importante tener en consideración que será necesario un proceso de traducción y adaptación transcultural siempre que se pretenda usar el cuestionario en otro país diferente al de origen, aún en casos en que el idioma es el mismo o similar.[8]

El proceso de traducción se divide en cuatro pasos: 1. traducción; 2. síntesis; 3. retrotraducción; 4. comité de expertos ([Tabla 1]).

Tabla 1

Paso	Nombre	Tarea	Participantes
1	Traducción	Dos traductores bilingües, cuya lengua materna es el idioma de destino del cuestionario, deben realizar de forma separada la traducción desde el idioma original al idioma de destino. Se obtienen dos traducciones independientes.	Traductor 1 Traductor 2
2	Síntesis	Resolviendo las discrepancias, se llega a un consenso entre las dos traducciones realizadas.	Traductor 1 Traductor 2
3	Retrotraducción	Dos traductores bilingües, cuya lengua materna es el idioma original del cuestionario, deben realizar de forma separada la traducción desde la versión de consenso al idioma original. Obteniendo así dos traducciones diferentes.	Traductor 3 Traductor 4
4	Comité de expertos	Se revisan las traducciones y se observa que la versión obtenida en la retrotraducción sea similar al cuestionario original. Se revisan discrepancias y se produce una versión preliminar o prefinal.	Traductores (2-4) Metodólogo Lingüista Equipo Investigador Expertos en el área Otros

La traducción inicial debe realizarse a partir del cuestionario en su idioma original, por al menos dos traductores independientes, que deben ser nativos en el idioma original. Luego, se genera una versión consensuada entre esas traducciones, denominada síntesis. En el siguiente paso de retrotraducción, se traduce la síntesis de vuelta al idioma original del cuestionario, para comprobar que no hay discrepancias relevantes con la herramienta original. Luego de esta revisión, la versión de la síntesis se revisa con un comité de expertos compuesto por los traductores, un metodólogo, un lingüista, el equipo investigador, y otras personas que puedan contribuir a la revisión, como representantes de la comunidad, por ejemplo ([Figura 1]). Y así se obtiene lo que llamaremos la versión preliminar del cuestionario.

Fig. 1 Integrantes del comité de expertos para obtención de la versión prefinal del cuestionario.

La versión preliminar debe ser evaluada por 30 a 40 pacientes.[4] A pesar de que algunos estudios muestran que este proceso se puede llevar a cabo en cualquier tipo de población,[8] otros autores[4] [7] señalan que es recomendable que la población presente la patología o síndrome doloroso que evalúa el cuestionario, ya que permite tener un mejor acercamiento y retroalimentación para los siguientes pasos.

Hay que tener especial atención en cuanto al nivel educacional al momento de obtener una población representativa. Según la Encuesta Nacional de Salud 2016-2017 del Ministerio de Salud de Chile,[9] un 77% de la población chilena tiene menos de 12 años de estudio, y 23,7% de ellos, menos de 8 años, por lo que la población objetivo debería ser una muestra representativa de esa población.

Los cuestionarios deben ser evaluados respetando las propiedades con las que fueron creados. En el caso de la mayoría de los cuestionarios para resultados clínicos en Ortopedia y Traumatología que recopilan MRIPs, son diseñados para ser autoadministrados por los pacientes, por lo que, en esta etapa de evaluación, es importante que ellos completen el cuestionario por sí mismos, con la instrucción de responder todas las preguntas. Por otra parte, en caso de que el cuestionario haya sido diseñado para ser administrado por un tercero, lo más adecuado es que todos los cuestionarios sean aplicados por la misma persona.[10]

Finalizada la aplicación del cuestionario preliminar, se lleva a cabo una entrevista semiestructurada, en la cual se invita al paciente a comentar de manera global qué le pareció el cuestionario, y se le pregunta sobre dificultades o conflictos al intentar responder algún ítem en detalle. Se debe evaluar el significado que le dió a cada pregunta, para asegurarse que la versión final conserva su equivalencia con la versión original. Esta entrevista puede ser grabada, para posteriormente tabular todas las respuestas y descubrir aquellos ítems que hayan tenido conflicto en más de un 15% de los encuestados.[6]

Finalmente, se planifica una nueva reunión del comité de expertos para discutir esas preguntas y lograr hacer las modificaciones necesarias para obtener la versión final. ([Figura 2])

Fig. 2 Proceso para la obtención de la versión final del cuestionario.

Sin duda, este proceso, que requiere gran esfuerzo, es necesario para poder aproximarse a la versión original. Seguir estas pautas nos acerca a tener una herramienta que pueda ser utilizada de forma fidedigna en una población. Sin embargo, a pesar de que hasta este punto hemos obtenido información de gran utilidad al entender el proceso de comprensión del cuestionario, esto no genera información de validez o confiabilidad.[11] [12]

II. Evaluación de las propiedades psicométricas

Los siguientes pasos deben cumplir igualmente un proceso riguroso, en el que se buscarán las propiedades psicométricas del cuestionario, que consistirán en la evaluación de validez y confiabilidad.[11] [13] [14] En este proceso, se deberá aplicar el cuestionario en su versión final a una muestra representativa de la población a la cual está destinado ([Tabla 2]).[15] [16] [17] [18] [19] [20] [21] [22] [23]

Tabla 2

Ítem	Descripción
Sujetos	Muestra representativa de la población en la cual es mi objetivo que esta herramienta sea aplicada. Tamaño muestral de 5 a 10 sujetos por cada pregunta que contenga el cuestionario [15] [16]
	Ejemplo 1	El Arthritis Research UK Musculokeletal Health Questionnaire (MSK-HQ) es una MRIP desarrollada recientemente que evalúa la calidad de vida relacionada con la salud musculoesquelética. En su creación, fue validada con una muestra de 570 pacientes con artrosis. En el año 2019, en el mismo país, se realizó un estudio para evaluar la validez y confiabilidad del MSK-HQ en personas con artritis inflamatoria.[17]
	Ejemplo 2	El Western Ontario and McMaster Universities Osteoarthritis Index (WOMAC) es una MRIP que se utiliza ampliamente para evaluar dolor, rigidez y funcionalidad de los pacientes con artrosis de cadera y rodilla.[18] A pesar de que el WOMAC también se ha utilizado para evaluar pacientes postoperados de cirugías de pie y tobillo, no había sido validado para este propósito. Ponkilainen et al. realizaron el proceso de validación en el año 2019.[19]
Instrumentos y pruebas de referencia	Aplicar la herramienta a validar junto con la prueba de referencia, que puede ser un cuestionario similar, un examen clínico, un examen de laboratorio, imagenología etc.
	Ejemplo 1	En un cuestionario creado y validado por Schnetzke en el año 2016, el objetivo era evaluar el rango de movimiento de la muñeca y codo del paciente. La herramienta de autoadministración contenía preguntas sobre la capacidad para realizar ciertos movimientos y, para el proceso de validación, se utilizó como prueba de referencia la evaluación goniométrica de un examinador entrenado.[20]
	Ejemplo 2	Pardis et al. realizaron la validación del Athlete Disability Index (ADI), un cuestionario para evaluar la discapacidad asociada al dolor lumbar en atletas. Para el proceso, aplicaron este cuestionario en conjunto con el Oswestry Disability Index (ODI), y el Roland-Morris Disability Questionnaire (RDQ), ambas herramientas para evaluar el dolor lumbar.[21]
Reevaluación	Se debe repetir la aplicación de las evaluaciones en un tiempo determinado
	Ejemplo 1	El grupo SEROD realizó en España la validación del cuestionario Hip and knee, que evalúa el impacto de las patologías musculoesqueléticas en la calidad de vida de los pacientes. Para ello, incluyeron a pacientes que se sometieron a una artroplastia total de rodilla y aplicaron el cuestionario junto con la prueba de referencia, antes de la cirugía y en 6 meses del postoperatorio.[22]
	Ejemplo 2	En Corea se realizó la validación del cuestionario Core Outcome Measures Index en pacientes con patología lumbar degenerativa. Se aplicó el cuestionario a un grupo de pacientes en su primera consulta, en conjunto con la prueba de referencia, y, luego de 2 semanas, se aplicó nuevamente en conjunto con una pregunta de transición (sin cambios, cambios leves, cambios moderados, muchos cambios). Esto se correlacionó con los cambios en el cuestionario.[23]

Validez

La validez de un cuestionario corresponde a su capacidad de medir adecuadamente lo que desea medir, y evaluar correctamente la característica para la cual fue creado.[6] Se definen tres tipos de validez:

1. Validez de contenido: se refiere a la medida en que los ítems del cuestionario son representativos de la característica que se desea medir o para lo cual está diseñado. Este proceso es crucial al momento del desarrollo del cuestionario; sin embargo, también lo es al momento de la validación. Un panel de expertos en el resultado clínico a medir tiene la tarea de evaluar la validez de contenido.[12] [24] [25]

2. Validez de constructo: la validez de constructo evalúa el grado en que el cuestionario refleja esta característica o concepto que quiere medir,[26] estimando su asociación con otras variables (o medidas de un constructo) con las que debería tener una correlación positiva, negativa, o nula. Cabe mencionar que el constructo se define como “teoría subyacente en el fenómeno o concepto que se quiere medir. Se trata de una cualidad no observable en una población de sujetos”.[6]

3. Validez de criterio: corresponde a la relación de la puntuación de cada sujeto con un patrón oro (gold standard) que mida la misma característica.[6] [8] Esta validez está constituida por dos dimensiones:

   • Validez concurrente o convergente: grado en que el resultado del cuestionario concuerda con algún estándar en un mismo momento; y

   • Validez predictiva: grado en que es capaz de pronosticar un determinado resultado.

Confiabilidad

La confiabilidad de un cuestionario es la consistencia de sus resultados, la cual se puede evaluar utilizando la consistencia interna, confiabilidad intraobservador y confiabilidad interobservador:[12]

1. Consistencia interna: refleja el grado en que los ítems del cuestionario están correlacionados, o si son consistentes en la medición del mismo fenómeno. La consistencia interna se estima comúnmente utilizando el coeficiente alfa, también conocido como alfa de Cronbach.[27] El alfa de Cronbach varía de 0 a 1: un número cercano a 0 indica que no hay consistencia interna, o que los ítems no se correlacionan, y un número cercano a 1 indica una consistencia interna perfecta. Se ha indicado que un punto de corte para una consistencia adecuada es 0,7[28] (Anexo 1).

2. Confiabilidad intraobservador: corresponde a una forma de medir la estabilidad de las puntuaciones del cuestionario, en los mismos sujetos y con el mismo método, en momentos diferentes.[6] [12] [14] Esto permite evaluar la concordancia en las respuestas del sujeto con un tiempo de separación ([Figura 3]). Este proceso puede llevarse a cabo de dos maneras:

   • Con un intervalo de una a tres semanas a partir de la primera aplicación, esperando que no haya un cambio significativo en las respuestas, debido a que tampoco se esperan cambios significativos en la condición del paciente; y

   • Según un hito clínico en el cual se espera un resultado. Por ejemplo, aplicar el cuestionario antes y después de una intervención quirúrgica por medio de la cual se espera que haya una mejoría.

3. Confiabilidad interobservador: esta propiedad evalúa la concordancia o acuerdo entre dos evaluadores que aplican la misma herramienta al mismo sujeto,[6] en el caso de que el cuestionario no sea autoadministrado.

Fig. 3 Pasos prácticos para obtener las propiedades psicométricas del cuestionario.

Es importante mencionar que no todos los ítems de validez y confiabilidad corresponden al proceso de todos los cuestionarios en Ortopedia y Traumatología. Es esencial evaluar, en cada caso, los pasos que se requieran para el correcto desarrollo de esta fase.

Conclusiones

En los últimos años, las MRIPs han permitido mejorar la calidad de la atención de los pacientes,[29] [30] especialmente en el área de la Ortopedia y Traumatología, debido a la especial atención a los resultados relacionados con el dolor, la funcionalidad, y la calidad de vida.[10]

La traducción, adaptación transcultural y validación pueden ser procesos largos, difíciles o costosos; sin embargo, son imprescindibles al momento de utilizar una MRIP en la práctica clínica. Este proceso es necesario incluso cuando se desea aplicar un cuestionario en países con un mismo idioma.[6] En ocasiones, se asume que la adaptación cultural a un idioma diferente garantiza las propiedades psicométricas del cuestionario, lo que puede inducir errores en las evaluaciones. Es necesario completar el proceso de validación rigurosamente, midiendo la validez y confiabilidad de la herramienta de medición.

Dada la importancia de la utilización de MRIPs adaptadas y validadas en la práctica clínica para mejorar el control y seguimiento de los pacientes, la Organización para la Cooperación y el Desarrollo Económico (OCDE) ha lanzado una iniciativa para la recolección sistemática de MRIPs.[31] Esta iniciativa promueve, en el área de la Ortopedia y Traumatología, la evaluación de pacientes sometidos a artroplastia electiva de cadera y rodilla, antes de la cirugía, y a los 6 y 12 meses postoperatorios.[32] La creación de una red de recolección sistematizada de MRIPs en todos los países ayudará a investigar los determinantes de la calidad en la atención médica, a realizar comparaciones nacionales e internacionales, y a alinear la práctica con políticas en salud.[31]

Entonces, es necesario promover el uso de MRIPs en los distintos problemas de salud asociados a la especialidad de Ortopedia y Traumatología, utilizando herramientas que hayan sido traducidas, adaptadas y validadas en la población correspondiente, para poder convertir su aplicación en parte de la rutina de la práctica clínica y acceder de esta forma a un lenguaje común y objetivo (Anexo 2).

Conflicto de Intereses

El Dr. Sebastián Irarrázaval declara que es Editor Asociado de la Revista Chilena de Ortopedia y Traumatología. Ningunos de los otros autores tiene conflicto de intereses que declarar.

• Referencias

• 1 Evans JP, Smith A, Gibbons C, Alonso J, Valderas JM. The National Institutes of Health patient-reported outcomes measurement information system (PROMIS): a view from the UK. Patient Relat Outcome Meas 2018; 9: 345-352
• 2 World Health Organization, Organisation for Economic Co-operation and Development, The World Bank. Delivering quality health services: a global imperative for universal health coverage. Geneve: WHO; 2018. . Available from: https://www.worldbank.org/en/topic/universalhealthcoverage/publication/delivering-quality-health-services-a-global-imperative-foruniversal-health-coverage
• 3 Valderas JM, Alonso J. Patient reported outcome measures: a model-based classification system for research and clinical practice. Qual Life Res 2008; 17 (09) 1125-1135
• 4 Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the cross-cultural adaptation of the DASH & QuickDASH outcome measures. Institute for Work & Health. 2007; 1 (01) 1-45
• 5 Ruzbarsky JJ, Marom N, Marx RG. Measuring quality and outcomes in sports medicine. Clin Sports Med 2018; 37 (03) 463-482
• 6 Ramada-Rodilla JM, Serra-Pujadas C, Delclós-Clanchet GL. Adaptación cultural y validación de cuestionarios de salud: revisión y recomendaciones metodológicas. Salud Publica Mex 2013; 55 (01) 57-66
• 7 Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the cross-cultural adaptation of health status measures. New York. J Am Acad Orthop Surg 2002; 12: 1-9
• 8 Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol 1993; 46 (12) 1417-1432
• 9 MINSAL. Primeros y segundos resultados de ENS 2016-2017. 2018 [Revisado el 1 julio 2020] en: http://epi.minsal.cl/resultados-encuestas/
• 10 Gagnier JJ. Patient reported outcomes in orthopaedics. J Orthop Res 2017; 35 (10) 2098-2108
• 11 Lauffer A, Solé L, Bernstein S, Lopes MH, Francisconi CF. Cómo minimizar errores al realizar la adaptación transcultural y la validación de los cuestionarios sobre calidad de vida: aspectos prácticos. Rev Gastroenterol Mex 2013; 78 (03) 159-176
• 12 Tsang S, Royse CF, Terkawi AS. Guidelines for developing, translating, and validating a questionnaire in perioperative and pain medicine. Saudi J Anaesth 2017; 11 (Suppl. 01) S80-S89
• 13 Pasquali L. Instrumentos psicológicos: manual prático de elaboração. Brasília: LabPAM/IBAPP; 1999
• 14 Pasquali L. Psychometrics. Rev Esc Enferm USP 2009; 43: 992-929
• 15 Gorusch RL. Factor Analysis. 2nd ed.. Hillsdale, NJ: Lawrence Erlbaum Associates; 1983
• 16 Pedhazur RJ. Multiple Regression in Behavioral Research: Explanation and Prediction. Fort Worth, TX: Harcourt Brace College Publishers; 1997
• 17 Norton S, Ellis B, Santana Suárez B. et al. Validation of the Musculoskeletal Health Questionnaire in inflammatory arthritis: a psychometric evaluation. Rheumatology (Oxford) 2019; 58 (01) 45-51
• 18 Ackerman I. Western ontario and mcMaster universities osteoarthritis index (WOMAC). Aust J Physiother 2009; 55 (03) 213
• 19 Ponkilainen VT, Häkkinen AH, Uimonen MM, Tukiainen E, Sandelin H, Repo JP. Validation of the Western Ontario and McMaster Universities Osteoarthritis Index in Patients Having Undergone Ankle Fracture Surgery. J Foot Ankle Surg 2019; 58 (06) 1100-1107
• 20 Schnetzke M, Schüler S, Keil H. et al. Development and validation of a novel questionnaire for self-determination of the range of motion of wrist and elbow. BMC Musculoskelet Disord 2016; 17 (01) 312
• 21 Noormohammadpour P, Hosseini Khezri A, Farahbakhsh F, Mansournia MA, Smuck M, Kordi R. Reliability and validity of athletes disability index questionnaire. Clin J Sport Med 2018; 28 (02) 159-167
• 22 Castellet E, Ares O, Celaya F. et al; SEROD group. Transcultural adaptation and validation of the “Hip and Knee” questionnaire into Spanish. Health Qual Life Outcomes 2014; 12 (01) 76
• 23 Kim HJ, Yeom JS, Nam Y. et al. Validation and cross-cultural adaptation of the Korean version of the Core Outcome Measures Index in patients with degenerative lumbar disease. Eur Spine J 2018; 27 (11) 2804-2813
• 24 Lawshe CH. A quantitative approach to content validity. Person Psychol 1975; 28: 563-575
• 25 Barrett RS. Content validation form. Public Pers Manage 1992; 21 (01) 41-52
• 26 Cronbach LJ, Meehl PE. Construct validity in psychological tests. Psychol Bull 1955; 52 (04) 281-302
• 27 Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16: 297-334
• 28 Nunnally J. Psychometric Theory. New York: McGraw-Hill; 1978
• 29 Prodinger B, Taylor P. Improving quality of care through patient-reported outcome measures (PROMs): expert interviews using the NHS PROMs Programme and the Swedish quality registers for knee and hip arthroplasty as examples. BMC Health Serv Res 2018; 18 (01) 87
• 30 Peters RM, van Beers LWAH, van Steenbergen LN. et al. Similar superior patient-reported outcome measures for anterior and posterolateral approaches after Total hip arthroplasty. J Arthroplasty 2018; 33 (06) 1786-1793
• 31 Organisation for Economic Co-operation and Development (OECD). PatientReported Indicators Survey (PaRIS). 2017 . Available from: http://www.oecd.org/health/paris.htm
• 32 Canadian Institute for Health Information, Organisation for Economic Co-operation and Development. OECD Patient-Reported Indicator Surveys (PaRIS) Initiative: Patient-Reported Outcome Measures (PROMs) for Hip and Knee Replacement Surgery —International Data Collection Guidelines. Ottawa, ON: CIHI; 2019
• 33 Guic E, Galdames S, Rebolledo P. Adaptación cultural y validación de la versión chilena del Cuestionario de Discapacidad Roland-Morris. [Validation and cultural adaptation of the Chilean version of the Roland-Morris Disability Questionnaire] Rev Med Chil 2014; 142 (06) 716-722
• 34 Keller A, Wagner P, Izquierdo G. et al. Cross-cultural adaptation and validation of the VISA-A questionnaire for Chilean Spanish-speaking patients. J Orthop Surg Res 2018; 13 (01) 177
• 35 Pellegrini MJ, Poniachik R, Nuñez A, Escudero MI, Carcuro G, Cortes AA. Cross-cultural adaptation and validation of the Foot and Ankle Outcome Score (FAOS) into Spanish (Chile). Foot Ankle Surg 2020; 26 (07) 790-796
• 36 Vera-Villarroel P, Silva J, Celis-Atenas K, Pavez P. Evaluación del cuestionario SF-12: verificación de la utilidad de la escala salud mental. Rev Med Chil 2014; 142 (10) 1275-1283

Publication History

Received: 12 December 2020

Accepted: 24 September 2021

Article published online:
08 February 2022