Subscribe to RSS
DOI: 10.1055/s-0031-1295447
Messen wir immer das Gleiche? Zur Invarianz von Messungen und Response-Shift in der Rehabilitation – Teil 2
Do We Always Measure the Same? On Measurement Invariance and Response Shift in Rehabilitation Research – Part 2Publication History
Publication Date:
06 June 2012 (online)
![](https://www.thieme-connect.de/media/rehabilitation/201206/lookinside/thumbnails/10.1055-s-0031-1295447-1.jpg)
Zusammenfassung
Zur Evaluation von Behandlungsmaßnahmen in der medizinischen Rehabilitation werden häufig Prä-Post-Vergleichsstudien mit der Outcome-Variable gesundheitsbezogene Lebensqualität durchgeführt. Über Mittelwertsvergleiche der Lebensqualitätsskalen zu den verschiedenen Messzeitpunkten lassen sich Effekte berechnen, anhand deren Größe wiederum auf die Veränderung der gesundheitsbezogenen Lebensqualität geschlossen wird. Bei diesem Vorgehen wird jedoch davon ausgegangen, dass die Beantwortung der Items oder Skalen zu beiden Messzeitpunkten vor demselben Bewertungshintergrund vorgenommen wird. Dass dies nicht zwangsläufig der Fall ist, wird in der Response-Shift-Forschung diskutiert. Diese beschäftigt sich mit der Veränderung des Bewertungshintergrunds zur Beurteilung der gesundheitsbezogenen Lebensqualität im Rahmen der Auseinandersetzung mit chronischen Erkrankungen. Mithilfe der konfirmatorischen Faktorenanalyse (KFA) ist die Prüfung von Response-Shift-Prozessen bei Mehrfachmessungen möglich. Dieser Ansatz ist der Invarianztestung im Längsschnitt zuzuordnen. Das Vorgehen wird anhand eines Datensatzes aus der Rehabilitation bei Diabetes-Patienten beschrieben. In der untersuchten Stichprobe der 279 Diabetes-Patienten sind verschiedene Response-Shift-Prozesse nachweisbar. Wird eine Skala durch Response-Shift beeinflusst, so ist eine Aussage über die Veränderung der gesundheitsbezogenen Lebensqualität auf der Basis der manifesten Skalenwerte nicht ohne weiteres möglich. Mithilfe der KFA lassen sich jedoch Effekte auf diesen Skalen in Effekte aufgrund einer ‚wahren‘ Veränderung der gesundheitsbezogenen Lebensqualität und Response-Shift-Effekte unterteilen. Das Vorgehen zur Testung auf Response-Shift unterscheidet sich vom Vorgehen der Testung von Invarianz im Multigruppenvergleich zu einem Messzeitpunkt. Response-Shift-Untersuchungen mit Fragebogen zur Erfassung der gesundheitsbezogenen Lebensqualität ermöglichen Aussagen darüber, inwiefern diese Instrumente geeignet sind, Veränderungen dieses Outcome-Kriteriums zu erfassen. Für die Praxis ist dies insofern interessant, als Empfehlungen gegeben werden können, welche Skalen berücksichtigt werden sollten, um Aussagen über die Veränderung der Lebensqualität abzuleiten, und welche nicht. Aus wissenschaftlicher Perspektive bietet die Response-Shift-Prüfung einen Ansatz zur Weiterentwicklung der Änderungssensitivität von Messinstrumenten.
Abstract
Interventions in medical rehabilitation are often evaluated using a single-group pre-post study design with health-related quality of life (hrqol) as an outcome variable. Through comparison of mean values in hrqol subscales treatment effects are calculated. In many cases conclusions about changes in hrqol are made depending on the sizes of effects. The precondition for doing this, however, is that the answers to the items in questionnaires were given within the same frames of internal standards, values and conceptualizations at the different time points. Changes in these frames can be found, however, and are discussed under the term response shift, which can happen when adjusting to chronic and progressive diseases. Existence of response shift can be proven with confirmatory factor analysis (CFA) by measuring hrqol at different time points. This approach can be assigned to the broader issue of measurement of invariance in longitudinal studies and is described in a sample of 279 patients with diabetes mellitus. Different response shift processes were detectable. If response shift takes place but is not taken into account inferences from changes in scale scores to changes in hrqol are invalid. This means that the calculation of effect size is also influenced by response shift. By the use of CFA conventionally calculated effect size can be differentiated into either effects due to response shift or ‘true change’ of hrqol. Measurements of invariance within one group at 2 time points can be differentiated from multiple group analysis at one time point. Investigations of measurement of invariance in longitudinal studies allow for conclusions regarding sensitivity to change of instruments examining hrqol changes. This is important for clinicians who make decisions about which scales are appropriate to detect hrqol changes. For scientific research it is relevant for further analysis of sensitivity to change of hrqol instruments.
Schlüsselwörter
Response-Shift - Invarianz von Messungen - konfirmatorische Faktorenanalyse - gesundheitsbezogene LebensqualitätKey words
response shift - measurement invariance - confirmatory factor analysis - health-related quality of lifeKoordinatoren der Reihe „Methoden in der Rehabilitationsforschung“: Prof. Dr. Dr. Hermann Faller, Würzburg; Prof. Dr. Thomas Kohlmann, Greifswald; Prof. Dr. Dr. Christian Zwingmann, Bochum. Interessenten, die einen Beitrag zur Reihe beisteuern möchten, werden gebeten, vorab Kontakt aufzunehmen, E-Mail: christian.zwingmann@web.de
-
Literatur
- 1 Schuler M, Jelitte M. Messen wir bei allen Personen das Gleiche? Zur Invarianz von Messungen und Response Shift in der Rehabilitation – Teil 1. Rehabilitation (im Druck)
- 2 Sprangers MA, Schwartz CE. Integrating response shift into health-related quality of life research: a theoretical model. Soc Sci Med 1999; 48: 1507-1515
- 3 Meade AW, Lautenschlager GJ, Hecht JE. Establishing measurement equivalence and invariance in longitudinal data with item response theory. International Journal of Testing 2005; 5: 279-300
- 4 Bullinger M, Kirchberger I. SF-36, Fragebogen zum Gesundheitszustand. Göttingen u. a.: Hogrefe; 1998
- 5 Maurischat C, Krüger-Bödecker A. Analysen zum Strukturmodell des SF-36/SF-12 – eine Übersicht. In: Maurischat C, Morfeld M, Kohlmann T, Bullinger M. Hrsg Lebensqualität: Nützlichkeit und Psychometrie des Health Survey SF-36/SF-12 in der medizinischen Rehabilitation. Lengerich: Pabst; 2004: 29-48
- 6 Bullinger M, Morfeld M. Der Health Survey SF-36/SF-12: Darstellung und Entwicklungen. In: Maurischat C, Morfeld M, Kohlmann T, Bullinger M. Hrsg Lebensqualität: Nützlichkeit und Psychometrie des Health Survey SF-36/SF-12 in der medizinischen Rehabilitation. Lengerich: Pabst; 2004: 15-28
- 7 Oort FJ. Types of change in self-report data: definition, interpretation, and operationalization. In: Van Dijkum C, Blasius J, Kleijr H, von Hilten B. Hrsg Recent Developments and Applications in Social Research Methodology. Amsterdam: SISWO; 2004: 1-21
- 8 Güthlin C. Response Shift: Alte Probleme der Veränderungsmessung, neu angewendet auf gesundheitsbezogene Lebensqualität. Zeitschrift für Medizinische Psychologie. 2004. 13. 165-174
- 9 Gibbons FX. Social comparison as a mediator of response shift. Soc Sci Med 1999; 48: 1517-1530
- 10 Schwartz CE, Sprangers MAG. Methodological approaches for assessing response shift in longitudinal health-related quality-of-life research. Soc Sci Med 1999; 48: 1531-1548
- 11 O’Boyle CA, McGee HM, Browne JP. Measuring response shift using the Schedule for Evaluation of Individual Quality of Life. In: Schwartz CESMAG, Hrsg. Adaptation to changing health: Response shift in quality-of-life research. Washington, DC: American Psychological Association; 2000: 123-136
- 12 Oort FJ. Using structural equation modeling to detect response shifts and true change. Quality of Life Research 2005; 14: 587-598
- 13 Ahmed S, Bourbeau J, Maltais F et al. The Oort structural equation modeling approach detected a response shift after a COPD self-management program not detected by the Schmitt technique. Journal of Clinical Epidemiology 2009; 62: 1165-1172
- 14 Ahmed S, Mayo NE, Wood-Dauphinee S et al. The structural equation modeling technique did not show a response shift, contrary to the results of the then test and the individualized approaches. Journal of Clinical Epidemiology 2005; 58: 1125-1133
- 15 Oort FJ, Visser MR, Sprangers MA. An application of structural equation modeling to detect response shifts and true change in quality of life data from cancer patients undergoing invasive surgery. Quality of Life Research 2005; 14: 599-609
- 16 Widaman KF, Ferrer E, Conger RD. Factorial invariance within longitudinal structural equation models: Measuring the same construct across time. Child Dev Perspect 2010; 4: 10-18
- 17 Bühner M. Einführung in die Test- und Fragebogenkonstruktion. 2. Aufl. München: Pearson Education Deutschland; 2006
- 18 Hu L-T, Bentler PM. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling 1999; 6: 1-55
- 19 Bollen KA. Structural equations with latent variables. Oxford: John Wiley & Sons; 1989
- 20 Arbuckle JL. AMOS 17.0 User’s Guide. Chicago, IL: SPSS; 2008
- 21 Meade AW, Johnson EC, Braddy PW. Power and sensitivity of alternative fit indices in tests of measurement invariance. Journal of Applied Psychology 2008; 93: 568-592
- 22 Byrne BM, Shavelson RJ, Muthen B. Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin 1989; 105: 456-466
- 23 Millsap RE, Kwok OM. Evaluating the impact of partial factorial invariance on selection in two populations. Psychological Methods 2004; 9: 93-115
- 24 Gregorich SE. Do self-report instruments allow meaningful comparisons across diverse population groups? Testing measurement invariance using the confirmatory factor analysis framework. Medical Care 2006; 44: S78-S94
- 25 Steenkamp J-BE, Baumgartner H. Assessing measurement invariance in cross-national consumer research. Journal of Consumer Research 1998; 25: 78-90
- 26 Igl W, Zwingmann C, Faller H. Änderungssensitivität. Rehabilitation 2005; 44: 100-106
- 27 Schwartz CE, Rapkin BD. Reconsidering the psychometrics of quality of life assessment in light of response shift and appraisal. Health Qual Life Outcomes 2004; 2: 16
- 28 Sharpe L, Curran L. Understanding the process of adjustment to illness. Soc Sci Med 2006; 62: 1153-1166
- 29 Folkman S, Greer S. Promoting psychological well-being in the face of serious illness: when theory, research and practice inform each other. Psychooncology 2000; 9: 11-19
- 30 Carver CS, Scheier MF. Scaling back goals and recalibration of the affect system are processes in normal adaptive self-regulation: understanding ‘response shift’ phenomena. Soc Sci Med 2000; 50: 1715-1722
- 31 Schmitt N, Kuljanin G. Measurement invariance: Review of practice and implications. Human Resource Management Review 2008; 18: 210-222
- 32 Oort FJ, Visser MR, Sprangers MA. Formal definitions of measurement bias and explanation bias clarify measurement and conceptual perspectives on response shift. Journal of Clinical Epidemiology 2009; 62: 1126-1137
- 33 King-Kallimanis BL, Oort FJ, Visser MR et al. Structural equation modeling of health-related quality-of-life data illustrates the measurement and conceptual perspectives on response shift. Journal of Clinical Epidemiology 2009; 62: 1157-1164
- 34 Nolte S, Elsworth GR, Sinclair AJ et al. Tests of measurement invariance failed to support the application of the “then-test”. Journal of Clinical Epidemiology 2009; 62: 1173-1180
- 35 MacCallum RC, Roznowski M, Mar CM et al. Alternative strategies for cross-validation of covariance structure models. Multivariate Behavioral Research 1994; 29: 1-32
- 36 Millsap RE, Meredith W. Factorial invariance: Historical perspectives and new problems. In: Cudeck R, MacCallum R. Hrsg Factor Analysis at 100: Historical Developments and Future Directions. Mahwah, NJ: Lawrence Erlbaum; 2007: 131-152
- 37 Schwartz CE, Sprangers MA. Reflections on genes and sustainable change: toward a trait and state conceptualization of response shift. Journal of Clinical Epidemiology 2009; 62: 1118-1123
- 38 Schwartz CE, Bode R, Repucci N et al. The clinical significance of adaptation to changing health: A meta-analysis of response shift. Quality of Life Research 2006; 15: 1533-1550
- 39 Norman G. Hi! How are you? Response shift, implicit theories and differing epistemologies. Quality of Life Research 2003; 12: 239-249
- 40 Schwartz CE, Sprangers MA. Guidelines for improving the stringency of response shift research using the thentest. Quality of life research 2010; 19: 455-464
- 41 Jelitte M. Untersuchung von Response-Shift-Einflüssen auf die Erfassung der gesundheitsbezogenen Lebensqualitat bei Prostatakrebspatienten in der onkologischen Rehabilitation. Dissertation. Universität Koblenz-Landau, Fachbereich Psychologie 2010; 348
- 42 Barclay-Goddard R, Epstein JD, Mayo NE. Response shift: a brief overview and proposed research priorities. Quality of Life Research 2009; 18: 335-346
- 43 Terwee CB, Dekker FW, Wiersinga WM et al. On assessing responsiveness of health-related quality of life instruments: guidelines for instrument evaluation. Quality of life research 2003; 12: 349-362