Kriterienkatalog zur Beurteilung psychodiagnostischer Selbstbeurteilungsinstrumente – Empfehlung des Deutschen Kollegiums für Psychosomatische Medizin (DKPM)

Zusammenfassung

Hintergrund: In der psychosomatischen und psychotherapeutischen Versorgung und Forschung finden psychodiagnostische Instrumente Verwendung im Rahmen von Indikationsstellung, Behandlungsplanung, Verlaufsbeurteilung und -monitoring sowie Qualitätssicherung und Ergebnismessung. Bei der Auswahl dieser Instrumente sollten sowohl deren psychometrische Qualität und Eignung als auch anwendungsökonomische Gesichtspunkte berücksichtigt werden. Es ist davon ausgehen, dass sich der Anwender angesichts der Vielzahl von Instrumenten und Informationsquellen über den neuesten Stand der Forschung kaum einen Überblick verschaffen kann. Es besteht deshalb die Gefahr, dass vorwiegend bekannte, lange etablierte und gut zugängliche bzw. verfügbare Verfahren eingesetzt werden, während inhaltliche und psychometrische Neuentwicklungen kaum rezipiert werden. Diese eher pragmatische Auswahl dürfte nicht immer den verfolgten Zielen dienen.

Material und Methoden: Die Arbeitsgruppe „Psychometrie und Psychodiagnostik“ des Deutschen Kollegiums für Psychosomatische Medizin (DKPM) hat basierend auf verschiedenen internationalen Testbeurteilungssystemen einen für die klinische Forschung und Praxis zugeschnittenen Kriterienkatalog entwickelt und getestet.

Ergebnisse: Die Entwicklungsschritte und der von der Arbeitsgruppe konsentierte Katalog wird vorgestellt. Unter den Oberbegriffen Reliabilität, Validität, Objektivität, Referenzgruppen und Anwendung sind insgesamt 21 Kriterien subsummiert, die mit 0–3 Sternen (*) anhand klar operationalisierter Kriterien eingeschätzt werden sollen. Die praktische Anwendung des Kataloges wird erläutert und diskutiert.

Schlussfolgerung: Mit dem Kriterienkatalog wird ein gut formalisiertes Beurteilungssystem vorgelegt, welches von einem Expertengremium entwickelt und konsentiert wurde. Eine nach definierten Kriterien verfasste und damit transparente und systematische Testbeurteilung wird damit unterstützt. Es besteht die Möglichkeit verschiedene Tests zu vergleichen. Der Katalog dient aber auch der Unterstützung der Testauswahl durch Praktiker in Forschung und Praxis. Eine wesentliche Aufgabe besteht jetzt darin, den Katalog zu disseminieren und zu implementieren sowie Testbeurteilungen anhand des Kataloges zu erstellen und der Fachöffentlichkeit zur Verfügung zu stellen.

Abstract

Objectives: Psychometric instruments are commonly applied in psychotherapeutic research and care for the baseline assessment of symptoms, the planning of therapeutic interventions, the assessment of the longitudinal course of symptoms and outcomes of therapeutic interventions as well as quality management of care. Psychometric properties as well as economic aspects should be considered in the selection of specific instruments. It is assumed that users of psychometric instruments face a great variety of instruments and related information. For that reason, it seems challenging to absorb the current knowledge and to integrate it into clinical practice and research. Thus, it is likely that well-known, established and easily accessible instruments are commonly used, while new developed instruments might not be disseminated in research and healthcare.

Methods: Based on available international review models, the working group “Psychometrics and Psychodiagnostics” of the German College of Psychosomatic Medicine (DKPM) has developed and tested a review model specifically tailored for psychotherapeutic research and care.

Results: The different steps of development, as well as the final review model based on the consensus of the working group are presented. The review model contains 6 generic terms (reliability, validity, objectivity, reference groups and aspects of application) with 21 different criteria to be assessed with 0–3 asterisks (*). The criteria are clearly operationalized and the practical use of the review model is explained and discussed.

Conclusions: With the review model for the assessment of psychometric instruments a well-defined evaluation system is made available for research and clinical practice which has been developed by an expert group. The review model facilitates systematic, transparent and comparative evaluation of psychometric instruments along clearly defined criteria. It also supports the selection of psychometric instruments in research and care. Next, the working group aims at disseminating and implementing the review model as well as the application and publication of reviews for different psychometric instruments based on the review model.

Schlüsselwörter

Psychodiagnostik - Instrumente - Gütekriterien - Beurteilung - Katalog

Key words

psychdiagnostics - instruments - psychometric properties - evaluation - catalogue

• Literatur

• 1 Wahl I, Meyer B, Loewe B et al. Die Erfassung der Lebensqualität in der Psychotherapieforschung. Klinische Diagnostik und Evaluation 2010; 4-21
• 2 Brähler E, Schumacher J, Strauß B. Diagnostische Verfahren in der Psychotherapie. Göttingen: Hogrefe; 2004
• 3 Lindley P, Bartram D, Kennedy N. EFPA review model for the description and evaluation of psychological tests – Version 3.42. Brussels: EFPA Standing Committee on Tests and Testing; 2008
• 4 Evers A, Hagemeister C, Hostmaelingen A et al. EFPA Review Model for the description and evaluation of psychological and educational tests. (Tech. Rep. Version 4.2.6). Brussels: European Federation of Psychology Associations; 2013
• 5 Föderation der Deutschen Psychologenverbände . Beschreibung der einzelnen Kriterien für die Testbewertung. Diagnostica 1986; 32: 358-360
• 6 Kersting M. Zur Beurteilung der Qualität von Tests: Resümee und Neubeginn. Psychologische Rundschau 2006; 57: 243-253
• 7 Kersting M, Heyse H. Anforderungen an die Qualität der Verfahren. In: Hornke LF, Winterfeld U. editors. Eignungsbeurteilungen auf dem Prüfstand: DIN 33430 zur Qualitätssicherung. Heidelberg: Spektrum Akademischer Verlag; 2004. p 43-54
• 8 Testkuratorium der Förderation Deutscher Psychologievereinigungen . TBS-TK. Testbeurteilungssystem des Testkuratoriums der Föderation Deutscher Psychologenvereinigungen. Stand und Perspektiven. Report Psychologie 2006; 31: 492-500
• 9 Löwe B, Rose M, Wahl I et al. Psychometrie und Psychodiagnostik in Psychosomatik, Psychotherapie und Medizinischer Psychologie – Bericht zum zweiten Arbeitstreffen der DKPM-Arbeitsgruppe „Psychometrie und Psychodiagnostik“. Psychother Psychosom Med Psychol 2011; 61: 334-336
• 10 Evers A. The Revised Dutch Rating System for Test Quality. International Journal of Testing 2001; 1: 155-182
• 11 Hautzinger M, Keller FKC. Beck-Depressions-Inventar (BDI-II). Revision. Frankfurt/Main: Harcourt Test Services; 2006
• 12 Herrmann-Lingen C, Buss U, Snaith RP. HADS-D. Hospital Anxiety and Depression Scale – Deutsche Version. Göttingen: Hogrefe; 1995
• 13 Löwe B, Grafe K, Zipfel S et al. Diagnosing ICD-10 depressive episodes: Superior criterion validity of the patient health questionnaire. Psychother Psychosom 2004; 73: 386-390
• 14 Glaesmer H, Braehler E, von Lersner U. Kultursensible Diagnostik in Forschung und Praxis – Stand des Wissens und Entwicklungspotentiale. Psychotherapeut 2012; 57: 22-28
• 15 Klinitzke G, Romppel M, Häuser W et al. The German Version of the Childhood Trauma Questionnaire (CTQ) – Psychometric Characteristics in a Representative Sample of the General Population. Psychother Psychosom Med Psychol 2012; 62: 47-51
• 16 Wingenfeld K, Spitzer C, Mensebach C et al. The German Version of the Childhood Trauma Questionnaire (CTQ): Preliminary Psychometric Properties. Psychother Psychosom Med Psychol 2010; 60: 442-450
• 17 Embretson SE, Reise SP. Item Response Theory for Psychologists. Mahwah, New Jersey, United States: L. Erlbaum Associates; 2000
• 18 Forkmann T, Gauggel S, Spangenberg L et al. Dimensional assessment of depressive severity in the elderly general population: Psychometric evaluation of the PHQ-9 using Rasch Analysis. J Affect Disord 2013; 148: 323-330
• 19 Romppel M, Braehler E, Roth M et al. What is the General Health Questionnaire-12 assessing? Dimensionality and psychometric properties of the General Health Questionnaire-12 in a large scale German population sample. Compr Psychiatry 2013; 54: 406-413
• 20 Igl W, Zwingmann C, Faller H. Änderungssensitivität. Rehabilitation 2005; 44: 100-106
• 21 Rouquette A, Blanchin M, Sebille V et al. The minimal clinically important difference determined using item response theory models: an attempt to solve the issue of the association with baseline score. J Clin Epidemiol 2014; 67: 433-440
• 22 Revicki D, Hays RD, Cella D et al. Recommended methods for determining responsiveness and minimally important differences for patient-reported outcomes. J Clin Epidemiol 2008; 61: 102-109
• 23 Wild D, Grove A, Martin M et al. Principles of good practice for the translation and cultural adaptation process for patient-reported outcomes (PRO) measures: Report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health 2005; 8: 94-104
• 24 Forkmann T, Gauggel S. Freier Zugang zu psychodiagnostischen Instrumenten!. Psychiatrische Praxis 2013; 40: 102-103
• 25 Frey A, Herzberg PY. Publishing in Psychology: a description of the current situation in Germany. Psychol Sci Q 2009; 51: 160-166
• 26 Eysenbach G. The open access advantage. J Med Internet Res 2006; 8 DOI: 10.2196/jmir.8.2.e8.
• 27 Hardisty DJ, Haaga DA. Diffusion of treatment research: Does open access matter?. J Clin Psychol 2008; 64: 821-839
• 28 Harnad S, Brody T. Comparing the impact of open access (OA) vs. non-OA articles in the same journals. D-Lib Magazine 2004; 10 DOI: 10.1045/june2004-harnad.
• 29 Mey G, Mruck K. Open Access: Auswirkungen einer Informationskrise als Chance für die Information. Journal für Psychologie 2007; 15: 1-17