Vergleich verschiedener Methoden der Leistungsüberprüfung im Lehrfach Allgemeinmedizin

Zusammenfassung

Vor dem Hintergrund der neuen Approbationsordnung für Ärzte, die eine Benotung der Leistung der Studierenden fordert, wurde als Lernerfolgskontrolle für die Düsseldorfer Lehrveranstaltung Allgemeinmedizin eine Klausur eingeführt. In einer begleitenden Evaluation wurde überprüft, ob Studierende bei verschiedenen Methoden der Leistungsüberprüfung intraindividuell ähnlich abschneiden oder ob es unterschiedliche Ergebnisse je nach Prüfungsform gibt. Dazu wurde aus der Gruppe der Teilnehmer der Lehrveranstaltung Allgemeinmedizin eine Zufallsstichprobe von 21 Studierenden gewonnen, die sich neben der regulären Klausur einer zusätzlichen mündlichen Prüfung unterzogen. Darüber hinaus erhielten diese Studierenden eine Leistungsbewertung im Kleingruppenunterricht durch die unterrichtenden Lehrärzte. Eine vierte Bewertung erfolgte im Anschluss an das Hausarztpraktikum. Zusätzlich wurden die Studierenden in einer Fokusgruppe zu der von ihnen bevorzugten Prüfungsform befragt. Die Übersicht der Durchschnittsnoten zeigt ähnliche Werte für Klausur, Unterricht und mündliche Prüfung und eine deutlich bessere Bewertung im Hausarztpraktikum. Der Vergleich der Einzelergebnisse in den unterschiedlichen Prüfungsformen zeigt jedoch eine starke Streuung in alle Richtungen. So kann beispielsweise eine schlechte Klausurleistung mit einer guten mündlichen Prüfung und einer mittleren Bewertung im Kleingruppenunterricht einhergehen und umgekehrt. Die Intra-Class-Korrelation über alle Klassen beträgt nur 0,1. Aus diesen Ergebnissen lässt sich schlussfolgern, dass jede Prüfungsform offenbar nur ein spezifisches Segment der komplexen Inhalte des Faches Allgemeinmedizin und einen Teilbereich der Leistungsfähigkeit des Studierenden abbildet. Will man komplexe Lehrziele adäquat und umfassend erfassen, müssten demzufolge verschiedene Prüfungsformen kombiniert werden oder aber die verschiedenen Ebenen und Befähigungen in unterschiedlichen Prüfungsstationen erfasst werden, wie es ein OSCE erlaubt.

Abstract

A novel Federal Regulation for Basic Medical Education was issued in Germany, which requires an end of course assessment. General Practice (GP) in Duesseldorf has introduced a written examination. An accompanying study was carried out to understand whether different methods of performance evaluation would show equivalent results intraindividually. Out of the GP class 21 students were randomised to undergo an oral examination on top of the regular written examination. Furthermore their teaching practitioners have appraised these students performance in small group teaching. Finally, the students have been rated following a practical term. At the end the students have been interviewed in a focus group to investigate their preferred method of assessment. The survey of the average grades showed comparable results for the written test, the oral examination and small group teaching while the appraisal at the end of the practical term happened to be significantly higher in grade. The comparison of the individual results, however, showed a statistical spreading in all directions. For example, a poor performance in the written test can come along with excellent results in the oral examination and vice versa. The intra-class correlation across all classes has been as low as 0.1. These results support the conclusion that apparently each method can appropriately evaluate only a very specific part of the complex contents of the GP education and of students’ performance. In order to properly examine the performance of GP students a combination of different evaluation methods needs to be applied. As an alternative, different skills can be examined in different practical and theoretical test situations in an OSCE.

Schlüsselwörter

Medizinstudium - Allgemeinmedizin - Prüfungsmethoden - Klausur

Key words

Basic medical education - general practice - assessment methods - written test

Literatur

• 1 Approbationsordnung für Ärzte (AppOÄ) vom 27. Juni 2002, im Bundesgesetzblatt 2002, Teil I, Nr. 44 am 3. Juli 2002, www. approbationsordnung.de. 
• 2 Altiner A, Wilm S, Sielk M. Allgemeinmedizinische Inhalte im Medizinstudium. Implementation und Evaluation einer Klausur.  Z Allg Med. 2002;  78 425-430
• 3 Elmer A, Grifka J. Vergleich von Prüfungsmethoden in der Medizinischen Ausbildung.  Med Ausbild. 1998;  15 14-17
• 4 Elstein A S. Beyond multiple-choice questions and essays: The need for a new way to assess clinical competence.  Academic Medicine. 1993;  68 (4) 244-249
• 5 Edmunds H. The Focus Group Research Handbook. Lincolnwood; NTC Business Books 1999
• 6 Mayring P. Qualitative Inhaltsanalyse - Grundlagen und Techniken. Weinheim; Deutscher Studien Verlag 2000
• 7 Planungsgruppe M edizin, Hardegg W, Schäfer M. et al .Gutachten über das Prüfungswesen in einer neuen Approbationsordnung für Ärzte (ÄappO) anhand einer Untersuchung ausländischer Prüfungssysteme im Studiengang Medizin im Zusammenhang mit den Diskussionen zur neuen Approbationsordnung für Ärzte. Erstellt im Auftrag des Bundesministeriums für Gesundheit. Heidelberg; Medizinischer Fakultätentag 1995
• 8 Chenot J F, Ehrhardt M. Objective structured clinical examination (OSCE) in der medizinischen Ausbildung: Eine Alternative zur Klausur.  Z Allg Med. 2003;  79 437-442
• 9 Gulich M. Prüfungen zur Beurteilung komplexer Lehrziele.  Z Allg Med. 2003;  79 507-511