The Design of Quality Control^{[*] [**]}

Summary

Quality control of medical data and judgements plays an essential part in the efforts to put medicine on a sounder basis. In the past, control procedures have been neglected because of the bulky work often connected with them; now, however, modern mechanical and electronic equipment opens up the possibility to check thoroughly with a justifiable expenditure of time and effort. Profound checking of the data is especially necessary if statistical analyses are to be carried out, because even extremely sophisticated calculations will in reality be of little value if they rest on uncertain foundations.

Scientific quality control makes use of different methods. Formal errors (e. g., slips of the pen, mistakes in coding, etc.) can often be detected by comparing the data with confidence limits or by testing for incompatibility. Such controls can very well be made by computers. Frequency distributions can occasionally be checked for plausibility. For this sort of control analysis, the probability paper is best suited. The most effective possibility to avoid or to find errors is repeated or multiple examination. Statistical models can be used to estimate the effects of defined errors on the results of an investigation. Possibilities of quality control should already be envisaged in the planning stage of an investigation.

Bei den Bemühungen, die Medizin auf eine sicherere und exaktere Basis zu stellen, spielen Qualitätskontrollen der vom Patienten erhobenen Daten und Befunde sowie der ärztlichen Urteile eine bedeutsame Rolle. Während in der Vergangenheit derartige Kontrollen häufig an dem dafür erforderlichen erheblichen Arbeitsaufwand scheiterten, haben die modernen maschinellen und elektronischen Datenverarbeitungsmethoden die Möglichkeit intensiver Fehlerkontrollen bei vertretbarem Aufwand an Arbeit und Zeit geschaffen. Insbesondere für statistische Analysen ist eine gründliche Bereinigung des Urmaterials erforderlich, denn die Ergebnisse auch der kompliziertesten Berechnungen haben keinen Erkenntniswert, wenn sie auf unsicheren Ausgangswerten basieren.

Der Fehlerforschung stehen verschiedene Methoden der Richtigkeitskontrolle zur Verfügung. Formale Fehler (Schreibfehler, Übertragungsfehler u. ä.) können erkannt werden, indem die Daten mit Grenzwerten verglichen oder gegenseitig auf Inkompatibilität geprüft werden. Solche Kontrollen lassen sich auch maschinell durchführen. Häufigkeitsverteilungen kann man gelegentlich einer Plausibilitätsprüfung unterziehen, wobei auch die Analyse im Wahrscheinlichkeitspapier von Nutzen sein kann. Die wichtigste Möglichkeit der Kontrolle klinischer Daten und Befunde bilden Wiederholungs- und Mehrfachuntersuchungen. Mittels statistischer Modelle können die Auswirkungen von Fehlern auf das Ergebnis von Untersuchungen größenordnungsmäßig ermittelt werden. Die Möglichkeit einer Fehlerprüfung sollte bereits bei der Planung von Untersuchungsreihen berücksichtigt werden.

^* Originally published in German language in “Methods of Information in Medicine”, Vol. 3 (1964) pp. 117-127

^** Translated by Mrs. L. Blumenthal

• REFERENCES

• 1 Brass I. Misclassification in 2 × 2 Tables. Biometr 1954; 10: 478-86.
• 2 Daeves K, Beckel A. Großzahl-Methodik und Häufigkeitsanalyse. Weinheim, Berlin: Verlag Chemie; 1948
• 3 Diamond E. L, Lilienfeld A. M. Effects of error in classification and diagnosis in various types of epidemiological studies. Amer. J. Publ. Health 1962; 52: 1137-1144.
• 4 Eley A. J, Paxon T. G. Observer error. Lancet. 1956: 511-512.
• 5 Fletcher C. M. Observer error. Lancet. 1956: 808
• 6 Gebelein H, Heite H. J. Laufende Kontrolle klinischer Meßmethoden an Hand von Doppel- und Mehrfachbestimmungen. Ärztl. Forsch 1950; 4: 291-295.
• 7 Groth-Petersen E, Lövgreen A, Thillemann J. On the reliability of the reading of photofluorograms and the value of dual reading. Acta Tbc. Scand 1952; 26: 13-37.
• 8 Gruber C. M. Interpreting medical data. A. M. A. Arch. Int. Med 1956; 98: 767-773.
• 9 Jessel U. Probleme der meteorobiologischen Statistik. Med. Habil. Schrift. Kiel. 1957
• 10 Lienert G. A. Verteilungsfreie Methoden in der Biostatistik. Meisenheim a. G: Anton Hain; 1962
• 11 Lilienfeld A. M, Graham S. Validity of determining circumcision status by questionnaire as related to epidemiological studies of cancer of the cervix. J. Nat. Cancer Inst 1958; 21: 713-720.
• 12 Proppe A, Bertram G. Bemerkungen zum Wilder’schen Ausgangswertgesetz. Strahlenther 1952; 55: 573-596.
• 13 Proppe A, Fabry H. Zur Kritik der Beurteilung serologischer Reaktionen in der Praxis. Ärztl. Wschr 1955; 10: 725-731.
• 14 Proppe A, Wagner G. Über die Zuverlässigkeit medizinischer Dokumente und Befunde. Med. Sachverständ 1956; 52: 121-127.
• 15 Rogot E. A note on measurement errors and detecting real differences. J. Amer. Statist. Ass 1961; 56: 314-319.
• 16 Wachholder K. Die Variabilität des Lebendigen. Naturwiss 1952; 39: 177-184. and 195–198
• 17 Wagner G. Einige psychologisch bedingte Fehler bei haematologischen Routineuntersuchungen. Med. Klin 1952; 52: 1725-1727.
• 18 Wagner G. Über das Testen der Zuverlässigkeit von Laboratoriumsmethoden und – befunden. Med. Dok 1961; 5: 21-26.
• 19 Wagner G. Möglichkeiten und Grenzen moderner Dokumentationsmethoden in der Klinik. Ärztl. Forsch 1963; 17: 432-441.
• 20 Wagner G, Stutzer G. Über die Selektivität der sog. I-Zahl im “Allgemeinen Krankenblattkopf” und die Brauchbarkeit ihrer einzelnen Komponenten. Meth. Inform. Med 1963; 2: 148-155.
• 21 Yerushalmy J. Statistical problems in assessing methods of medical diagnosis with special reference to X-ray techniques. Publ. Health Rep 1947; 62: 1432-1449.
• 22 Yerushalmy J. Letter to the Editor. Lancet, June 28. 1956
• 23 Yerushalmy J, Harkness J. T, Cope J. H, Kennedy B. R. The role of dual reading in mass radiography. Amer. Rev. Tbc 1950; 61: 443-464.