Diagnostic Performance of a Commercially Available Computer-aided Diagnosis System for Automatic Detection of Pulmonary Nodules: Comparison with Single and Double Reading

Zusammenfassung

Ziel: Bestimmung der diagnostischen Leistungsfähigkeit eines kommerziellen Computer-Aided Diagnosis (CAD)-Systems zur automatischen Detektion von Lungenrundherden bei Mehrdetektor-CT-(MDCT)-Untersuchungen im Vergleich zur ärztlichen Einzel- und Doppelbefundung. Material und Methoden: Ein CAD-System (Siemens LungCare NEV VB10) wurde bei neun Patienten mit Lungenmetastasen auf MDCT-Untersuchungen angewandt und die automatisch detektierten Rundherde mit den Befunden dreier Radiologen verglichen (ein positives Votum der Ethikkommission und die Genehmigung der zuständigen Behörde lagen vor). Der Referenzstandard bestand aus 457 Herden. Dieser wurde gebildet durch die Vereinigung der Mengen der gefundenen Herde dreier Radiologen auf zeitgleich akquirierten Niedrigdosis- und Standarddosis-CTs sowie der Menge der durch das CAD-System detektierten Herde. Falsch positive Befunde wurden aus dem Referenzstandard eliminiert. Ergebnisse: Bei Einzelbefundung durch einen Radiologen ergab sich eine mittlere Sensitivität von 54 %, die Sensitivität des CAD-Systems lag bei 55 %. Ärztliche Doppelbefundung führte zu einer signifikanten Steigerung der Sensitivität auf 67 % (p < 0,001). Der Einsatz von CAD als „second opinion” für einen einzelnen Befunder steigerte die Sensitivität wiederum signifikant gegenüber der ärztlichen Doppelbefundung auf 79 % (p < 0,001). Schlussfolgerung: Der Einsatz von CAD als „second opinion” ergab eine bessere Detektion von Rundherden im MDCT im Vergleich zur konventionellen Einzel- oder Doppelbefundung.

Abstract

Objective: To assess the diagnostic performance of a commercially available computer-aided diagnosis (CAD) system for automatic detection of pulmonary nodules with multi-row detector CT scans compared to single and double reading by radiologists. Materials and Methods: A CAD system for automatic nodule detection (Siemens LungCare NEV VB10) was applied to four-detector row low-dose CT (LDCT) performed on nine patients with pulmonary metastases and compared to the findings of three radiologists. A standard-dose CT (SDCT) was acquired simultaneously and used for establishing the reference data base. The study design was approved by the Institutional Review Board and the appropriate German authorities. The reference data base consisted of 457 nodules (mean size 3.9 ± 3.1 mm) and was established by fusion of the sets of nodules detected by three radiologists independently reading LDCT and SDCT and by CAD. An independent radiologist used thin slices to eliminate false positive findings from the reference base. Results: An average sensitivity of 54 % (range 51 % to 55 %) was observed for single reading by one radiologist. CAD demonstrated a similar sensitivity of 55 %. Double reading by two radiologists increased the sensitivity to an average of 67 % (range 67 % to 68 %). The difference to single reading was significant (p < 0.001). CAD as second opinion after single reading increased the sensitivity to 79 % (range 77 % to 81 %), which proved to be significantly better than double reading (p < 0.001). CAD produced more false positive results (7.2 %) than human readers but it was acceptable in clinical routine. Conclusion: Double reading with CAD as second reader offered a significantly increased sensitivity compared to conventional double reading. Thus, CAD is a valuable tool for the detection of pulmonary nodules and should be used as second opinion.

Key words

Computed tomography (CT) - Lung, nodule - Computer, diagnostic aid

References

• 1 Diederich S, Wormanns D, Heindel H. Radiologisches Screening des Bronchialkarzinoms: Aktueller Stand und zukünftige Perspektiven.  Fortschr Röntgenstr. 2001;  173 873-882
• 2 Swensen S J, Jett J R, Sloan J A. et al . Screening for lung cancer with low-dose spiral computed tomography.  Am J Respir Crit Care Med. 2002;  165 508-513
• 3 Yankelevitz D F, Reeves A P, Kostis W J. et al . Small pulmonary nodules: volumetrically determined growth rates based on CT evaluation.  Radiology. 2000;  217 251-256
• 4 Takashima S, Sone S, Li F. et al . Indeterminate solitary pulmonary nodules revealed at population-based CT screening of the lung: using first follow-up diagnostic CT to differentiate benign and malignant lesions.  Am J Roentgenol. 2003;  180 1255-1263
• 5 Seltzer S E, Judy P F, Adams D F. et al . Spiral CT of the chest: comparison of cine and film-based viewing.  Radiology. 1995;  197 73-78
• 6 Diederich S, Semik M, Lentschig M G. et al . Helical CT of pulmonary nodules in patients with extrathoracic malignancy: CT-surgical correlation.  Am J Roentgenol. 1999;  172 353-360
• 7 Kozuka T, Johkoh T, Hamada S. et al . Detection of pulmonary metastases with multi-detector row CT scans of 5-mm nominal section thickness: autopsy lung study.  Radiology. 2003;  226 231-234
• 8 Wormanns D, Fiebich M, Saidi M. et al . Automatic detection of pulmonary nodules at spiral CT: clinical application of a computer-aided diagnosis system.  Eur Radiol. 2002;  12 1052-1057
• 9 Armato S G, Li F, Giger M L. et al . Lung cancer: performance of automated lung nodule detection applied to cancers missed in a CT screening program.  Radiology. 2002;  225 685-692
• 10 Li F, Sone S, Abe H. et al . Lung cancers missed at low-dose helical CT screening in a general population: comparison of clinical, histopathologic, and imaging findings.  Radiology. 2002;  225 673-683
• 11 Achenbach T, Vomweg T, Heussel C P. et al . Computerunterstützte Diagnostik in der Thoraxradiologie - aktuelle Schwerpunkte und Techniken.  Fortschr Röntgenstr. 2003;  175 1471-1481
• 12 Novak C, Qian J, Fan L. et al . Interobserver variations on interpretation of multislice CT lung cancer screening studies, and the implications for computer-aided diagnosis.  Proc SPIE. 2002;  4686 68-79
• 13 Awai K, Murao K, Ozawa A. et al . Pulmonary nodules at chest CT: effect of computer-aided diagnosis on radiologists’ detection performance.  Radiology. 2004;  230 347-352
• 14 Remy-Jardin M, Remy J, Gosselin B. et al . Sliding thin slab, minimum intensity projection technique in the diagnosis of emphysema: histopathologic-CT correlation.  Radiology. 1996;  200 665-671
• 15 Eibel R, Türk T R, Kulinna C. et al . Mehrschicht-Spiral-CT der Lunge: Multiplanare Rekonstruktionen und Maximum-Intensitäts-Projektionen in der Detektion von Lungenrundherden.  Fortschr Röntgenstr. 2001;  173 815-821

1 Beide Autoren haben im gleichen Maße zur Publikation beigetragen.