Guidelines, Clinical Practice Recommendations, Position Papers and Consensus Statements: Definition, Preparation, Role and Application

Daily clinical decisions at the bedside, rules of operation at hospitals and clinics, and health spending by governments and insurers have become more and more influenced by clinical practice guidelines (CPGs) in last years [1]. Moreover CPGs are increasingly the final argument against or in favour of physicians in medical malpractice litigation. Therefore, addressing the issue of CPGs quality is now unavoidable for many specialties [2] [3] [4] [5] [6] [7].

To this end, editorial teams of medical scientific journals have a key role in keeping and improving the quality of new CPGs [8] [9] [10]. Unfortunately editorial teams, particularly those belonging to subspeciality societies, may not be aware of such responsibility and may be more prone to publish CPGs without peer review [9], being exposed to an increased risk of low quality CPGs.

According to the Institute of Medicine [11], CPGs are “statements that include recommendations intended to optimize patient care that are informed by a systematic review of evidence and an assessment of the benefits and harms of alternative care options”. CPGs are intended to reduce inappropriate variations in clinical care, minimize harm, promote cost-effective practice, and produce optimal health outcomes for patients, and recommendations are the guideline components that are intended to influence practitioner and patient behaviour [12].

We would like to focus here on some critical steps contributing to produce guidelines and clinical practice recommendations of high quality, and to highlight some of them as a support to the ongoing works of the European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB), and its federated societies.

CPGs should be systematically developed, and should report both the quality of evidence foundations and the strength of recommendations. The systems for rating quality of evidence and strength of recommendations vary somewhat according to the different bodies releasing the guidelines.

For instance, the U. S. Preventive Services Task Force (USPSTF) [13] grades the quality of the overall evidence for a service on a 3-point scale (good, fair, and poor), and describes the strength of recommendations according to five levels, from A (i. e. a level according to which the USPSTF recommends that service: there is high certainty that the net benefit is substantial) to D (the USPSTF recommends against that service: there is moderate or high certainty that the service has no net benefit or that the harms outweigh the benefits). Moreover, an “I statement” is used when the “current evidence is insufficient to assess the balance of benefits and harms of the service; evidence is lacking, of poor quality, or conflicting, and the balance of benefits and harms cannot be determined”.

Conversely, since 2009 the English National Institute for Health and Care Excellence (NICE) adopted the Grades of Recommendation Assessment, Development and Evaluation Working Group (GRADE) system [14], grading the quality of evidence as high, moderate, low, and very low for a particular outcome across studies [15]. Despite randomized controlled trials tend to correspond to a high level of evidence, and observational studies to low, the GRADE system encompasses factors that can lower and factors that can increase the rating of the quality of evidence. For instance, grading upwards of an observational study (for example, a cohort or case-control study) may be warranted if the magnitude of the treatment effect is very large (such as severe hip osteoarthritis and hip replacement), if there is evidence of a dose-response relation or if any plausible bias would decrease, rather than increase, the magnitude of the treatment effect [16]. The GRADE system offers two grades of recommendations

• strong recommendation: when the desirable effects of an intervention clearly outweigh the undesirable effects, or clearly do not

• weak recommendation: when the trade-offs are less certain either because of low quality evidence or because evidence suggests that desirable and undesirable effects are closely balanced [16].

In keeping with the different possible approaches, it is recommended that each CPG specifies how the evidence was searched and graded, and how the recommendations were formulated, as EFSUMB did in the non hepatic applications of contrast enhanced ultrasound [17].

Regardless of the grading system adopted, trustful CPGs should be systematically and transparently developed. Recognized and detailed standards for CPGs development have been established, like those issued by government agencies (e. g. the USPSTF, the NICE) or professional organizations (e. g., American College of Chest Physicians, American College of Cardiology and American Heart Association). Moreover, in recent times the GRADE has become a reference for health organizations (first of all the World Health Organization), medical journals (e. g. British Medical Journal), and professional organizations. In particular, two recent studies disclosed the benefits of the use of the GRADE system on quality of the newly released CPGs [4] [7] issued by both the American Association for the Study of Liver Diseases and the European Association for the Study of the Liver.

A further useful reference is the AGREE II [18], a 23-item checklist comprising 6 quality domains that help “guidelines developers to follow a structured and rigorous development methodology, to conduct an internal assessment to ensure that their guidance are sound, or to evaluate guidelines from other groups for potential adaptation to their own context”. AGREE II is a reliable tool widely used in the assessment of methodological rigor and transparency of CPG development [7], and can be used also by healthcare providers who wish to undertake their own assessment of a guideline [18].

Whenever acknowledged development standards could not be proven, the journal should be concerned to accept the article under the term of “guideline” or “clinical practice recommendations”.

On the other hand, we recall here that there are several documents, such as the “position papers”, and the “consensus” or “scientific statements”, which aim to support healthcare providers’ decision-making when the amount and/or quality of available evidence prevent to develop a CPG.

A position paper designates a detailed policy report that usually explains, justifies, or suggests a particular course of action. It therefore contains also background information and discussion in order to provide a more complete understanding of the issues involved, and the rationale behind the position set forth [19]. Clearly the strength of a position paper is related to that of the scientific body releasing it.

A consensus statement is the product developed by an independent panel of experts, usually multidisciplinary, convened to review the research literature for the purpose of advancing the understanding of an issue, procedure, or method. It might not have a specific institutional scientific body behind despite often it is the case. At last a scientific statement represents the collective opinions of the convened expert panel [20].

The value of panel multidisciplinarity should be remarked. According to Bolondi [21], all documents providing recommendations reflect the minds of the authors and their differing clinical -and technical- expertise. Indeed, converting data into recommendations requires subjective judgements [10]. To avoid biased views in formulation of recommendations, multispecialty panels should include generalists and methodologists, because they possess different approaches to the same clinical problem in comparison to speciality experts, usually working in tertiary referral centre environments. Such panels should also include either patients or patient representative, because they offer different perspectives from those of clinicians and scientists [10]. Methodologists and patients’ representatives could also mitigate the influence of conflicts of interest among clinician members [9].

Regardless of whether the document is formally a CPG or not, medical journals should ask authors to disclose any financial conflict of interest. Norris and colleagues [22] systematically reviewed published studies addressing prevalence and effects of conflicts of interest on guidelines development. They found that from 56 % to 87 % of guidelines had authors with possible conflicts of interest with industry (consultancies, research support, equity/stock ownership). There are few data on the effect of conflicts of interest on clinical recommendations and probably they are unavoidable. However, a full transparency should be considered mandatory and could help mitigate subtle biases.

Expert panels members should also be aware of intellectual conflicts of interest, which could affect researchers or reviewers too. Intellectual conflicts of interest are defined as “academic activities that create the potential for an attachment to a specific point of view that could unduly affect an individual’s judgment about a specific recommendation” [23]. According to Levinsky [24], such interests are appropriate in themselves, but may conflict with the interests of research subjects and patients, and being more subtle and yet more pervasive than financial conflicts of interest they cannot be eliminated. A strategy encompassing a pivotal involvement of independent methodologists [23] has been recently adopted by the executive committee for the American College of Chest Physicians’ Antithrombotic Guidelines [25] in order to manage both financial and intellectual conflicts of interest.

Finally, according to the Institute of Medicine [11], the CPG publication date, date of pertinent systematic evidence review, and proposed date for future CPG review should be documented in the CPG. Concerning updating policies, an interval of 5 years is adopted by the USPSTF, and to remain in the National Guidelines Clearinghouse a CPG must be updated at least every 5 years. As general rule, CPGs should be updated when new evidence suggests the need for modification of clinically important recommendations [11].

Appropriate clinical practice recommendations may contribute to spread valid techniques, illustrating their appropriate use. In fields where enough evidence lacks, not evidence based documents, such as position papers, consensus / scientific statements may contribute. Worth to remind that lack of evidence for a certain effect does not equal evidence of lack of effect. In fact, in some fields much less efforts were devoted to produce such evidence, due to inherent difficulties, such as lack of financial support, hard to obtain gold standards, rarity of disease. Some of these instances stand particularly true in diagnostic investigations, such as ultrasonography, if compared to pharmaceutical studies.

Most, but not all of the above mentioned concepts were in the minds of the expert panels which contributed to produced EFSUMB clinical practice recommendations in recent years.

An effort is now recommended to improve the quality of future CPGs, which will be extended to additional ultrasound related fields and will include renewal of the currently available documents [17] [26] [27] [28] as soon as updates will become necessary on the basis of rapidly accumulating new scientific evidence.

Die täglichen klinischen Entscheidungen am Krankenbett, die Regeln für Operationen in Krankenhäusern und Kliniken und die Gesundheitsvorsorge der Regierungen und Versicherer werden in den letzten Jahren immer häufiger von medizinischen Leitlinien (clinical practice guidelines = CPGs) beeinflusst [1]. Darüber hinaus sind Leitlinien in zunehmendem Maße bei Rechtsstreitigkeiten aufgrund ärztlicher Fehlbehandlung das ausschlaggebende Argument gegen oder für den Arzt. Deshalb ist die Qualität von Leitlinien mittlerweile ein unvermeidliches Thema in vielen Fachgebieten [2] [3] [4] [5] [6] [7].

Hierbei haben die Redaktionen der medizinischen Fachzeitschriften eine Schlüsselrolle was die Einhaltung und Verbesserung der Qualität neuer medizinischer Leitlinien anbelangt [8] [9] [10]. Leider kann manchen Redaktionen, insbesondere denen, die stärker spezialisierten Gesellschaften angehören, eine derartige Verantwortung weniger bewusst sein und sie sind eher versucht, Leitlinien ohne Peer-Review-Prozess zu publizieren [9], womit ein höheres Risiko für Leitlinien mit schlechter Qualität einhergeht. Entsprechend dem „Institute of Medicine“ [11] sind Leitlinien „Stellungnahmen, die Empfehlungen zur Optimierung der Patientenversorgung beinhalten, die ihre Informationen aus einer evidenzbasierten systematischen Recherche und der Bewertung des Nutzens und der Nachteile von alternativen Behandlungsmethoden beziehen“. Das Ziel von Leitlinien ist die Vermeidung unangemessener Behandlungsoptionen, die Minimierung von Schäden, die Förderung der kosteneffizienten Praxis und die Erzielung des optimalen medizinischen Behandlungserfolges beim Patienten. Die Empfehlungen als Bestandteile der Leitlinien sollen Auswirkungen auf das Verhalten von Praktikern und Patienten haben [12].

Wir möchten unser Augenmerk auf einige kritische Schritte richten, die dazu beitragen Leitlinien und ärztliche Handlungsempfehlungen von hoher Qualität zu entwickeln und wollen einige davon besonders hervorheben, um die laufenden Arbeiten der „European Federation of Societies for Ultrasound in Medicine and Biology“ (EFSUMB) und der ihnen angeschlossenen Gesellschaften zu unterstützen.

Leitlinien sollten systematisch entwickelt werden und sollten sowohl über die Qualität der Evidenzbasierung als auch über die Stärke der Empfehlungen Aufschluss geben. Die Systeme zur Einstufung der Qualität der Evidenz und der Stärke der Empfehlungen unterscheiden sich ein wenig entsprechend der unterschiedlichen Komitees, die diese Leitlinien erlassen.

So stuft zum Beispiel die „U. S. Preventive Services Task Force“ (USPSTF) [13] die Qualität der Gesamtevidenz für eine Leistung mit einer 3-Punkte-Skala ein (gut, ausreichend, schlecht) und beschreibt die Stärke der Empfehlung mit fünf Stufen von A (z. B. die Stufe, bei der die USPSTF folgende Maßnahme empfiehlt: mit hoher Wahrscheinlichkeit ist der reine Nutzen erheblich) bis zu D (die USPSTF empfiehlt diese Maßnahme nicht: es besteht eine mittlere bis hohe Wahrscheinlichkeit, dass die Maßnahme keinen reinen Nutzen hat oder dass die Nachteile im Vergleich zum Nutzen überwiegen). Zudem gibt es ein „I-Statement“ („die gegenwärtige Beweislage reicht nicht aus, um Nutzen und Risiken der Maßnahme abzuwägen; ein Beweis fehlt, dieser weist eine zu geringe Qualität auf oder ist widersprüchlich, und eine Abwägung von Nutzen und Risiken kann nicht erfolgen“).

Im Gegensatz dazu hat das „English National Institute for Health and Care Excellence“ (NICE) seit 2009 das System “Grades of Recommendation Assessment, Development and Evaluation Working Group” (GRADE) [14] eingeführt, das die Qualität der Evidenz in Bezug auf bestimmte Resultate über verschiedene Studien hinweg als hoch, moderat, niedrig und sehr niedrig einstuft [15]. Obwohl randomisierte, kontrollierte Studien eher zu einem höheren und Beobachtungsstudien zu einem eher niedrigen Evidenzgrad tendieren, umschließt das GRADE-System Faktoren, die die Evidenzqualität senken und solche, die sie steigern können. So kann zum Beispiel die höhere Einstufung einer Beobachtungsstudie (zum Beispiel einer Kohorten- oder Fallkontrollstudie) gerechtfertigt sein, wenn das Ausmaß des Behandlungserfolgs sehr hoch ist (wie bei schwerer Hüftarthrose und Einsatz einer künstlichen Hüfte), wenn eine dosisabhängige Beziehung bewiesen wurde oder es irgendeinen erklärbaren systematischen Fehler (= Bias) gibt, der den Gesamttherapieeffekt eher verringern als vergrößern würde [16]. Das GRADE-System gibt zwei Empfehlungsstufen an

• Hohe Empfehlung: wenn die wünschenswerten Behandlungsfolgen mit hoher Wahrscheinlichkeit potenzielle unerwünschte Effekte überwiegen oder wenn sie eindeutig nicht tun.

• Abgeschwächte Empfehlung: Wenn die Kompromisse weniger deutlich sind, entweder durch geringere Qualität der Evidenz oder weil erwiesen wurde, dass sich die erwünschten und unerwünschten Effekte eng angleichen [16].

In Übereinstimmung mit den verschiedenen möglichen Einsatzgebieten wird empfohlen, dass jede Leitlinie genau darlegt, wie die Evidenz ermittelt und eingestuft wurde und wie die Empfehlungen erstellt wurden, so wie es die EFSUMB bei der Leitlinie zur extrahepatischen Anwendung von Ultraschallkontrastmitteln gemacht hat [17].

Unabhängig vom durchgeführten Graduierungssystem sollten verlässliche Leitlinien systematisch und transparent entwickelt werden. Anerkannte und detaillierte Standards zur Leitlinienentwicklung wurden eingeführt, wie zum Beispiel die der Regierungsbehörden (z. B. USPSTF, NICE) oder der beruflichen Fachorganisationen (z. B. „American College of Chest Physicians“, „American College of Cardiology and American Heart Association“). Darüber hinaus wurde in letzter Zeit das GRADE-System eine Referenz für Gesundheitsorganisationen (in erster Linie die WHO), medizinische Fachzeitschriften (z. B. das British Medical Journal) und für berufliche Verbände. Insbesondere zwei aktuelle Studien beleuchten den Wert des GRADE-Systems für die Qualität neu erlassener Leitlinien [4] [7], die sowohl bei der „American Association for the Study of Liver Diseases“ und bei der “European Association for the Study of the Liver“ erschienen.

Eine weitere nützliche Referenz stellt AGREE II dar [18], eine 23-Punkte-Checkliste bestehend aus 6 Qualitätskriterien, die „den Leitlinienentwicklern helfen soll, bei der internen Bewertung einer strukturierten und strengen Methodik zu folgen, um zu gewährleisten, dass deren Handlungsempfehlung begründet ist oder um die Leitlinien anderer Gruppen für eine mögliche Adaption im eigenen Kontext zu bewerten“. AGREE II ist ein verlässliches Instrumentarium, das für die Bewertung von methodischer Präzision und Transparenz bei der Leitlinienentwicklung häufig verwendet wird [7] und es kann auch von Gesundheitsdienstleistern genutzt werden, die eine eigenständige Bewertung von Leitlinien durchführen wollen [18].

Immer, wenn keine anerkannten Entwicklungsstandards nachgewiesen werden können, sollte sich eine Fachzeitschrift darüber Gedanken machen, ob der Artikel unter dem Begriff „Leitlinie“ oder „Empfehlungen für die gute klinische Praxis“ akzeptiert werden kann. Andererseits wollen wir daran erinnern, dass es bestimmte Schriftstücke gibt, wie etwa Thesenpapiere, Konsensus- oder wissenschaftliche Stellungnahmen, deren Ziel darin besteht, den Gesundheitsdienstleistern die Entscheidungsfindung zu erleichtern, wenn die Menge und/oder Qualität der verfügbaren Evidenz nicht ausreicht, um eine Leitlinie zu erstellen.

Ein Thesenpapier bezeichnet ein ausführliches Strategieprotokoll, welches gewöhnlich eine bestimmte Vorgehensweise erklärt, rechtfertigt oder vorschlägt. Daher beinhaltet es auch Hintergrundinformationen und eine Diskussion, um ein besseres Verständnis für die betreffende Thematik zu schaffen und die Gründe für die Haltung zu erläutern [19]. Eindeutig ist die Stärke eines Thesenpapiers abhängig vom wissenschaftlichen Fachgremium, das dieses erlässt.

Eine Konsensusstellungnahme wird durch ein unabhängiges, in der Regel fachübergreifendes Expertengremium entwickelt, das wissenschaftliche Publikationen prüft, um zunehmende Erkenntnisse über ein Fachgebiet, eine Maßnahme oder eine Methode zu gewinnen. Dahinter muss nicht immer ein institutionelles medizinisches Fachgremium stehen, was allerdings oft der Fall ist. Letztendlich repräsentiert die wissenschaftliche Stellungnahme die gemeinsamen Meinungen des einberufenen Fachgremiums [20].

Der Wert der Multidisziplinarität des Gremiums sollte hervorgehoben werden. Nach Bolondi [21] spiegeln alle Dokumente, die Empfehlungen ausgeben, die Meinungen der Autoren wider sowie deren unterschiedliche klinische – und technische – Expertise. Tatsächlich sind für die Umsetzung von Daten in Empfehlungen subjektive Beurteilungen erforderlich [10]. Um bei der Formulierung der Empfehlungen fehlerhafte Sichtweisen zu vermeiden, sollten Gremien mit vielen Fachrichtungen Generalisten und Methodiker einschließen, da diese im Gegensatz zu den Fachexperten eine andere Herangehensweise an dasselbe klinische Problem haben und in der Regel im Bereich der tertiären Versorgungszentren tätig sind. Solche Gremien sollten auch Patienten oder Patientenvertreter einschließen, da diese ganz andere Perspektiven als Mediziner und Wissenschaftler einnehmen [10]. Methodiker und Patientenvertreter könnten auch den Einfluss der Interessenkonflikte zwischen den Klinikvertretern abschwächen [9].

Unabhängig davon, ob das Dokument nun formell eine Leitlinie ist oder nicht, sollten die medizinischen Fachzeitschriften von den Autoren eine Erklärung über finanzielle Interessenskonflikte anfordern. Norris und Kollegen [22] unterzogen veröffentlichte Studien einer systematischen Überprüfung unter dem Gesichtspunkt der Häufigkeit von Interessenskonflikten und deren Auswirkung auf die Leitlinienentwicklung. Sie zeigten, dass zwischen 56 und 87 % der Leitlinien von Autoren stammen, die mögliche Interessenskonflikte mit der Industrie hatten (Beratungstätigkeiten, Forschungshilfen, Firmen-/Aktien-Eigentümerschaft). Es gibt nur wenige Daten über die Auswirkungen von Interessenskonflikten auf klinische Empfehlungen und möglicherweise sind diese unvermeidbar. Allerdings sollte eine völlige Transparenz als verpflichtend angesehen werden und diese kann dazu beitragen, einen subtilen Bias abzuschwächen. Die Mitglieder der Fachgremien sollten sich auch über intellektuelle Interessenskonflikte im Klaren sein, die Wissenschaftler oder Gutachter ebenfalls beeinflussen könnten. Als intellektuelle Interessenskonflikte definieren sich „akademische Tätigkeiten, die das Potenzial mit sich bringen, einer spezifischen Meinung verbunden zu sein, die die persönliche Urteilsfähigkeit im Hinblick spezifischen Empfehlung unangemessen beeinflussen.“ [23]. Nach Levinsky [24] sind solche Interessen an sich unangemessen, aber sie können in Widerspruch zu den Belangen von Forschern oder Patienten stehen. Darüber hinaus können sie nicht eliminiert werden, da sie noch subtiler und weiter verbreitet sind als finanzielle Interessenkonflikte. Eine Strategie zur Bewältigung finanzieller und intellektueller Interessenkonflikte durch die zentrale Einbeziehung von unabhängigen Methodikern [23] wurde kürzlich vom Exekutivkomitee des „American College of Chest Physicians“ bei den Antithrombose-Leitlinien angewandt [25].

Schließlich sollte gemäß dem „Institute of Medicine“ [11] das Datum der Veröffentlichung einer Leitlinie, das Datum der relevanten systematischen evidenzbasierten Begutachtung und der geplante Termin für eine Überarbeitung und Neuauflage der Leitlinie in derselbigen dokumentiert werden. Als Richtlinie für ein Update setzt die USPSTF einen Zeitraum von 5 Jahren fest und für einen Verbleib der Leitlinien im „National Guideline Clearinghouse“ müssen diese spätestens alle 5 Jahre überarbeitet werden. Als allgemeine Regel sollten Leitlinien immer überarbeitet werden, wenn eine neue Beweislage die Modifikation wichtiger ärztlicher Handlungsempfehlungen erforderlich macht [11].

Angemessene Empfehlungen für die gute klinische Praxis können zur Verbreitung wertvoller Techniken beitragen, indem sie deren bestimmungsgemäßen Einsatz darstellen. Auf Gebieten, in denen ausreichende Beweise fehlen, es keine evidenzbasierten Dokumente gibt, da können Thesenpapiere, Konsensus- oder wissenschaftliche Stellungnahmen ihren Beitrag leisten. Es ist wichtig daran zu erinnern, dass ein Fehlen eines Beweises für einen bestimmten Effekt, nicht gleichbedeutend damit ist, dass der Effekt nicht bewiesen werden kann. In der Tat wurden auf bestimmten Gebieten, aufgrund von inhiirenten Schwierigkeiten wie der fehlenden finanziellen Unterstützung. der Schwierigkeit einen Goldstandard zu erhalten und der Seltenheit der Erkrankung sehr viel weniger Anstrengungen unternommen. Einige dieser Fälle bleiben sich vor allem bei der diagnostischen Forschung treu, wie z. B. in der Ultrasonografie, wenn man sie mit pharmazeutischen Studien vergleicht.

Die meisten, aber nicht alle dieser zuvor erwähnten Konzepte sind den Fachgremien bewusst, die in den letzten Jahren zu den klinisch-praktischen Leitlinien der EFSUMB beigetragen hatten.

Die Bemühungen sind nun auf die Verbesserung der Qualität zukünftiger Leitlinien gerichtet, die sich auf zusätzliche sonografisch relevante Gebiete erstreckt und die Erneuerung der gegenwärtig verfügbaren Dokumente [17] [26] [27] [28] einschließt, sobald Überarbeitungen auf Basis der sich schnell ansammelnden wissenschaftlichen Evidenz erforderlich sind.

• References

• 1 Woolf SH, Grol R, Hutchinson A et al. Clinical guidelines: potential benefits, limitations, and harms of clinical guidelines. BMJ 1999; 318: 527-530
• 2 Tricoci P, Allen JM, Kramer JM et al. Scientific evidence underlying the ACC/AHA clinical practice guidelines. JAMA 2009; 301: 831-841
• 3 Lee DH, Vielemeyer O. Analysis of overall level of evidence behind Infectious Diseases Society of America practice guidelines. Arch Intern Med 2011; 171: 18-22
• 4 Rowe IA, Parker R, Armstrong MJ et al. Assessment of the quality of evidence underlying international guidelines in liver disease. Am J Gastroenterol 2012; 107: 1276-1282
• 5 Feuerstein JD, Gifford AE, Akbari M et al. Systematic analysis underlying the quality of the scientific evidence and conflicts of interest in gastroenterology practice guidelines. Am J Gastroenterol 2013; 108: 1686-1693
• 6 Hazlehurst JM, Armstrong MJ, Sherlock M et al. A comparative quality assessment of evidence-based clinical guidelines in endocrinology. Clin Endocrinol (Oxf) 2013; 78: 183-190
• 7 Koh C, Zhao X, Samala N et al. AASLD clinical practice guidelines: a critical review of scientific evidence and evolving recommendations. Hepatology 2013; 58: 2142-2152
• 8 Grilli R, Magrini N, Penna A et al. Practice guidelines developed by specialty societies: the need for a critical appraisal. Lancet 2000; 355: 103-106
• 9 Kung J, Miller RR, Mackowiak PA. Failure of clinical practice guidelines to meet institute of medicine standards: Two more decades of little, if any, progress. Arch Intern Med 2012; 172: 1628-1633
• 10 Shaneyfelt T. In guidelines we cannot trust. Arch Intern Med 2012; 172: 1633-1634
• 11 Clinical Practice Guidelines We Can Trust. Graham R, Mancher M, Wolman DM, Greenfield S and Steinberg E, Editors, The National Academies Press; Washington, D.C.; 2011
• 12 American Academy of Pediatrics Steering Committee on Quality Improvement and Management. Classifying recommendations for clinical practice guidelines. Pediatrics 2004; 114: 874-877
• 13 U. S. Preventive Services Task Force website. Available at http://www.uspreventiveservicestaskforce.org/index.html Accessed 2014 July 24
• 14 GRADE Working Group website. Available at http://www.gradeworkinggroup.org/index.htm Accessed 2014 July 24
• 15 National Institute for Health and Care Excellence. The guidelines manual. 2012 http://publications.nice.org.uk/pmg6
• 16 Guyatt GH, Oxman AD, Vist GE et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 2008; 336: 924-926
• 17 Piscaglia F, Nolsoe C, Dietrich CF et al. The EFSUMB Guidelines and Recommendations on the Clinical Practice of Contrast Enhanced Ultrasound (CEUS): update 2011 on non-hepatic applications. Ultraschall in Med 2012; 33: 33-59
• 18 Appraisal of Guidelines Research and Evaluation website. Available at: www.agreetrust.org Accessed 2014 July 24
• 19 American Academy of Family Physicians. Definitions for Policy Statement, Position Paper and Discussion Paper. Available at: http://www.aafp.org/about/policies/all/policy-definitions.html Accessed 2014 July 24
• 20 American College of Chest Physicians. Consensus Statement Development Guide. Available at: http://www.accpstorage.org/newOrganization/guidelines/ConsensusGuide.pdf Accessed 2014 July 24
• 21 Bolondi L. The appropriate allocation of CEUS in the diagnostic algorithm of liver lesions: a debated issue. Ultraschall in Med 2013; 34: 8-10
• 22 Norris SL, Holmer HK, Ogden LA et al. Conflict of interest in clinical practice guideline development: a systematic review. PLoS One 2011; 6: e25153
• 23 Guyatt G, Akl EA, Hirsh J et al. The vexing problem of guidelines and conflict of interest: a potential solution. Ann Intern Med 2010; 152: 738-741
• 24 Levinsky NG. Nonfinancial conflicts of interest in research. N Engl J Med 2002; 347: 759-761
• 25 Guyatt GH, Akl EA, Crowther M et al. Executive summary: Antithrombotic Therapy and Prevention of Thrombosis, 9th ed: American College of Chest Physicians Evidence-Based Clinical Practice Guidelines. Chest 2012; 141: 7S-47S
• 26 Cosgrove D, Piscaglia F, Bamber J et al. EFSUMB guidelines and recommendations on the clinical use of ultrasound elastography. Part 2: Clinical applications. Ultraschall in Med 2013; 34: 238-253
• 27 Claudon M, Dietrich CF, Choi BI et al. Guidelines and good clinical practice recommendations for contrast enhanced ultrasound (CEUS) in the liver--update 2012: a WFUMB-EFSUMB initiative in cooperation with representatives of AFSUMB, AIUM, ASUM, FLAUS and ICUS. Ultraschall in Med 2013; 34: 11-29
• 28 Bamber J, Cosgrove D, Dietrich CF et al. EFSUMB guidelines and recommendations on the clinical use of ultrasound elastography. Part 1: Basic principles and technology. Ultraschall in Med 2013; 34: 169-184