Fortschr Röntgenstr 2013; 185(8): 697-698
DOI: 10.1055/s-0033-1350348
Editorial
© Georg Thieme Verlag KG Stuttgart · New York

Spiel ohne Regeln: Das System „Impact Factor“

A Game without Rules: the Impact Factor System
Further Information

Publication History

Publication Date:
30 July 2013 (online)

Eigentlich hatten wir vor, Ihnen an dieser Stelle routinemäßig den Journal Impact Factor 2012 der RöFo mitzuteilen. Routinemäßig – denn auch wir haben bisher regelmäßig am Impact-Factor-Spiel [1] teilgenommen und haben uns dem System „Impact Factor“ unterworfen. Eigentlich – denn einige von Ihnen haben es bereits mit Verwunderung zur Kenntnis genommen: Es gibt ihn nicht, den Journal Impact Factor 2012, zumindest nicht für die RöFo.

Thomson Reuters hat im Juni 2013 die RöFo ohne Ankündigung aus dem Journal Citation Report® genommen [2]. Ein Wirtschaftsunternehmen im Heimatland des Impact Factors hat damit eine einsame Entscheidung getroffen, die Auswirkungen auf die radiologische Forschung, Wissenschaft und Industrie im Geburtsland der Radiologie hat.

Die RöFo als die führende radiologische Zeitschrift im deutschsprachigen Raum und als Spiegel der Radiologie in der gesamten Region hätte im Jahr 2011 einen Impact Factor von 3,075 gehabt, wenn Thomson Reuters die Artikel das ganze Jahr über einheitlich und richtig ausgezählt hätte. Stattdessen publiziert Thomson Reuters Mitte 2012 den Impact Factor 2011 der RöFo mit 2,758 und moniert Mitte 2013 – ein ganzes Jahr später – für den gleichen Zeitraum 2011 einen angeblich zu hohen Eigenzitatanteil. Letzteres überrascht besonders, weil es zu den Qualitätskriterien einer wissenschaftlichen Zeitschrift gehört, dass alle relevanten Arbeiten zitiert werden, und weil sich diese Zitate bei der führenden Zeitschrift im jeweiligen Sprachraum natürlich häufiger auf die eigene Zeitschrift beziehen können. Selbst ohne ein einziges Eigenzitat hat die RöFo 2011 einen beachtlichen Impact Factor von 1,057, mit dem sie 36 von 116 Zeitschriften im eigenzitatfreien Ranking hinter sich lässt. Ohne Rücksicht auf diese Daten wurde der Impact Factor der RöFo nun nach unklaren Regeln zunächst für zwei Jahre auf 0,000 gesetzt. Wer spielt hier mit welchen Daten und nach welchen Regeln?

Anlass genug, erneut nach den Spielregeln zu fragen, nach denen der Impact Factor ermittelt und angewendet wird. Spielregeln, die zurzeit immer häufiger aus mehreren Perspektiven hinterfragt werden [3].

Die aktuell praktizierte Anwendung des Impact Factors geht weit über die ursprüngliche Intention des Impact-Factor-Erfinders, Dr. Eugene Garfield, hinaus. In der San Francisco Declaration on Research Assessment (DORA) [4] warnen Wissenschaftler und Wissenschaftsorganisationen vor dem institutionalisierten Missbrauch des Journal Impact Factors: „Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.“ Die Realität an unseren Universitäten und wissenschaftlichen Institutionen ist allerdings eine andere. Hier müssen wir uns fragen, warum wir scheinbar objektive Methoden nutzen, um wissenschaftliche Qualität und Leistung zu beurteilen.

Obwohl die Berechnung des Impact Factors auf einer relativ simplen Formel beruht, ist dessen Ermittlung im Detail kaum nachvollziehbar. Während Thomson Reuters in seiner Antwort [5] auf DORA betont, dass sich die Kritik von DORA nur auf die Anwendung des Impact Factors beziehe, nicht jedoch auf seine Kalkulation, zeigen sich gerade auch bei der Arithmetik des Impact Factors nicht nachvollziehbare Ergebnisse. Der Grund: eine wenig transparente Datenlage [4] [6]. Hinzu kommen handwerkliche Fehler bei der Datenerfassung. Absurde Beispiele, wie die Einordnung einer Produktanzeige als „Editorial Material“ inklusive Übersetzung und Verwendung des Produkt-Slogans durch Thomson Reuters als Titel des Editorials [7], stützen die Zweifel an der Datenqualität. Auch der falsch ermittelte Impact Factor 2011 geht auf eine mangelhafte Erfassung zurück. Die Spielregeln für die bisherigen Entscheidungen über Ein- oder Ausschluss von Zeitschriften sind ebenso wenig transparent wie die Spielregeln für künftige Entscheidungen. Somit kann die Forderung nicht nur lauten „Show me the data“, sondern vor allem auch „Show me the rules“.

Die RöFo ist im Journal Citation Report® 2012 plötzlich unsichtbar geworden. Ganz im Gegensatz zur Wirklichkeit: Die RöFo hat nach 116 Jahren unverändert einen enormen Impact. Sie hat die Radiologie weltweit geprägt. Sie ist und bleibt das Leitmedium der deutschsprachigen Radiologengemeinschaft.

Daran wird auch die amerikanische Entscheidung „We will not add Rofo to the current edition of the JCR“ nichts ändern. Die RöFo ist dadurch keine andere Zeitschrift geworden. Sie verbindet vielmehr weiterhin wissenschaftliche Exzellenz mit anspruchsvoller Fortbildung. Wir alle werden umso intensiver daran arbeiten, die RöFo als wissenschaftliche Zeitschrift weiterzuentwickeln, sei es als Leser, als Autor, als Gutachter, als Herausgeber oder als Verlag. Lesen Sie Ihre RöFo, besuchen Sie die RöFo auf http://roefo.thieme.de, reichen Sie Ihre Beiträge ein und bewerten Sie die RöFo selbst.

Es bleibt zu hoffen, dass sich durch die aktuellen kritischen Impulse alternative Bewertungsfaktoren entwickeln, die unter wissenschaftlichem Einsatz moderner Instrumente, Methoden und Verfahren den tatsächlichen wissenschaftlichen Impact von Zeitschriften, Autoren und Beiträgen messen und zum Ausdruck bringen. Warum sollte die Wiege der Radiologie und zahlreicher weiterer wissenschaftlicher Errungenschaften nicht auch zu den Regeln von morgen einen wertvollen Beitrag leisten [8]?

In diesem Sinne freuen wir uns auf den wissenschaftlichen Diskurs zu einem Thema, das die Wissenschaft bewegt. Dieses Thema betrifft auch Sie. Bitte schreiben Sie uns Ihre Meinung an roefo@thieme.de.

Ihre

Walter Heindel, Managing Editor

Gerhard Adam, Editor

Bernd Hamm, Editor

Hans H. Schild, Editor

Udo Schiller, Managing Director

We actually planned – as is our standard routine – to report to you here on RöFo’s 2012 Journal Impact Factor. Routinely – because up to now we have participated in the Impact Factor game [1] and subjugated ourselves to the Impact Factor system. But actually – as some of you have already noted with astonishment, there is no 2012 Journal Impact Factor, at least not for RöFo.

Thomson Reuters pulled RöFo from its Journal Citation Report® in June 2013 without advance notice [2]. Thus, a for-profit corporation in the Impact Factor’s country of origin made an isolated decision that will have an impact on radiological research, science and industry in the country where radiology was born.

As the leading radiology journal in the German-speaking world and as a publication that reflects the status of radiology across the entire region, RöFo would have had a 2011 Impact Factor of 3.075, if Thomson Reuters had counted all articles for the entire year consistently and accurately. Instead, in mid-2012 Thomson Reuters published RöFo’s 2011 Impact Factor as 2.758, complaining in mid-2013 – a full year later – that the self-citation rate in 2011 had been too high. This is particularly surprising, because citing all relevant articles is one of the key quality criteria for a scientific journal, and because, naturally, many of those citations can be to the leading journal of a given language itself. Even without a single instance of self-citation, RöFo’s 2011 Impact Factor would have been a respectable 1.057, better than 36 of 116 journals in a ranking eliminating self-citation. Without any consideration of this data and according to a set of undefined rules, the Impact Factor for RöFo has now been reset to 0.000 for the next two years. Who plays with which data and according to which rules?

This development seemed as good a reason as any to once again ask the question: according to which rules is the Impact Factor determined and used? It’s these rules that are currently questioned more and more from a wide range of perspectives [3].

Today, the Impact Factor is used in ways that go far beyond the original intention of its inventor, Dr. Eugene Garfield. Scientists and research organizations warned against the institutional misuse of the Journal Impact Factor in the San Francisco Declaration on Research Assessment (DORA) [4]: “Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.” And yet, the reality at our universities and scientific institutions is something quite different. We must ask ourselves why we use seemingly objective methods to assess academic quality and performance.

Even though the Impact Factor is based on a relatively simple formula, it is virtually impossible to reconstruct how exactly it is calculated. Although in its response [5] to DORA Thomson Reuters stressed that DORA’s criticism was aimed at how the Impact Factor is used and not at its calculation, it’s obvious that the calculation yields inconsistent results, mainly due to the fact that the data available aren’t sufficiently transparent [4] [6]. The situation is exacerbated by human data collection and processing errors. Absurd examples, such as Thomson Reuters’ coding of a product advertisement as “editorial material” and including the translation of the product slogan as the headline of the editorial [7], do nothing to alleviate doubts about Impact Factor data quality. The incorrectly calculated Impact Factor for 2011 is yet another result of poor data collection. The current rules determining which journals get included or excluded are as obscure as those that will impact future decisions. In view of this, the demand “show me the data” should be supplemented by the equally important request “show me the rules.”

RöFo suddenly became invisible in the Journal Citation Report® 2012. The reality, however, is the opposite: RöFo has had an enormous impact over the last 116 years and will continue to do so. It is and will remain the leading publication of the German-speaking radiology community.

The Americans’ decision, “we will not add Rofo to the current edition of the JCR” changes nothing. RöFo is still the journal it has always been, a publication that combines academic excellence and high-quality continuing education. All of us – readers, authors, reviewers, editors, and the publisher – will have to work even harder than ever at continuing to further develop RöFo as a scientific journal. Continue reading RöFo, visit us online at http://roefo.thieme.de, submit your articles, and judge RöFo for yourselves.

Our hope remains that the growing criticism will initiate the development of alternative assessment factors using a scientific approach that employs modern tools, methods, and procedures to measure and report the true scientific impact of journals, authors, and articles. Shouldn’t the cradle of radiology and countless other scientific achievements also be capable of making a valuable contribution to setting the rules of the future [8]?

On that note, we are looking forward to an academic discourse on a topic that concerns all of science – and you. Please let us know your opinion – email us at roefo@thieme.de.

Yours sincerely,

Walter Heindel, Managing Editor

Gerhard Adam, Editor

Bernd Hamm, Editor

Hans H. Schild, Editor

Udo Schiller, Managing Director