Seriös oder nicht? Die individuelle Prüfung der Qualität von Zeitschriften an der TIB

DOI: https://doi.org/10.11588/ip.2022.1.92475

Stefan SCHMEJA, Ulrike KÄNDLER

Seriös oder nicht? Die individuelle Prüfung der Qualität von Zeitschriften an der TIB

Zusammenfassung

Die Frage nach der Qualität von Open-Access-Zeitschriften stellt sich an der TIB sowohl bei der Beratung von Autor:innen als auch bei der Förderung durch einen Publikationsfonds. Wenn eine Zeitschrift nicht im Directory of Open Access Journals (DOAJ) gelistet ist und auch nicht eindeutig unseriös erscheint, wird sie individuell anhand unterschiedlicher Kriterien geprüft. In diesem Beitrag stellen wir die benutzten Kriterien vor und schildern unsere Erfahrung bei der Einschätzung.

Schlüsselwörter

Open-Access-Zeitschriften, Predatory Journals, Open-Access-Beratung, Open-Access-Finanzierung

Legitimate or not? Individually checking the quality of journals at TIB

Abstract

The question of the quality of Open Access journals arises at the TIB both when advising authors and when funding through a publishing fund. If a journal is not listed in the Directory of Open Access Journals (DOAJ) and does not appear to be clearly dubious, we check it individually using various criteria. In this article we present the criteria used and describe our experience in the assessment.

Keywords

open access journals, predatory journals, open access consulting, open access funding

Veröffentlichung: 05.02.2023 in Informationspraxis Bd. 8, Nr. 1 (2022)

Inhaltsverzeichnis

1 Einleitung

Die Frage nach der Qualität von Zeitschriften hat vor allem durch die Debatte um sogenannte “Predatory Journals” (Grudniewicz et al. 2019) an Bedeutung gewonnen und taucht an der Technischen Informationsbibliothek (TIB) sowohl im Beratungs- als auch im Finanzierungskontext auf. Als Positivliste dient in beiden Fällen das Directory of Open Access Journals (DOAJ, https://doaj.org/), das rund 18.000 Zeitschriften verzeichnet, die bestimmte Qualitätsstandards erfüllen. Daneben gibt es Zeitschriften, die nicht im DOAJ indexiert, aber dennoch als seriös einzuschätzen sind, sowie eine breite Grauzone hin zu klar unseriösen Zeitschriften (Siler 2020).

Die TIB als Universitätsbibliothek und zentrale Fachbibliothek betreibt Publikationsfonds für Open-Access-Zeitschriften für die Leibniz Universität Hannover, die Leibniz-Gemeinschaft und die TIB selbst. Da Qualitätssicherung eine zentrale Funktion wissenschaftlicher Zeitschriften ist, gehört ein entsprechender Nachweis natürlich auch zu den grundlegenden Förderbedingungen der Publikationsfonds: “Die Zeitschrift wendet ein im jeweiligen Fach anerkanntes Qualitätssicherungsverfahren an und soll im Directory of Open Access Journals gelistet sein.”1 Die Listung im DOAJ ist ein wichtiges, aber kein zwingendes Kriterium. Wenn eine Zeitschrift nicht im DOAJ verzeichnet ist, aber die restlichen Förderkriterien erfüllt, wird von uns individuell geprüft, ob sie den erwarteten Qualitätsstandards entspricht. Auch wenn bei einer Beratungsanfrage begründete Zweifel an einer im DOAJ gelisteten Zeitschrift geäußert werden, wird sie auf diese Weise geprüft.

Die Warnung vor unseriösen Praktiken (Schilhan & Lackner 2020) und die Hilfestellung bei der Wahl einer geeigneten Open-Access-Zeitschrift ist ein wichtiges Thema an der TIB, das u. a. bei Schulungen oder im TIB-Blog adressiert wird. Auch in der Beratung erreichen uns regelmäßig Anfragen. Besonders gehäuft haben sich diese Anfragen im Zuge der großen Mediendebatte um Predatory Publishing (in den Medien unter dem irreführenden Schlagwort “Fake Science” geführt) im Sommer 2018 (Kändler 2018; Schmeja 2018). Die Leibniz Universität Hannover, hier vor allem die Fakultät für Maschinenbau, wurde dabei insbesondere für den Besuch von sogenannten “Predatory Conferences” kritisiert (z.B. Hilbig 2018). In Folge waren viele Forschende verunsichert und für das Thema sensibilisiert. Die TIB wurde den Universitätsmitgliedern über das Forschungsdezernat und das Präsidium als Ansprechpartnerin in Zweifelsfällen kommuniziert und in Anspruch genommen.

2 Prüfung

Alle Zeitschriften, die nicht im DOAJ stehen und uns auch nicht von früheren Anfragen oder aus anderem Zusammenhang als eindeutig unseriös bekannt sind, werden individuell geprüft. Unsere Kriterien sind dabei ähnlich, wie sie von der Initiative “Think! Check! Submit!” (https://thinkchecksubmit.org/) oder in Reimer & Halbherr (2021) formuliert wurden:

  • Gibt es Hinweise, warum die Zeitschrift nicht im DOAJ gelistet ist? Wurde sie daraus entfernt? Wurde ein Neuantrag gestellt?2
  • Bei lebenswissenschaftlichen Zeitschriften: Ist die Zeitschrift in MEDLINE indiziert?
  • Ist klar, welche Kosten anfallen werden?
  • Können Sie den Verlag einfach identifizieren und kontaktieren?
    – Wird der Verlagsname deutlich auf der Homepage der Zeitschrift angegeben?
    – Können Sie den Verlag per Telefon, E-Mail oder Post kontaktieren?
  • Gehört der Verlag der Open Access Scholarly Publishers’ Association (OASPA) an?
  • Gehört der Verlag dem Committee on Publication Ethics (COPE) an?
  • Macht die Zeitschrift klare Angaben zu ihrem Peer-Review-Verfahren?
  • Ist klar, ob Rechte an den Verlag übertragen werden und welche Lizenz genutzt wird?
  • Werden die üblichen verlegerischen Standards erfüllt (z.B. DOI-Vergabe3)?
  • Hat die Zeitschrift einen Impact Factor?4 Wenn auf der Website der Zeitschrift einer angegeben ist: Handelt es sich dabei um den “offiziellen” Impact Factor von Clarivate?
  • Welche Unterschiede fallen sonst noch im Vergleich zu bekannten, seriösen Zeitschriften auf? Beispielsweise, wenn die Website der Zeitschrift ausschließlich/überwiegend an Autor:innen und nicht auch an Leser:innen gerichtet ist, dann ist das als negativ zu werten.

Aufgrund der Vorbehalte gegenüber Blacklists (siehe z.B. Olivarez et al. 2018; Teixeira da Silva & Tsigaris 2018) nutzen wir solche nicht.

Wichtig ist, die Mitgliedschaften auf den Seiten der Organisationen zu prüfen und sich nicht auf die Angaben auf der Website der Zeitschrift zu verlassen. Unseriöse Zeitschriften verwenden oft Logos oder Formulierungen, die z.B. eine Listung im DOAJ oder eine Mitgliedschaft bei COPE suggerieren, obwohl dies nicht der Fall ist. Da unseriöse Zeitschriften mitunter Wissenschaftler:innen ohne deren Wissen und Einverständnis als Herausgeber:innen auflisten, prüfen wir außerdem stichprobenartig, ob diese Personen die Mitgliedschaft im Editorial Board auf ihren eigenen Seiten erwähnen.

Eine sorgfältige Abwägung ist nötig, keines der Kriterien ist für sich alleine ein KO-Kriterium. So weist etwa die Nichtmitgliedschaft bei OASPA oder COPE nicht zwangsläufig auf einen unseriösen Verlag hin. Ein Nicht-Eintrag im DOAJ ist ein deutliches Warnsignal, aber kein ausreichender Hinweis auf mangelnde Seriosität, insbesondere wenn es sich um eine relativ junge Zeitschrift handelt. Die Aufnahme ins DOAJ ist ein aufwändiger Prozess, zudem verlangt das DOAJ vor einer Aufnahme mindestens ein Jahr Publikationstätigkeit oder zehn publizierte Artikel. Außerdem haben wir den Eindruck, dass spezialisierte Zeitschriften für eine kleine, homogene Zielgruppe keine Akzeptanzprobleme in ihrer Community haben und daher die Aufnahme ins DOAJ nicht für nötig erachten oder sich gar nicht damit auseinandersetzen.

Wenn eine Zeitschrift schon länger existiert und uns nach diesen Prüfschritten eigentlich nicht unseriös erscheint, schreiben wir sie mitunter auch direkt an. Wir erkundigen uns nach den Gründen für die fehlende Indexierung und weisen auf die Bedeutung hin, die das DOAJ für unser Finanzierungshandeln hat. In einem Fall fiel die Antwort in so hohem Maße unglaubwürdig aus, dass wir die Zeitschrift auf dieser Basis als nicht förderwürdig eingestuft haben.

Zu betonen ist, dass wir mit unserer Einschätzung keine Aussage über die Seriosität des Geschäftsmodells einer Zeitschrift treffen. Ob ein Verlag tatsächlich mit betrügerischer Absicht tätig ist oder einfach nur, etwa aus Unwissen oder mangelnder Professionalität, unterdurchschnittliche Standards aufweist, können wir mit unseren Mitteln nicht beurteilen – müssen es aber auch nicht. In beiden Fällen raten wir von einer Veröffentlichung ab bzw. finanzieren sie nicht.

Ebenso können wir nur Aussagen zur formalen, aber nicht zur inhaltlichen Qualität einer Zeitschrift machen. Hier weisen wir die Fragestellenden darauf hin, dass sie selbst anhand der bisher publizierten Artikel entscheiden müssen, ob die Zeitschrift dem erwarteten Niveau ihres Fachgebietes entspricht und einen für sie geeignet erscheinenden Publikationsort darstellt. Auch die Qualität des Peer Review können wir nicht beurteilen, außer bei Open Peer Review5 oder anhand von Indizien wie sehr kurzen Zeiten zwischen Einreichung und Annahme eines Artikels. Um diesbezüglich bessere Einsichten für Finanzierung, Beratung und Erwerbung zu gewinnen, wurde von den TU9-Bibliotheken gemeinsam mit Schweizer Bibliotheken eine Umfrage zur Erfassung des Qualitätssicherungsprozesses in wissenschaftlichen Verlagen aus Sicht von Editor:innen, Gutachter:innen und Autor:innen (Evaluating the Quality Assurance Process in Scholarly Publishing – EQUAP²; Neumann et al. 2022) gestartet.

Viele Verlage haben ein breites Portfolio an Zeitschriften, die ganz unterschiedliche Qualitätsstandards und Akzeptanz in der jeweiligen Community aufweisen können. Wir beurteilen daher einzelne Zeitschriften, nicht Verlage, und es wäre – zumindest theoretisch – möglich, dass von den Zeitschriften eines Verlags eine empfohlen und von einer anderen abgeraten wird.

Das Ergebnis der Prüfung wird dem/der Fragesteller:in mitgeteilt mit Begründung und – nicht zuletzt mir dem Aspekt der Hilfe zur Selbsthilfe – mit Verweis auf die auschlaggebenden Kriterien. Bei einer negativen Antwort bieten wir Hilfe beim Finden einer seriösen Alternative an, was aber nur in wenigen Fällen genutzt wird. Prüfung und Ergebnis werden auch intern dokumentiert.

3 Ergebnisse

Im Zeitraum Februar 2017 bis August 2022 haben wir 39 unterschiedliche Zeitschriften geprüft, die zum Zeitpunkt der Anfrage nicht im DOAJ gelistet waren. Die meisten Anfragen kamen zweifellos zwischen Sommer 2018 und 2019. Als die öffentliche Aufmerksamkeit wieder abflaute, war das auch bei uns zu spüren. Mit 39 Zeitschriften ist die Gesamtzahl unserer Prüffälle letztlich so klein, dass wir auf dieser Basis keine allgemeinen Schlussfolgerungen ziehen möchten. Aber wir haben Einiges über den Auftritt von Zeitschriften und strukturelle Warnsignale gelernt. Letztendlich waren es dann meist mehrere Faktoren, die unsere Entscheidung begründeten. Wie die Autor:innen, die an uns herangetreten waren, damit umgegangen sind, wissen wir leider nicht. Wir haben selten eine ausführlichere Rückmeldung erhalten.

Von den 39 Zeitschriften sind 18 den Lebenswissenschaften zuzurechnen, 7 den Naturwissenschaften, 5 den Sozialwissenschaften und 5 den Ingenieurwissenschaften. Vier Zeitschriften sind multidisziplinär bzw. mit unklarem fachlichem Fokus.

Von den 39 geprüften Zeitschriften wurden 19 als unseriös eingeschätzt und dementsprechend nicht finanziert bzw. wurde von einer Einreichung abgeraten. Acht Zeitschriften erschienen seriös, wiesen aber unterdurchschnittliche verlegerische Standards auf und wurden ebenfalls nicht gefördert bzw. empfohlen. Bei zwei Zeitschriften handelte es sich um populärwissenschaftliche Magazine, die einen Open-Access-Ansatz mit Kosten für die Autor:innen (APCs) verfolgen. Auf diese sind unsere Kriterien nur bedingt anwendbar, sie kommen für eine Finanzierung aber ohnehin nicht in Frage, da es sich bei den Beiträgen nicht um wissenschaftliche Originalveröffentlichungen mit Peer Review handelt. Acht Zeitschriften wurden als seriös eingestuft. Bei diesen handelte es sich zumeist um relativ junge Zeitschriften oder Zeitschriften von anerkannten Fachgesellschaften, die keine oder wenige weitere Zeitschriften herausgeben. Vier dieser Zeitschriften wurden nach dem Zeitpunkt unserer Prüfung ins DOAJ aufgenommen, was zeigt, dass wir mit unserer Einschätzung richtig lagen. Hingegen war das für keine der als unseriös eingeschätzten Zeitschriften der Fall.

4 Fazit

Auch wenn die individuelle Prüfung von Zeitschriften einen Aufwand darstellt, lohnt er sich in unseren Augen. Wir können dadurch relativ sicher sein, nur seriöse Zeitschriften zu finanzieren bzw. zu empfehlen und hoffen, durch die transparente Kommunikation an die Anfragenden auch das Bewusstsein unter den Forschenden zu schärfen. Natürlich könnte man sich einfach auf das DOAJ beschränken und alle Zeitschriften, die dort nicht gelistet sind, nicht fördern bzw. empfehlen. Damit würde man aber auch neue, aus der Wissenschaft kommende Zeitschriften ausschließen, deren Unterstützung sowohl an der TIB als auch wissenschaftspolitisch (etwa mit dem von Science Europe, Plan S und anderen Organisationen initiierten “Action Plan for Diamond Open Access”) befürwortet wird.

Durch die intensive Beschäftigung mit den Zeitschriften konnten wir Erkenntnisse über Methoden von “Predatory Journals” (wie selbst generierte Metriken oder Identifier, irreführende Webseiten etc.) und Verbesserungspotenzial für seriöse Zeitschriften gewinnen. Ebenso wurde deutlich, dass es tatsächlich eine große Grauzone zwischen eindeutig seriösen und offensichtlich betrügerischen Zeitschriften gibt.

5 Quellen

Grudniewicz, Agnes; Moher, David; Cobey, Kelly D.; et al. (2019): Predatory journals: no definition, no defence. In: Nature, 576, S. 210–212, https://doi.org/10.1038/d41586-019-03759-y

Hilbig, Bärbel (2018): Maschinenbauer der Uni fallen auf Betrüger herein. In: Hannoversche Allgemeine Zeitung, 22. Juli 2018, https://www.haz.de/lokales/hannover/maschinenbauer-der-uni-fallen-auf-betrueger-herein-ARLIQEJ2PSTIDYM3SHWMUWO7T4.html

Kändler, Ulrike (2018): Nachgeprüft: #FakeScience. In: TIB-Blog, 25. Juli 2018, https://blogs.tib.eu/wp/tib/2018/07/25/nachgeprueft-fake-science/

Larivière, Vincent; Sugimoto, Cassidy R. (2019): The Journal Impact Factor: A Brief History, Critique, and Discussion of Adverse Effects. In: Wolfgang Glänzel et al. (Hrsg.): Springer Handbook of Science and Technology Indicators. Cham: Springer, S. 3–24, https://doi.org/10.1007/978-3-030-02511-3_1, https://arxiv.org/abs/1801.08992

Neumann, Robert; Bellanger, Silke; Verdicchio, Dirk; et al. (2022): Qualitätssicherung im Review-Prozess zwischen Anspruch und Erfahrung: Das Projekt EQUAP². Open-Access-Tage 2022 (OAT22), Bern. Zenodo, https://doi.org/10.5281/zenodo.7252115

Olivarez, Joseph D.; Bales, Stephen; Sare, Laura; vanDuinkerken, Wyoma (2018): Format Aside: Applying Beall’s Criteria to Assess the Predatory Nature of both OA and Non-OA Library and Information Science Journals. In: College & Research Libraries, 79, S. 52–67, https://doi.org/10.5860/crl.79.1.52

Reimer, Nadine; Halbherr, Verena (2021): Kriterienkatalog zur Erkennung von qualitativ hochwertigen Journals und von sogenannten Fake-Journals (Version 09.07.2021). Zenodo. https://doi.org/10.5281/zenodo.5031928

Schilhan, Lisa; Lackner, Karin (2020): Qualitätssicherung und Predatory Publishing in der Publikationsberatung. In: Karin Lackner et al. (Hrsg.): Publikationsberatung an Universitäten, Bielefeld: transcript Verlag, S. 163-–180, https://doi.org/10.14361/9783839450727-009

Schmeja, Stefan (2018): Desaster für die Wissenschaft? Kritische Punkte in der Berichterstattung zu “Predatory Journals”. In: TIB-Blog, 14. August 2018, https://blogs.tib.eu/wp/tib/2018/08/14/desaster-fuer-die-wissenschaft-kritische-punkte-in-der-berichterstattung-zu-predatory-journals/

Siler, Kyle (2020): There is no black and white definition of predatory publishing. In: LSE Impact Blog, 13. Mai 2020, https://blogs.lse.ac.uk/impactofsocialsciences/2020/05/13/there-is-no-black-and-white-definition-of-predatory-publishing/

Teixeira da Silva, Jaime A.; Tsigaris, Panagiotis (2018): What Value Do Journal Whitelists and Blacklists Have in Academia? In: The Journal of Academic Librarianship, 44, S. 781–792, https://doi.org/10.1016/j.acalib.2018.09.017

  1. https://tib.eu/oafonds↩

  2. Das DOAJ führt unter https://docs.google.com/spreadsheets/d/183mRBRqs2jOyP0qZWXN8dUd02D4vL0Mov_kgYF8HORM/edit#gid=1650882189&range=A1 eine Liste mit Zeitschriften, die aus dem DOAJ entfernt wurden, zusammen mit einer kurzen Begründung (z.B. “Suspected editorial misconduct by publisher”, “Journal not adhering to Best practice”). Ob eine Zeitschrift einen Antrag auf Wiederaufnahme gestellt hat, wird vom DOAJ auf Anfrage mitgeteilt.↩

  3. Manche Predatory Journals vergeben eigene Identifier wie den “Electronic Object Identifier”, die im Namen und Aufbau den DOI imitieren.↩

  4. Wir teilen die Vorbehalte gegenüber dem Impact Factor (z.B. Larivière & Sugimoto 2019) und insbesondere seiner Verwendung zur Beurteilung von Forschungsleistungen und Forschenden, wie es in der San Francisco Declaration on Research Assessment (DORA; https://sfdora.org/) thematisiert wird. Im gegebenen Kontext ist der Impact Factor aber ein Inidkator für die Nutzung und Zitierung der Zeitschrift durch die Community.↩

  5. Eine der geprüften Zeitschriften veröffentlicht die Gutachten zusammen mit den Artikelversionen. Stichproben haben gezeigt, dass die meisten Gutachten nur aus einer knappen, kaum begründeten Empfehlung bestehen. Ein ausführliches und fundiertes Gutachten bei einem der untersuchten Artikel hingegen wurde offenbar völlig ignoriert und der Artikel ohne Verbesserung der kritisierten Punkte veröffentlicht. Die Zeitschrift wurde dann von uns als fragwürdig eingestuft.↩

Autor*innen