Peer Review: Druck aufs zentrale Element des Geschäftsmodells

Die wissenschaftliche Begutachtung ist herausgefordert: Wackelt das Peer Review, ist der Wert verlegerischer Arbeit bedroht, analysiert Sven Fund in einem Gastbeitrag. Fund hat langjährige Managementerfahrung im wissenschaftlichen Verlagswesen. Hauptberuflich führt er Knowledge Unlatched, das mittlerweile bei Wiley angedockt ist. Er ist zudem Geschäftsführer von Reviewer Credits.

Jährlich zunehmende Artikelmengen, wachsende inhaltliche Anforderungen durch die immer weitere Spezialisierung der Wissenschaften, schlechte Ausbildung und technologische Herausforderungen durch Künstliche Intelligenz (KI): Die Qualitätssicherung von Forschungspublikationen befindet sich im Umbruch. Dabei sind die Entwicklungen keineswegs disruptiv und unerwartet, sondern vollziehen sich seit vielen Jahren mit Ansage. Ein Überblick über aktuelle Trends.

Das Problem: Das Mengengerüst

Die Zahl wissenschaftlicher Zeitschriftenartikel ist in den letzten zwei Dekaden um über 280% gestiegen – auf fast 5,2 Mio Artikel im Jahr 2022. Ein ähnliches Bild ergibt sich laut der hierauf spezialisierten Datenbank Lens.org bei Büchern: Wurden 2000 noch etwa 229.000 Kapitel registriert, erhöhte sich der Wert bis 2022 um fast 450% auf über 1 Mio Kapitel. Die Zahl der in der Forschung aktiven Wissenschaftlerinnen und Wissenschaftler hielt mit dieser Entwicklung nicht Schritt, sie erreichte im Jahr 2021 aber immerhin fast 9 Mio Personen. Also alles in Ordnung?

Der Trend: Die wachsende Bedeutung von Metriken

Sven Fund hat langjährige Managementerfahrung im wissenschaftlichen Verlagswesen. Er war u.a. bei Springer und De Gruyter aktiv. Zuletzt hat er auch eigene Geschäfte aufgebaut (Open-Access-Dienstleister Knowledge Unlatched) oder als Business Angel begleitet (SciFlow, ein kollaboratives Texterstellungstool). Hauptberuflich führt er Knowledge Unlatched, das mittlerweile bei Wiley angedockt ist. Er ist zudem Geschäftsführer von Reviewer Credits.(Foto: Yves Sucksdorff)

Parallel zur Verschlechterung des Mengengerüsts zulasten der Forschenden erhöhten sich in den vergangenen Jahrzehnten die Anforderungen in der täglichen Arbeit von Wissenschaftler:innen. Sie müssen zur Erlangung finanzieller Förderung ihrer Forschung heute internationaler als ihre Vorgänger:innen arbeiten, sich in Gremien engagieren und die Ergebnisse ihrer Arbeit möglichst gut, schnell und häufig veröffentlichen. „Publish or perish“ – veröffentlichen oder untergehen – gilt mehr denn je, und Zeit ist Geld, gerade zu Beginn einer wissenschaftlichen Karriere. Maximale Sichtbarkeit der eigenen Arbeit durch (Co-)Autorenschaft möglichst vieler Publikationen steht hoch auf der Agenda. Das Schreiben von Beiträgen steht im Wettbewerb zur Qualitätssicherung durch Peer Reviewer, mit dem Nachteil, dass letzteres im Wesentlichen „unsichtbar“ stattfindet.

Neben fehlender Sichtbarkeit wird die Kritik am Fehlen wirtschaftlicher Anreize – etwa in Form der Vergünstigung beim Bezug von Verlagsinhalten oder kostenloser Services bis hin zu einer Bezahlung von Wissenschaftler:innen fürs Reviewing – durch eine neue Generation von Forschenden lauter. Funktionierte früher der verlegerische Appell ans wissenschaftliche Ethos, um Forscher:innen zum nicht vergüteten Reviewing zu gewinnen, so wird dieser Konsens zunehmend brüchig. Denn wo Zeit Geld ist, wirkt verlegerisch organisierter Altruismus aus der Zeit gefallen, insbesondere wenn lediglich Verlage an der Publikation qualitätsgesicherter Inhalte offensichtlich gut verdienen.

Die Herausforderung: Research Integrity und Publishing Integrity

Research Integrity, oder zutreffender Publishing Integrity, bezeichnet ein ganzes Bündel von Maßnahmen zur Erreichung der höchstmöglichen Qualität einer wissenschaftlichen Publikation, und zwar sowohl technisch, stilistisch als auch inhaltlich. Dabei tragen Verlage und ihre Dienstleister meist für die ersten beiden Aspekte Sorge.

Peer Review, die inhaltliche Qualitätssicherung im Wissenschaftsgeschäft, wird von Kolleg:innen eines Autors durchgeführt. Dabei wird peinlich darauf geachtet, die Identität von Autor:in und Reviewer:in im Prozess der Begutachtung nicht offenzulegen, um Parteilichkeiten möglichst auszuschließen. Unabhängig vom Ansehen der Person, so die Theorie, soll der Wert ihrer Arbeit fürs Fortkommen der Wissenschaft insgesamt beurteilt werden. Seilschaften sollen so gar nicht erst entstehen, auch um den Preis fehlender Anreize, sich an der Qualitätssicherung zu beteiligen. Allerdings fragen sich angesichts wachsender Leistungserwartungen junge Wissenschaftler:innen, wieso sie ihre Arbeitszeit – ein gut gemachter Review kostet zwischen vier und sechs Stunden – nicht besser direkt in die Verlängerung der eigenen Publikationsliste investieren sollten.

Qualität als Zufallsprodukt?

Die Krise rund um Research Integrity ist aber nicht nur eine Frage steigender Veröffentlichungszahlen und abnehmender Motivation. In einer Studie gaben 40% der Befragten an, Peer Review nie systematisch gelernt zu haben. Akademische Lehrer:innen geben Review-Anfragen häufig an ihre Mitarbeiter:innen zur Bearbeitung weiter. In der Folge verwundert es nicht, dass im an sich stark standardisierten Geschäft mit wissenschaftlichen Journals gerade das Peer Review relativ wenig einheitlich ist, jedes Herausgebergremium entwickelt eigene Standards. Umso erstaunlicher, dass das System so lange gut genug funktioniert und innovative Disruption um diesen Bereich des Publizierens einen Bogen macht.

Falsche Anreize? Open Science

Ein Grund für die Resilienz des Modells könnten die Anreizstrukturen sein, die in kaum einem Bereich so einheitlich ausgerichtet sind wie bei der Qualitätssicherung. Denn die zunehmende Menge von Inhalten, die im Open Access (OA) autorenseitig und nicht mehr primär durch lesenden Zugriff finanziert werden, haben die Strukturen im Publizieren und auch in der Qualitätssicherung verschoben. Und die Herausforderung hat bereits beeindruckende Ausmaße erreicht: So erscheint heute über die Hälfte aller Artikel OA, mit stark steigender Tendenz.

Neben allen wünschenswerten Effekten schleicht sich systembedingt ein Vertrauensproblem ein. Kritiker:innen weisen darauf hin, dass Verlage und ihre Herausgebergremien quasi gegen ihre eigenen ökonomischen Interessen handeln müssten, um eine rigide Qualitätskontrolle sicherzustellen. Gleichwohl: Auch im Abo-Modell wollten Verlage möglichst hohen Output an Artikeln produzieren, um Preiserhöhungen zu rechtfertigen. Ganz so einfach ist es also nicht, schwarze Schafe haben es jedoch deutlich leichter, schnelles Geld in einem auf Vertrauen gegründeten Modell zu machen.

Das zuvor noch nie gesehene Wachstum reiner OA-Verlage hat in den vergangenen Jahren die Kritik am relativ neuen Modell des akademischen Publizierens und Möglichkeiten der Manipulation lauter werden lassen. Initiativen wie Retraction Watch, die Wissenschaftler:innen und Verlagen gleichermaßen auf die Finger schauen, sind besorgt: Zu sogenannten Paper Mills gesellten sich Review-Kartelle, allein mit dem Ziel, in möglichst kurzer Zeit möglichst viel zu „publizieren“ und so die Karriereleiter innerhalb der Scientific Community möglichst schnell zu erklimmen.

Neue Services als Hilfe?

Angesichts des wachsenden Drucks auf das zentrale Element ihres Geschäftsmodells beschäftigen sich zahlreiche Verlage mit den zwei zentralen Herausforderungen rund um die Qualitätssicherung: dem erlahmenden Review-Enthusiasmus von Wissenschaftler:innen einerseits und der zumindest in der Wahrnehmung deutlich gestiegenen Betrugsrate andererseits. Ihnen ist klar: Wackelt das Peer Review, ist der Wert verlegerischer Arbeit insgesamt bedroht.

Es verwundert nicht, dass Verlage aller Größen sich seit einigen Jahren verstärkt auf den Aufbau von Services und ersten Belohnungssystemen für „ihre“ Gutachter konzentrieren, zunächst im eigenen Portfolio, zunehmend jedoch auch verlagsunabhängig.

Zeitlich fällt der wachsende Druck auf das System der inhaltlichen Qualitätssicherung zusammen mit einer neuen Ära des Umgangs mit großen Mengen publikationsbezogener Daten.

Während Wissenschaftsverlage spätestens seit der Gründung von Crossref 1999 ihre Zusammenarbeit zur besseren Strukturierung und Bereitstellung von Daten massiv verbessert haben, bedeutete die Öffnung von Milliarden von Metadaten auf Basis des Microsoft Academic Graph Anfang 2022 durch OpenAlex einen Durchbruch: Derzeit experimentieren etwa zwei Dutzend Start-ups mit diesen Daten und jenen, die sich täglich neu hinzugesellen. Sie arbeiten daran, durch den Einsatz von Technologien und Heuristiken der wachsenden Inhalteflut Herr zu werden. Gerade bei der Qualitätssicherung liegt die Zukunft deutlich in der erfolgreichen Bewältigung großer Datenmengen. Dabei geht es stärker um Verbindungen und Netzwerke zwischen Akteuren, um potenzielle Interessenkonflikte und Wirkungen von Publikationen als lediglich um Texte und Abbildungen.

KI: Lösung aller Probleme?

Beim Konferenzreigen dieses Jahres kam keine Diskussion ohne Beiträge zu Möglichkeiten, Gefahren und Chancen Künstlicher Intelligenz aus, so auch die weltweit begangene „Peer Review Week“ Ende September. Sowohl die technisch fabrizierte Produktion von Inhalten ohne eigenen geistigen Beitrag, die Lehrenden in Universitäten weltweit schlaflose Nächte bereitet, als auch Möglichkeiten zum Aufspüren einfacher Fehler, manipulierter Daten und von Abbildungen unklarer Provenienz in Publikationen von Autor:innen werden diskutiert. Wenngleich erwartbar ist, dass der Hype um KI einer weniger aufgeregten Diskussion weichen wird, ist auch das enorme Potenzial der zum Einsatz kommenden Technologien fraglos.

Klar ist: Nach heutigem Stand von Forschung und Technik können Algorithmen allein die Aufgaben der Qualitätssicherung im wissenschaftlichen Publizieren nicht übernehmen.

Die soziale Dimension

Wenn Forschung und Verlage also bis auf Weiteres auf Wissenschaftler:innen angewiesen bleiben, um das Funktionieren ihrer Kernprozesse sicherzustellen, stellt sich die Frage, wie der zunehmenden „Peer Review Fatigue“, der Peer-Review-Müdigkeit, beizukommen ist. Dabei ist aus Sicht der Verlage entscheidend, die allgemeine Akzeptanz einer aktiven Rolle beim Peer Review zu verbessern und zugleich die Geschwindigkeit der Rückmeldungen zu erhöhen. Forschungspublikationen sind verderbliche Ware.

Die Anerkennung des zeitlichen Aufwands, verbunden mit der Einbeziehung dieser Leistungen in die Forschungsevaluation, spielen für Forscher:innen eine zentrale Rolle, wenn man sie nach Gründen für ihr abnehmendes Interesse am Reviewing befragt. Modelle wie Open Peer Review, auf die einige Zeitschriften in unterschiedlichen Ausprägungen schon seit ein paar Jahren setzen, sind dabei ein geeigneter Weg im Kontext der Open-Science-Bewegung.

Sven Fund