Wir haben alle von Peer Review gehört. Es gibt Glaubwürdigkeit zu Forschung und wissenschaftlichen Arbeiten. Aber was bedeutet es? Wie funktioniert es?
Was genau ist Peer Review? Bild über AJ Cann / Flickr.
.Von Andre Spicer, City, Universität London und Thomas Roulet, Universität Oxford
Peer Review ist einer der Goldstandards der Wissenschaft. In diesem Prozess bewerten Wissenschaftler („Peers“) die Qualität der Arbeit anderer Wissenschaftler. Auf diese Weise soll sichergestellt werden, dass die Arbeit konsequent und kohärent ist, dass frühere Forschungsergebnisse herangezogen werden und dass das, was wir bereits wussten, ergänzt wird.
Die meisten wissenschaftlichen Zeitschriften, Konferenzen und Finanzhilfeanträge verfügen über ein Peer-Review-System. In den meisten Fällen handelt es sich um eine doppelblinde Begutachtung. Dies bedeutet, dass die Bewerter die Autoren nicht kennen und die Autoren die Identität der Bewerter nicht kennen. Mit diesem System soll sichergestellt werden, dass die Bewertung nicht voreingenommen ist.
Je prestigeträchtiger die Zeitschrift, die Konferenz oder das Stipendium ist, desto anspruchsvoller wird der Überprüfungsprozess und desto wahrscheinlicher ist die Ablehnung. Dieses Prestige ist der Grund, warum diese Artikel eher gelesen und zitiert werden.
Der Prozess im Detail
Der Peer-Review-Prozess für Zeitschriften umfasst mindestens drei Phasen.
1. Die Phase der Schreibtischbewertung
Wenn ein Artikel in einer Zeitschrift eingereicht wird, erhält er eine erste Bewertung durch den Chefredakteur oder einen assoziierten Redakteur mit einschlägigem Fachwissen.
Zu diesem Zeitpunkt kann entweder der Schreibtisch das Papier „ablehnen“, dh das Papier ablehnen, ohne es blinden Schiedsrichtern zu überlassen. In der Regel werden Beiträge abgelehnt, wenn sie nicht in den Umfang der Zeitschrift passen oder ein grundlegender Fehler vorliegt, der sie für die Veröffentlichung ungeeignet macht.
In diesem Fall schreiben die ablehnenden Redakteure möglicherweise einen Brief, in dem sie ihre Bedenken zusammenfassen. Einige Zeitschriften, wie die British Medical Journal, lehnen Schreibtisch bis zu zwei Drittel oder mehr der Papiere ab.
2. Die blinde Überprüfung
Wenn die Redaktion beurteilt, dass es keine grundsätzlichen Mängel gibt, wird sie zur Überprüfung an blinde Schiedsrichter weitergeleitet. Die Anzahl der Gutachter hängt vom Fachgebiet ab: Im Finanzbereich gibt es möglicherweise nur einen Gutachter, während in Fachzeitschriften aus anderen Bereichen der Sozialwissenschaften bis zu vier Gutachter gefragt werden. Diese Gutachter werden vom Herausgeber aufgrund ihres Fachwissens und des Fehlens einer Verbindung zu den Autoren ausgewählt.
Die Prüfer entscheiden, ob sie das Papier ablehnen, wie es ist (was selten vorkommt) oder um eine Überarbeitung des Papiers bitten. Dies bedeutet, dass der Autor das Papier entsprechend den Bedenken der Rezensenten ändern muss.
In der Regel befassen sich die Übersichten mit der Gültigkeit und Genauigkeit der empirischen Methode sowie der Bedeutung und Originalität der Ergebnisse (was als „Beitrag“ zur bestehenden Literatur bezeichnet wird). Der Herausgeber sammelt diese Kommentare, gewichtet sie, trifft eine Entscheidung und verfasst einen Brief, in dem er die Bedenken der Rezensenten und ihre eigenen Bedenken zusammenfasst.
Es kann daher vorkommen, dass der Herausgeber der Arbeit trotz der Feindseligkeit der Gutachter eine spätere Überarbeitungsrunde anbietet. In den besten sozialwissenschaftlichen Fachzeitschriften wird 10% bis 20% der Arbeiten nach der ersten Runde ein „Revise-and-Resubmit“ angeboten.
3. Die Revisionen - wenn Sie Glück haben
Wenn das Papier nach dieser ersten Überprüfungsrunde nicht abgelehnt wurde, wird es zur Überarbeitung an den / die Verfasser zurückgesandt. Der Vorgang wird so oft wiederholt, bis der Herausgeber einen Konsens darüber erreicht hat, ob das Papier angenommen oder abgelehnt werden soll. In einigen Fällen kann dies mehrere Jahre dauern.
Letztendlich werden weniger als 10 Prozent der eingereichten Arbeiten in den besten Zeitschriften der Sozialwissenschaften akzeptiert. Die renommierte Zeitschrift Natur veröffentlicht rund 7 Prozent der eingereichten Arbeiten.
Stärken und Schwächen des Peer-Review-Prozesses
Das Peer-Review-Verfahren gilt als Goldstandard in der Wissenschaft, da es die Genauigkeit, Neuheit und Konsistenz der akademischen Ergebnisse gewährleistet. In der Regel werden durch Überprüfungsrunden fehlerhafte Ideen beseitigt und gute Ideen gestärkt und verbessert. Peer Reviewing stellt auch sicher, dass die Wissenschaft relativ unabhängig ist.
Da wissenschaftliche Ideen von anderen Wissenschaftlern beurteilt werden, sind wissenschaftliche Standards der entscheidende Maßstab. Wenn andere Personen von außerhalb des Fachgebiets an der Beurteilung von Ideen beteiligt wären, könnten andere Kriterien wie politischer oder wirtschaftlicher Gewinn zur Auswahl von Ideen herangezogen werden. Peer Reviewing wird auch als ein entscheidender Weg gesehen, um Persönlichkeiten und Befangenheiten aus dem Prozess der Beurteilung von Wissen zu entfernen.
Trotz der unbestrittenen Stärken wurde der Peer-Review-Prozess, wie wir ihn kennen, kritisiert. Es handelt sich um eine Reihe von sozialen Interaktionen, die zu Verzerrungen führen können. Beispielsweise können Autoren von Gutachtern identifiziert werden, wenn sie sich auf demselben Gebiet befinden, und Desk-Ablehnungen sind nicht blind.
Möglicherweise wird auch eine inkrementelle Forschung (Ergänzung der bisherigen Forschung) gegenüber einer innovativen (neuen) Forschung bevorzugt. Schließlich sind Prüfer menschlich und können Fehler machen, Elemente missverstehen oder Fehler verpassen.
Gibt es Alternativen?
Verteidiger des Peer-Review-Systems sind der Ansicht, dass es zwar Mängel gibt, wir jedoch noch kein besseres System zur Bewertung der Forschung finden müssen. Es wurden jedoch eine Reihe von Neuerungen in das akademische Überprüfungssystem eingeführt, um seine Objektivität und Effizienz zu verbessern.
Einige neue Open-Access-Zeitschriften (z PLUS EINS) Veröffentlichungen mit sehr geringer Bewertung (sie überprüfen, ob die Arbeit methodisch nicht sehr fehlerhaft ist). Der Schwerpunkt liegt dort auf dem Peer-Review-System nach der Veröffentlichung: Alle Leser können das Papier kommentieren und kritisieren.
Einige Zeitschriften wie Natur, haben einen Teil des Überprüfungsprozesses öffentlich gemacht ("offene" Überprüfung) und ein hybrides System angeboten, in dem Peer Review eine Rolle der primären Torhüter spielt, aber die öffentliche Gemeinschaft von Wissenschaftlern parallel (oder später in einigen anderen Fachzeitschriften) urteilt Wert der Forschung.
Eine andere Idee ist, dass eine Gruppe von Gutachtern das Papier bei jeder Überarbeitung bewertet. In diesem Fall können Autoren wählen, ob sie mehr Zeit in eine Überarbeitung investieren möchten, um eine bessere Bewertung zu erhalten, und ihre Arbeit öffentlich anerkennen lassen möchten.
Andre Spicer, Professor für Organisationsverhalten, Cass Business School, City, Universität London, und Thomas Roulet, Novak Druce Research Fellow, Universität Oxford
Dieser Artikel wurde ursprünglich am veröffentlicht Die Unterhaltung. Lesen Sie den Originalartikel.
Fazit: Was ist Peer Review? Was es eigentlich bedeutet und wie es funktioniert.