Ein Team aus Tiermedizinerinnen und Tiermedizinern aus der Klinik für Kleintiere der Stiftung Tierärztliche Hochschule Hannover (TiHo) testete gemeinsam mit Forschenden verschiedener europäischer Institutionen, wie gut Gutachter*innen erkennen können, ob die Zusammenfassung eines wissenschaftlichen Artikels mit ChatGPT oder von einem Menschen verfasst wurde. Sie konzentrierten sich dabei auf das Fach Neurologie.
Unter dem Titel „ChatGPT and Scientific Papers in Veterinary Neurology; Is the Genie Out of the Bottle?" veröffentlichte das Team seine Ergebnisse in dem Fachmagazin Frontiers in Veterinary Science. Das Team bewertete dafür die Fähigkeit von ChatGPT, wissenschaftliche Arbeiten für das Fach veterinärmedizinische Neurologie zu generieren. Sie ließen Abstracts und Einleitungen mit Referenzen erstellen und analysierten sie anschließend. Für die Arbeit wählten sie die 3 Forschungsbereiche Entzündungen des Gehirns, Epilepsie und kanine Geruchserkennung aus. Des Weiteren überprüften sie die Texte mit gängigen KI- und Plagiatserkennungssoftwares.
Dr. Samira Abani, Klinik für Kleintiere und Erstautorin der Arbeit, sagte: „Unsere Studie beleuchtet die Vorzüge und die Einschränkungen von ChatGPT beim wissenschaftlichen Schreiben im Bereich Tiermedizin. Ein negatives Beispiel ist, wenn ChatGPT zum alleinigen Schreiben der wissenschaftlichen Dokumente benutzt wird, da es zu ‚Halluzinationen‘ neigt und Sachen erfindet. Es gibt aber auch positive Beispiele: So kann die Anwendung Dokumente für die englische Sprache für nicht Muttersprachler überarbeiten und die Nachteile nicht englischsprachiger Forschender überwinden."
Dr. Jasmin Nessler, wissenschaftliche Mitarbeiterin in der Klinik für Kleintiere, fügt hinzu: „Die Ergebnisse waren sehr aufschlussreich für uns. Erfahrene Neurolog*innen, die mit den Feinheiten des wissenschaftlichen Schreibens vertraut sind, hatten zunehmend Schwierigkeiten, zwischen von ChatGPT generierten und von Menschenhand verfassten Abstracts zu unterscheiden, insbesondere bei abnehmender Fachkenntnis. Diese Erkenntnis unterstreicht die Fähigkeit von ChatGPT, menschliche Schreibstile nachzuahmen und kohärent klingende, plausible Texte zu erzeugen.“
Professor Holger Volk, PhD, Leiter der Klinik für Kleintiere, sagt: „Die Studie zeigt, dass selbst erfahrene Gutachter*innen getäuscht werden können, da Sprachmodelle wie ChatGPT darauf trainiert sind, menschliche Schreibstile nahtlos zu imitieren. Die Auswirkungen für die wissenschaftliche Gemeinschaft sind tiefgreifend und erfordern eine Neubewertung herkömmlicher Bewertungskriterien."
Quelle (nach Angaben von):
Mensch oder ChatGPT? Unterschiede zwischen tiermedizinischen Fachartikeln schwer feststellbar. (tiho-hannover.de). 20.10.2023
Im Original: Frontiers | ChatGPT and scientific papers in veterinary neurology; is the genie out of the bottle? (frontiersin.org). 20.10.2023
(JD)
