Lektoren.blog, Kriterien der Wissenschaftlichkeit, Teil 2, Validität, Reliabilität, Objektivität

Wissenschaftliche Bewertungskriterien Teil 2 – Kriterien der Wissenschaftlichkeit: Reliabilität und Validität (und nochmal Objektivität)

Die Kriterien der Wissenschaftlichkeit bilden den Kern und das Fundament der Wissenschaft. Deine wissenschaftliche Arbeit wird nach diesen allgemeinen Gütekriterien beurteilt, die den spezifischen Vorgaben von Fakultäten übergeordnet sind. Um wissenschaftlich arbeiten zu können, musst du daher diese Bewertungskriterien verstehen und einhalten.

Wissenschaftlich zu arbeiten bedeutet, unter Einhaltung der ethischen Prinzipien und qualitativen Kriterien die bestehenden wissenschaftlichen Erkenntnisse um begründete Ergebnisse zu erweitern. Dabei gehst du systematisch, kritisch und vor allem eigenständig vor.

Die Grundlagen dazu bekommst du hier. Im ersten Teil unserer Serie zu den Kriterien der Wissenschaftlichkeit hast du einen Überblick über die 12 Kriterien der Wissenschaftlichkeit nach Balzert, Schröder und Schäfer (2017) erhalten und gelernt, wie du Ehrlichkeit, Objektivität und Überprüfbarkeit herstellst.

In dieser zweiten Folge erfährst du mehr über Reliabilität und Validität als wissenschaftliche Gütekriterien.

Objektivität, Reliabilität und Validität werden besonders bei Messungen in einem Atemzug genannt:  Wer misst wie was? 

Bei statistischen Erhebungen kommt noch die Repräsentativität der Stichprobe hinzu, die hier unter Validität fällt.

Die Forderung nach Reproduzierbarkeit der Ergebnisse, die bereits unter Objektivität erwähnt wurde, ist für die Validität ebenfalls wichtig. Das sind zwei Seiten derselben Medaille: einmal aus der Perspektive des Forschers und einmal aus der Perspektive der Messergebnisse. Reliabilität bezieht sich auf das Wie.

Kriterium der Wissenschaftlichkeit 4: Reliabilität – Erzeuge genaue und zuverlässige Ergebnisse

Lektoren.blog, Kriterien der Wissenschaftlichkeit, Teil 2, Reliabilität

Reliabilität bedeutet Zuverlässigkeit. Die Methoden und Messinstrumente, die du zur Beantwortung deiner Forschungsfrage einsetzt, sollen stabile und genaue Ergebnisse liefern.

Das bedeutet: Wenn ich deine Untersuchung mit gleichen Instrumenten unter gleichen Bedingungen wiederhole, muss ich deine Messergebnisse rausbekommen, d. h. reproduzieren können. Wenn das eine dritte Person tut, muss sie ebenfalls zu denselben Ergebnissen gelangen.

Beispiel für mangelnde Reliabilität

Leider scheint sich die Unsitte zu verbreiten, dem hohen Publikationsdruck nachzugeben, indem man kaum reproduzierbare (nicht stabile) Ergebnisse raushaut. Die Folgen durfte ich als Diplomand in Neurogenetik am eigenen Leib spüren, was mich viel Nerven und Zeit gekostet hat.

Eine Arbeitsgruppe hatte ihre Ergebnisse und natürlich die eingesetzten Methoden und Instrumente in einem Paper veröffentlicht. Einen geschlagenen Monat lang versuchte ich, diese Ergebnisse zu reproduzieren. Dabei hielt ich mich strikt an das Protokoll.

Frustriert schrieb ich schließlich die Arbeitsgruppenleiterin an und bohrte nach. Ihre Antwort: »Bei uns hat das auch nicht gleich funktioniert ...« Davon stand im Forschungsartikel aber rein gar nichts. Die Kollegen hatten das Experiment wiederholt, bis sie die gewünschten Ergebnisse erhalten hatten und dann nur diese selektiv publiziert.

Ein absolutes No-Go!

Die Ergebnisse waren dementsprechend nicht stabil und belastbar.

Herausforderung Reliabilität

 Wissenschaft ist mehr Transpiration als Inspiration.  Zuverlässige Ergebnisse zu produzieren ist häufig nicht ganz einfach – und dennoch ein Grundkriterium der Wissenschaftlichkeit, das eingehalten werden muss.

Das setzt erstens voraus, dass die Instrumente geeignet, funktionstüchtig, zuverlässig und richtig eingestellt sind. Dazu gehören alle Geräte und die Software, die du verwendest. Darunter fällt aber auch beispielsweise die Ausgestaltung von Fragebögen.

Eine verdreckte Mikroskop-Linse verfälscht die Ergebnisse, während falsch eingestellte Software scheinbare Resultate ausgeben kann, die keine sind.

Zweitens bedeutet Reliabilität, dass deine Ergebnisse genau, stabil, wiederholbar und zuverlässig sein müssen.

Dass die Einstellungen der Geräte und die experimentellen Bedingungen bei jeder Messreihe exakt gleich sein müssen, ist dabei genauso selbstverständlich wie die exakte Einhaltung etablierter Protokolle (Vorgehensweisen).

Das gilt natürlich auch für Online-Umfragen oder Experteninterviews (präzise und immer gleiche oder vergleichbare Fragen).

Wenn du deine Messreihe oder Umfrage schon begonnen hast und erst dann feststellst, dass du schwankende oder ungenaue Ergebnisse produzierst, musst du abbrechen und die Ergebnisse verwerfen, die Messvorrichtung nachjustieren und die Messreihe neu starten.

Logisch, oder? Da gibt es leider auch keine Abkürzung.

Wie du die Zuverlässigkeit deiner Ergebnisse sicherstellst

Unter gleichen Bedingungen und unter Einsatz der gleichen Methoden müssen immer wieder dieselben Ergebnisse rauskommen, sonst genügen deine Ergebnisse nicht wissenschaftlichen Standards.

Wie kann man diese Standards einhalten?

  • Wähle deine Methoden und Erhebungsinstrumente passgenau zum Einsatzzweck aus und überprüfe mehrfach sorgfältig die Funktionstüchtigkeit und die Feinjustierung des gesamten Instrumentariums. Der Einsatzzweck lautet: genaue und reproduzierbare Ergebnisse zur Beantwortung der Forschungsfrage erzeugen.
  • Führe Pretests und Testläufe durch, um Optimierungspotenziale offenzulegen und deine Methodik sowie ggf. dein Forschungsdesign anzupassen.
  • Denke sehr intensiv über deine Methodik, dein Forschungsdesign und die gewählten Instrumente nach und überprüfe kritisch, ob sie wirklich geeignet sind, zuverlässige, stabile und genaue Ergebnisse zu produzieren. Als Messinstrument gilt hier alles, womit du Daten erhebst und Ergebnisse erzeugst.
Deine Checkliste zur Einhaltung der Reliabilität
  • Methoden passgenau geeignet
  • Messung fehlerfrei und exakt
  • Ergebnisse genau, stabil, zuverlässig, wiederholbar

Kriterium der Wissenschaftlichkeit 5: Validität – Setze geeignete Methoden ein

Lektoren.blog, Kriterien der Wissenschaftlichkeit, Teil 2, Validität

Validität bedeutet Gültigkeit. Deine Ergebnisse sind dann als valide zu bezeichnen, wenn sie inhaltlich gültig sind. Um dieses Kriterium der Wissenschaftlichkeit zu verstehen, kannst du dir einfach die Frage stellen:

 Messe ich wirklich das, was ich messen will und soll? 

Typische Fehlerquellen bei der Einhaltung der Validität

  1. Ungenaue Messung: Wenn du mit einem Fragebogen das Spektrum der politischen Einstellungen unter AfD-Wählern untersuchen möchtest, wäre die Frage »Sind Sie für Deutschland?« schlicht zu ungenau.
  2. Stichprobe zu klein: Wenn deine Umfrage repräsentativ sein soll, aber nur 18 Menschen deinen Fragebogen ausfüllen, sind die Ergebnisse wahrscheinlich nicht valide. Gibt es aber wiederum insgesamt nur 22 Menschen mit dem zu untersuchenden Merkmal (Grundgesamtheit), dann schon.
  3. Falsche Stichprobenauswahl: Wenn du deine obige Umfrage unter den sogenannten »Antideutschen« durchführst, ist deine Stichprobenauswahl falsch und dein Resultat somit ebenfalls nicht valide.

Dieses Beispiel lässt sich auf andere Bereiche übertragen. Beispielsweise würde der Versuch eines Physikers, mittels einer Sanduhr die Wechselwirkungsdauer von subatomaren Teilchen zu bestimmen, keine validen Ergebnisse liefern. 🙂

Herausforderung Validität

Zur Einhaltung der Validität muss man manchmal höllisch aufpassen. Du musst sehr genau bestimmen (mehrfach reflektieren und schriftlich festhalten), was du wie messen und auswerten willst.

Bleiben wir beim fiktiven Beispiel deiner AfD-Umfrage: Du schaltest eine Umfrage in der Jungen Freiheit und erhältst 25.000 korrekt ausgefüllte und somit auswertbare Antwortbögen.

Das Ergebnis ist eindeutig und scheint repräsentativ zu sein: 95 % sind dafür, dass Bundeskanzlerin Merkel zum sofortigen Rücktritt gezwungen wird. Daraus schließt du nun: »Laut der repräsentativen Umfrage sind 95 % der Bevölkerung Deutschlands für den sofortigen Rücktritt Merkels.«

Dass dieses Ergebnis wissenschaftlich nicht valide ist, dürfte einleuchten. Denn die ausgewählte Stichprobe wäre zwar repräsentativ für die Leserschaft der Jungen Freiheit, aber nicht für die gesamte Bevölkerung Deutschlands.

Zur Erinnerung: Weder meine noch deine persönliche Meinung spielen hier eine Rolle. Denn als wissenschaftlich Tätige verhalten wir uns dementsprechend, nämlich objektiv und zurückhaltend. 😉

Wenn du dich auf eine kleine relevante Gruppe konzentrierst und beispielsweise fünf Experteninterviews qualitativ auswertest, ist das (nach Absprache mit deiner Betreuungsperson) durchaus zulässig und allemal besser als scheinrepräsentative Ergebnisse. Letztere wären schlimm und in jedem Fall wesentlich schlimmer als nicht repräsentative Ergebnisse.

So erzeugst du valide Ergebnisse

Validität ist ein allgemeines Kriterium der Wissenschaftlichkeit, das nicht nur etwa bei physikalischen Messungen zu beachten ist: Die zentralen Begriffe deiner Arbeit sollten genau differenziert und erläutert sein. Deine Fragen sollten passgenau formuliert sein und nach den richtigen Inhaltsbereichen fragen (Inhaltsgültigkeit).

Bei repräsentativen Umfragen solltest du auf die richtige Stichprobenauswahl und den richtigen Stichprobenumfang achten. Auch bei nicht repräsentativen Umfragen oder qualitativen Interviews solltest du die relevante Zielgruppe genau bestimmen und exakt nach den Inhalten fragen, die du herausfinden möchtest.

Wie wir oben gesehen haben, endet die Validität da aber noch nicht. Denn die Interpretationen und abgeleiteten Schlussfolgerungen müssen ebenfalls wissenschaftlich gültig (valide) sein. Das hängt allerdings zusammen.

Unserer Erfahrung nach haben viele Studierende gravierende Probleme bei der Interpretation statistischer Auswertungen, aber auch bei der Analyse selbst.

Hätten wir übrigens behauptet, das träfe auf alle Studenten zu, weil wir das in unserer täglichen Arbeit sehen, wäre das eine wissenschaftlich nicht valide Aussage und ein Beispiel für einen leider viel zu häufigen Fehlschluss, da wir unsere persönliche Erfahrung als Lektoren unzulässig verallgemeinern würden.

Genereller Tipp:  Setze dich intensiv und gewissenhaft mit der Methodik und dem Forschungsdesign auseinander. 

Das ist zwar anstrengend, vereinfacht und beschleunigt aber erheblich die weitere Bearbeitung deiner Problemstellung und führt zu aussagekräftigen Ergebnissen – eine wahre Wohltat in der unsicheren und stressigen Abschlussphase.

Deine Leitfragen zum wissenschaftlichen Kriterium der Validität:

  • A: Was genau will ich herausfinden?
  • B: Wie will ich das tun?
  • C: Finde ich mit B tatsächlich A heraus, d. h., ist die gewählte methodische Vorgehensweise wirklich geeignet, um die Forschungsfrage zu beantworten?

 

Deine Checkliste zur Einhaltung der Validität

  • Alle zentralen Begriffe fundiert, d. h. erläutert, differenziert und belegt
  • Fragen und Hypothesen passgenau formuliert, sodass diese präzise beantwortet werden können
  • Richtige und für die Problemstellung relevante Inhaltsbereiche ausgewählt
  • Stichprobe groß genug und repräsentativ
  • Ergebnisse aussagekräftig

Zusammenfassung Kriterien der Wissenschaftlichkeit: Objektivität, Reliabilität, Validität

Bei jeder Messung oder Datenerhebung sind (zur Einhaltung der Kriterien der Wissenschaftlichkeit) drei Fragen kritisch zu überprüfen:

  • Objektivität: Kommt dasselbe Ergebnis raus, wenn eine andere Person unabhängig von dir deine Messung wiederholt, d. h. sind deine Ergebnisse unabhängig von deiner Person?
  • Reliabilität: Sind die Ergebnisse zuverlässig und exakt, sodass ich bei der Wiederholung deines Experiments genau dieselben Ergebnisse erhalten würde?
  • Validität: Misst du überhaupt das, was du messen willst und sollst, d. h. sind deine Methode und Messinstrumente dazu geeignet, die Forschungsfrage zu beantworten?

Ausblick: Verständlichkeit

Ich hoffe, mit dieser Folge unserer Artikelserie zu den Kriterien der Wissenschaftlichkeit die häufige Frage nach dem Zusammenhang zwischen Objektivität, Reliabilität und Validität verständlich beantwortet zu haben.

Die nächste Folge werde ich der Verständlichkeit als Kriterium der Wissenschaftlichkeit widmen.

Gerade dieses Kriterium betrifft viele formale und inhaltliche Details, die du in den für dich geltenden »Vorgaben für schriftliche Arbeiten« wiederfinden wirst.

Wenn du noch nicht unserer Empfehlung gefolgt bist, dich darüber zu informieren, solltest du das schleunigst nachholen:

  1. Rufe jetzt die Website deiner Uni auf.
  2. Suche nach »Vorgaben für schriftliche Arbeiten« oder »Richtlinien für schriftliche Arbeiten«.
  3. Downloaden. Falls nix gefunden, bei deinen Kommilitonen, dem Prüfungsamt, der Studienberatung, deiner Fachschaft, der AStA oder deinem Betreuer nachfragen.
  4. Lektüre genießen. Mind: blown! 😱

Deine Fragen beantworten Lisa und ich gerne hier im Kommentarfeld oder in unserer Facebook-Gruppe »Abschlussarbeit«, die ich gegründet habe und gemeinsam mit Lisa betreibe, um Studierenden Hilfe zur Selbsthilfe zu geben.

Schau doch mal vorbei! Wir freuen uns auf dich! 💚

Lektoren.blog, Wissenschaft, Signatur, Otter, Lisa Schulz, Florian Fani


Buch-Empfehlung:

Balzert, Helmut / Schröder, Marion / Schäfer, Christian (2017): Wissenschaftliches Arbeiten – Ethik, Inhalt & Form wiss. Arbeiten, Handwerkszeug, Quellen, Projektmanagement, Präsentation. 2. erw. und aktual. Aufl. W3L GmbH.

Dobelli, Rolf (2014): Die Kunst des klaren Denkens: 52 Denkfehler, die Sie besser anderen überlassen. 39. Aufl. Carl Hanser Verlag.

Kahneman, Daniel (2016): Schnelles Denken, Langsames Denken. 2. Aufl. Siedler Verlag.

Empfehlungen ohne Kennzeichnung sind keine Affiliate-Links, sondern unsere persönlichen Tipps (ohne finanziellen Profit).

Titelbild © Vital Sinkevich via Unsplash

Bilder Statements © Andisheh A via Unsplash

Florian Fani, Profil, Lektor

Lektor und Coach mit Herzblut und Liebe zum Detail. Mein Faible: ambitionierte Wissenschaft, sprachlich elegant verpackt. Abseits des Schreibtischs mitunter Flamenco-Gitarrist.

?>

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.