Tab 1: Arbeitsschritte in der empirischen Forschung 
(Vortrag Mand 23.9.2009)

1. Schritt: Frage entwickeln

2. Schritt: In Literaturrecherche prüfen, ob es bereits eine Antwort gibt

3. Schritt: Entscheiden, ob die Frage qualitativ oder quantitativ untersucht werden soll

4. Schritt: Erhebungsinstrument auswählen

5. Stichprobe auswählen

6. Schritt: Zugang zum Feld wählen

7. Erheben

8. Auswerten

9. Untersuchung verwerten: Hausarbeiten, Diplomarbeiten, Prüfungen, Aufsätze, Dissertationen, Bücher usw.

Vorgehen bei der Literaturrecherche

1. Schritt: Frage entwickeln

2. Schritt: Geeignete Datenbank auswählen (z. B.: FIS-Bildung für Pädagogik/Heilpädagogik, Psyndex für Psychologie, Medline für Medizin, Juris für Recht, Eric für Recherchen im Bereich Pädagogik und Psychologie in den USA, VLB = buchhandel.de)

3. Schritt: Mit geeigneten Suchbegriffen suchen

4. Treffer dokumentieren (mit Suchbegriffen &  Trefferzahl speichern)

5. geeignete Veröffentlichungen auswählen (gut geeignet für einen ersten Überblick: Handbuchaufsätze, Dissertationen, Metaanalyse, Überblicksbeiträge in Zeitschriften / selten geeignet: Kongressberichte, Jubliäumsbände)

6. Recherchieren, in welchen Bibliotheken Zeitschriften  kopiert werden können oder Bücher entliehen/kopiert werden können

7. Bücher / Aufsätze beschaffen

8. Quellen bewerten (Hinweise auf Eignung bei Büchern: Publikation in seriösen/bekannten Verlag, erfolgreiches Durchlaufen eines Promotionsverfahrens, umfangreiche Verwendung von aktueller Literatur, faire und sachliche Auseinandersetzung mit anderen Meinungen, Zitation durch andere Autoren / Hinweise auf Bedeutung von Zeitschriftenaufsätze: Publikation in Zeitschriften mit Gutachtersystem, Zitation durch andere Autoren)

9. Lesen - Zusammenfassen - in Beziehung setzen: Was sind wichtige Themen im Publikationsgebiet? Was ist strittig? Worüber besteht Konsens? Was ist gut erforscht? Wo bestehen Forschungslücken?

10. Ggf. im Internet ergänzend nach Online-Publikationen mit öffentlichem Auftraggeber, Zahlen von öffentlichen Institituonen (z. B. Statistisches Bundesamt/Landesamt, Ministerien o.ä.) oder in seriösen Online-Datenbanken suchen (z. B.: bidok). Informationen von privaten Homepages, Homepages von Vereinen sind nur selten brauchbar. Lexika sind nur dann geeignet, wenn sie sich explizit an ein wissenschaftliches Publikum wenden

Prüffragen für empirische Untersuchungen

1. Bearbeitet die Untersuchung eine relevante Fragestellung?

2. Ist die Fragestellung von anderen Untersuchungen untersucht worden? Sind diese Untersuchungen in Stichprobe, Methodik vergleichbar und kommen sie zu gleichen Ergebnissen?

3. Ist die Stichprobe der Untersuchung nach nachvollziehbaren Kriterien (qualitative Sozialforschung) ausgewählt worden, oder handelt es sich um eine nach Berechnung von Zufallszahlen ausgewählte Stichprobe angemessener Größe bzw. liegt eine Totalerhebung vor (quantitative Sozialforschung)? Werden Zahlen zum Rücklauf angegeben?

4. Welche Auswirkungen hat der gewählte Zugang zum Feld?

5. Ist ein der Forschungsfrage angemessenes Erhebungsinstrument ausgewählt worden (Wird untersucht, was angeblich untersucht werden soll)?

6. Ist ein der Forschungsfrage angemessenes Auswertungsverfahren ausgewählt worden (quantitative Sozialforschung: Dürfen die statistischen Analyseverfahren angewendet werden? Wird die Auswerterübereinstimmung berechnet und angegeben? Ist sie angemessen?).

7. Sind die in der Auswertung verwendeten Variablen angemessen definiert?

8. Gibt es Fehler in der Berechnung?

9. Laesst sich aus den gefundenen Ergebnissen das ableiten, was abgeleitet wird?

Merkmale Quantitativer und Qualitativer Untersuchungen

Typische Merkmale qualitativer Untersuchungen

Typische Merkmale quantitativer Untersuchungen

• kleine Stichproben, die z. B. auf Basis im Rahmen von ersten Erkundungen erhobenen Empfehlungen zusammengestellt werden

• Erhebungsinstrumente: Expertengespräche, Narrative/Leitfaden gestützte Interviews, teilnehmende Beobachtung

• interpretative Auswertungsverfahren (mehrere Durchgänge)

• Herstellung von Objektivität/Validität durch Auswertung im Team, kommunikative Validierung

• Design: Querschnitt und Längsschnitt

• große Stichproben (berechnet nach Zufallszahlen oder Totalerhebungen)

• Erhebungsinstrumente: Fragebogen, standardisierte Testverfahren, Zeitreihenbeobachtung, Experiment

• Auswertung:Methoden der deskriptiven Statistik und Prüfstatistik

• Herstellung von Objektivität z. B. durch den Einsatz von mehreren Auswertern und Berechnung der Auswerterübereinstimmung

• Design: Querschnitt und Längsschnitt, Pretest-Posttest-Studien mit und ohne Kontrollgruppe, Replikationsstudien

Empirische Untersuchungen (12 f.)

• Empirische Frage liegt zugrunde

• können durch Messungen, Befragungen oder Daten bestätigt werden

• Hypothesen sind Vermutungen über Antworten auf eine empirische Frage

• Hypothesen müssen falsifiziert werden können

Hypothesen und Variablen (13 f.)

• Merkmale von Untersuchungseinheiten (Personen, Objekte) nennt man Variablen, weil diese Merkmale verschiedene Ausprägungen annehmen können

• dichotome Variablen haben 2 Ausprägungen

• kontinuierliche Variablen haben eine Vielzahl von Ausprägungen

• manifeste Varibalen sind beobachtbar

• latente Variablen sind nicht direkt beobachtbar

• unabhängige Variablen stehen mit abhängigen Variablen in einer Kausalbeziehung

• Moderatorvariablen, sind Variablen, die neben abhängigen und unabhängigen Variabeln einen zusätzlichen Einfluss haben

• Eine Operationalisierung legt fest, was jede Variablen bedeutet

Datenerhebung

• Homomorphe Messung: Jeder empirischen Beziehung entspricht eine numerische Beziehung

• Fundamentalmessung: Maßzahlen werden als Vielfaches einer allgemein definierten Einheit bestimmt (Zeit)

Skalenniveaus

• Nominalskala

• Ordinalskala

• Intertvallskala

• Verhältnisskala

Tab 4: Datenqualität und Fragetypen

Skalenniveau

Daten

Auswertung

Beispiele

Nominalniveau

ja-nein- Daten

Häufigkeiten / Kreuztabellen, Chi-Quadrat (bei mittleren und großen Stichproben), Fisher (bei kleinen Stichproben)

Geschlecht:
männlich / weiblich

Studienfach

Ordinalniveau

größer- kleiner- Daten

Median, Modalwert

Rangkorrelation

Wie oft lesen Sie Texte zur Vorbereitung von Lehrveranstaltungen?

nie - selten - machmal häufig - sehr häufig

Bitte bewerten Sie die mittlere methodische Vielfalt der Lehrveranstaltung ... (alle Sitzungen).

Intervallniveau oder metrisches Niveau

Mess- daten

Arithmetisches Mittel, Standardabweichung

Korrelation (Spearman), Regression, Faktorenanalyse usw.

Wie alt sind Sie?

Wie viel Lehrveranstaltungen besuchen Sie in diesem Semester?

Wie hoch ist bis heute der Anteil von Lehrveran- staltungssitzungen in den von Ihnen besuchten Veranstaltungen, die nicht stattgefunden haben?

Beobachtung

• Teilnehmend vs nicht teilnehmend

• Selbst- und Frembeobachtung

• offen und verdeckte Beobachtung

• Beobachtungseinheiten festlegen (Was soll beobachet werden)

• Beobachtungsplan machen (Wann soll beobachtet werden?)

Einschätzen

• Rating-Skalen

• Stufenzahl (3-7 Stufen, gerade Zahl erhöht Entscheidungsdruck)

• unipolare und bipolare Skalen

• erhoben werden Häufigkeit, Intensität, Wahrscheinlichkeit

• Urteilsfehler: z. B.: Bodeneffekt/Deckeneffekt (Skalenendpunkte falsch gewählt), Tendenz zur Mitte (extreme Merkmalsausprägungen nicht bekannt)

Befragungen

• Standarddisierung (In welchem Ausmaß sind Fragen/Antrworten festgelegt?)

• Eindeutigkeit

• keine Suggestiv-Fragen

Essentials der Fragebogenkonstruktion Vortrag Mand 16.10.07

Unterschiedliche Fragetypen vorsehen: Ja/Nein Fragen, Schätzskalen, Polaritätsprofile, Prozent-Fragen

keine zwei Fragen in eine Frage zusammenfassen

immer auch sozialstatistische Daten erheben (Alter, Geschlecht, Semesterzahl, Kinder usw.)

Fragebogen darf nicht zu lang werden (1-2 Seiten)

Fragebogen muss auf Stand der Theoriediskussion/Forschung sein (also aus den Fehlern alter Untersuchungen lernen, das fragen, was zu derzeit aktuellen Konzepten der Theoriediskussion passt)

Fragen immer so stellen, dass sozial erwünschte Antwortalternativen nicht offensichtlich sind

Fragebogen so konstruieren, dass dies nicht zu Abbruch der Befragung führt

keine Suggestivfragen

Platz lassen für spätere Nummerierung der Fragebogen

offene Fragen implizieren erheblichen Aufwand bei der Auswertung

Fragebogen in kleinerer Stichprobe (Pilotstudie) testen

Interviews

• direkt oder telefonisch

• Einzel- oder Grupeninterview

• ein Interviewer oder mehrere

• Anzahl und Grund von nicht stattfindenden Interviews festhalten

Testverfahren

• Leistungstests vs Persönlichkeitstests

• Itemanalyse: Rohwerteverteilung (ausreichend breites Spektrum), Itemschwierigkeit, Trennschärfe, Homogenität (Korrelation zwischen Aufgaben)

• Gütekriterien: Objektivität, Reliabilität, Validität, Normierung

Datenauswertung

1. Häufigkeitstabellen erstellen

2. Kennwerte berechnen

Maße der zentralen Tendenz

• Modalwert als häufigster Messwert

• Median als Wert, der die Verteilung halbiert

• Arithmetisches Mittel

Maße der Variablität (Streuung)

• Variationsbreite (range) als Differenz zwischen kleinstem und größtem Wert

• mittlere Abweichung als durchschnittliche Abweichung der Messwerte vom Arithemtischern Mittel

• Varianz (s)

• Standardabweichung (s²⁾

Statistische Kennwerte

Arithmetisches Mittel

Messwerte also x1 + x2 + x3 + ...

N N

Median (nach Clauß/Ebner 1985)

Der Median ist der Wert in der nach der Größe geordneten Rangreihe, der die Reihe halbiert (genau so viele Werte oberhalb und unterhalb)

Modalwert (nach Clauß /Ebner 1985)

Der Modalwert ist der Messwert, der am häufigsten vorkommt

Standard-

abweichung

Summe der

Abstandsquadrate

der Messwerte zum

Arithmetischen Mittel

Quadrat Wurzel aus: --------------------------

N -1

Prozentrang

Der Prozentrang gibt darüber Auskunft, wie viel Prozent der Eichstichprobe besser bzw. schlechter abgeschnitten haben als der untersuchte Proband. Prozentränge haben das Problem, dass der Abstand zwischen zwei Prozenträngen nicht immer gleich ausfallen muss. Der Unterschied zwischen Prozentrang 3 und Prozentrang 4 kann z. B. größer ausfallen, als der Unterschied zwischen Prozentrang 50 und 51. Man darf deshalb mit Prozenträngen nicht rechnen (also z. B. den Mittelwert bilden). Prozentränge sind zwar anschaulich, aber letztlich Kennwerte minderer Güte. Aussagekräftiger sind T-Werte (ermöglichen einen Vergleich zur 
T-Verteilung).

Zusammenhangsmaße

• Positive und negative Zusammenhänge

• Phi für nominaskalierte Daten (- 1 bis +1)

• Rangkorrelation für ordinalskalierte Daten (-1 bis +1)

• Produkt-Moment-Korrelation für intervallskalierte Dten (-1 bis +1)

(a-d) – (b.c)

Berechnung von Phi: ------------------------------------------

Quadratwurzel aus: A x B x C x D

Maenner

Frauen

(a)

(b)

Zeilensumme A

(c)

(d)

Zeilensumme B

Spaltensumme C

Spaltensumme D

Tab 6: Korrelation zwischen zwei Variablen (Var 1 und Var 2) nach Pearson ®

Summe: (Messwerte minus Arith. M. Var 1) x (Messwerte minus Arith. M. Var2)


-------------------------------------------------------------------------------------------------


(n-1) x Standardabweichung Var 1 x Standardabweichung Var 2

Tab 7: Rangkorrelation zwischen zwei Variablen (R)

6 x Summe der quadrierten Rangplatzdifferenzen zwischen Var 1 und Var 2
R = 1 - -------------------------------------------------------------------------------------
 ---------------------------

n x ((n x n) -1)

Kreuztabellen

In die Spalten: unabhängige Variablen (Geschlecht, Schichtzugehörigkeit usw.)

In die Zeilen: abhängige Variablen, also Var, die von den unabhängigen Variablen beeinflusst werden

Jungen

Mädchen

Spaltenprozente

Spaltenprozente

Spaltenprozente

Spaltenprozente

n

n

Zusätzlich wird die Irrtumswahrscheinlichkeit angegeben (i.d.R. als p)

dabei entspricht:

• der SPSS-Befund: .05 entspricht einer Irrtumswahrscheinlichkeit (alpha-Fehler) von 5% (signifikant) / in Publikationen häufig verschriftet als: p ≤.05

• der SPSS-Befund: .01 entspricht einer Irrtumswahrscheinlichkeit von 1% (hoch signifikant)

Designs

• 2 Gruppendesign: Experimental und Kontrollgruppe

• Pre / Post-Test-Design

• Randomisierung als Methode, systematische Unterschiede auszuschließen

• Parallelisierung: sicherstellen, dass Störvariable gleich verteilt ist

• Einfluss der Störvariable berechnen

Gebräuchliche Verfahren in der Signifikanzprüfung für Unterschieds und Zusammenhangshypothesen

• Chi-Quadrat (nominalskalierte Daten)

• t-Test (intervallskalierte Daten)

• Korrelationen (ordinal bzw. intervallskaliert Daten

Tab 10: Effektstärke nach Walter 2002

Mittelwertsdifferenz zwischen V- und Kontrollgruppe

Effektstärke = --------------------------------------------------------------------------

Standardabweichung Kontrollgruppe

Eine ES .20 ist klein, Eine ES .50 ist moderat. Eine ES von > .80 ist groß

Hypothesen, die mit Signifikanztests untersucht werden

• Unterschiedhypothesen

• Zusammenhangshypothesen

• ungerichtete Hypothesen behaupten Zusammenhang/Unterschied

• gerichtete Hypothesen spezifizieren Richtung des Zusammenhangs/Unterschieds

• Nullhypothesen und Alternativhypothesen

• alpha-Fehler: Alternativhypothese wird akzeptiert, obwohl Nullhypothese gilt

• beta-Fehler: Alternativhypothese wird fälschlich verworfen

Vorgehen bei Hypothesenvergleich

• Berechnung des Kennwerts in der untersuchten Stichprobe

• Berechnung der auf Basis von Annahmen über die Verteilung zu erwarteten Werte

• Vergleich der theoretischen Verteilung mit der empirischen Verteilung

Chi-Quadrat-Methode:

Quadrierte Summe der (beobachtete Häufigkeiten minus Summe erwarteter Häufigkeiten)

Chi-Q. = -------------------------------------------------------------------------------------------------

erwartete Häufigkeiten

Würfelbeispiel: Fragestellung: Hat jede Augenzahl die gleiche Wahrscheinlichkeit?

Nullhypothese: Es handelt sich um einen homogenen Würfel.

Würfel

beobachtete Häufigkeit

erwartete Häufigkeit

beobachtete minus erwartete Häufigkeit

(beobachtete minus erwartete Häufigkeit)²

Chi-Quadrat

1

40

50

-10

100

2

2

55

50

5

25

0,5

3

51

50

1

1

0.02

4

49

50

1

1

0.02

5

46

50

-1

16

0.32

6

59

50

9

81

1.62

Summe

300

300

4,48

Freiheitsgrade berechnen: 6-1 = 5

Kritischer Wert (in Abhängigkeit von akzeptierter Irrtumswahrscheinlichkeit / z. B. 5 % / und Freiheitsgrade) in Chi-Quadrat-Tafel nachschlagen

Dies erlaubt eine Berechnung der Wahrscheinlichkeit, einen Chi-Quadrat-Wert zu erhalten, der dem kritischen Wert entspricht oder diesen Wert zu überschreitet. Damit werden Aussagen darüber möglich, ob die Nullhypothese beizubehalten ist oder zurückgewiesen werden muss.