Experiment: Mediennutzung und -wirkung

Prof. Dr. Michael Scharkow

Sommersemester 2025

Sitzung 1

Kursbeschreibung

Im Kurs werden eigene Experimente zu einem selbstgewählten Thema von der Entwicklung der Forschungsfrage bis hin zur Darstellung der Ergebnisse praktisch eingeübt.

Der Kurs ist als inverted classroom konzipiert, d.h. die Studierenden eignen sich allein oder in der Gruppe die Inhalte an, die Sitzungen dienen vornehmlich dem Austausch untereinander und mit mir.

Lernziele

  • Wie führen wir ein Forschungsprojekt durch?
  • Wie koordinieren und managen wir ein komplexes Projekt mit mehren Mitarbeitern unter Zeitdruck? (Projektmanagement)
  • Wie präsentieren wir Projektfortschritte, Forschungsprozesse und Forschungsergebnisse?
  • Wie geben wir konstruktives Feedback im Forschungsprozess? Wie nehmen wir Feedback an und setzen es um?
  • Spaß haben in der Forschung!

Warum Computational Methods?

  • mein Lehr- und Forschungsbereich :-)
  • hohe Nachfrage in der Kommunikationswissenschaft
  • relevante Skills in vielen Jobs außerhalb der Wissenschaft (Data Science, Journalismus, Marktforschung)
  • Ziel ist vor allem Verständnis der Grundlagen und Dinge ausprobieren
  • für das eigenene Projekte kann jede Gruppe so viele oder wenige automatische Verfahren verwenden, wie sie will

Studentische Arbeitsgruppen

  • maximal 4-5 Studierende pro Gruppe (4-5 Gruppen im Seminar)
  • ‚Learning by doing‘ in der AG
  • Von anderen AGs lernen über andere Methoden, Themen und Arbeitsweisen
  • Lernen von Feedback zur eigenen Arbeit und der Arbeit der anderen AGs

Struktur der Sitzungen

  • min. zwei Team-Mitglieder sollten da sein (1x Bericht, 1x Feedback an andere)
  • 5-Minuten-Gruppenbericht (jedes Gruppenmitglied ist einmal an der Reihe) und Feedbackrunde
  • ggf. Refresher und Diskussion der methodischen Grundlagen
  • Diskussion der nächsten Arbeitsschritte

Gruppenberichte

  • jedes Gruppenmitglied ist federführend für ein Sitzungsthema und den dazugehörigen Bericht in der jeweils nächsten Sitzung zuständig
  • die ggf. übrigbleibende Gruppenberichte machen sie als Gruppe (z.B. Themen)

Aufgaben

  • Protokollierung des Diskussionsprozesse in der AG
  • Vorbereitung einer Kurzpräsentation (5 min) mit 3-4 Folien
  • Upload von Folien spätestens Mo 8h, Präsentation in der Sitzung

Themen

  • in diesem Seminar keine zentrale Themenvorgabe
  • jede Gruppe kann und soll sich ein eigenes Thema und eine eigene Forschungsfrage erarbeiten
  • wichtig ist, ob Sie das Thema ein Semester lang motiviert, aufwändige und schwierige Gruppenarbeiten zu erfüllen

Themenvorschlag dieses Semester: Irgendwas mit generativer KI (Text, Bild, etc.)

Sitzungen zu Computational Methods

Aufgaben zur nächsten Sitzung

Grundlagen wiederholen

Experiment vorschlagen

  • Schauen Sie die auf Moodle hochgeladenen Beispielstudien zur Inspiration an.
  • Überlegen Sie, was Sie gern experimentell untersuchen wollen. Die Machbarkeit ist erst einmal sekundär.
  • Fassen Sie Ihre Überlegungen auf max. 1/2 A4-Seite zusammen. Diese stellen Sie in der nächsten Sitzung mündlich kurz vor.
  • Relevant sind grob Thema, Versuchsbedingen, Outcome-Variablen

Literatur

Koch, T., Peter, C., & Müller, P. (2019). Das Experiment in der Kommunikations- und Medienwissenschaft. Grundlagen, Durchführung und Auswertung experimenteller Forschung. Wiesbaden: Springer VS.

Sitzung 2

Themenvorstellung

Stellen Sie kurz sich und Ihren Themenvorschlag vor!

Aufgaben zur nächsten Sitzung

  • Gruppen bilden (4-5 Personen, ungern weniger)

  • E-Mail schreiben, wer in der Gruppe für welches Thema zuständig ist

  • Studien mit verwandten Themen recherchieren

  • Notebook (bzw. Tablet mit Tastatur) mitbringen

  • ggf. RStudio und R installieren

Sitzung 3

Theorie und Empirie

Klassische empirische Sozialforschung

  • Theorieentwicklung in Form verbaler Aussagen
  • Theorieprüfung anhand empirischer Daten
  • (Null-)Hypothesentests als Abgleich von Theorie und Empirie

Simulationen

  • Theorieentwicklung in Form von Algorithmen/Code
  • Generierung von (mehrfach) simulierten Daten
  • Abgleich der simulierten mit empirischen Daten

Typen von Simulationen

Monte-Carlo-Simulation

  • Annahmen über Verteilung von Daten in der Grundgesamtheit
  • wiederholtes Ziehen von Zufallsstichproben aus der Grundgesamtheit
  • wiederholte Anwendung eines Verfahrens und Analyse der Ergebnisse

Beispiel T-Test

males = rnorm(n = 1e6, m = 180, sd = 10)
females = rnorm(n = 1e6, m = 166, sd = 10)
t.test(females, males) 

    Welch Two Sample t-test

data:  females and males
t = -990.74, df = 2e+06, p-value < 2.2e-16
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -14.03807 -13.98264
sample estimates:
mean of x mean of y 
 165.9903  180.0007 

Simulation mit Zufallsziehung

do_t_test = function(n, group1, group2){
  m = sample(group1, n)
  w = sample(group2, n)
  t.test(m,w)$p.value
}

do_t_test(100, females, males)
[1] 2.217515e-20
do_t_test(100, males, males)
[1] 0.422165

Alpha-Fehler

set.seed(123)
results_h0 = replicate(1000, do_t_test(n = 100, males, males))
results_h0 |> head()
[1] 0.4500813 0.7186620 0.7419388 0.4453747 0.9146918 0.1410044
sum(results_h0 <= .05)
[1] 63

Beta-Fehler und Power

results_h1_n10 = replicate(1000, do_t_test(n = 5, females, males))
results_h1_n100 = replicate(1000, do_t_test(n = 50, females, males))

sum(results_h1_n10 <= .05)
[1] 459
sum(results_h1_n100 <= .05)
[1] 1000

Power-Analyse

  • für jedes Experiment sollte vorher eine Power-Analyse durchgeführt werden
  • plausible Annahmen (z.B. aus der Literatur) für Effektgrößen/Unterschiede zwischen den Versuchsbedingungen
  • für einfache Designs gibt es z.B. Online-Calculators
  • für komplexere Designs Monte-Carlo-Simulation
  • wir zielen auf ca. 80% Power für den erwarteten Effekt

Vor- und Nachteile Monte-Carlo-Simulation

  • eignen sich vor allem zum Prüfen von Verfahren (tut meine Analyse was sie soll?) und zur
  • Power-Analyse (kann meine Studie einen bestimmten Effekt finden?)
  • datengenerierender Prozess muss (näherungsweise) bekannt sein
  • Regelspezifikation über Formeln
  • isolierte Betrachtung aller Fälle (keine Interaktionen zwischen Agenten)

Soziale Simulationen

  • komplexe Gleichungssysteme - Makromodelle
  • Mikrosimulation (Sample von Agenten wird künstlich “gealtert”)
  • Discrete-Event-Simulations (z.B. Warteschlangenmodelle)
  • Zelluläre Automaten (z.B. Schellings Segregationsmodell)
  • Agent-based Models

Agentenbasierte Modelle (ABM)

Computermodelle mit folgenden Komponenten:

  • Agenten
  • Umwelt
  • Regeln

Geeignet zur Modellierung und Simulation komplexer Systeme mit

  • heterogenen, interagierenden und adaptiven Agenten
  • dynamischen, nicht-linearen Prozessen
  • Mikro-Makro-Verknüpfungen

Spezifikation der Simulation

  • in ABM häufig relativ einfache Handlungs-Regeln
  • formale Spezifikation mit probabilistischer Komponente
  • wenige Parameter innerhalb der Agenten, wenige für die Umwelt
  • Problem 1: sozialwissenschaftliche Theorie oft nicht ausreichend spezifisch und vollständig
  • Problem 2: Annahmen des Modells vs. Ergebnisse der Simulation

Generative Agentenmodelle

  • statt formaler (programmierter) Regeln sprachliche Regeln
  • Nutzung eines LLM als Agent (“Roleplaying”)
  • LLM ergänzt sprachliche Anweisungen und Rolle durch verbale Antworten
  • Antworten hängen von den Trainingsdaten und der Qualität des LLM ab
  • bislang sehr wenige Validierungsstudien (Larooij & Törnberg, 2025)
  • oft relativ naive Annahmen über die Generalisierbarkeit der Ergebnisse (= Ersatz für menschliche Agenten)

Beispiel 1: Analoge Simulation Heroes & Cowards

  • Wir definieren unseren Seminarraum als Umwelt, inkl. aller physikalischen Einschränkungen
  • Agenten des ABM: Teilnehmerinnen
  • einfache Handlungsanweisungen und minimale soziale Interaktion

Beispiel 2: Generative Agenten mit LLM

  • Forschungfrage: Wie wirken Emojis in Textnachrichten?
  • Whatsapp-Nachrichten mit und ohne passende Emojis (generiert mit ChatGPT)
  • verschiedene Agentenpersonas (Alter, Geschlecht, Erfahrung)
  • Experimentaldesign Within-Subjects: alle Agenten bewerten alle Nachrichten (mit einer Replikation)
  • verwendetes Modell GPT3.5 (Kosten wenige Cent pro Durchlauf)

Simulierte Daten

agent_age agent_experience agent_gender scenario_condition scenario_message answer_friendly
60 loves texting and knows all the emojis. man annoyed with matching emojis Kim, make sure you buy and bring a pack of coffee. 😒☕ 1
60 loves texting and knows all the emojis. man friendly with matching emojis Hey Kim, could you vacuum the living room? 🧹😊 You’re a star! 4
40 just learned how to use Whatsapp woman annoyed without emojis Kim, don’t forget to wash the dishes. 2

Simulierte Ergebnisse

Ausblick LLM-basierte ABM

  • vielfältige Anwendungsbereiche, vor allem auch im Bereich Rezeptionsforschung
  • relativ einfache Regelspezifikation, komplexe Agentenpersonas (ggf. mit Gedächtnis)
  • Verknüpfung mit realen Stimuli einfach möglich
  • Inter-Agent-Kommunikation möglich, aber bislang in Expected Parrot nicht umgesetzt
  • Nachteile: Biases der LLM schlagen durch, unklare Generalisierbarkeit
  • LLM-Antworten sind definitiv nicht äquivalent mit menschlichen Befragten!

Aufgaben zur nächsten Sitzung

Sitzung 4

Agenda heute

  1. Fragen zu Grundlagen des Experiments
  2. Kausalmodelle und Experimentaldesign
  3. Forschungsfragen und Hypothesen
  4. Begriffsarbeit

Was unterscheidet experimentelle von nicht-experimentellen Studien?

Wann können statisches Zusammenhänge als kausal betrachtet werden?

Experimente, Randomisierung, Kausalität

  • Experimente dienen primär der Überprüfung kausaler Zusammenhänge
  • kausale Interpretation durch Experimentaldesign
    • zeitliche Reihenfolge
    • Drittvariablenkontrolle
  • Kontrolle aller (beobachteten und nicht beobachteten) Drittvariablen durch Randomisierung und/oder Kovariate

Problem 1: Drittvariablen (Kovariate)

  • Kovariate können recht einfach bei der Datenauswertung eingefügt werden
  • Drittvariablenkontrolle bei Randomisierung unnötig, kann aber Präzision der Schätzung erhöhen, aber
    • Kovariate muss zeitlich und kausal vor der Experimentalmanipulation
    • Inklusion von Post-Treatment-Variablen verzerrt die Schätzung des Effekts
  • sowohl Exklusion als auch Inklusion von Kovariaten können problematisch sein
  • im Zweifelsfall eher weniger oder keine Kovariate ins Modell aufnehmen

Mediation und Moderation

iv

Kausalität im Experiment

Quelle: Koch et al. (2019)

Problem 2: Mediation und indirekte Effekte

  • der totale Effekt \(c\) lässt sich kausal interpretieren, wenn Exposure experimentell variiert wird
  • das Hinzufügen des Mediators verändert die Interpretation, nur \(a\) kann nun kausal interpretiert werden
  • der indirekte Effekt \(ab\) kann nicht kausal interpretiert werden, und auch nicht der direkte Effect \(c'\) Bullock et al. (2010)

Rijnhart et al. (2021)

Aufgabe in Kleingruppen

  1. Lesen und diskutieren sie gemeinsam Abstract, Hypothesen, Design und Stimuli von Wang & Sundar (2022) (15min)
  2. Fassen Sie die Haupthypothesen und deren empirische Umsetzung im Experiment in eigenen Worten zusammen.
  3. Markieren Sie die einzelnen Hypothesen als Pfade im Pfadmodell.
  4. Welche der Hypothesen können mit dem Experiment kausal getestet werden?

Wang & Sundar (2022)

Quelle: Wang & Sundar (2022)

Problem 2: Moderation

  • Effektheterogenität, d.h. der Zusammenhang von X und Y ist nicht für alle gleich
  • der Effekt von X auf Y hängt von Moderatorvariable Z ab (“wird von Z moderiert”)
  • die Größe und die Richtung des Regressionskoeffizienten ist davon abhängig, welche Ausprägung Z hat
  • Beispiele:
    • Experimente mit min. 2 Faktoren, die sich gegenseitig beeiflussen
    • Effektheterogenität in verschiedenen Subgruppen der Stichprobe (Kovariate)
  • konditionale Kausalität schwierig zu testen und zu interpretieren
  • Moderatonshypothesen erfordern deutlich höhere statistische Power

Was ist eine gute Forschungsfrage?

  • Eine Forschungsfrage ist eine Frage!
  • Eine Forschungsfrage lässt sich empirisch beantworten, am besten mit der eigenen Inhaltsanalyse.
  • Eine Forschungsfrage ist weder zu allgemein noch zu spezifisch.
  • Eine Forschungsfrage hat oft eine (implizite oder explizite) Vergleichsdimension.

Was ist eine gute Hypothese?

  • Eine Hypothese ist empirisch falsifizierbar, und es muss klar sein, wann sie falsifiziert ist.
  • Eine Hypothese ist klar und widerspruchsfrei formuliert.
  • Eine Hypothese ist einfach, komplexe Hypothesen sollten in einfache Hypothesen zerlegt werden.
  • Es ist nicht schlimm, sich widersprechende Hypothesen zu formulieren (H1a vs H1b).
  • Eine Nullhypothese ist selten eine interessante Hypothese, und oft nicht leicht zu prüfen.

Komplexe Hypothesen

  • Mediationshypothesen lassen sich fast nie kausal prüfen, auch nicht im Experiment.
  • Mediationshypothesen sind praktisch immer kausal, selbst wenn das Gegenteil (in den Limitationen) behauptet wird.
  • Moderationshypothesen sind legitim, aber erfordern mehr Aufwand (z.B. Stichprobengröße)
  • Wir sind zunächst an unkonditionalen Effekten interessiert (Sparsamkeit des Modells).
  • Kovariaten- und Moderationshypothesen sollten nicht im Vordergrund des Experiments stehen.

Begriffsarbeit

Komrey, Roose & Strübing, 2016

Aufgaben bis nächste Woche

  1. Einigen sie sich in der Gruppe auf ein Thema.
  2. Recherchieren sie mindestens 4 thematische verwandte Studien, vorzugsweise Experimente.
  3. Formulieren Sie Forschungsfragen und Hypothesen.
  4. Definieren und erarbeiten Sie zentrale Begriffe, die in den Forschungsfragen und Hypothesen vorkommen.

Sitzung 5

Agenda heute

  1. Finalisierung Forschungsfragen und Hypothesen
  2. Forschungsdesign
  3. Stichprobe

5-Minuten Präsentationen

Experimentalfaktoren

Quelle: Koch et al. (2019)

Between- und Within-Subject-Design

Quelle: Koch et al. (2019)

Studiendesign und stat. Power

Quelle: https://measuringu.com/between-within/

Studiendesign und Datenanalyse

Between-Subjects

participant_id treatment outcome
1 A 4
2 B 1
3 C 3
4 A 1

lm(outcome ~ treatment, data = d)

Within-Subjects (Long Format)

participant_id treatment outcome
1 A 1
1 B 2
1 C 5
2 A 5

lme4::lmer(outcome ~ treatment + (treatment | participant_id), data = d)

Vor- und Nachteile

Between-Subjects

  • einfach zu planen und umzusetzen

  • einfach auszuwerten

  • keine Reihenfolgeeffekte etc.

  • große Stichprobe erforderlich

  • Aufwand Rekrutierung vs. Ertrag

Within-Subjects

  • mehr statistische Power

  • ggf. höhere Generalisierbarkeit

  • etwas mehr Aufwand in der Umsetzung

  • etwas schwierigere Auswertung

  • ggf. Reihenfolgeeffekte

Es sind auch gemischte und/oder unvollständige Designs (within + between Faktoren) möglich.

Umsetzung (unvollständige) Within-Designs

  • statt immer neu zu randomisieren, werden Pseudo-Between-Gruppen gebildet
  • alle relevanten (Kombinationen von) Bedingungen sind enthalten
  • innerhalb dieser Gruppen ist der Ablauf immer gleich
  • Designs können unvollständig sein, aber die wichtigsten Bedingungen enthalten
  • Reihenfolge nur für die relevantesten Faktoren variieren
Gruppe Treatment_1 Treatment_2 Treatment_3
1 A B C
2 B C A
3 C A B

Reihenfolge

  • Cover-Story/Briefing, Studie, Debriefing
  • möglichst sofort mit dem Experiment beginnen, Kovariaten später messen (Abbrecher)
  • bei Within-Designs entweder
    • direkte Messung nach Exposition zum Stimulus (Stimulus, Messung, Stimulus, Messung, etc.)
    • vergleichende/aggregierte Messung nach Präsentation aller Stimuli (z.B. Recall)
  • zeitlicher Abstand Stimulus-zu-Messung hängt von der Fragestellung ab

Manipulations-Check

  • oft werden Manipulationschecks einfach empfohlen, aber zu bedenken:
    1. Ist es nötig, dass die Probandinnen die Manipulation erkennen?
    2. Wird durch den Check (die Frage) selbst ein Effekt erzielt?
    3. Was passiert, wenn jemand durch den Manipulationscheck fällt?
  • im Zweifelsfall Manipulationscheck erst am Ende oder gar nicht

Aufgabe

  1. Wie viele Faktoren hat ihr Experiment, mit wie vielen Ausprägungen? Gibt es eine Kontrollgruppe?
  2. Skizzieren Sie in 15 min jeweils grob eine Within- und eine Between-Subject Variante Ihres Experiments.
  3. Malen Sie den Versuchsablauf auf und gehen Sie das Experiment im Geiste einmal durch.
  4. Was ist aus Perspektive der Forschenden vs. Probandinnen zu beachten?

Stichprobe

  • beim Experiment vor allem Stichprobenumfang (statistische Power) relevant
  • Definition Grundgesamtheit vs. realisierbare Stichprobe
  • Repräsentativität und Generalisierbarkeit der Ergebnisse
  • Gibt es Zweifel, ob die Experimentalmanipulation unterschiedlich wirken könnte?
  • Moderationsanalyse (Quasi-Experiment) möglich, aber mit Aufwand verbunden

Aufgaben bis nächste Woche

  • Studiendesign finalisieren und Studienablauf planen
  • finale Power-Analyse durchführen
  • Grundgesamtheit, Stichprobe und Rekrutierungsplan entwerfen

Sitzung 6

Agenda heute

  1. 5-Min Präsentationen
  2. Fragen zu Grundlagen des Experiments
  3. Treatments und Stimuli
  4. KI-generierte Stimuli

5-Min Präsentationen

Was sind intern und was sind extern valide Treatments?

Wie kann man passende Stimuli generieren oder auswählen?

Wie sollte man Stimuli und Fragen präsentieren?

Treatments

  • Stimuli selbst erstellen vs. aus existierenden auswählen und manipulieren
  • Anzahl Stimuli pro Versuchsperson bzw. pro Versuchsbedingung
  • subtile vs. starke Manipulation der Stimuli
  • eigene (willkürliche) Auswahl vs. Pretest bzw. Fremdselektion
  • (randomisierte) Präsentation der Stimuli

KI-generierte Stimuli

Aufgabe bis nächste Woche

  • Design- bzw. Auswahlstrategie für Stimuli entwickeln
  • erste Stimuli auswählen bzw. erstellen (und mitbringen!)
  • Präsentation der Stimuli im Experiment planen

Sitzung 7

Agenda heute

  1. 5-Min Präsentationen
  2. Messinstrumente und Skalen
  3. Skalenrecherche und -auswahl
  4. Weiteres zur Fragebogengestaltung: Informed Consent, Datenschutz und Co.

5-Min Präsentationen

Was sind gute Messungen (v.a. in Experimentaldesigns)?

Was spricht für und was gegen lange Fragenbatterien?

Messinstrumente und Skalen

  • Konstrukte: latent vs. manifest, reflexiv vs. formativ
  • Messmethode: Befragung vs. Beobachtung
  • Umfang der Messung: multi-item vs. single item, Langskala vs. Kurzskala
  • Menge an Messungen: Datensparsamkeit vs. Stichprobenbeschreibung, Teilnahmebürde vs. Ausschöpfung des Merkmalsraums
  • Platzierung der Messung: Reihenfolgen-, Ausstrahlungs- und andere Fragebogeneffekte (inbs. Platzierung des Manipulationschecks)
  • Messniveau: Varianz des Konstruktes und Skalierung

Skalenrecherche und -auswahl

Skalenrecherche und -auswahl: Wie Messungen nach Güte bewerten?

  • Validität (v.a. Inhalts- und Konstruktvalidität)
  • Reliabilität
  • ggf. Psychometrie/Deskriptiva anschauen
  • Itemformulierungen: kurz, präzise und eindeutig, verständlich, passend zur Zielgruppe
  • Verortung und Verwendung im Forschungsfeld, Passung zur Konstruktexplikation, Bürde, Eignung für Zielgruppe

Aufgaben bis übernächste (!) Woche

  • Präregistrierung finalisieren
  • Experimentaldesign und Stimuli fertigstellen
  • Skalen und Items recherchieren
  • Fragebogen entwickeln (in Word oder SosciSurvey)

Sitzung 8

Agenda heute

  1. 5-Min Präsentationen
  2. Experimente in Soscisurvey
  3. Daten aus Soscisurvey
  4. Datenanalyse Within-Subject-Designs

5-Min Präsentationen

Experimente in Soscisurvey

  • Soscisurvey ist sehr gut für Experimente geeignet
  • vielfältige Randomisierungsmöglichkeiten, flexible Programmierung
  • Datenexport per API und R-Paket

Randomisierung in Soscisurvey

  1. Urne anlegen (Name z.B. gruppe) mit k Ausprägungen (Anzahl Faktorenkombinationen/Pseudogruppen)
  2. Interne Variable IV01 anlegen.
  3. Auf erster Fragebogenseite per PHP aus Urne ziehen:
urnDraw('gruppe', 'IV01');
  1. Auf Stimulusseite per PHP zuordnen:
if (value('IV01_01') == 1) {
  html('Stimulus 1A');
} elseif (value('IV01_01') == 2) {
  html('Stimulus 1B');
}
  1. Items auf dieselbe oder die folgende Seite.

Within-Subject-Experiment in Soscisurvey

  • Gleiche Schritte wie oben, aber für jede Messwiederholung:

    1. Frageblock kopieren
    2. Stimulusseite anlegen mit PHP-Code nach Versuchsplan
    3. Je eine Kopie des Frageblocks pro Stimulusseite
  • Variablen sollten dann so heißen: BLOCK_i_j, wobei i die Stimulusseite ist, j die Itemnummer

  • vorzugsweise ein Variablenblock mit demselben Response-Format, alternativ mehrere (unterschiedliche Kürzel vorn)

Stimuli einbinden

  • Bilder und Videos können in Soscisurvey hochgeladen werden oder extern gehostet
  • systematisch Dateinamen verwenden, etwa thema_bedingung1_bedingung2.jpg, also sport_0_1.jpg
  • einbinden mit HTML
<img src="sport_0_1.jpg"/> 

<video playsinline controls controlsList="nodownload" style="max-width: 100%;">
  <source src="sport_0_1.mp4" type="video/mp4" />
</video>

Datenanalyse

  • Daten liegen zunächst im Breitformat vor, d.h. jedes Item aus jedem Block eine Variable
  • für die Auswertung benötigen wir die Daten im Langformat:
CASE gruppe seite bedingung item_1 item_2 item_3
101 1 1 A 5 4 3
101 1 2 B 2 5 1
103 2 1 B 4 3 5

Versuchsplan als Daten

  • um die Soscisurvey-Daten möglichst einfach mit den Versuchsbedingungen zu verknüpfen, erstellen wir eine Excel-Datei mit dem Versuchsplan:
gruppe seite ki_ursprung ki_markierung
1 1 1 1
1 2 1 0
1 3 0 1
1 4 0 0
2 1 0 0
  • zwingend erforderlich sind die Pseudogruppe (gruppe) und die Stimulusseite (seite), in den weiteren Spalten stehen die Versuchsbedingen, Thema, o.ä.
  • die meisten Gruppen hatten das im Rahmen des Designs schon (ggf. in anderem Format) angelegt

Kombinierte Daten im Langformat

CASE gruppe seite bedingung item_1 item_2 item_3 ki_ursprung ki_markierung
101 1 1 A 5 4 3 1 1
101 1 2 B 2 5 1 1 0
103 2 1 B 4 3 5 0 0
  • Kovariaten auf Personenebene können wir einfach wieder hinzufügen, da die CASE-Variable vorhanden ist

Datenanalyse

  • im Between-Design können wir einfach T-Test oder ANOVA durchführen lm(y ~ bedingung)
  • im Within-Subject-Design ist das nicht möglich, weil durch die Messwiederholungen die Unabhängkeitsannahme verletzt ist
  • stattdessen schätzen wir ein Multilevel- oder Mixed Effects Modell lmer(y ~ bedingung + (1|CASE)
  • Interpretation der Effekt etc. ist identisch, auch die Visualisierung ist problemlos möglich

Praktische Übung

  • erstellen oder öffnen Sie Ihr Soscisurvey-Projekt
  • wir erstellen gemeinsam Urne, Randomisierung und Frageblöcke sowie API-Zugriff
  • arbeiten Sie https://stats.ifp.uni-mainz.de/ba-ccs-track/exp-analyse.html durch (gern auch in der Gruppe)
  • erstellen Sie eine codeplan.xlsx Datei
  • passen Sie den Beispiel-Code für Ihre Studie an

Aufgaben bis nächste Woche

  1. Fragebogen inkl. Stimuli und Messinstrumente finalisieren.
  2. Technischen Pretest durchführen, eigentlichen Pretest (n ~ 5) durchführen
  3. Code für Datenanalyse vorbereiten

Sitzung 9

Sitzung 11

Wie war die Feldphase?

Datenauswertung

  • Plausibilitätscheck, Bereinigung, Stichprobenbeschreibung
  • Hypothesentests samt Mittelwertvergleichen etc.
  • Ergebnistabellen oder Grafiken
  • ggf. explorative Zusatzauswertungen

Aufgaben bis nächste Woche

  • Datenauswertung
  • Abschlusspräsentation (max. 10 Minuten, minimale Herleitung)
  • Fragen zum Ergebnisbericht etc. mitbringen

Sitzung 12

Abschlusspräsentationen

Projektbericht

  • maximal (!) 10.000 Wörter insgesamt ohne Anhang
  • Zusammenfassung des Experiments, kein Praktikumsbericht
  • Recycling der Preregistration und Zwischenberichte erwünscht
  • Struktur und Inhalte wie ein Journal-Beitrag
  • Formalien und Regeln wissenschaftlicher Arbeit sind sehr wichtig und notenrelevant.

Struktur

  1. Einleitung - Forschungsfrage, nicht unbedingt Relevanz
  2. Literatur + (Theorie) + Hypothesen (aus Literatur/Theorie entwickelt!)
  3. Methode - Design - Stimuli - Messung - Stichprobe - ggf. Datenmanagement/Analyse (stat. Verfahren müssen nicht erklärt werden)
  4. Ergebnisse - Basics, Hypothesentests etc., explorative Analysen
  5. Diskussion - Zusammenfassung, Limitationen, wiss./praktische Implikationen

Tabellen/Abbildungen

  • gern und viel verwenden (an Leser/Leserin denken!)
  • keine rohen SPSS/R Outputs, sondern APA-Tabellen
  • Abbildung auf mögliche Redundanzen prüfen (z.B. Zahlenlabels)
  • Tab/Abb sind nummeriert, beschriftet, enthalten Fallzahl und ggf. Lesehilfe
  • Tab/Abb, über die sie schreiben, gehören in die Arbeit, andere in den Anhang
  • Tabellen/Abbildungen im Anhang müssen nicht groß aufbereitet werden, aber nummeriert, beschriftet, etc.

Häufige Fehler

  • zu wenig Theorie/Literatur - Suche ggf. erweitern
  • Hypothesen “fallen vom Himmel” - Belege oder eig. Herleitung
  • logische Brüche - passt Design/Stichprobe/Messung, etc. zueinander
  • zuviel Arbeitsbericht (“die Rekrutierung war schwierig und die Absprachen im Team wurden nicht immer eingehalten”)
  • unzureichende Ergebnisdarstellung nach APA (zu wenige/viele/falsche Koeffizienten in Tabelle)
  • langweilige Diskussionsteile (triviale Selbstkritik, kaum Ausblick/Anschluss an Einleitung/Literaturteil)
  • formale Fehler (Zitationen, Beschriftungen, Rechtschreibung/Grammatik)

Arbeitsteilung/Benotung

  • Gruppennote ist der Standard, wenn alles nach Plan läuft
  • formale Benennung der Verantwortlichkeiten, wird nicht geprüft
  • Optionen für Einzelnoten:
    • Einzelnoten für Gruppenbericht - Bescheid geben wg. Verantwortlichkeiten
    • Einzelarbeit - entweder kurzer Gesamtbericht oder alternative(s) Kapitel
  • es müssen nicht alle gleich viel schreiben, auch andere Arbeiten sind wertvoll

Fragen, Kommentare, Anregungen, Kritik?

Literatur

Bullock, J. G., Green, D. P., & Ha, S. E. (2010). Yes, but whats the mechanism? (dont expect an easy answer). Journal of Personality and Social Psychology, 98(4), 550–558. https://doi.org/10.1037/a0018933
Koch, T., Peter, C., & Müller, P. (2019). Das Experiment in der Kommunikations- und Medienwissenschaft. Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-19754-4
Larooij, M., & Törnberg, P. (2025). Do Large Language Models Solve the Problems of Agent-Based Modeling? A Critical Review of Generative Social Simulations. https://doi.org/10.48550/ARXIV.2504.03274
Rijnhart, J. J. M., Lamp, S. J., Valente, M. J., MacKinnon, D. P., Twisk, J. W. R., & Heymans, M. W. (2021). Mediation analysis methods used in observational research: a scoping review and recommendations. BMC Medical Research Methodology, 21(1). https://doi.org/10.1186/s12874-021-01426-3
Waldherr, A., & Wettstein, M. (2019). Bridging the Gaps: Using Agent-Based Modeling to Reconcile Data and Theory in Computational Communication Science. International Journal of Communication, 13(00), 24. https://ijoc.org/index.php/ijoc/article/view/10588
Wang, J., & Sundar, S. S. (2022). Liking versus commenting on online news: effects of expression affordances on political attitudes. Journal of Computer-Mediated Communication, 27(6). https://doi.org/10.1093/jcmc/zmac018