Seite 1 von 2

Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Fr 2. Sep 2022, 11:48
von LarsG
Hallo zusammen,

ich habe eine ganz gute Übersicht für Test, bei denen ich die Ergebnisse von unterschiedlichen Gruppen miteinander vergleichen möchte.
Doch jetzt habe ich den Fall, dass ich die Signifikanz von Unterschieden zwischen zwei Variablen der gleichen Gruppe vergleichen möchte.

Beispiel:
Welchen Aussagen stimmen Sie zu?
1 = stimme nicht zu - 2 - 3 - 4 - 5 = stimme zu

a) Ich mag Mathe.
b) Ich mag Deutsch.

Ergebnis: 56% mögen Mathe; 61% mögen Deutsch

Ich würde jetzt gerne herausfinden, ob innerhalb einer Klasse signifikant mehr Personen Deutsch als Mathe mögen. Dabei gibt es natürlich auch Personen, die beides mögen. Ich möchte also Häufigkeiten miteinander vergleichen und nicht Gruppen.
Welchen Signifikanztest in SPSS kann ich dafür verwenden und gibt es auch einen entsprechenden Test, um die Effektstärke zu messen?

1000 Dank! Es würde mir sehr weiter helfen.

Re: Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Fr 2. Sep 2022, 13:07
von ponderstibbons
Abhängige Messungen auf Ordinalskalenniveau (wie die vorliegende 5erskala) kann man mit dem Vorzeichentest vergleichen. Im binären Fall (ja/neinSkala) McNemars Test.

Die Frage, ob es ein Test gibt, um etwas zu messen, ergibt für mich leider keinen Sinn.

Mit freundlichen Grüßen

PonderStibbons

Re: Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Di 6. Sep 2022, 08:29
von LarsG
@PonderStibbons vielen Dank!

Das ist genau, was ich gesucht habe.
Mit einer Art Test zur Messung der Effektgröße meine ich, dass ich normalerweise bei z.B. Persons Chi2-Test im Anschluss die Effektgröße mit Cramer's V bestimme. So kann ich bei signifikanten Unterschieden zwischen Gruppen feststellen, wie relevant die Unterschiede tatsächlich sind.
Meine Hoffnung war, dass es etwas ähnliches auch für den Vergleich zweier Werte einer Gruppe gibt.

Aber der Hinweis auf den Vorzeichentest und Mc Nemars Test hat mir schon sehr weitergeholfen.

Dankeschön!
Lars

Re: Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Di 6. Sep 2022, 09:30
von ponderstibbons
Mit einer Art Test zur Messung der Effektgröße meine ich, dass ich normalerweise bei z.B. Persons Chi2-Test im Anschluss die Effektgröße mit Cramer's V bestimme. So kann ich bei signifikanten Unterschieden zwischen Gruppen feststellen, wie relevant die Unterschiede tatsächlich sind.

Das kannst Du keineswegs. Nur weil der Chi²-Test statistisch signifikant ist,
wird doch der V-Wert nicht mit einem Mal ein zuverlässiger Effektschätzer.
Der V-Wert ist größer oder kleiner als der tatsächliche Effekt, aufgrund des
Stichprobenzufalls. Bei kleinen Stichproben führt diese Fehlannahme,
man könnte nach einem statistisch signifikanten Test den Effekt schätzen,
zwangsläufig zu chronischer Überschätzung von Effektstärken.

Insofern kann man sich sowas sparen (außer bei sehr großen Stichproben,
wo der Stichprobenfehler klein ist und die Schätzung einigermaßen
zuverlässig).

Mit freundlichen Grüßen

PonderStibbons

Re: Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Di 6. Sep 2022, 10:05
von LarsG
ponderstibbons hat geschrieben:Das kannst Du keineswegs. Nur weil der Chi²-Test statistisch signifikant ist,
wird doch der V-Wert nicht mit einem Mal ein zuverlässiger Effektschätzer.
Insofern kann man sich sowas sparen (außer bei sehr großen Stichproben,
wo der Stichprobenfehler klein ist und die Schätzung einigermaßen
zuverlässig).


Puh, das wirbelt einiges Gelerntes aus meinen Statiskkursen durcheinander. Da hieß es immer, Signifikanztest schön und gut, aber nur, weil z.B. ein Unterschied zwischen zwei Gruppen signifikant ist (also wahrscheinlich nicht auf Zufall beruht), sagt mir der p-Wert noch nichts über die Bedeutsamkeit des Unterschieds. Erst der entsprechende Test zur Effektstärke liefert das Maß, um die Bedeutsamkeit eines Unterschieds zu beurteilen. Zumindest so habe ich das mal gelernt.

Verstehe ich Dich jetzt richtig, dass Du meinst, die Berechnung der Effektstärke kann ich mir sparen? Normalerweise haben meine Datensätze einen Stichprobenumfang von 500 - 1000 Fällen.
Oder anders gefragt, ab welchem Stichprobenfehler würdest Du denn sagen, dass die Berechnung der Effektstärke akzeptable Ergebnisse liefert? Kannst Du mir dazu Literatur empfehlen?

Vielen Dank und Grüße
Lars

Re: Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Di 6. Sep 2022, 10:43
von strukturmarionette
Hi,

Erst der entsprechende Test zur Effektstärke liefert das Maß, um die Bedeutsamkeit eines Unterschieds zu beurteilen

- 'Bedeutsamkeit' ist in der Hauptsache etwas fachliches, danach zu beurteilen
(bspw: Wie ist dein Befund einzuordnen in den aktuellen Forschungsstand zum fachlichen Thema?)
- Tests sind etwas anderes als Effektstärken

- zur Orientierung 'Effektstärken' vielleicht:
https://www.psychometrica.de/effektstaerke.html

Gruß
S.

Re: Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Di 6. Sep 2022, 11:24
von ponderstibbons
Verstehe ich Dich jetzt richtig, dass Du meinst, die Berechnung der Effektstärke kann ich mir sparen? Normalerweise haben meine Datensätze einen Stichprobenumfang von 500 - 1000 Fällen.

Das 95%-Konfidenzintervall beispielsweise für einen Mittelwert ist Mw +/- 1,96*SD/Wurzel(n).
Bei n=500 sind meines Erachtens die Schätzungen schon recht brauchbar.

Re: Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Di 11. Okt 2022, 12:30
von Mediz_96
Liebes SPSS-Forum,

ich hätte eine Frage zur Berechnung der Effektstärken.
Ich habe eine zweifaktorielle ANOVA gerechnet und anschließend post-hoc-Tests. SPSS gibt mir ja nur Eta² aus, ich soll aber Cohens'd berechnen.
Jetzt ist mir nicht ganz klar, wie ich das über https://www.psychometrica.de/effektstaerke.html mache.
Das Cohens'd der Haupteffekte habe ich über die deskriptiven Statistiken (SPSS) berechnet. Wie mache ich das für die Interaktion? Und wie berechne ich d bei den post-hoc-Tests?
Wären das dann die Mittelwerte aus den paarweisen Vergleichen? Dort werden dann allerdings nur die Standardfehler und nicht die Standardabweichungen angegeben.

Über eine Rückmeldung bin ich sehr dankbar:)
Viele Grüße:)

Re: Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Do 13. Okt 2022, 16:16
von strukturmarionette
Hi,

eine zweifaktorielle ANOVA gerechnet

- Anzahl Stufen jeweils?
- N? (auch n1, n2, ..)?
- Liegen Messwdhlg vor?
- gfs Anzahl AVs

Gruß
S.

Re: Testauwahl für Signifikanz und Effektstärke

BeitragVerfasst: Sa 15. Okt 2022, 14:08
von Mediz_96
Hallo:)

Es ist eine 2 x 2 ANOVA. Ein Gruppenfaktor mit zwei Stufen und ein Messwiederholungsfaktor mit zwei Stufen, 1 AV.
N1 = 15,N2 = 18 und für die andere Fragestellung N3 = 50, N4 = 51.

Liebe Grüße