Testauwahl für Signifikanz und Effektstärke

Allgemeine Fragestellungen zu Statistik mit SPSS.

Testauwahl für Signifikanz und Effektstärke

Beitragvon LarsG » Fr 2. Sep 2022, 11:48

Hallo zusammen,

ich habe eine ganz gute Übersicht für Test, bei denen ich die Ergebnisse von unterschiedlichen Gruppen miteinander vergleichen möchte.
Doch jetzt habe ich den Fall, dass ich die Signifikanz von Unterschieden zwischen zwei Variablen der gleichen Gruppe vergleichen möchte.

Beispiel:
Welchen Aussagen stimmen Sie zu?
1 = stimme nicht zu - 2 - 3 - 4 - 5 = stimme zu

a) Ich mag Mathe.
b) Ich mag Deutsch.

Ergebnis: 56% mögen Mathe; 61% mögen Deutsch

Ich würde jetzt gerne herausfinden, ob innerhalb einer Klasse signifikant mehr Personen Deutsch als Mathe mögen. Dabei gibt es natürlich auch Personen, die beides mögen. Ich möchte also Häufigkeiten miteinander vergleichen und nicht Gruppen.
Welchen Signifikanztest in SPSS kann ich dafür verwenden und gibt es auch einen entsprechenden Test, um die Effektstärke zu messen?

1000 Dank! Es würde mir sehr weiter helfen.
LarsG
 
Beiträge: 3
Registriert: Fr 2. Sep 2022, 11:34
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Testauwahl für Signifikanz und Effektstärke

Beitragvon ponderstibbons » Fr 2. Sep 2022, 13:07

Abhängige Messungen auf Ordinalskalenniveau (wie die vorliegende 5erskala) kann man mit dem Vorzeichentest vergleichen. Im binären Fall (ja/neinSkala) McNemars Test.

Die Frage, ob es ein Test gibt, um etwas zu messen, ergibt für mich leider keinen Sinn.

Mit freundlichen Grüßen

PonderStibbons
ponderstibbons
 
Beiträge: 2477
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 1
Danke bekommen: 255 mal in 254 Posts

Re: Testauwahl für Signifikanz und Effektstärke

Beitragvon LarsG » Di 6. Sep 2022, 08:29

@PonderStibbons vielen Dank!

Das ist genau, was ich gesucht habe.
Mit einer Art Test zur Messung der Effektgröße meine ich, dass ich normalerweise bei z.B. Persons Chi2-Test im Anschluss die Effektgröße mit Cramer's V bestimme. So kann ich bei signifikanten Unterschieden zwischen Gruppen feststellen, wie relevant die Unterschiede tatsächlich sind.
Meine Hoffnung war, dass es etwas ähnliches auch für den Vergleich zweier Werte einer Gruppe gibt.

Aber der Hinweis auf den Vorzeichentest und Mc Nemars Test hat mir schon sehr weitergeholfen.

Dankeschön!
Lars
LarsG
 
Beiträge: 3
Registriert: Fr 2. Sep 2022, 11:34
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Testauwahl für Signifikanz und Effektstärke

Beitragvon ponderstibbons » Di 6. Sep 2022, 09:30

Mit einer Art Test zur Messung der Effektgröße meine ich, dass ich normalerweise bei z.B. Persons Chi2-Test im Anschluss die Effektgröße mit Cramer's V bestimme. So kann ich bei signifikanten Unterschieden zwischen Gruppen feststellen, wie relevant die Unterschiede tatsächlich sind.

Das kannst Du keineswegs. Nur weil der Chi²-Test statistisch signifikant ist,
wird doch der V-Wert nicht mit einem Mal ein zuverlässiger Effektschätzer.
Der V-Wert ist größer oder kleiner als der tatsächliche Effekt, aufgrund des
Stichprobenzufalls. Bei kleinen Stichproben führt diese Fehlannahme,
man könnte nach einem statistisch signifikanten Test den Effekt schätzen,
zwangsläufig zu chronischer Überschätzung von Effektstärken.

Insofern kann man sich sowas sparen (außer bei sehr großen Stichproben,
wo der Stichprobenfehler klein ist und die Schätzung einigermaßen
zuverlässig).

Mit freundlichen Grüßen

PonderStibbons
ponderstibbons
 
Beiträge: 2477
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 1
Danke bekommen: 255 mal in 254 Posts

Re: Testauwahl für Signifikanz und Effektstärke

Beitragvon LarsG » Di 6. Sep 2022, 10:05

ponderstibbons hat geschrieben:Das kannst Du keineswegs. Nur weil der Chi²-Test statistisch signifikant ist,
wird doch der V-Wert nicht mit einem Mal ein zuverlässiger Effektschätzer.
Insofern kann man sich sowas sparen (außer bei sehr großen Stichproben,
wo der Stichprobenfehler klein ist und die Schätzung einigermaßen
zuverlässig).


Puh, das wirbelt einiges Gelerntes aus meinen Statiskkursen durcheinander. Da hieß es immer, Signifikanztest schön und gut, aber nur, weil z.B. ein Unterschied zwischen zwei Gruppen signifikant ist (also wahrscheinlich nicht auf Zufall beruht), sagt mir der p-Wert noch nichts über die Bedeutsamkeit des Unterschieds. Erst der entsprechende Test zur Effektstärke liefert das Maß, um die Bedeutsamkeit eines Unterschieds zu beurteilen. Zumindest so habe ich das mal gelernt.

Verstehe ich Dich jetzt richtig, dass Du meinst, die Berechnung der Effektstärke kann ich mir sparen? Normalerweise haben meine Datensätze einen Stichprobenumfang von 500 - 1000 Fällen.
Oder anders gefragt, ab welchem Stichprobenfehler würdest Du denn sagen, dass die Berechnung der Effektstärke akzeptable Ergebnisse liefert? Kannst Du mir dazu Literatur empfehlen?

Vielen Dank und Grüße
Lars
LarsG
 
Beiträge: 3
Registriert: Fr 2. Sep 2022, 11:34
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Testauwahl für Signifikanz und Effektstärke

Beitragvon strukturmarionette » Di 6. Sep 2022, 10:43

Hi,

Erst der entsprechende Test zur Effektstärke liefert das Maß, um die Bedeutsamkeit eines Unterschieds zu beurteilen

- 'Bedeutsamkeit' ist in der Hauptsache etwas fachliches, danach zu beurteilen
(bspw: Wie ist dein Befund einzuordnen in den aktuellen Forschungsstand zum fachlichen Thema?)
- Tests sind etwas anderes als Effektstärken

- zur Orientierung 'Effektstärken' vielleicht:
https://www.psychometrica.de/effektstaerke.html

Gruß
S.
strukturmarionette
 
Beiträge: 2454
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 7
Danke bekommen: 122 mal in 122 Posts

Re: Testauwahl für Signifikanz und Effektstärke

Beitragvon ponderstibbons » Di 6. Sep 2022, 11:24

Verstehe ich Dich jetzt richtig, dass Du meinst, die Berechnung der Effektstärke kann ich mir sparen? Normalerweise haben meine Datensätze einen Stichprobenumfang von 500 - 1000 Fällen.

Das 95%-Konfidenzintervall beispielsweise für einen Mittelwert ist Mw +/- 1,96*SD/Wurzel(n).
Bei n=500 sind meines Erachtens die Schätzungen schon recht brauchbar.
ponderstibbons
 
Beiträge: 2477
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 1
Danke bekommen: 255 mal in 254 Posts

Re: Testauwahl für Signifikanz und Effektstärke

Beitragvon Mediz_96 » Di 11. Okt 2022, 12:30

Liebes SPSS-Forum,

ich hätte eine Frage zur Berechnung der Effektstärken.
Ich habe eine zweifaktorielle ANOVA gerechnet und anschließend post-hoc-Tests. SPSS gibt mir ja nur Eta² aus, ich soll aber Cohens'd berechnen.
Jetzt ist mir nicht ganz klar, wie ich das über https://www.psychometrica.de/effektstaerke.html mache.
Das Cohens'd der Haupteffekte habe ich über die deskriptiven Statistiken (SPSS) berechnet. Wie mache ich das für die Interaktion? Und wie berechne ich d bei den post-hoc-Tests?
Wären das dann die Mittelwerte aus den paarweisen Vergleichen? Dort werden dann allerdings nur die Standardfehler und nicht die Standardabweichungen angegeben.

Über eine Rückmeldung bin ich sehr dankbar:)
Viele Grüße:)
Mediz_96
 
Beiträge: 3
Registriert: Fr 23. Sep 2022, 08:06
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Testauwahl für Signifikanz und Effektstärke

Beitragvon strukturmarionette » Do 13. Okt 2022, 16:16

Hi,

eine zweifaktorielle ANOVA gerechnet

- Anzahl Stufen jeweils?
- N? (auch n1, n2, ..)?
- Liegen Messwdhlg vor?
- gfs Anzahl AVs

Gruß
S.
strukturmarionette
 
Beiträge: 2454
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 7
Danke bekommen: 122 mal in 122 Posts

Re: Testauwahl für Signifikanz und Effektstärke

Beitragvon Mediz_96 » Sa 15. Okt 2022, 14:08

Hallo:)

Es ist eine 2 x 2 ANOVA. Ein Gruppenfaktor mit zwei Stufen und ein Messwiederholungsfaktor mit zwei Stufen, 1 AV.
N1 = 15,N2 = 18 und für die andere Fragestellung N3 = 50, N4 = 51.

Liebe Grüße
Mediz_96
 
Beiträge: 3
Registriert: Fr 23. Sep 2022, 08:06
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Nächste

Zurück zu Statistik allgemein

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste