Statistisch significant

Wat houdt statistisch significant in?

Statistische significantie is een maatstaf die aangeeft of het verschil of het verband dat in een studie wordt waargenomen waarschijnlijk niet door toeval is ontstaan. In de basis houdt het in dat als iets statistisch significant is, de kans klein is dat het waargenomen effect simpelweg het resultaat is van variatie in de steekproef.

Hoe toets je of een relatie statistisch significant is?

Statistische significantie wordt binnen wetenschappelijk onderzoek meestal gemeten met de p-waarde.

Als de p-waarde lager is dan een bepaald percentage, dan wordt de nulhypothese verworpen [1].

Stel je voor dat je nulhypothese is dat er geen verschil is in gezondheid tussen mensen die een plantaardig of dierlijk voedingspatroon volgen. Wat je vervolgens doet is een statistische toets als de ANOVA waarbij je twee groepen vergelijkt op één of meerdere uitkomstmaten zoals overlijden of diabetes.

• Je nulhypothese is dan: er is geen verschil qua overlijden tussen mensen met een plantaardig of dierlijk voedingspatroon.
• Je verwerpt de nulhypothese als de p-waarde van de test van de ANOVA kleiner is dan 0,05 of 0,10.

Als de gemeten p-waarde kleiner is dan de 0,05 of 0,10 dan wordt het effect als statistisch significant beschouwd. Dit betekent dat er minder dan 5% kans is dat het waargenomen effect toevallig is [1].

Wat betekent het als resultaten niet statistisch significant zijn?

Niet-statistisch significante resultaten betekenen dat het onderzoek niet voldoende bewijs heeft gevonden om te concluderen dat er een echt effect of verschil bestaat. Dit betekent echter niet altijd dat er geen effect is; het kan ook zijn dat de studie niet genoeg kracht heeft (bijv. te kleine steekproefgrootte).

Kan iets statistisch significant zijn maar niet praktisch relevant?

Ja, soms kan een effect statistisch significant zijn maar zo klein dat het vanuit praktisch oogpunt niet relevant is. Dit is een belangrijke overweging bij het interpreteren van onderzoeksresultaten. Een voorbeeld hiervan is het gemeten verschil bij krachtsporters die cafeïne gebruiken. Binnen sommige onderzoeken zie je een significant verschil, maar is het verschil in kracht maar één of twee kilo. Dit is niet relevant voor amateur sporters, mogelijk wel voor topsporters.

Wat is de invloed van het aantal deelnemers?

Een grotere steekproefgrootte kan kleine effecten detecteren en verhoogt de kans om een werkelijk effect als significant te identificeren. Echter, met een zeer grote steekproef kunnen zelfs minuscule en praktisch irrelevante verschillen statistisch significant lijken.