Het begrip Statistisch significant is best moeilijk. Er worden veel fouten mee gemaakt.
Als de kans op vergissen niet klein is, mag je dan zeggen dat er géén verschil is?
Nee.
Voorbeeld
- stel je meet iemands reactietijd.
- na vijftien keer komt er een gemiddelde uit, met een bepaalde spreiding.
- daarna meet je weer vijftien keer de reactietijd, maar nu wordt de proefpersoon steeds afgeleid.
- het lijkt erop dat daardoor het gemiddelde iets langer geworden is.
Geen verschil
- als je de statistische test doet,
dan blijkt die tweede serie niet echt trager is, p=0,17 - dat wil zeggen, de kans op toevallig deze tragere waarde, is 17%
- dat is heel wat hoger dan 5%, en dus kan je niet zeggen dat er op betrouwbare wijze een verschil is aangetoond.
Opmerking :
Als je vindt dat 5% en 17% niet veel verschillen :
5% is 1 op 20 terwijl 17% is 1 op 7
Dat maakt dus best wat uit.
Mag je dan ook zeggen dat afleiding géén invloed heeft op de reactietijd?
Nogmaals : Nee.
Je hebt alleen hier, nu, bij dit experiment, geen effect kunnen aantonen.
Maar dat wil niet zeggen dat het er ook niet is. In het echt.
Als je het experiment herhaalt, op een iets andere manier, kan je misschien wel een significant betrouwbaar effect meten, en laten zien dat iemand alleen goed scoort bij een reactietest, als hij/zij goed geconcentreerd is.
