CvdV

Toepassing van experiment vereist inzicht in statistiek èn causale logica.

Om zinvol bij te dragen aan gewenste doeluitkomsten is het noodzakelijk te weten welke oorzaken onder welke voorwaarden tot welke effecten leiden. Kennis over structurele relaties in de werkelijkheid zoals causale mechanismen is bij uitstek het beoogde product van wetenschappelijke activiteit.

De resultaten uit wetenschappelijk onderzoek komen vaak tot stand met complexe experimentele methoden en exacte statistische technieken. Maar ze hoeven dan op zichzelf niet accuraat te zijn. De toepassing van zulke methoden en technieken heeft enkel zin als het correct gebeurt, dat wil zeggen, exact zoals ze bedoeld zijn.

Dat laatste kan alleen op een zinvolle manier wanneer men een helder begrip heeft van wat causale relaties zijn, en wat nodig is om deze aan te tonen op basis van een hoeveelheid waarnemingsgegevens c.q. steekproefdata.
Een belemmering voor die adequate aanpak is echter het feit dat het vaak ontbreekt - bij leken, maar zeker ook bij academici en professional in de beroepspraktijk - aan primaire inzichten in de meest basale principes van causaliteit, met name de precieze logische structuur daarvan. Dat laatste is de belangrijkste voorwaarde voor inzicht in opzet en uitvoering van onderzoek dat betrouwbaar en valide is.

Wetenschappelijk onderzoek scoort eerder hoge ogen naarmate de bevindingen nieuw en markant zijn, liefst spectaculair en opzienbarend. Soms bestaat de verleiding naar resultaten toe te werken die 'goed in de markt liggen'.
In hun enthousiasme willen onderzoekers weleens allerlei voorwaarden en eisen verwaarlozen van goed experimenteel onderzoek: ten aanzien van de steekproef, de metingen en de gegevensbehandeling.
Enkele voorbeelden van algemeen gangbare fouten en misverstanden:

Correlatie

Correlatie wordt vaak overgewaardeerd, als mogelijke indicatie voor de aanwezigheid van causale relaties.
In wetenschappelijk onderzoek, met name in de sociale wetenschappen, wordt enorm veel gebruik gemaakt van correlaties of andere statistische maten die direct of indirect tot correlaties te herleiden zijn (toetsingsgrootheden zoals z-waarde, t-waarde, F-waarde, Chi-kwadraat, regressie-coëfficiënt, enz.). Het idee daarbij is dat correlatie bij uitstek de 'kracht' van het causale verband weerspiegelt.

Bij deze - lineaire - 'gedragsverhouding' hoort een proportie verklaarde variantie, maar deze geldt in eerste instantie alleen voor het gegeven cijfermateriaal, en ongeacht de rekenrichting - dus al helemaal los van een eventuele 'beïnvloedingsrichting' van een 'oorzaak' op een 'gevolg' in het referentiële domein.

Afwezigheid van correlatie kan wel wijzen op de àfwezigheid van causaal verband, maar het causale mechanisme kan ook tijdelijk geblokkeerd zijn, door nader te bepalen oorzaken, te noemen 'bronnen van bias'.
(Afhankelijk van hun rol gaat dit om intermediërende variabelen, latente factoren, covariaten, confounding factors, extraneous factors, enz.).

Betrouwbaarheid van de correlatiewaarde.

Het is meestal de bedoeling dat de gevonden correlatie een symmetrische variantie weerspiegelt tussen reële processen in het referentiële domein c.q. de populatie. De veronderstelling is dat deze symmetrie over langere termijn geldt en structureel is, dus inherent aan de causale relatie tussen de betreffende factoren.

In principe is het mogelijk dat een correlatie-coëfficiënt exact de ware toedracht weergeeft. Dan moet eerst aan enkele randvoorwaarden voldaan zijn: (a) de getallen weerspiegelen reële meetgegevens; (b) deze gegevens hebben betrekking op reële eigenschappen van geobserveerde gevallen (zeg steekproefeenheden); en (c) de metingen waren betrouwbaar, de meetwaarden weerspiegelen nauwkeurig de reële verhoudingen.

Er zijn talrijke manieren waarop de correlatie een vertekende weergave kan geven van de reële toedracht met betrekking tot de aard van de veronderstelde causale relatie. Dit komt doordat allerlei verstoringen kunnen optreden in de bedoelde meting van de causale processen. Hierin wreekt zich bijvoorbeeld de invloed van de eerder genoemde bronnen van bias. Maar ook schendingen van overige vereisten zoals consistente chronologie, en constante latentietijd.

Deze vertekeningen kunnen in principe altijd optreden bij steekproefonderzoek.

Validiteit van correlatie als indicatie van causale relatie.

.
Zelfs bij perfecte betrouwbaarheid wijst correlatie nog steeds alleen op de aanwezige symmetrie in de variatie van bepaalde verschijnselen. Het betreft dan nog steeds niet het exacte onderliggende causale mechanisme, inclusief alle mogelijke bijkomende of verstrengelde oorzaken en neven-effecten.

Om een scherper beeld te krijgen van het eventuele causale mechanisme, kunnen we de volgende aanpak volgen:

Steekproefonderzoek kan dus behoorlijk veelomvattend, complex en langdurig worden, dus zeer kostbaar. Deze weg kan echter aanzienlijk worden bekort als we steeds tevoren een scherpe analyse maken van de logische structuur van het eventuele causale mechanisme. Hiervoor zijn inzichten en vaardigheden nodig met betrekking tot de precieze samenhang van logica, statistiek en causale analyse.

Regressie

Regressie wordt vaak beschouwd als een aanwijzing die - meer dan correlatie - verwijst naar de veronderstelde causale relatie. Dit geheel ten onrechte! De regressie-coëfficiënt is een 'vertaling' van de correlatie, met twee verschillen: ze is afhankelijk van rekenrichting, en ze is niet-gestandaardiseerd, dus afhankelijk van de gebruikte schalen. Hierdoor kan ze, anders dan de correlatie, directer de getalsverhouding aangeven tussen de waarden van de betrokken variabelen op hun 'oorspronkelijke' schaal.
Maar zowel de rekenrichting als de schalen kunnen we altijd arbitrair kiezen, en maken geen verschil voor de onderliggende correlatie: en al helemaal niet voor de mogelijke symmetrie van verschijnselen laat staan een eventueel causaal verband. Kortom, de beperkingen die voor de correlatie-coëfficiënt gelden, gelden mutatis mutandis ook voor de regressie-coëfficiënt.

Verklaarde variantie

Het kwadraat van de correlatiewaarde levert de proportie verklaarde variantie: de hoeveelheid symmetrie die de correlatiewaarde tussen de betreffende variabelen aangeeft ten opzichte van een volledige symmetrie. We kunnen deze proportie gebruiken als indicatie van de voorspellende kracht van de gevonden correlatie voor gemiddelde waarden van vergelijkbare steekproeven.

Significantie

Significantie van steekproefuitkomsten zoals correlaties betekent simpelweg dat het waarschijnlijk is dat die uitkomsten niet volledig aan toeval te wijten zijn. Met andere woorden, de steekproefwaarden 'zeggen' in dat geval waarschijnlijk iets over de totale populatie in het referentiële domein.
Significantie is dus een kanswaarde, die gebaseerd is op de relatie tussen de steekproefwaarde en de steekproefgrootte. Op basis van die relatie geeft ze weer hoe groot de kans is dat de steekproefwaarde op statistische gronden de populatiewaarde weerspiegelt.
- Wil -deze kanswaarde echter valide zijn dan moet tevoren voldaan zijn aan talrijke behoorlijk strenge vereisten. Om enkele belangrijke te noemen, kort en bondig, en los van hun onderlinge relaties:

Statistische resultaten in de praktijk

In de praktijk blijken waarnemingsgegevens c.q. steekproefdata maar zelden aantoonbaar te voldoen aan al deze vereisten.

Significantie versus voorspellend vermogen

Hebben we een valide significantie dan is die nog altijd een zwakke, indirecte indicatie voor de kans dat het veronderstelde causale verband werkelijk geldig is in het gebied waarover we informatie willen: de steekproef, maar vooral, de populatie, dat wil zeggen, de empirie, 'de werkelijke wereld' of een ander referentieel domein.

Wanneer we een statistische techniek gebruiken om een causaal verband te toetsen, dan kijken we allereerst of de onafhankelijke variabele (die staat voor de causale factor) een verschil maakt voor de afhankelijke c.q. effectvariabele dat voldoende groot is. De vraag is daarbij of het geschatte effectverschil in de populatie, berekend op basis van de steekproefgegevens redelijk 'beduidend' is, dat wil zeggen, zodanig afwijkt van toeval (zoals dat 'normaal' te verwachten is), dat het wijst op énig daadwerkelijk verschil in de populatie. In dat geval noemen we het het geschatte effectverschil statistisch significant.
Een grotere significantie betekent een kleiner risico op wat 'fout I' genoemd wordt: een onterechte conclusie dat het gemeten verschil niet uitsluitend toe te schrijven is aan 'toevallige ruis' (random error) als gevolg van onzuivere meetwaarden door 'vermenging' met niet ter zake doende incidentele invloeden. Met een kleinere kans op false negative conclusie hebben we een grotere kans op proper negative conclusie: dat we het verschil met recht niet toeschrijven aan louter toeval. Met andere woorden, daarmee hebben we een grotere kans dat we het verschil met recht toeschrijven aan de variatie in de onafhankelijke variabele.
Indirect geeft de significantie dus weer hoe groot de kans is dan dat de proportie van wederzijds verklaarde variantie (het kwadraat van de correlatie) werkelijk groter is dan  

0.

. Dit levert natuurlijk nog niet echt veel concrete informatie die we rechtsreeks kunnen gebruiken voor causale oordelen zoals attributies, determinaties, verklaringen en voorspellingen. Het is een begin, een aanwijzing dat er werkelijk iets in de trant van onze causale hypothese werkzaam kan zijn in de populatie.

Veelzeggender is hoe groot de kans is dat de proportie verklaarde variantie voldoende groot is voor betrouwbare voorspellingen van (nieuwe) meetwaarden, en niet wordt overheerst door 'uitzonderingsruis' ( systematic error) onder invloed van andere causale factoren.

Significantie en voorspellende waarde liggen als tegenovergestelde polen op één continuüm van wat in de logica vervulbaarheid heet.

De gemiddelde waarden zijn niet de individuele waarden.

De genoemde statistische maten - correlatie- en regressie-coëfficient, proportie verklaarde variantie - zeggen in eerste instantie alleen iets over de gemiddelde waarden van de gehele steekproef, of van de populatiewaarden voor zover die op een valide wijze geschat zijn. Ze zeggen echter vrijwel niets over meetwaarden van kenmerken van individuen in een steekproef of een populatie, dus nog minder over reële 'oorzaken' en 'effecten' in individuele gevallen, zgn. 'N=1' steekproeven.
Voor meer daarover zie Principes van Causale analyse voor 'N=1' steekproef.

Zie verder

: