Methode 'Praktische Logica':Methode vanCausale analysePrincipes van Causale analyse voor een 'N=1' steekproef:Deductieve validiteit.Voorspellende kracht van steekproefuitkomsten voor een specifiek geval.door C.P. van der Velde. [*Eerste website versie 21-10-2007;
herziene versie 18-08-2008] Interpretatie van onderzoeksresultaten vereist inzicht in 'N=1' voorspelling.In de Westerse wetenschap is het al lang en breed bekend dat 'de' ultieme waarheid - perfect, compleet, eeuwig en absoluut - voor ons mensen niet haalbaar is over de ons omringende werkelijkheid. Toch is het wel handig als onze kennis of informatie iets zinnigs 'zegt' over de werkelijkheid, dat verder gaat dan een greep uit de lucht of elk willekeurig verzinsel. Het beste wat we kunnen bereiken is dat we de 'ware toedracht' steeds beter benaderen: objectiviteit als zinvol streefdoel - zonder ooit het einddoel te halen. {N.b. Zie ook: Principes van 'Modelvorming':
de mogelijkheden van kennis, informatie en logica. }
Het minste wat we daarbij kunnen doen is proberen de vele bekende valkuilen te vermijden, die bij kennisvergaring en onderzoek altijd om de hoek komen kijken: zoals overmatige speculatie, arbitraire conclusies, overgeneralisatie, zichzelf-vervullende voorspelling, wensdenken, projectie, enz. enz.). {N.b. Zie ook: Beperkingen van de
menselijke oordeelsvorming.}
Om de betrouwbaarheid van kennisvergaring te bevorderen wordt in het westers wetenschapsmodel de standaard gehanteerd dat de kennis voor zoveel mogelijk mensen controleerbaar dient te zijn. Daarvoor wordt in de meeste vakgebieden een aanpak gevolgd die empirisch-analytisch georiënteerd is. Deze stoelt globaal op twee vereisten: (1) Kennis dient gebaseerd te zijn op algemeen toegankelijke gegevens, die bij voorkeur ontleend zijn aan rechtstreeks en onmiddelijk waarneembare feiten: het criterium van empirische grondslag. (2) Het proces van de kennisvergaring dient algemeen navolgbaar te zijn, bij voorkeur op eenduidige wijze naspeurbaar en na te bootsen: het criterium van formele afleidbaarheid. De fasen en stadia waarmee wetenschappelijke kennis to stand komt wijkt in grote lijnen niet veel af van de manier waarop een willekeurige volwassene, een kind of een dier kennis opbouwt en gebruikt. (a)Observatie en data-analyse.We verzamelen een aantal waarnemingen van enigszins vergelijkbare situaties, die we als voorbeelden nemen (de steekproef). In deze gegevens ontwaren we een bepaalde regelmatigheid, een terugkerend patroon, bestaande uit een afwijking c.q. een samenhang tussen verschillende dingen, kenmerken of aspecten (de hypothese). (b)Inductie, externe generalisatie.Het patroon in onze waarnemingen vinden we op een gegeven moment dermate sterk, of overtuigend, dat we denken een algemene regel of wetmatigheid op het spoor te zijn die geldig is voor het gehele betreffende gebied van de werkelijkheid (de populatie). (c)Deductie, applicatie.Vervolgens passen we de algemene regel toe op nieuwe, specifieke gevallen - waarbij we aannemen dat we het wel merken als we op een uitzondering stuiten. De kennis en informatie die professionele wetenschappers aanleveren, zal uiteraard aan heel wat eisen moeten voldoen. De resultaten uit wetenschappelijk onderzoek komen vaak tot stand met complexe experimentele methoden en exacte statistische technieken. Maar ze hoeven dan op zichzelf niet exact te zijn. De toepassing van zulke methoden en technieken heeft enkel zin als het correct gebeurt, dat wil zeggen, exact zoals ze bedoeld zijn. Dat stelt allereerst eisen aan het onderzoeksproces: zorgvuldige proefuitvoering, secure metingen, adequate keuzes van statistische methoden en correcte berekeningen van statistische kengetallen. Vervolgens dienen de statistische uitkomsten ook correct te worden geïnterpreteerd. Dit betreft met name de vraag in hoeverre uitkomsten uit steekproefonderzoek, zoals correlaties (die altijd gebaseerd zijn op gemiddelden), kunnen worden gegeneraliseerd naar de gehele populatie - en vervolgens kunnen worden 'vertaald' naar toepassing op concrete gevallen in de praktijk. Het laatste vereist onvermijdelijk de (logische) deductie vanuit algemene regels naar conclusies over een specifiek geval. Maar hier schuilt een adder onder het gras (zo niet, een boa constrictor): Er is bijvoorbeeld de algemeen verbreide, elementaire misvatting dat significantie van steekproefuitkomsten voor de populatie (externe validiteit) voldoende grond levert voor valide toepassing op individuen (zeg, deductieve validiteit). Hiertussen gaapt echter een kolossale kloof. Stelling:Wanneer de logische geldigheid van een algemene regel wordt gebaseerd op statistische validiteit, zal elke voorspelling van consequenties voor een individu alleen bij extreem hoge correlatiewaarden uit steekproefonderzoek een redelijk betrouwbare voorspelling opleveren. Bijvoorbeeld, in de sociale wetenschappen wordt een steekproefcorrelatie van 0.80behoorlijk fors gevonden. Maar bij een - tamelijk gebruikelijke - steekproefomvang van100individuen, en met een foutkans (alpha) van5procent, betekent dit dat de kans dat een specifieke individuele score op de éne variabele tenminste correct de ligging van het 'effect' ten opzichte van het populatiegemiddelde (boven of onder standaardwaarde 0.0) voorspelt, slechts ca.12,5procent bedraagt: dus één treffer op acht individuen. Dat is uiteraard ver beneden het redelijk minimum van ' better than random' voorspellingen.Algemene regel:Steekproefuitkomsten in de sociale wetenschappen zijn - ook al zijn ze representatief en statistisch significant - meestal niet relevant voor toepassing op individuele gevallen! Conclusie:Als we met minder-dan-honderd procent waarschijnlijke verbanden werken - en dit is vrijwel altijd zo in de sociale wetenschappen - dan hebben we altijd hetzij de bivariate kansverdeling, hetzij de formele logica nodig (liever nog beide) voor geldigheid van praktische toepassingen van ideeën en theorieën op concrete gevallen 'in het veld'. En dit gebeurt dus (hoegenaamd) nooit! Voorbeelden van bivariate kansberekeningen.Ter illustratie van het bovenstaande zijn er een aantal voorbeelden uitgewerkt van statistische voorspellingen op basis van correlaties. Zie de links hieronder naar de tabellen met analyse-uitkomsten. Enkele highlights uit deze resultaten.Stel we gaan uit van een steekproef die redelijk representatief is voor het referentieel domein (de populatie) van dat moment. We bekijken vervolgens welke waarden we voor de steekproef-correlatie minimaal nodig hebben om bepaalde voorspellingen te kunnen doen over individuen - dat wil zeggen, nieuwe, 'N=1' steekproeven - van dezelfde populatie. We gaan als eerste uit van een steekproef met een bescheiden maar niet-onredelijke omvang: N= 100eenheden.Ook beginnen we met een behoorlijke tolerantie voor fouten en uitzonderingen. We hanteren daarbij een maximale waarde voor de foutkans (alpha) van 5procent als criterium voor de significantie van de gevonden steekproefwaarde (kolommen 1-3).Daarnaast hanteren we een maximale waarde voor de foutmarge van 5procent als criterium voor de correctheid van de geschatte ligging - het 'teken' - van steekproefwaarden ten opzichte van het populatiegemiddelde. betrouwbaarheid van de geschatte 'N=1' steekproefwaarde t.o.v. het populatiegemiddelde (kolommen 4-9).Verder hanteren we een minimale waarde voor het betrouwbaarheidsinterval (Confidence interval) van 95procent (kolommen 10-11).(a)Observatie en data-analyse.De eerste stap houdt in dat we controleren of het statistische verband - bijvoorbeeld correlatie - in de steekproefgegevens niet volledig op toeval berust, dus redelijkerwijs afwijkt van totale 'ruis' (noise). We toetsen daarvoor de significantie van het effect-verschil. Wanneer de 'uitzonderingsruis' binnen de foutmarge (alpha) blijft, luidt de conclusie doorgaans: 'er is een verband'. Deze significantie is echter niet meer dan een minimale randvoorwaarde - één van de vele - voor de voorspellende kracht van de hypothese. •
Significantie van steekproefcorrelatie.Onder de bovengenoemde parameterwaarden bereikt de steekproefcorrelatie al een significant niveau bij een waarde van ca. 0.175. In dat geval stijgt de proportie verklaarde steekproefvariantie echter niet uit boven de ca.3 %: heel veel slechter dan toeval.Deze significantie biedt bovendien nog lang geen indicatie voor de voorspelbaarheid van de gemiddelde populatiewaarden - en nog veel minder van de individuele waarden. (b)Inductie, externe generalisatie.We bekijken vervolgens welke populatiewaarden we bij een significante steekproefwaarde kunnen verwachten. •
De correlatie vertaald naar de populatie:We zien dat de populatie-correlatie bij dezelfde foutkans resp. significantie minimaal is: ca.
• 0.009, dus vrijwel nihil. De proportie verklaarde populatievariantie is dan hoogstens ca.0.0081 %.Voorspelbaarheid van variantie:Willen we zinvol uitspraken doen over oorzaken en effecten in de realiteit
dan moeten we op zijn minst een begin maken met better-than-random voorspelling. Dit vereist dat we tenminste de
helft van de variantie van het totale gemiddelde effect op de individuen in de populatie
moeten kunnen voorspellen - dat wil zeggen, een proportie verklaarde variantie van minstens
• 50 %. Hiervoor is een populatiecorrelatie nodig van minstens ca.0.707. Dat vraagt om een steekproef-correlatie van minstens ca.0.78.Ligging van scores t.o.v. gemiddelde:Om gemiddeld betrouwbaar te kunnen bepalen of het effect voor de individuen
in de populatie boven of onder het populatie-gemiddelde ligt, is een steekproef-correlatie nodig van minstens ca.
• 0.925.Accuraat voorspellen van scores t.o.v. gemiddelde (Sign prediction):Om voor de individuen in de populatie gemiddeld betrouwbaar te kunnen voorspellen
of een effect boven of onder het populatie-gemiddelde ligt is een steekproef-correlatie nodig van minstens ca.
0.9925.(c)Deductie, applicatie.In de meeste gevallen dient wetenschappelijk onderzoek om inzichten en richtlijnen te formuleren die behoorlijke voorspellende kracht hebben voor concrete situaties in de maatschappelijke en professionele praktijk. •
Betrouwbaar voorspellen van score t.o.v. gemiddelde binnen betrouwbaarheidsinterval:Om voor een specifiek individu in de populatie met een betrouwbaarheid van tenminste
95procent èn met een foutkans van hoogstens5procent te kunnen voorspellen, of een effect boven of onder het populatie-gemiddelde ligt is een steekproef-correlatie nodig van minstens ca.0.9995.Kortom, steekproef-correlaties beginnen pas bij een waarde van pakweg ca. 0.90enigszins relevant te worden voor oordeelsvorming over willekeurige individuen in een populatie. Dit terwijl men binnen de sociale wetenschappen steekproefwaarden al bij ca.0.30'significant' worden gevonden!Het is duidelijk dat we in de praktijk van psychologie, criminologie en dergelijke weinig of niets hebben aan zulke gegevens (uit steekproefonderzoeken) wanneer we met afzonderlijke personen of cliënt-systemen te maken hebben - die so wie so altijd grotendeels uniek zijn wat betreft welhaast oneindig variabele mogelijke combinaties van eigenschappen, impulsen en tendenties. Het zou aan de andere kant dan ook ondoenlijk zijn - en nogal absurd - om voor elke belangrijke beslissing complexe berekeningen te gaan maken met de bivariate kansverdeling. Het enige en eerste wat we dan werkelijk nodig hebben, om voor specifieke cliënt-systemen op een zinvolle manier aan resultaten te kunnen werken - doelgericht, efficiënt en doeltreffend - is logica!Statistische voorspellingop basis van correlaties:Statistische voorspellingvoor 'N=1' resultaten:Voorbeelden van analyse-uitkomsten: (·) Statistische voorspelling
voor 'N=1':
bij variabele steekproefgroottes en variabele foutkansen. (·) Statistische voorspelling voor 'N=1': kleine steekproef (N=100), tolerante toets (alpha=0.05). (·) Statistische voorspelling voor 'N=1': kleine steekproef (N=100), scherpe toets (alpha=0.01). (·) Statistische voorspelling voor 'N=1': grote steekproef (N=5000), tolerante toets (alpha=0.05). (·) Statistische voorspelling voor 'N=1': grote steekproef (N=5000), scherpe toets (alpha=0.01). Zie verder ..(·) Literatuur / bibliografie Methoden & technieken, statistiek. |
|