1. Basisconcepten: Onderzoekspracticum inleiding onderzoek
- Beschrijf waarom wetenschap wordt beoefend.
Om de werkelijkheid in kaart te brengen, zijn systematische methoden van informatieverzameling en -verwerking nodig. Wetenschap vormt de zoektocht naar kennis, waarbij die kennis via een systematische methode wordt verkregen (All European Academies [ALLEA], 2017). De wetenschappelijke methode vormt een systematische methode om te leren over de werkelijkheid.
- Beschrijven wat de empirische onderzoekscyclus is en uit welke fasen deze bestaat.
In het systematische proces van wetenschappelijk onderzoek zijn vijf fasen te onderscheiden die samen de empirische onderzoekcyclus vormen. De empirische onderzoekcyclus omvat vijf fasen: onderzoeksvraag formuleren, studie ontwerpen, data verzamelen, data analyseren, rapporteren. Het doorlopen van de onderzoekscyclus is een iteratief proces. Het is wel onherroepelijk dat dataverzameling nooit kan starten voordat de studie ontworpen is. Op dat moment staat dus ook de onderzoeksvraag onherroepelijk vast en moet duidelijk zijn hoe de data geanalyseerd gaan worden.
- Beschrijven wat dubieuze onderzoekspraktijken zijn.
Dubieuze onderzoekspraktijken (Engels: questionable research practices) zijn er in verschillende soorten en maten. Een gemene deler bij dubieuze onderzoekspraktijken is dat de dataverzameling, -analyse en -rapportage gebaseerd is op het verkrijgen van gewenste resultaten in plaats van op het zuiver uitvoeren van onderzoek – ongeacht wat de resultaten zullen zijn. Het fingeren of falsificeren van data is een groot vergrijp. Bij dubieuze onderzoekspraktijken gaat het meestal om kleinere zaken zoals: 1) Het selectief rapporteren van variabelen of condities in een studie; bijvoorbeeld alleen de variabelen of condities die het gewenste effect laten zien. 2) Flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-analyse besluiten om wel of niet een extra variabele in de analyse te betrekken of om bepaalde afwijkende scores wel of niet in de dataset te laten. 3) Selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis van de uitkomsten van het onderzoek bepaalde hypotheses achterwege laten of achteraf aanpassen zodat deze beter aansluiten bij de gevonden resultaten. 4) Flexibiliteit bij de dataverzameling; op basis van de resultaten besluiten om extra data te verzamelen – omdat voorlopige data-analyse nog niet de gewenste effecten laat zien – of juist eerder te stoppen met de dataverzameling – omdat voorlopige data-analyse al het gewenste effect laat zien.
- Beschrijven wat variabelen zijn en welke functies ze kunnen hebben.
Een variabele wordt gedefinieerd als iets dat varieert, of zou kunnen variëren. In principe kun je alles meten wat mogelijk varieert, maar dat is in de praktijk niet haalbaar en ook niet zinnig. Gegeven een bepaalde onderzoeksvraag is het aantal variabelen waarin een onderzoeker daadwerkelijk geïnteresseerd is, beperkt. De functie van variabelen is het representeren van willekeurige waarden.
- Beschrijven wat het verschil is tussen variabelen en constructen.
Constructen zijn abstracte, theoretische concepten (bijvoorbeeld intelligentie, motivatie) die niet direct waarneembaar zijn. Variabelen zijn de operationele, meetbare representaties van die constructen (bijvoorbeeld IQ-score, antwoorden op enquêtes). Constructen bevinden zich op een theoretisch vlak, terwijl variabelen zich op een empirisch vlak bevinden.
- Beschrijven wat operationalisaties zijn.
Om psychologische constructen te meten, worden operationalisaties gebruikt. Operationalisaties vormen de vertaling van de definitie van het theoretische construct naar een meetinstrument of manipulatie. Bijvoorbeeld: Het construct ‘sociale angst’ kan worden geoperationaliseerd als ‘zelfgerapporteerde score op de Liebowitz Social Anxiety Scale’.
- Beschrijven wat meetinstrumenten zijn.
De bedoeling van een meetinstrument is om op consistente wijze een variabele (zoals de mate van extraversie) te kwantificeren, oftewel te representeren in een datareeks van getallen. In dit soort meetinstrumenten worden constructen gemeten met verschillende items (ook wel stimuli genoemd), die samen het betreffende construct omvatten. Aan reacties op die items worden op een consistente manier getallen toegekend. Elke reactie op een item krijgt een score en die scores worden gemiddeld of opgeteld om tot een totaalscore voor die variabele te komen. De mogelijke waarden die behaald kunnen worden bij een operationalisatie zijn de meetwaarden van de operationalisatie. Stel je meet ‘mate waarin geld van belang wordt geacht’ op een 7-puntsantwoordschaal, dan zijn de meetwaarden 1 tot en met 7.
- Beschrijven wat manipulaties zijn.
Waar meetinstrumenten tot doel hebben om datapunten te verzamelen zonder het betreffende construct te beïnvloeden, is het doel van manipulaties juist wel om een construct te beïnvloeden. Door het manipuleren van variabelen in experimenteel onderzoek kan onderzocht worden of er een causaal verband bestaat tussen twee variabelen, oftewel, of een verandering in de ene variabele een verandering in de andere variabele veroorzaakt. Bij een manipulatie worden stimuli aan deelnemers gepresenteerd, bijvoorbeeld in de vorm van beelden, geluiden, woorden of video’s, om een bepaalde toestand van of verandering in het construct teweeg te brengen.
- Beschrijven wat datapunten en -reeksen zijn
Zoals eerder besproken meetinstrumenten hebben telkens als doel om variabelen te kwantificeren. De resulterende datapunten (bijvoorbeeld getallen) worden geregistreerd. Zo’n reeks datapunten (datareeks) afkomstig van hetzelfde meetinstrument wordt een variabele genoemd. Dit is een beetje verwarrend: de term ‘variabele’ wordt dus gebruikt voor zowel een theoretische variabele (zoals leervaardigheid) als voor een reeks datapunten die indicatief is voor de waarde van die theoretische variabele. Soms verwijst ‘variabele’ dus naar een theoretische variabele en soms naar een datareeks. Uit de context zal altijd duidelijk zijn welke betekenis van variabele wordt bedoeld.
- Uitleggen hoe variabelen, operationalisaties, meetinstrumenten en manipulaties zich tot elkaar verhouden.
Een theoretische variabele (construct) wordt via operationalisatie naar een meetinstrument of manipulatie vertaald.
- Uitleggen wat een meetmodel is en hoe deze eruit ziet.
Meestal bestaan meetinstrumenten uit meerdere stimuli en de daarbij behorende registraties van de reacties van deelnemers (denk aan een vragenlijst met meerdere vragen). Een meetmodel visualiseert hoe een variabele via stimuli of items wordt geoperationaliseerd. In zo’n meetmodel worden de variabelen of constructen weergegeven in ovalen. De stimuli of items die het construct operationaliseren, bijvoorbeeld de vragen op een vragenlijst, vormen de indicatoren die in rechthoeken worden weergegeven.
- Beschrijven wat betrouwbaarheid is.
Betrouwbaarheid is gedefinieerd als de stabiliteit van een meetinstrument over herhaalde metingen. De mate waarin een meting bij herhaling telkens hetzelfde resultaat oplevert heet de betrouwbaarheid van die meting. Door na te gaan in hoeverre het meetresultaat afwijkt wanneer je deze bijvoorbeeld een week later herhaalt, kun je de (on)betrouwbaarheid van de meting bepalen. Wanneer een meetinstrument gevoelig is voor toevallige verstorende invloeden op prestatie, dan is de betrouwbaarheid van dit meetinstrument lager.
- Beschrijven wat validiteit is.
De mate waarin een meetinstrument meet wat het moet meten, heet validiteit. Dus een test over creativiteit moet creativiteit meten om valid te zijn ipv kennis over kunst.
- Uitleggen hoe verschillende opvattingen van validiteit zich tot elkaar verhouden.
Verschillende opvattingen van validiteit werken samen om een grondig begrip van de kwaliteit van een meetinstrument te verschaffen. De causale opvatting richt zich op begrip van de diepgaande processen achter metingen, terwijl inhoudsvaliditeit zorgt voor een compleet beeld van het te meten construct. Criteriumvaliditeit ondersteunt de praktische toepassing door te kijken naar de relaties met externe criterium en indruksvaliditeit biedt een praktische inschatting van hoe goed het instrument lijkt te meten wat het zou moeten. Externe validiteit beoordeelt de generaliseerbaarheid van resultaten naar bredere populaties. Deze opvattingen vullen elkaar aan door voor een holistische evaluatie van de validiteit van een meetinstrument.
- Uitleggen hoe validiteit zich verhoudt tot betrouwbaarheid.
De relatie tussen validiteit en betrouwbaarheid visueel geïllustreerd worden met deze afbeelding. Elke stip op een dartboard is een meting. Metingen zijn betrouwbaar als ze dicht bij elkaar liggen (zie bovenste twee figuren); de niet-systematische meetfout is dan klein. Metingen zijn valide als ze gecentreerd zijn om het middelpunt van het dartboard (de bull’s eye); er is geen systematische meetfout (zie de twee linkse figuren).
- Beschrijven wat een (niet-) systematische meetfout is.
Verstoringen van het meetresultaat door een niet volledig betrouwbaar meetinstrument zijn niet-systematische meetfouten. Vertekeningen van het meetresultaat omdat een meetinstrument niet valide is, zijn systematische meetfouten, oftewel bias.
- Uitleggen hoe een (niet-) systematische meetfout zich verhoudt tot betrouwbaarheid en validiteit.
Metingen zijn betrouwbaar als ze dicht bij elkaar liggen (zie bovenste figuur); de niet-systematische meetfout is dan klein. Metingen zijn valide als ze gecentreerd zijn om het middelpunt van het dartboard (de bull’s eye); er is geen systematische meetfout
- Beschrijven wat het verschil is tussen kwantitatief en kwalitatief onderzoek.
Kwantitatief onderzoek: onderzoek waarmee aan de hand van meetinstrumenten en manipulaties getallen worden toegekend aan variabelen. (Deze getallen vormen datareeksen die worden geanalyseerd. Nadeel: het vereist operationalisaties van hoge kwaliteit (aka erg betrouwbaar en valide). Doel: relaties tussen variabelen onderzoeken en uitspraken doen over de populatie.
Kwalitatief onderzoek: onderzoek om het perspectief van deelnemers te interpreteren en te begrijpen door niet-numerieke data. Nadeel: de resultaten zijn beperkt generaliseerbaar, omdat mensen zich niet altijd bewust zijn van hun denkprocessen en invloeden daarop. De resultaten van kwalitatief onderzoek hebben daarmee een beperkte geldingskracht en reikwijdte.
Kwalitatief onderzoek kan dus ideeën geven over hoe de wereld in elkaar zou kunnen zitten. Kwantitatief onderzoek kan die ideeën vervolgens bevestigen of ontkrachten. Kwalitatief onderzoek is geschikt om goede meetinstrumenten voor kwantitatief onderzoek te ontwikkelen.
- Beschrijven wat populaties zijn.
Populaties: Bij onderzoeken wordt hier verwezen naar de totale groep individuen, objecten of gebeurtenissen die relevant zijn voor de onderzoeksvraag. Voorbeelden van populaties bij onderzoek naar mensen zijn ‘de Nederlandse bevolking’, ‘middelbare scholieren’, ‘ziekenhuizen’, of ‘gezinnen in grote steden’.
- Uitleggen waarom populaties niet rechtstreeks te onderzoeken zijn.
Er zijn twee redenen waarom niet alle onderzoekseenheden in een populatie onderzocht kunnen worden. De eerste is simpelweg dat het er meestal te veel zijn. De tweede is dat de populatie zodanig is gedefinieerd dat deze ook mensen in het verleden en de toekomst bevat.
- Beschrijven wat steekproeven zijn en welke functie deze vervullen.
Een steekproef is een groep mensen die minder groot is dan de volledige populatie. Een steekproef is altijd een selectie van de totale populatie. Een van de uitdagingen van onderzoek doen is dat we niet alle data kunnen verzamelen die we zouden willen verzamelen over de gehele populatie. Door gegevens uit een steekproef te verzamelen en te analyseren, proberen onderzoekers conclusies te trekken over de gehele populatie.
- Beschrijven wat de steekproeffout is.
Steekproeffout: Puur door toeval kunnen een of meer uitzonderlijke mensen in een steekproef belanden. Daardoor is de steekproef minder representatief zonder dat de onderzoekers zich dat realiseren. Ook de steekproeffout wordt kleiner naarmate de steekproef groter wordt.
- Uitleggen hoe selecte en aselecte steekproeven verschillen.
Bij een aselecte steekproef heeft elk lid van de populatie een bepaalde, bekende kans (probability) om te worden opgenomen in de steekproef (sample). Bij een selecte steekproef daarentegen weet je niet wat de kans is dat een bepaald lid van de populatie wordt opgenomen in de steekproef.
- Beschrijven hoe methodes om (a)selecte steekproeven te trekken, verschillen.
– Aselecte steekproef: bij het trekken van een aselecte steekproef heeft elke onderzoekseenheid in de populatie evenveel kans om in de steekproef te belanden. Een aselecte steekproef wordt ook wel een ‘random’ of ‘willekeurige’ steekproef genoemd.
– Gestratificeerde aselecte steekproef: bij het trekken van een gestratificeerde aselecte steekproef wordt de pop ulatie eerst opgedeeld in een aantal subpopulaties aan de hand van bepaalde kenmerken die relevant zijn voor het onderzoek. Daarna wordt uit elke subpopulatie een aselecte steekproef genomen, waarbij de verhouding tussen de subpopulaties in de steekproef gelijk is aan die in de populatie.
– Multilevel aselecte steekproef: als de onderzoekseenheden in de populatie georganiseerd zijn in groepen, zoals scholieren in klassen en scholen, kan een multilevel aselecte steekproef getrokken worden. Hierbij wordt bijvoorbeeld eerst een aselecte steekproef van scholen genomen, waarna per school een aselecte steekproef van klassen wordt genomen, waarna vervolgens alle scholieren uit de geselecteerde klassen worden onderzocht. Een multilevel steekproef wordt ook wel een clustersteekproef genoemd
– Convenience sampling: bij deze vorm van steekproeftrekking worden deelnemers gekozen op basis van een aantal praktische criteria, zoals dat ze gemakkelijk toegankelijk zijn (denk aan het werven van deelnemers binnen je kennissenkring), de geografische locatie (denk aan het benaderen van scholen in de buurt zodat leerlingen niet te ver hoeven te fietsen), of de bereidheid van deelnemers zichzelf aan te melden voor onderzoek (denk aan het posten van een oproep op sociale media waarin staat aangegeven hoe mensen zich kunnen aanmelden voor het onderzoek).
– Snowball sampling: bij deze vorm van steekproeftrekking wordt wel nagedacht over de kenmerken die de deelnemers uit de steekproef moeten hebben. Snowballing start met een klein aantal weloverwogen gekozen deelnemers. Deze eerste deelnemers wordt vervolgens gevraagd om vrienden en kennissen uit te nodigen die voldoen aan bepaalde eisen.|
– Purposive sampling: bij deze selectieve vorm van steekproeftrekking worden deelnemers weloverwogen geselecteerd op basis van specifieke kenmerken.
– Quota sampling: het idee en de procedure van deze vorm van steekproeftrekking is vergelijkbaar met het trekken van een gestratificeerde steekproef, alleen worden nu geen aselecte steekproeven getrokken maar selecte steekproeven door bijvoorbeeld convenience sampling of snowball sampling toe te passen op de verschillende subpopulaties.
- Beschrijven welke methodes om (a)selecte steekproeven te trekken het meest passend zijn voor kwantitatief en kwalitatief onderzoek.
Kwantitatief onderzoek: Het doel bij kwantitatief onderzoek is vaak om op basis van de onderzochte steekproef uitspraken te doen over de populatie, aselecte getrokken steekproeven die een representatieve afspiegelen vormen van de populatie zijn het meestpassend voor kwantitatief onderzoek.
Kwalitatief onderzoek: Bij kwalitatief onderzoek is de dataverzameling en -analyse zo intensief dat vaak maar kleine steekproeven onderzocht kunnen worden. Daarom wordenmeestal geen aselecte steekproeven, maar selecte steekproeven geworven, die strategisch worden samengesteld, waarbij de deelnemers weloverwogen geselecteerd worden op basis van hun kenmerken, zoals leeftijd en geslacht
0 Comments