Best practices om ondervertegenwoordigde onderzoeksdeelnemers in ELS te betrekken

• 1 Inleiding

  Empirisch-juridisch onderzoek (ook wel: Empirical Legal Studies (ELS)) heeft de afgelopen decennia een enorme vlucht genomen. Ter aanvulling op traditionele juridische onderzoeksmethoden, zoals jurisprudentie- en wetgevingsanalyse, wordt ook aan de hand van onder meer interviews, vragenlijsten, focusgroepen en systematische observaties, onderzoek gedaan naar het recht.¹x Zie over de ontwikkeling van empirisch-juridisch onderzoek bijv. Elbers 2016, p. 43-59.
  Onderzoeksdeelnemers²x In deze bijdrage zal omwille van de leesbaarheid worden gesproken over ‘onderzoeksdeelnemers’. Met ‘onderzoeksdeelnemers’ wordt verwezen naar alle deelnemers aan empirisch onderzoek. De term ‘respondent’ kan voor verwarring zorgen, omdat daarmee veelal wordt verwezen naar onderzoeksdeelnemers die door te antwoorden/reageren hebben bijgedragen aan een empirisch onderzoek. Deze bijdrage heeft het echter ook over eventuele andere onderzoeksdeelnemers (niet-respondenten) die op andere wijze een bijdrage hebben geleverd, zoals door mee te doen aan een experiment. die zijn betrokken in empirisch-juridisch onderzoek zijn vaak onderzoeksdeelnemers met een hoog opleidingsniveau en een hoge sociaaleconomische achtergrond. Uit een analyse van Elbers uit 2016 volgt bijvoorbeeld dat van de 55 proefschriften uit 2015 waarin gebruik was gemaakt van empirisch-juridische onderzoeksmethoden, de onderzoeksdeelnemers bijna uitsluitend (op drie studies na) professionals uit de rechtspraktijk waren. Zelfs in een onderzoek naar de participatie van rechtzoekenden zijn rechtzoekenden zelf niet geraadpleegd.³x Elbers 2016, p. 51. Ook in andere empirisch-juridische onderzoeken (zoals een recent aantal verschenen onderzoeksrapporten⁴x Onder meer: De Rechtspraak 2023; Ter Voert e.a. 2022, zie hierover meer in par. 2.) valt op dat veelal deskundigen worden geraadpleegd, zoals rechters, advocaten en procesvertegenwoordigers, om (de ervaring van) bepaalde rechtspraktijken te evalueren.
  Deze vaststelling past in wat er op mondiaal niveau en in andere disciplines al langer wordt geconstateerd, namelijk dat vooral onderzoeksdeelnemers (en onderzoekers) uit Western, Industrialized, Educated, Rich Demogratic (WEIRD) societies deelnemen aan empirisch onderzoek.⁵x Henrich, Heine & Norenzayan 2010, p. 61-83. Het perspectief van mensen met een lage sociaaleconomische achtergrond is, zeker gelet op hun aandeel in de samenleving, maar beperkt vertegenwoordigd in wetenschappelijk onderzoek. Emery, Silverman en Carey wijzen erop dat wetenschappelijk onderzoek vaak (beter) is ingericht op onderzoeksdeelnemers met een hoge sociaaleconomische achtergrond, omdat het is vormgegeven door onderzoekers met een vergelijkbare achtergrond.⁶x Bovendien zijn ideeën over hoe de maatschappij in elkaar steekt vaak gebaseerd op culturele modellen van groepen met een vergelijkbare, hoge sociaaleconomische achtergrond; Emery, Silverman & Carey 2023, p. 1. De afstand tussen onderzoekers, met vaak een hoge sociaaleconomische achtergrond, en onderzoeksdeelnemers met een lage sociaaleconomische achtergrond, kan daarnaast op zichzelf een obstakel vormen voor onderzoeksdeelnemers met een lage sociaaleconomische achtergrond om aan wetenschappelijk onderzoek mee te doen.⁷x Emery, Silverman & Carey 2023, p. 1; Morgan e.a. 2022, p. 1625-1633. Zie bijv. ook de studie van Van den Bos e.a. (2023, p. 1-19), waarbij respondenten andere antwoorden gaven als de onderzoeker zich voordeed als student van de Universiteit Utrecht dan als student van het ROC Midden-Nederland.
  Dat de inrichting van empirisch onderzoek de deelname van onderzoeksdeelnemers met een lage sociaaleconomische achtergrond kan bemoeilijken, is ook terug te zien in empirisch-juridisch onderzoek. Bepaalde onderzoeksvormen die vaak worden gebruikt, zoals gestandaardiseerde vragenlijsten of internetsurveys, zijn bijvoorbeeld niet toegankelijk voor onderzoeksdeelnemers met verminderde lees- en schrijfvaardigheid, die regelmatig behoren tot onderzoeksdeelnemers met een lage sociaaleconomische status.⁸x Christoffels e.a. 2016, p. 20-22. Het begrijpen van vragen of tekstfragmenten over voor hen vaak onbekende, juridische materie, lukt bijvoorbeeld niet goed zonder hulp. Als dat bovendien wel lukt, is het niet zeker dat de ingevulde antwoorden daadwerkelijk de ervaring van de onderzoeksdeelnemers weergeven. De groep Nederlanders met taalproblemen waarvoor deelname mogelijk wordt bemoeilijkt, is groot. In 2024 zijn er bijvoorbeeld 2,5 miljoen Nederlanders die moeite hebben met lezen, schrijven of het gebruikmaken van een computer of smartphone.⁹x Rijksoverheid 2024.
  Een ander obstakel met vragenlijstonderzoek of internetsurveys is dat er een zekere mate van zelfredzaamheid van onderzoeksdeelnemers wordt verwacht. Er dient bijvoorbeeld een QR-code te worden gescand, op een surveylink te worden geklikt of een vragenlijst te worden teruggestuurd naar het onderzoekscentrum om mee te doen aan het onderzoek.¹⁰x De Rechtspraak 2023; Ter Voert e.a. 2022. Minder zelfredzame onderzoeksdeelnemers haken dan veelal af. Daarbij komt dat verminderde (zelf)redzaamheid vaak niet op zichzelf staat, maar samenhangt met andere (maatschappelijke) problematiek, zoals verminderde lees- en schrijfvaardigheid en schuldenproblematiek. Als er sprake is van dergelijke, urgentere zaken, heeft deelname aan een wetenschappelijk onderzoek voor onderzoeksdeelnemers mogelijk geen prioriteit. Zeker wanneer het onduidelijk is wat het onderzoek inhoudt of waar het precies aan bijdraagt.¹¹x WRR 2017, p. 56.
  Het is een gemis dat empirisch-juridisch onderzoek niet altijd is ingericht op onderzoeksdeelnemers die op een bepaalde wijze kwetsbaar zijn (bijvoorbeeld door hun lage sociaaleconomische status, een minder ontwikkelde taalvaardigheid of zelfredzaamheid) en dat dergelijke onderzoeksdeelnemers ondervertegenwoordigd zijn in ELS-onderzoek, omdat er obstakels waren om hen te bereiken.¹²x Zie bijv. Doornbos & Hanoeman 2021, p. 58; De Rechtspraak 2023, p. 14; Ter Voert & Hoekstra 2020, p. 35. De in deze bijdrage gehanteerde definitie komt gedeeltelijk overeen met onderzoeksdeelnemers die in de Praktische Handreiking voor het uitvoeren van inclusief onderzoek als ‘weinig betrokken’ worden geïdentificeerd; Ministerie van Algemene Zaken 2023, p. 10. Juist mensen met een lage sociaaleconomische status kunnen immers vaak te maken krijgen met het recht en (potentieel) juridische problemen.¹³x OESO 2019. Wanneer deze mensen niet of onvoldoende worden betrokken in empirisch-juridisch onderzoek, terwijl het onderzoek wel gaat over de ervaring van rechtzoekenden, maakt dat de verworven resultaten minder representatief voor de werkelijkheid. Ook kan het ertoe leiden dat positieve resultaten over het recht en het rechtssysteem meer naar voren komen en dat onvrede met het recht en het juridische systeem wellicht wat over het hoofd wordt gezien.¹⁴x Van den Bos e.a. 2023, p. 1-19. Volgens sommige auteurs is zelfs het doel van empirisch-juridisch onderzoek om het perspectief van degenen die zichzelf niet kunnen vertegenwoordigen een plek te geven in de juridische werkelijkheid.¹⁵x Zie meer over kritisch ELS-onderzoek de bijdrage van Anja Eleveld uit dit themanummer en bijv. Elbers e.a. 2018, p. 38-39. Er bestaan in de literatuur echter beperkte aanknopingspunten hoe ondervertegenwoordigde onderzoeksdeelnemers in ELS kunnen worden betrokken. Zo wordt niet altijd benoemd dat er (mogelijk) ondervertegenwoordigde onderzoeksdeelnemers zijn gemist in ELS, en als dat wel zo is, wordt niet altijd uitgelegd waarom zij niet zijn betrokken en of eventuele interventies hebben plaatsgevonden.¹⁶x Zie bijv. Elbers 2016, p. 43-59 en par. 2.
  Voor de toekomst van ELS is het daarom relevant om op deze problematiek te reflecteren en aanknopingspunten te vinden hoe ondervertegenwoordigde onderzoeksdeelnemers in empirisch-juridisch onderzoek kunnen worden betrokken. Deze bijdrage beoogt dat te doen door een aantal best practices te formuleren, in de eerste plaats voor onderzoekers die ondervertegenwoordigde onderzoeksdeelnemers in hun onderzoek willen betrekken. Daarnaast wordt met deze bijdrage beoogd onderzoekers aan te moedigen die niet noodzakelijk ondervertegenwoordigde onderzoeksdeelnemers in hun onderzoek (hoeven te) betrekken, om kritisch te reflecteren op methodologische keuzes. Op welke ideeën of mogelijke aannames stoelt de onderzoeksvraag? Bemoeilijkt de onderzoeksopzet de deelname van bepaalde (groepen) onderzoeksdeelnemers? Is dat een bewuste keuze of kan het ook anders?
  Op basis van de literatuur en interviews die ik in het kader van mijn proefschrift heb afgenomen, worden in deze bijdrage een aantal best practices geformuleerd om ondervertegenwoordigde onderzoeksdeelnemers in empirisch-juridisch onderzoek te betrekken. Naast empirisch-juridische literatuur is gekeken naar sociaalpsychologische en (rechts)sociologische studies. In het kader van mijn proefschrift over rechtzoekenden die zonder rechtsbijstand procederen in civiele zaken, heb ik 122 interviews afgenomen met rechtzoekenden na afloop van de rolzitting en 116 interviews met bezoekers van het Juridisch Loket. Een aanzienlijk deel van de geïnterviewde onderzoeksdeelnemers had een lage sociaaleconomische achtergrond. Een groot aantal van de respondenten die zijn geïnterviewd na afloop van de rolzitting had te maken met (beginnende) schuldenproblematiek. Ook kwam het regelmatig voor dat respondenten moeite hadden met de Nederlandse taal.¹⁷x Van de rolzitting-interviews hadden 39 onderzoeksdeelnemers de basisschool of middelbare school als hoogst afgeronde opleiding. De meeste onderzoeksdeelnemers (45) hadden een inkomen onder het Nederlandse gemiddelde, waarvan 23 onderzoeksdeelnemers onder de Nederlandse armoedegrens. Van de interviews afgenomen bij het Juridisch Loket was van 43 onderzoeksdeelnemers de basisschool of middelbare school de hoogst afgeronde opleiding. De meerderheid van de onderzoeksdeelnemers had een inkomen onder het Nederlandse gemiddelde (71), waarvan 36 onderzoeksdeelnemers onder de Nederlandse armoedegrens.
  In deze bijdrage zal allereerst ter illustratie worden stilgestaan bij een aantal (recente) voorbeelden van empirisch-juridische onderzoeken waarin het benaderen van (ondervertegenwoordigde) onderzoeksdeelnemers mogelijk een obstakel was. Vervolgens zullen vijf best practices worden geformuleerd. Er wordt afgesloten met een conclusie en een korte reflectie.

• 2 Enkele (mogelijke) obstakels in recent empirisch-juridisch onderzoek

  In een aantal recente empirisch-juridische studies was het opvallend dat (ondervertegenwoordigde) onderzoeksdeelnemers niet of in mindere mate waren betrokken. Zo bevatten de evaluaties van de wijkrechtbank Eindhoven en wijkrechter Rotterdam-Zuid weinig informatie over hoe rechtzoekenden deze MER-experimenten hadden ervaren.¹⁸x Marseille 2022, p. 39 en 44. De evaluatie van de Wijkrechter Rotterdam-Zuid bevatte bijvoorbeeld geen onderzoeksdeelnemers en de Wijkrechter Eindhoven slechts vier. Voor het experiment de Schuldenrechter bij de rechtbank Den Haag en rechtbank Rotterdam zijn uiteindelijk wel 114 onderzoeksdeelnemers benaderd, en bij een experiment van de rechtbank Noord-Nederland 56 onderzoeksdeelnemers. MER staat voor Maatschappelijk Effectieve Rechtspraak (MER). In de evaluatie van de Wijkrechtbank Eindhoven zijn bijvoorbeeld in totaal vier verdachten geïnterviewd die aan de wijkrechtbank hadden deelgenomen. Zij zijn via hun advocaat of reclasseringsmedewerker benaderd om aan het onderzoek mee te doen. In het rapport wordt de bereidheid van respondenten om aan het onderzoek mee te doen als obstakel geïdentificeerd. Van de zes verdachten die aangaven mee te willen doen zijn uiteindelijk vier verdachten geïnterviewd. De twee anderen zijn meermaals gecontacteerd maar namen hun telefoon niet op.¹⁹x Doornbos & Hanoeman 2021, p. 58. In de evaluatie van de Wijkrechter Rotterdam-Zuid zijn rechtzoekenden niet in de evaluatie betrokken. Op basis van interviews en groepsgesprekken met professionals en een enquête uitgezet onder professionals is dit experiment geëvalueerd. Zo zijn onder meer (positieve) conclusies getrokken over de effecten van Wijkrechtspraak op Zuid op de betrokken bewoners.²⁰x Jongebreur & Onstenk 2022, p. 29.
  Ook in recent onderzoek naar aanleiding van de uithuisplaatsingen als gevolg van de Toeslagenaffaire deed slechts een beperkt aantal rechtzoekenden aan het onderzoek mee. Tegenover 125 jeugdrechters en gerechtsjuristen werden bijvoorbeeld zeven pleegouders geïnterviewd, zeven vertegenwoordigers van belangenorganisaties en zes jongeren.²¹x De Rechtspraak 2023, p. 14. De ouders die uiteindelijk zijn gesproken, waren volgens de onderzoekers geen volledige afspiegeling van de groep ouders die in jeugdzaken door rechters worden gezien. Ouders met een migratieachtergrond zijn bijvoorbeeld minder vertegenwoordigd in de uiteindelijke onderzoeksgroep. Onderzoekers hebben wel inspanningen verricht om een meer diverse groep ouders en meer jongeren in het onderzoek te betrekken, maar in het rapport is niet vermeld welke inspanningen zijn verricht en waarom deze inspanningen niet hebben geholpen.²²x De Rechtspraak 2023, p. 15. Uit het rapport volgt wel dat de zes gesproken jongeren zijn geworven via externe organisaties.²³x De Rechtspraak 2023.
  In een aantal andere onderzoeken was het aantal (ondervertegenwoordigde) onderzoeksdeelnemers ook laag, maar werd gereflecteerd op de gehanteerde onderzoeksmethode en mogelijke obstakels. In onderzoek naar digitale zittingen tijdens COVID-19 werd bijvoorbeeld gereflecteerd op obstakels die zich tijdens de dataverzameling hadden voorgedaan.²⁴x Zo waren zijn er in jeugdbeschermingszaken 13 surveys (gedeeltelijk) ingevuld door onderzoeksdeelnemers en bij vreemdelingenzaken 34 surveys, en is er 1 interview gehouden; Ter Voert e.a. 2022, p. 151-152 en 190-191. Obstakels die werden ervaren, zagen onder meer op de bereidheid van respondenten om de vragenlijst in te vullen en de beperkte mogelijkheden tot interventies, vanwege COVID-19. Ook de beperkte toestemming en medewerking van de Raad van de rechtspraak werd als obstakel geïdentificeerd. Ten slotte speelde mee dat slechts een beperkt aantal respondenten in aanmerking kwam voor de studie, namelijk enkel personen die tijdens de coronaperiode een digitale of hybride zitting hadden meegemaakt.²⁵x Ter Voert e.a. 2022.
  Ook in het kwantitatieve onderzoek naar het verloop en de afloop van (potentieel) juridische problemen van burgers (de Geschilbeslechtingsdelta) is gereflecteerd waarom bepaalde onderzoeksdeelnemers niet of mogelijk minder betrokken waren. Zo wordt in de Geschilbeslechtingsdelta 2019 benoemd dat het niet uit te sluiten is dat bepaalde groepen van de Nederlandse bevolking worden gemist: ‘Voor een deel zullen dit ook groepen zijn die via andere methoden van dataverzameling moeilijk zijn te bereiken, zoals mensen met een migratieachtergrond. Burgers die in ieder geval niet zijn vertegenwoordigd zijn mensen die laaggeletterd, de Nederlandse taal niet voldoende machtig of digibeet zijn.’²⁶x Ter Voert & Hoekstra 2020, p. 35. Verder wordt uitgelegd dat deze onderzoeksdeelnemers zijn gemist, omdat is gewerkt met internetsurveys, waarbij respondenten (eerst aselect gekozen, maar uiteindelijk wel op eigen initiatief) via het internet wordt gevraagd een vragenlijst in te vullen. Onderzoeksdeelnemers werden gestimuleerd om mee te doen, doordat ze in ruil voor deelname spaarpunten ontvingen die konden worden omgewisseld voor een cadeaubon of schenking aan het goede doel.²⁷x Ter Voert & Hoekstra 2020, p. 26-27.
  In de bovenstaande onderzoeken werd de bereidheid van (ondervertegenwoordigde) onderzoekersdeelnemers gezien als voornaamste reden waarom zij uiteindelijk maar beperkt zijn betrokken. In een aantal onderzoeken ging het om de deelname van een specifieke groep onderzoeksdeelnemers die, ondanks interventies, tegenviel. Zo werden onderzoeksdeelnemers met een migratieachtergrond en minder taalvaardige en minder digitaal vaardige onderzoekersdeelnemers gemist. In de evaluaties van twee MER-experimenten en in het onderzoek naar digitale zittingen tijdens de coronaperiode was de beoogde onderzoeksgroep die aanmerking kwam voor deelname daarnaast erg klein. In het onderzoek naar digitale zittingen werd ook genoemd dat de medewerking van de Raad voor de rechtspraak het benaderen van onderzoeksdeelnemers bemoeilijkte. In alle bovenstaande voorbeelden zijn onderzoeksdeelnemers geworven via externe organisaties en/of contactpersonen, zoals advocaten of reclasseringsambtenaren, of via het internet.

• 3 Enkele best practices

  Nu ter illustratie enkele (mogelijke) obstakels in recente ELS-onderzoeken zijn besproken, zullen hierna een aantal best practices worden genoemd die deze obstakels zouden kunnen wegnemen. De best practices zien op de fase voorafgaand aan de dataverzameling (onderzoeksmethode en inrichting van het onderzoek: par. 3.1) en op de rol en houding van de onderzoeker voor en tijdens de dataverzameling (par. 3.2). Mogelijkheden om de bereidheid van onderzoeksdeelnemers te vergroten liggen zowel in de fase voorafgaand aan de dataverzameling als in de rol en houding van de onderzoeker.

  3.1 Onderzoeksmethoden en inrichting van het onderzoek

  3.1.1 Gebruik onderzoeksmethoden om ‘dicht bij’ onderzoeksdeelnemers te komen

  In het voorgaande kwam de bereidheid van ondervertegenwoordigde onderzoeksdeelnemers naar voren als belangrijke reden waarom zij niet of maar beperkt in ELS zijn betrokken. Een mogelijkheid om de bereidheid van onderzoeksdeelnemers te vergroten, en daarmee een eerste best practice, is door gebruik te maken van onderzoeksmethoden waarmee daadwerkelijk dicht bij die beoogde ondervertegenwoordigde onderzoeksdeelnemers kan worden gekomen. Dat kan bijvoorbeeld door onderzoeksmethoden aan te wenden waarbij er face-to-face contact is met onderzoeksdeelnemers, zoals bij interviews. Ook kan worden gedacht aan etnografisch onderzoek of actieonderzoek. Bij het gebruik van dergelijke onderzoeksmethoden komt de onderzoeker namelijk in contact met de onderzoeksdeelnemer en kan er een vertrouwensband worden opgebouwd. Het scheppen van een vertrouwensband kan een belangrijke voorwaarde zijn voor ondervertegenwoordigde onderzoekersdeelnemers om aan wetenschappelijk onderzoek mee te doen. Onderzoeksdeelnemers die normaliter niet gemakkelijk in aanraking komen met wetenschappelijk onderzoek of onderzoekers van de universiteit of hogeschool kunnen bijvoorbeeld wantrouwender zijn en hebben meer informatie nodig en contact met de onderzoeker, voordat ze meedoen.²⁸x Emery, Silverman & Carey 2023, p. 2-3. Uit eerdere studies met uiterst kwetsbare groepen, zoals jongeren met verslavingsproblematiek of jongeren met een afstand tot de arbeidsmarkt,²⁹x Möhle & Van Gelder 2021, p. 17-18; Sonneveld 2022. of uiterst moeilijk bereikbare groepen zoals extreemrechtse actoren,³⁰x Ellinas 2023, p. 661-681. volgt ook dat daarom eerst een vertrouwensband moet worden gecreëerd, voordat onderzoeksdeelnemers (voor onderzoekers relevante) informatie delen.³¹x Emery, Silverman & Carey 2023, p. 2-3.
  Tegelijkertijd bestaat er bij face-to-face contact voor onderzoeksdeelnemers een duidelijk aanspreekpunt om vragen aan te stellen over het onderzoek, zowel voorafgaand als tijdens het interview. De onderzoeker kan bovendien steeds een inschatting maken of het voor de onderzoeksdeelnemers duidelijk is waar zij toestemming voor hebben gegeven, waar het onderzoek over gaat en of de vragen worden begrepen. Bij twijfel kan zowel de onderzoeker als de respondent vragen stellen ter verduidelijking. Voor onderzoeksdeelnemers die moeite hebben met taal is dit in het bijzonder prettig. Ook bij andere onderzoeksmethoden, zoals bij vragenlijstonderzoek, kan direct contact tussen onderzoeker en onderzoeksdeelnemer om die reden raadzaam zijn. Zo kan de onderzoeker in persoon vragenlijsten overhandigen aan beoogde onderzoeksdeelnemers en deze samen met hen invullen.³²x Zoals bijvoorbeeld is gedaan in het onderzoek van Möhle & Van Gelder 2021, p. 17-18. Persoonlijk contact tijdens het invullen van een vragenlijst of tijdens het afnemen van een interview draagt ook bij aan de kwaliteit van de verkregen data. Bij twijfel of de onderzoeksdeelnemer de vragen goed heeft begrepen, kan de onderzoeker dat immers checken. Onderzoeksdeelnemers kunnen daarnaast in hun eigen woorden uitleggen hoe zij bijvoorbeeld een procedure bij de rechter hebben ervaren.³³x Naast dat dit de kwaliteit van de verzamelde data waarborgt, kan het ook leiden tot bijzonder interessante (wetenschappelijke) uitkomsten, waar voorafgaand aan het onderzoek nog niet over na werd gedacht.
  Naast het hanteren van onderzoeksmethoden waarbij er ‘dicht bij’ de beoogde onderzoeksdeelnemers wordt gekomen, kan ook de voorbereiding van bijvoorbeeld een interview bijdragen aan het opbouwen van een vertrouwensband met de onderzoeksdeelnemer. Voor mijn promotieonderzoek had ik voor elke vraag uit de topic list meerdere alternatieven bedacht, die ik kon inzetten als ik de indruk kreeg dat onderzoeksdeelnemers de vraag niet goed begrepen of wanneer onderzoeksdeelnemers vroegen wat ik precies bedoelde. Zo vonden deelnemers ‘deskundig’ en ‘onpartijdig’ vaak moeilijke woorden om te begrijpen. ‘Vond u de rechter deskundig?’ werd daarom: ‘Vond u dat de rechter zijn/haar werk goed deed?’ of ‘Vond u de rechter professioneel?’ en ‘Vond u de rechter onpartijdig?’ werd: ‘Vond u dat de rechter een kant koos?’ of: ‘Was de rechter neutraal?’ Alternatieven zijn niet altijd kortere of ‘simpelere’ woorden. Er bestaan online diverse hulpmiddelen om het taalniveau van vragen te controleren.³⁴x Er bestaan ook hulpmiddelen om het taalniveau te checken, zoals de website ‘Is het B1?’ (www.ishetb1.nl) en de website van ‘Accessibility’, om het niveau van gebruikte teksten te controleren op taalniveau (www.accessibility.nl/tools/leesniveau). B1 niveau is voor 95% van de Nederlanders te begrijpen. De website van de Stichting Lezen en Schrijven bevat veel informatie en meer mogelijkheden om teksten of vragen te laten checken, zie bijv. ‘Aan de slag met Taal werkt!’, www.lezenenschrijven.nl/aan-de-slag-met-taal-werkt. Ook kunnen professionals die veel samenwerken met onderzoeksdeelnemers uit de beoogde onderzoeksgroep hierover worden geraadpleegd.³⁵x Zie bijv. Sonneveld 2022, waarbij empirisch onderzoek werd gedaan in samenwerking met elf jongerenwerkaanbieders in Nederland. Een andere manier om de afstand te verkleinen is door onderzoeksdeelnemers bewust te betrekken bij de vormgeving van het onderzoek.³⁶x Zoals bijvoorbeeld gebeurt in ‘Citizen Science’, waarbij niet-academici (veelal vrijwilligers) uit de samenleving meedenken over de vormgeving en/of uitvoering van wetenschappelijk onderzoek. Zie: Science Europe 2018.
  Daarnaast kan hoe een onderzoeker zich presenteert, bijdragen aan het opbouwen van een vertrouwensband met de onderzoeksdeelnemer. Het is daarom belangrijk om naast taalgebruik ook kledingkeuze af te stemmen op de onderzoeksdeelnemers die voor het onderzoek worden benaderd. Experimenten van Van den Bos e.a. lieten zien dat hoe een onderzoeker zich presenteert invloed heeft op hoe respondenten bepaalde vragen beantwoorden.³⁷x Van den Bos e.a. 2023, p. 1-19. Wanneer de onderzoeker zich presenteerde als iemand van de Universiteit Utrecht, gaven respondenten met een laag opleidingsniveau aan meer vertrouwen te hebben in rechters, en dus andere antwoorden, dan wanneer dezelfde onderzoeker zich presenteerde als een onderzoeker van het ROC Utrecht.³⁸x Van den Bos e.a. 2023, p. 38. Het dragen van onopvallende, neutrale kleding is daarom raadzaam, mits de onderzoeker zich daar zelf ook comfortabel bij voelt.³⁹x Zie ook par. 3.2.2. Het is uiteraard belangrijk dat de onderzoeker zichzelf kan blijven tijdens het interview.

  3.1.2 Maak de drempel om mee te doen aan het onderzoek zo laag mogelijk

  Een andere best practice is om bij het opzetten van het onderzoek de drempel voor onderzoeksdeelnemers om aan het onderzoek deel te nemen zo laag mogelijk te maken. Bij niet-ondervertegenwoordigde onderzoeksdeelnemers, zoals studenten of juridische professionals, kan dat ook zorgen voor een hogere respons, maar zij kunnen bijvoorbeeld nog via hun organisatie en/of per e-mail worden bereikt. Om ondervertegenwoordigde onderzoeksdeelnemers te betrekken dient de drempel doorgaans nog lager te liggen en dient de onderzoeker, in het verlengde van de eerste best practice, naar de onderzoeksdeelnemer toe te gaan. (Potentiële) onderzoeksdeelnemers kunnen bijvoorbeeld op de gang van de rechtbank, de rechtswinkel of bij het Juridisch Loket worden benaderd.⁴⁰x Zoals ik in het kader van mijn promotieonderzoek momenteel doe. Zie ook eerdere studies: Ansems 2021; Grootelaar 2018. Ook kan worden gedacht aan het bijwonen van relevante bijeenkomsten, zoals in onderzoek van Engbersen is gedaan om kennismigranten uit Rotterdam en Den Haag te bereiken. In dat onderzoek zijn onder meer ouderavonden, koffieochtenden voor vrouwen en kerkdiensten door onderzoekers bijgewoond.⁴¹x NICIS Institute 2010, p. 15. In een onderzoek naar langdurig werklozen en bewoners van achterstandswijken in Amsterdam, Rotterdam en Enschede zijn niet alleen relevante bijeenkomsten bijgewoond, maar hebben onderzoekers ook (participerende) observaties gedaan om zo meer informatie over onderzoeksdeelnemers te verkrijgen waar tot dan toe nog weinig bekend over was.⁴²x Kroft e.a. 1989; WRR 2005, p. 24-25.
  Daarnaast is het meer algemeen raadzaam om te voorkomen dat er afspraken moeten worden gemaakt met onderzoeksdeelnemers en er bijvoorbeeld e-mail- of telefoonverkeer ontstaat. Het is vaak moeilijker om deelnemers op een later moment alsnog te bereiken, ook onderzoeksdeelnemers die in eerste instantie wel bereid zijn om mee te doen aan het onderzoek. Andere voordelen van persoonlijk contact, zoals het creëren van een vertrouwensband en het tussentijds kunnen checken of de deelnemer de vragen begrijpt en nog wil meedoen, gaan dan ook verloren. In mijn promotieonderzoek heb ik bijvoorbeeld met een aantal onderzoeksdeelnemers, die daartoe bereid waren, per mail contact proberen te houden. Van de 25 respondenten die daar in eerste instantie voor zijn benaderd, is het uiteindelijk met vijf respondenten gelukt om op een later moment een follow-upinterview in te plannen. In dat geval werkten korte, duidelijke (en vaak meerdere) e-mails het beste.⁴³x Uiteraard hoeven dit niet altijd e-mails te zijn. Wanneer de onderzoeker beschikt over een werktelefoon, zou er ook voor kunnen worden gekozen om met onderzoeksdeelnemers (wanneer zij daarmee instemmen) via WhatsApp of SMS afspraken te maken. Deze mogelijkheden zijn afhankelijk van de aard van het onderzoek, de instemming van de onderzoeksdeelnemer en de mogelijkheden binnen de onderzoeksinstelling van de onderzoeker. Toch waren het de zelfredzame en minder kwetsbare respondenten waar per mail contact mee werd gehouden.
  Als het niet duidelijk is waar (mogelijke) onderzoeksdeelnemers kunnen worden aangetroffen (of waar de onderzoeker moet beginnen), is het verstandig om de hulp in te schakelen van mensen die bekend zijn met de beoogde onderzoeksdeelnemers, zoals medewerkers van het Leger des Heils, verslavingszorg, schuldhulpverleners, gevangenispersoneel, sociale raadslieden of medewerkers van het Buurtteam.⁴⁴x Zie ook: Emery, Silverman, Carey 2023, p. 4-5 en 8-9. In eerder onderzoek naar mensen met schuldenproblematiek bleek dat ook het beste te werken. Zie: Van Middendorp 2022, p. 29. Voorafgaand aan de dataverzameling kan met hen contact worden opgenomen om best practices uit te wisselen, bijvoorbeeld in de vorm van een (verkennend) interview. Professionele hulpverleners hebben doorgaans meer kennis over (en ervaring met) de beoogde onderzoeksgroep en hebben daarmee ook zicht op obstakels waar de onderzoeker zelf (op basis van de literatuur) nog niet over nagedacht heeft.
  Het betrekken van medewerkers uit het veld, in een vroeg stadium van het onderzoek, maakt ook dat zij kunnen meedenken wanneer er obstakels blijken te zijn in de dataverzameling. Zo kan bijvoorbeeld een focusgroep worden opgezet in het buurthuis met de hulp van de medewerkers van het Buurtteam, of kunnen sociale raadslieden onderzoeksdeelnemers die mogelijk interesse hebben alvast benaderen en vertellen over het onderzoek. In mijn promotieonderzoek hebben bijvoorbeeld bodes en deurwaarders enorm geholpen door rechtzoekenden alvast te informeren dat er ook een onderzoeker op de gang zat en te communiceren op welke dagen en tijden regelmatig rechtszaken plaatsvonden die voor mijn onderzoek relevant zouden kunnen zijn.
  De drempel om mee te doen aan empirisch onderzoek kan ook op andere manieren voor onderzoeksdeelnemers worden verlaagd, bijvoorbeeld door deelnemers te compenseren. Van een onderzoeksdeelnemer met een lage sociaaleconomische achtergrond kan bijvoorbeeld niet worden verwacht dat die kan reizen of zonder compensatie vrij (kan) nemen van het werk. Ook kan worden gedacht aan een beloning wanneer onderzoeksdeelnemers (een onderdeel van) het onderzoek hebben afgerond.⁴⁵x Van Middendorp 2022, p. 6-7. Het is goed om bij de opzet van het onderzoek alvast dergelijke aanvullende kosten te begroten.
  Een andere drempel voor onderzoeksdeelnemers kan gelegen zijn in de lengte van het onderzoek. Zeker bij meer kwetsbare onderzoeksdeelnemers is het goed om rekening te houden in een interview of vragenlijst met een mogelijk korte aandachtspanne van de onderzoeksdeelnemer.⁴⁶x Dat kan op verschillende manieren. Bij surveys kunnen er bijvoorbeeld features worden toegevoegd zoals een ‘progress bar’ (een balk die aangeeft hoever de onderzoeksdeelnemer is met het invullen van de vragenlijst), multiplechoice vragen of afbeeldingen. Interviews kunnen kort worden gehouden (met de belangrijkste vragen als eerste gesteld). Om het voor onderzoeksdeelnemers aantrekkelijk te maken om deel te nemen is het daarom goed om, waar mogelijk, niet te lange interviews of vragenlijsten af te nemen. Ook kan het raadzaam zijn om de belangrijkste vragen als eerste te stellen, zodat als het interview of de vragenlijst vroegtijdig wordt beëindigd, in ieder geval de belangrijkste informatie aan bod is gekomen.

  3.1.3 Blijf ambitieus maar wees wel realistisch

  Aangezien niet zelden obstakels worden ondervonden om ondervertegenwoordigde onderzoeksdeelnemers in ELS te betrekken, is het goed om daar rekening mee te houden. Maak dus ruimte vrij om tussentijds te reflecteren op de dataverzameling. Hoe gaat de dataverzameling? Wat is de kwaliteit van de interviews en de (tot nu toe) ingevulde vragenlijsten? Hoe is de respons? Houd er in dat kader ook rekening mee dat de dataverzameling mogelijk minder spoedig verloopt. Op die manier bestaan er nog mogelijkheden om (tijdig) interventies te plegen, rekening te houden met eventuele uitloop of een andere strategie toe te passen. Het is vooral goed om hier rekening mee te houden wanneer het aantal mogelijke onderzoeksdeelnemers maar klein is. Er kunnen in dat geval bijvoorbeeld minder, maar langere, kwalitatief hoogwaardige interviews worden afgenomen. Onderzoeksmethoden kunnen ook worden gecombineerd, zoals observaties met een kleiner aantal interviews. Met dergelijke keuzes dient dan ook in de data-analyse rekening te worden gehouden, door bijvoorbeeld terughoudender te zijn in het trekken van verregaande, generaliserende conclusies.
  Het tegenkomen van obstakels tijdens de dataverzameling kan een demotiverend effect hebben, met name wanneer er al meerdere interventies zijn gepleegd. Het is daarom ook belangrijk, wanneer alles eruit is gehaald en geprobeerd is, om realistisch te zijn. Op dit punt kan worden geanticipeerd wanneer voorafgaand aan de dataverzameling al met meerdere scenario’s rekening is gehouden. Als er dan nog maar weinig kan worden gedaan, is het goed te onthouden dat het betrekken van (bepaalde groepen) ondervertegenwoordigde onderzoeksdeelnemers op zichzelf een groot goed is. Dat er uiteindelijk minder personen zijn betrokken dan beoogd, kan daar bijvoorbeeld tot op zekere hoogte door worden gerechtvaardigd.⁴⁷x Zie bijv. Ellinas 2023, p. 661-681.
  Ten slotte is het mijns inziens belangrijk om te reflecteren op ervaren obstakels tijdens de dataverzameling en daar transparant over te zijn, zodat onderzoekers in de toekomst daar rekening mee kunnen houden. Reflecteren kan voorafgaand aan het onderzoek, door kort stil te staan bij vragen als: maakt mijn onderzoeksopzet deelname voor iedereen mogelijk? En: zijn er perspectieven die ik in mijn onderzoek mogelijk mis? Na afloop kan het opnemen van een kritische methodereflectie in een onderzoeksrapport of het benoemen van ervaren obstakels in een artikel toekomstige ELS-onderzoekers helpen. Het publiceren en benoemen van dergelijke obstakels is in lijn met het belang om ook minder gunstige of negatieve uitkomsten van empirisch onderzoek te publiceren.⁴⁸x Zie bijv. over het belang daarvan: Joober e.a. 2012, p. 149-152; Nimpf & Keays 2020.

  3.2 De rol en houding van de onderzoeker

  3.2.1 Een flexibele houding en planning van de onderzoeker

  Als onderzoeker is het essentieel om een flexibele houding aan te nemen wanneer de wens bestaat om ondervertegenwoordigde onderzoeksdeelnemers in het onderzoek te betrekken. Flexibiliteit wordt ook in de internationale literatuur onderscheiden als een belangrijke factor die bijdraagt aan het betrekken van onderzoeksdeelnemers met een lage sociaaleconomische status in empirisch(-juridisch) onderzoek.⁴⁹x Emery, Silverman & Carey 2023, p. 1-13.
  Flexibiliteit ziet in eerste instantie op het rekening houden met verschillende scenario’s in de opzet van het onderzoeksproject. Zoals eerder genoemd, is het bijvoorbeeld goed om er rekening mee te houden dat de dataverzameling meer tijd en moeite zal kosten en er mogelijk ook meer financiële ondersteuning nodig is (vanwege reiskosten, compensatie of ingecalculeerde uitloop van het onderzoek). Uiteraard bestaat er geen oneindige flexibiliteit, omdat financiële middelen of ondersteuningsmogelijkheden dat veelal niet zijn. Het beschouwen van flexibiliteit als voorwaarde om ondervertegenwoordigde onderzoeksdeelnemers voortaan wel in empirisch-juridisch onderzoek te betrekken, kan dat in de toekomst echter wel veranderen.⁵⁰x In dat verband kan ook worden gekeken naar andere disciplines, zoals de sociale psychologie, antropologie of sociologie, waar een dergelijke opstelling veel gebruikelijker is.
  Flexibiliteit ziet ook op een flexibele houding ten opzichte van de onderzoeksdeelnemers. Als een onderzoeksdeelnemer bereid is om mee te doen, is het handig om het liefst direct een afspraak in te plannen waarbij de deelnemer zo min mogelijk hoeft te reizen of anderszins moeite hoeft te doen. Een flexibele houding vereist ook een goede voorbereiding. Zo kan voordat wordt begonnen aan de dataverzameling een pilotstudie worden gedaan. Eventuele obstakels, ook obstakels waar de onderzoeker zelf nog niet bedacht op was, kunnen dan alvast worden geïdentificeerd en weggenomen. Interviews kunnen al een keer worden afgenomen of geoefend, het liefst met anderen die geen (universitaire) opleiding hebben gehad of bekend zijn met het recht. Ook kunnen onderzoekers alvast een keer naar een rechtszaak gaan, als het onderzoek gaat over rechtzoekenden die daarin betrokken zijn geweest. Wanneer de onderzoeker meer weet en een betere voorstelling heeft waar onderzoeksdeelnemers mee te maken krijgen, kan dat de afstand tussen onderzoeker en onderzoeksdeelnemer namelijk verkleinen. Tegelijkertijd kan veel gerichter worden doorgevraagd, waardoor interviews mogelijk korter zijn.
  Als onderzoeksdeelnemers in een kwetsbare situatie verkeren betekent flexibiliteit ook dat het goed is alert te zijn op signalen dat onderzoeksdeelnemers tussentijds toch willen stoppen of behoefte hebben aan een pauze. Vrijwilligheid is des te belangrijker voor onderzoeksdeelnemers waarbij het niet vanzelfsprekend is dat ze begrijpen waar het onderzoek over gaat. Tegelijkertijd moeten onderzoekers ervoor waken onderzoeksdeelnemers te onderschatten en voor hen allerlei zaken in te vullen. Wanneer een onderzoeksdeelnemer bijvoorbeeld moeite heeft met de Nederlandse taal, kan het wat langer duren voordat deze persoon op een antwoord komt, maar dat betekent niet dat deze persoon niet aan het onderzoek wil deelnemen. Een creatieve en flexibele houding van de onderzoeker, bijvoorbeeld door over te schakelen op het Engels of het toelaten van een bekende van de onderzoeksdeelnemer die minder moeite heeft met Nederlands, kan in dat verband ook helpen.⁵¹x Uiteraard in combinatie met het voorgaande: door goed alert te zijn op signalen dat onderzoeksdeelnemers toch liever willen stoppen en/of bij twijfel dit te controleren. Minder ‘uitgebreide’ antwoorden kunnen bovendien ook waardevol zijn. In mijn onderzoek gaven respondenten bijvoorbeeld vaak aan dat ze de zitting ‘snel’ en ‘goed’ vonden. Dat zijn ook valide antwoorden, zeker wanneer meermaals (en op verschillende manieren) is gecheckt of deze antwoorden stroken met hun algemene ervaring van de zitting.

  3.2.2 Reflecteer op jouw rol als onderzoeker (en weet waar die ophoudt)

  Een flexibele houding als onderzoeker betekent echter niet dat alles moet kunnen. Het is goed, zeker wanneer met meer kwetsbare onderzoeksdeelnemers wordt gewerkt, om van tevoren rekening te houden met de impact van het onderzoek op de onderzoeker. Voordat wordt begonnen aan de dataverzameling kunnen bijvoorbeeld collega’s of andere betrokkenen op de hoogte worden gesteld van de dataverzamelingsfase.⁵²x Sociale kring, maar bijvoorbeeld ook professionals die eerder zijn geraadpleegd en zijn betrokken bij het onderzoek. Tijdens de dataverzameling kunnen zij dan worden opgezocht om de ervaringen die tijdens de dataverzameling worden opgedaan te bespreken en daarop te reflecteren (en ventileren).⁵³x Zie bijv. Overheul 2023. Bij de universiteit zijn er ook diverse instanties die in dat kader ondersteuning kunnen bieden wanneer daar tijdens of na het onderzoek behoefte aan is. Naast directe collega’s of begeleiders, kan bijvoorbeeld een promovendipsycholoog of een Integrity Counsellor worden geraadpleegd om ervaringen (of twijfels) tijdens de dataverzameling te bespreken.
  Ook tijdens het onderzoek is het goed om bepaalde grenzen te stellen wanneer het als onderzoeker niet langer veilig (of goed) voelt om het interview voort te zetten. Ondanks dat het belangrijk is om de drempel voor (beoogde) onderzoeksdeelnemers zo laag mogelijk te houden. Zo kan er bijvoorbeeld over na worden gedacht om op een (voor de onderzoeksdeelnemer en onderzoeker) prettige, openbare plek af te spreken om een interview af te nemen, zoals in een ruimte in de bibliotheek of in het buurthuis. Ook kan ervoor worden gekozen om met een collega op pad te gaan. Ook in dat kader kunnen eventueel betrokken professionals weer helpen en mogelijk meedenken.
  Ten slotte is het bij onderzoek met kwetsbare personen die hulpbehoevend zijn, vanwege bijvoorbeeld beperkte kennis van het recht, belangrijk om duidelijk aan hen uit te leggen dat de onderzoeker geen hulpverlener is.⁵⁴x Gardner, Gabriel & Hochschild 2002, p. 239-251. Wanneer het voor hen niet duidelijk is waar het onderzoek over gaat of wat de onderzoeker precies doet, kan hierover verwarring ontstaan. Het kan de onderzoeker dan helpen om bij de voorbereiding ook na te gaan wie de hulpverleners en organisaties zijn die deze hulp eventueel wel zouden kunnen bieden, zoals een rechtsbijstandverlener, schuldhulpverlener of zorgverlener. Op die manier kan tijdens een interview bijvoorbeeld worden doorverwezen naar één van deze instanties, mocht dat nodig zijn.

• 4 Conclusie

  Ondanks dat ELS de afgelopen jaren een enorme vlucht heeft genomen, is empirisch-juridisch onderzoek niet altijd ingericht op bepaalde onderzoeksdeelnemers, zoals onderzoeksdeelnemers met een lage sociaaleconomische status, een minder ontwikkelde taalvaardigheid en/of verminderde zelfredzaamheid. Vaak worden (in plaats daarvan) professionals geraadpleegd, zoals rechters, advocaten en procesvertegenwoordigers, om onderzoek te doen naar de rechtspraktijk. Dat volgt ook uit een aantal recent verschenen empirisch-juridische onderzoeken.
  In deze bijdrage zijn een aantal best practices geformuleerd die eraan kunnen bijdragen ondervertegenwoordigde onderzoeksdeelnemers voortaan wel in ELS te betrekken. Deze best practices zien op de inrichting van ELS-onderzoek, zoals het aanwenden van bepaalde onderzoeksmethoden waarbij er face-to-face contact is met onderzoeksdeelnemers en met hen een vertrouwensband kan worden gecreëerd (interviews, etnografisch onderzoek, actieonderzoek). Onderzoeker en onderzoeksdeelnemers kunnen zo gemakkelijk vragen aan elkaar stellen over het onderzoek. Daarnaast is het belangrijk voor deelname van ondervertegenwoordigde onderzoeksdeelnemers, dat de drempel om aan het onderzoek mee te doen zo laag mogelijk blijft. Dat kan bijvoorbeeld door als onderzoeker zo veel mogelijk naar de onderzoeksdeelnemers toe te gaan, professionals in te schakelen en/of compensatie aan te bieden om het voor onderzoeksdeelnemers zo gemakkelijk mogelijk te maken om mee te doen. Een aantal andere besproken best practices zien op de rol van de onderzoeker. Zo is een flexibele houding en flexibele omgang met onderzoeksdeelnemers (gelet op tijd, inspanning en geld) essentieel om ondervertegenwoordigde onderzoeksdeelnemers in empirisch-juridisch onderzoek te betrekken. Voor een flexibele houding van de onderzoeker dient tijd te worden vrijgemaakt in de onderzoeksplanning en is een goede voorbereiding vereist, ook om zo (waar nodig) de rol van de onderzoeker te begrenzen.

• 5 Reflectie

  De opsomming van best practices in deze bijdrage kan de indruk wekken dat het betrekken van ondervertegenwoordigde onderzoeksdeelnemers een grote, bijna onmogelijke opgave is. Ik zal niet ontkennen dat er meer moeite moet worden gedaan om de gewenste onderzoeksgroep te betrekken. Toch zou ik willen benadrukken dat het vooral heel leuk is om creatief na te denken over het opzetten van empirisch-juridisch onderzoek en een flexibele rol als onderzoeker aan te nemen.
  Met deze bijdrage beoog ik dan ook vooral te onderstrepen dat het perspectief van (ondervertegenwoordigde) onderzoeksdeelnemers belangrijk is om ELS een waardevolle aanvulling te laten (blijven) zijn op juridisch-dogmatisch onderzoek. Mijns inziens dient empirisch-juridisch onderzoek dan wel zo te worden ingericht, dat het ook toegankelijk is voor ondervertegenwoordigde onderzoeksdeelnemers om mee te doen.

Referenties

• Ansems, L.F.M., Procedural justice on trial: A critical test of perceived procedural justice from the perspective of criminal defendants (diss. Utrecht), Utrecht: Universiteit Utrecht 2021.

• Bos, K. van den, L. Hulst, M. Robijn, S. Romijn & T. Wever, ‘Field Experiments Examining Trust in Law: Interviewer Effects on Participants with Lower Educational Backgrounds’, Utrecht Law Review 2023-19(1), p. 1-19.

• Christoffels, I., P. Baay, I. Bijlsma & M. Levels, Over de relatie tussen laaggeletterdheid en armoede, ’s-Hertogenbosch: Stichting Lezen & Schrijven 2016.

• Claessen, D., Q. Eijkman & M. Lamkaddem, ‘Social support and access to justice at the kitchen table? An assessment of the legal capabilities of community social care professionals in the Netherlands’, European Journal of Social Work 2022-24(1), p. 51-64.

• De Rechtspraak, Recht doen aan kinderen en ouders (Rapport van de reflectiecommissie familie- en jeugdrechters van de rechtbanken en gerechtshoven), De Rechtspraak 2023.

• De Rechtspraak, Incassozaken, De Rechtspraak 2018, geraadpleegd via: www.rechtspraak.nl/SiteCollectionDocuments/rapport-incassozaken-Rechtspraak.pdf.

• De Rechtspraak, Jaarverslag Rechtspraak 2023, De Rechtspraak 2023, geraadpleegd via: www.rechtspraak.nl/SiteCollectionDocuments/Jaarverslag%20Rechtspraak%202023.pdf.

• Doornbos, N. & R. Hanoeman, De persoon achter het dossier: Werkwijze van de Wijkrechtbank Eindhoven, Den Haag: Raad voor de Rechtspraak (Research Memoranda 20210-16(3).

• Elbers, N.A., ‘Empirisch juridisch onderzoek: Toekomstmuziek of werkelijkheid?’, Justitiële verkenningen 2016(6), p. 43-59.

• Elbers, N.A. e.a., Empirisch-juridisch onderzoek in Nederland: Bespiegelingen over de stand van zaken in de rechtswetenschap, het juridisch onderzoek en de praktijk, Recht der Werkelijkheid 2018-39(1), p. 38-39.

• Ellinas, A.A., ‘The Interview Method in Comparative Politics: The Process of Interviewing Far-Right Actors’, Government & Opposition 2023-58, p. 661-681.

• Emery, L.F., D.M. Silverman & R.M. Carey, ‘Conducting Research With People in Lower-Socioeconomic-Status Contexts’, Advanced Methods and Practices in Psychological Science 2023-6(4).

• European Commission, 2023 Rule of Law Report: Country Chapter on the rule of law situation in the Netherlands, European Commission 2023.

• European Union, Special Eurobarometer 534 (99.2), European Union 2024, geraadpleegd via: https://europa.eu/eurobarometer/surveys/detail/2968.

• Gardner, W.L., S. Gabriel & L. Hochschild, ‘When You and I Are “We,” You Are Not Threatening: The Role of Self-Expansion in Social Comparison’, Journal of Personality and Social Psychology 2002-82(2), p. 239-251.

• Grootelaar, H.A.M., Interacting with Procedural Justice in Courts (diss. Utrecht), Utrecht: Universiteit Utrecht 2018.

• Henrich, J., S.J. Heine & A. Norenzayan, ‘The weirdest people in the world?’, Behavioral and Brain Sciences 2010-33(2-3), p. 61-83.

• Jongebreur, W. & A. Onstenk, Wijkrechtspraak op Zuid: Eindevaluatie, Significant Public (6 oktober 2022).

• Joober, R., N. Schmitz, L.A. Dipstat & P. Boksa, ‘Publication bias: What are the challenges and can they be overcome?’, J. of Psychiatry and Neuroscience 2012-37, p. 149-152.

• Kraats, K.G.F. van der, Het civiele procesrecht als struikelblok: Rechtsbescherming van mensen zonder juridische kennis, Den Haag: Boom juridisch 2022.

• Kroft, H., G. Engbersen, K. Schuyt, J.S. Timmer, S. Hoegen, H. Müller & J. van der Sluis, Een tijd zonder werk: Een onderzoek naar de leefwereld van langdurig werklozen, Stenfert Kroese 1989.

• Marseille, B., ‘Hoe succesvol zijn de experimenten van maatschappelijk effectieve rechtspraak?’, Rechtstreeks 2022(3), p. 32-47.

• Middendorp, J. van, Als de financiën op orde zijn, heb ik meer rust: Ondersteuning met financiële problemen door vrijwilligers (diss. Nijmegen), Nijmegen: Radboud Universiteit 2022.

• Ministerie van Algemene Zaken (Dienst Publiek en Communicatie), Praktische handreiking voor het uitvoeren van inclusief onderzoek (versie 1 december 2023), Den Haag: Ministerie van Algemene Zaken 2023.

• Möhle, M. & N. van Gelder, Middelenpreventie en -beleid in de residentiële jeugdzorg (RJZ), Utrecht: Trimbos-Instituut 2021.

• Morgan, A.C., N. LaBerge, D.B. Larremore, M. Galesic, J.E. Brand & A. Clauset, ‘Socioeconomic roots of academic faculty’, Nature Human Behavior 2022-6, p. 1625-1633.

• NICIS Institute, Kennismigranten in Rotterdam en Den Haag, NICIS Institute 2010.

• Nimpf, S. & D.A. Keays, ‘Why (and how) we should publish negative data’, EMBO Rep. 2020-21(1).

• OESO, Equal access to justice for inclusive growth: Putting people at the centre, Parijs: OECD Publishing 2019.

• Overheul, M., ‘Some Reflections on the Emotional Burden of interviews with Victims of Occupational Diseases’, Frontiers of Socio-Legal Studies, 22 november 2023, geraadpleegd via: https://frontiers.csls.ox.ac.uk/emotional-burden-of-interviews/.

• Rijksoverheid, ‘Aanpak laaggeletterdheid’, Rijksoverheid 2024, geraadpleegd via www.rijksoverheid.nl/onderwerpen/laaggeletterdheid/aanpak-laaggeletterdheid.

• Science Europe, ‘Science Europe Briefing Paper on Citizen Science (June 2018),’ Science Europe 2018, geraadpleegd via: www.scienceeurope.org/media/gjze3dv4/se_briefingpaper_citizenscience.pdf.

• Sonneveld, J., Growth opportunities in professional youth work: Contribution of a multi-methodic approach on the personal development and social participation of socially vulnerable youngsters (diss. Tilburg), Tilburg: Tilburg University 2022.

• Voert, M.J. ter & M.S. Hoekstra, Geschilbeslechtingsdelta 2019: Over verloop en afloop van (potentieel) juridische problemen van burgers, Den Haag: WODC 2020.

• Voert, M.J. ter, E. Bauw, M.M. Boone, M.R. Bruning, M.M. Bruquetas, M.J. Dubelaar, K.E. Geertsema, L.R. Glas, Y.K. Glasgow, R.M. Holterman, A.A.A. Janssen, A. Pivaty, M.A. Simon Thomas, A.B. Terlouw & S.G.C. van Wingerden, Gevolgen van COVID-19 voor de rechtspraak en kwetsbare rechtzoekenden: een onderzoek naar maatregelen en de positie van rechtzoekenden binnen het straf-, civiele jeugdbeschermings-, en vreemdelingenrecht, Nijmegen-Leiden-Utrecht: Radboud Universiteit-Universiteit Leiden-Universiteit Utrecht 2022, geraadpleegd via: https://hdl.handle.net/1887/3279384.

• WRR, Vertrouwen in de buurt, Amsterdam: Amsterdam University Press 2005.

• WRR, Weten is nog geen doen: Een realistisch perspectief op redzaamheid, Den Haag: Wetenschappelijke Raad voor het Regeringsbeleid (WRR) 2017.

Noten

• 1 Zie over de ontwikkeling van empirisch-juridisch onderzoek bijv. Elbers 2016, p. 43-59.

• 2 In deze bijdrage zal omwille van de leesbaarheid worden gesproken over ‘onderzoeksdeelnemers’. Met ‘onderzoeksdeelnemers’ wordt verwezen naar alle deelnemers aan empirisch onderzoek. De term ‘respondent’ kan voor verwarring zorgen, omdat daarmee veelal wordt verwezen naar onderzoeksdeelnemers die door te antwoorden/reageren hebben bijgedragen aan een empirisch onderzoek. Deze bijdrage heeft het echter ook over eventuele andere onderzoeksdeelnemers (niet-respondenten) die op andere wijze een bijdrage hebben geleverd, zoals door mee te doen aan een experiment.

• 3 Elbers 2016, p. 51.

• 4 Onder meer: De Rechtspraak 2023; Ter Voert e.a. 2022, zie hierover meer in par. 2.

• 5 Henrich, Heine & Norenzayan 2010, p. 61-83.

• 6 Bovendien zijn ideeën over hoe de maatschappij in elkaar steekt vaak gebaseerd op culturele modellen van groepen met een vergelijkbare, hoge sociaaleconomische achtergrond; Emery, Silverman & Carey 2023, p. 1.

• 7 Emery, Silverman & Carey 2023, p. 1; Morgan e.a. 2022, p. 1625-1633. Zie bijv. ook de studie van Van den Bos e.a. (2023, p. 1-19), waarbij respondenten andere antwoorden gaven als de onderzoeker zich voordeed als student van de Universiteit Utrecht dan als student van het ROC Midden-Nederland.

• 8 Christoffels e.a. 2016, p. 20-22.

• 9 Rijksoverheid 2024.

• 10 De Rechtspraak 2023; Ter Voert e.a. 2022.

• 11 WRR 2017, p. 56.

• 12 Zie bijv. Doornbos & Hanoeman 2021, p. 58; De Rechtspraak 2023, p. 14; Ter Voert & Hoekstra 2020, p. 35. De in deze bijdrage gehanteerde definitie komt gedeeltelijk overeen met onderzoeksdeelnemers die in de Praktische Handreiking voor het uitvoeren van inclusief onderzoek als ‘weinig betrokken’ worden geïdentificeerd; Ministerie van Algemene Zaken 2023, p. 10.

• 13 OESO 2019.

• 14 Van den Bos e.a. 2023, p. 1-19.

• 15 Zie meer over kritisch ELS-onderzoek de bijdrage van Anja Eleveld uit dit themanummer en bijv. Elbers e.a. 2018, p. 38-39.

• 16 Zie bijv. Elbers 2016, p. 43-59 en par. 2.

• 17 Van de rolzitting-interviews hadden 39 onderzoeksdeelnemers de basisschool of middelbare school als hoogst afgeronde opleiding. De meeste onderzoeksdeelnemers (45) hadden een inkomen onder het Nederlandse gemiddelde, waarvan 23 onderzoeksdeelnemers onder de Nederlandse armoedegrens. Van de interviews afgenomen bij het Juridisch Loket was van 43 onderzoeksdeelnemers de basisschool of middelbare school de hoogst afgeronde opleiding. De meerderheid van de onderzoeksdeelnemers had een inkomen onder het Nederlandse gemiddelde (71), waarvan 36 onderzoeksdeelnemers onder de Nederlandse armoedegrens.

• 18 Marseille 2022, p. 39 en 44. De evaluatie van de Wijkrechter Rotterdam-Zuid bevatte bijvoorbeeld geen onderzoeksdeelnemers en de Wijkrechter Eindhoven slechts vier. Voor het experiment de Schuldenrechter bij de rechtbank Den Haag en rechtbank Rotterdam zijn uiteindelijk wel 114 onderzoeksdeelnemers benaderd, en bij een experiment van de rechtbank Noord-Nederland 56 onderzoeksdeelnemers. MER staat voor Maatschappelijk Effectieve Rechtspraak (MER).

• 19 Doornbos & Hanoeman 2021, p. 58.

• 20 Jongebreur & Onstenk 2022, p. 29.

• 21 De Rechtspraak 2023, p. 14.

• 22 De Rechtspraak 2023, p. 15.

• 23 De Rechtspraak 2023.

• 24 Zo waren zijn er in jeugdbeschermingszaken 13 surveys (gedeeltelijk) ingevuld door onderzoeksdeelnemers en bij vreemdelingenzaken 34 surveys, en is er 1 interview gehouden; Ter Voert e.a. 2022, p. 151-152 en 190-191.

• 25 Ter Voert e.a. 2022.

• 26 Ter Voert & Hoekstra 2020, p. 35.

• 27 Ter Voert & Hoekstra 2020, p. 26-27.

• 28 Emery, Silverman & Carey 2023, p. 2-3.

• 29 Möhle & Van Gelder 2021, p. 17-18; Sonneveld 2022.

• 30 Ellinas 2023, p. 661-681.

• 31 Emery, Silverman & Carey 2023, p. 2-3.

• 32 Zoals bijvoorbeeld is gedaan in het onderzoek van Möhle & Van Gelder 2021, p. 17-18.

• 33 Naast dat dit de kwaliteit van de verzamelde data waarborgt, kan het ook leiden tot bijzonder interessante (wetenschappelijke) uitkomsten, waar voorafgaand aan het onderzoek nog niet over na werd gedacht.

• 34 Er bestaan ook hulpmiddelen om het taalniveau te checken, zoals de website ‘Is het B1?’ (www.ishetb1.nl) en de website van ‘Accessibility’, om het niveau van gebruikte teksten te controleren op taalniveau (www.accessibility.nl/tools/leesniveau). B1 niveau is voor 95% van de Nederlanders te begrijpen. De website van de Stichting Lezen en Schrijven bevat veel informatie en meer mogelijkheden om teksten of vragen te laten checken, zie bijv. ‘Aan de slag met Taal werkt!’, www.lezenenschrijven.nl/aan-de-slag-met-taal-werkt.

• 35 Zie bijv. Sonneveld 2022, waarbij empirisch onderzoek werd gedaan in samenwerking met elf jongerenwerkaanbieders in Nederland.

• 36 Zoals bijvoorbeeld gebeurt in ‘Citizen Science’, waarbij niet-academici (veelal vrijwilligers) uit de samenleving meedenken over de vormgeving en/of uitvoering van wetenschappelijk onderzoek. Zie: Science Europe 2018.

• 37 Van den Bos e.a. 2023, p. 1-19.

• 38 Van den Bos e.a. 2023, p. 38.

• 39 Zie ook par. 3.2.2. Het is uiteraard belangrijk dat de onderzoeker zichzelf kan blijven tijdens het interview.

• 40 Zoals ik in het kader van mijn promotieonderzoek momenteel doe. Zie ook eerdere studies: Ansems 2021; Grootelaar 2018.

• 41 NICIS Institute 2010, p. 15.

• 42 Kroft e.a. 1989; WRR 2005, p. 24-25.

• 43 Uiteraard hoeven dit niet altijd e-mails te zijn. Wanneer de onderzoeker beschikt over een werktelefoon, zou er ook voor kunnen worden gekozen om met onderzoeksdeelnemers (wanneer zij daarmee instemmen) via WhatsApp of SMS afspraken te maken. Deze mogelijkheden zijn afhankelijk van de aard van het onderzoek, de instemming van de onderzoeksdeelnemer en de mogelijkheden binnen de onderzoeksinstelling van de onderzoeker.

• 44 Zie ook: Emery, Silverman, Carey 2023, p. 4-5 en 8-9. In eerder onderzoek naar mensen met schuldenproblematiek bleek dat ook het beste te werken. Zie: Van Middendorp 2022, p. 29.

• 45 Van Middendorp 2022, p. 6-7.

• 46 Dat kan op verschillende manieren. Bij surveys kunnen er bijvoorbeeld features worden toegevoegd zoals een ‘progress bar’ (een balk die aangeeft hoever de onderzoeksdeelnemer is met het invullen van de vragenlijst), multiplechoice vragen of afbeeldingen. Interviews kunnen kort worden gehouden (met de belangrijkste vragen als eerste gesteld).

• 47 Zie bijv. Ellinas 2023, p. 661-681.

• 48 Zie bijv. over het belang daarvan: Joober e.a. 2012, p. 149-152; Nimpf & Keays 2020.

• 49 Emery, Silverman & Carey 2023, p. 1-13.

• 50 In dat verband kan ook worden gekeken naar andere disciplines, zoals de sociale psychologie, antropologie of sociologie, waar een dergelijke opstelling veel gebruikelijker is.

• 51 Uiteraard in combinatie met het voorgaande: door goed alert te zijn op signalen dat onderzoeksdeelnemers toch liever willen stoppen en/of bij twijfel dit te controleren.

• 52 Sociale kring, maar bijvoorbeeld ook professionals die eerder zijn geraadpleegd en zijn betrokken bij het onderzoek.

• 53 Zie bijv. Overheul 2023.

• 54 Gardner, Gabriel & Hochschild 2002, p. 239-251.