‘Je kan heel goed kritisch zijn op een nette manier’

‘In de romanliteratuur is fabuleren een norm, in de wetenschap een normschending’. Dat schrijft jurist en socioloog Kees Schuyt in zijn recent uitgekomen werk Tussen fout en fraude. Integriteit en oneerlijk gedrag in het wetenschappelijk onderzoek (2014). Hij vervolgt: ‘Overschrijven mag in vele sociale instituties, zoals in het gezin, waar grappige teksten worden overgeschreven en doorgezonden zonder de bedenker erbij te vermelden, in de journalistieke verslaggeverij, waar persberichten vaak letterlijk worden overgenomen, in de kerk, waar oude preken van voorgangers op drukke zondagen opnieuw worden gebruikt. Ministers nemen teksten, die door hun ambtenaren zijn geschreven, vaak in zijn geheel over en publiceren die teksten na afloop van hun ambtstermijn onder hun eigen naam. Niemand die hier iets kwaads in ziet. In de jurisprudentie van rechters is het gedeeltelijk overschrijven van arresten van collegae eerder wenselijk dan verboden, omdat afwijking van eenmaal gevonden bondige formuleringen alleen maar vragen zou oproepen. Teksten mogen letterlijk worden overgeschreven. Maar in de wetenschap mag dat niet, althans niet zonder adequate bronvermelding. In de wetenschap wordt een grotere eerlijkheid geëist dan in het alledaagse leven.’ Kees Schuyt stelt dat integriteit een contextgebonden norm is; wat in de ene situatie als fraude moet worden aangemerkt, is onder andere omstandigheden volstrekt legitiem. Wetenschappelijke integriteit is een norm die aan de specifieke positie van wetenschappelijk onderzoeker is gebonden. ‘Wie kiest voor de wetenschap, kiest en aanvaardt tegelijkertijd voor de specifieke waarden, die bij wetenschap horen’, aldus Schuyt (2014).
Kees Schuyt begon zich te verdiepen in het onderwerp ‘wetenschappelijke integriteit’ nadat hij in 2006 werd gevraagd voorzitter te worden van het Landelijk Orgaan Wetenschappelijke Integriteit (LOWI), de commissie die zich in Nederland buigt over integriteitszaken in de wetenschap. Na acht jaar voorzitterschap is hij daar eind vorig jaar mee gestopt. Voor die periode had hij al een lange wetenschappelijke carrière achter de rug. In 1972 promoveerde hij in Leiden op een proefschrift over de Amerikaanse civil rights-beweging bij de criminoloog W.H. Nagel en de rechtsfilosoof J.F. Glastra van Loon. Hij publiceerde een veertigtal wetenschappelijke boeken en vele artikelen op het gebied van de rechtssociologie, de verzorgingsstaat, armoede en werkloosheid, de filosofie van sociale wetenschappen en de Nederlandse cultuur na 1945. Daarnaast schreef hij regelmatig stukken voor kranten en opiniebladen en had hij tussen 1989 en 2005 een tweewekelijkse column in de Volkskrant. Als hoogleraar empirische sociologie was Schuyt lange tijd verbonden aan de Universiteit Leiden en daarna aan de Universiteit van Amsterdam, en was hij als promotor betrokken bij meer dan vijftig promoties. Bijna veertig jaar na zijn eigen promotie schreef hij een vuistdikke biografie over zijn promotor Willem Nagel, die onder het pseudoniem J.B. Charles tevens dichter was en schrijver van romans.

Ik praat met Kees Schuyt in zijn huiskamer over integriteit en veranderingen in de wetenschappelijke wereld. Ooit was hij begeleider van mijn doctoraalscriptie, samen met de criminoloog Herman Franke. Na zoveel jaar lijkt Schuyt nauwelijks veranderd en spreekt hij nog met evenveel enthousiasme over wetenschap en onderzoek. Om te beginnen vraag ik hem hoe het was om tegen het einde van zijn carrière zijn eigen werkveld – namelijk de wetenschappelijke wereld – als object van studie te onderzoeken. Schuyt stelt dat hij primair als jurist betrokken was bij het LOWI en niet zozeer als socioloog. Het LOWI had de taak om klachten over fraude en plagiaat te onderzoeken, om vervolgens te komen tot een normatief oordeel. Schuyt: ‘Ik ben meer participant geweest de afgelopen acht jaar dan dat ik het onderwerp heb bestudeerd als wetenschappelijk onderzoeker, want dan zou je het toch net iets anders hebben gedaan. Het was dus eerder observerende participatie dan participerende observatie. We bestudeerden dossiers heel gedetailleerd en dat moest leiden tot een oordeel over de vraag of iemand wel of niet over de schreef was gegaan. Als ik het als socioloog zou hebben bestudeerd, zou ik het anders doen. Je zou bijvoorbeeld de grote verschillen tussen de vakgebieden kunnen bestuderen, die zijn heel interessant. Nu was het zo dat we zaken aangeleverd kregen, we hadden daar zelf geen zeggenschap over. Voor een sociaalwetenschappelijk onderzoek zou ik veel systematischer beginnen bij een steekproef uit een x-aantal onderzoeksprojecten per vakgebied, en dan ga je met die onderzoekers om tafel zitten en vragen “vertel nou eens welke dingen jullie in de loop van het onderzoek allemaal gedaan hebben, alle goede dingen maar ook alle slechte dingen: hoe is de dataverzameling gegaan, hoe hebben jullie het vastgelegd en gearchiveerd, wat waren de statistische bewerkingen als die er waren, wat waren belangrijke en moeilijke onderzoeksbeslissingen, heb je ook bevindingen weggelaten of naar voren gehaald, wat waren daarbij de overwegingen, is daarover gerapporteerd en hoe dan?”, dat soort vragen. Je maakt dus een soort biografie van onderzoeksprojecten. Daar moet je wel minimaal dertig casussen per vakgebied voor bestuderen. Dan zou je psychologische experimenten kunnen vergelijken met sociologisch veldwerk, met antropologische observaties, met natuurkundige proeven in het laboratorium, met biomedisch onderzoek aan het ziekbed. Volgens mij kom je dan dichter bij de praktijk van het onderzoek met alle lastige keuzeproblemen bij het doen van onderzoek. Dat is beter dan enquêtes waarbij mensen wordt gevraagd: “Heeft u weleens in uw omgeving mensen meegemaakt die gefraudeerd hebben?” Met dergelijke enquêtes krijg je een hele hoge ja, omdat niemand hoeft te zeggen welke mensen dat waren en wat ze precies hebben gedaan. Hetzelfde geldt voor self report-studies. Terwijl je met casestudies naar mijn vermoeden een zeer gedetailleerd inzicht krijgt in onderzoeksprojecten en in de verschillende praktijken en culturen van de wetenschapsgebieden. En dan kan je ook iets zeggen over publicatieproblemen; wat publiceer je wel en wat publiceer je niet? We hebben dit onderzoeksvoorstel ook beschreven in het rapport van de KNAW in 2012,¹xIn 2012 bracht de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) het advies Zorgvuldig en integer omgaan met wetenschappelijke onderzoeksgegevens uit. Het advies werd uitgebracht door een ad hoc adviescommissie onder voorzitterschap van Kees Schuyt. maar men wilde er niet aan. Waarschijnlijk te duur. Maar ja, NWO heeft zoveel geld, die moet dit toch eigenlijk als een serieus project willen zien. Ik vind dat NWO het had moeten oppakken, een onderzoeksgroep had moeten uitkiezen en die vier jaar de tijd had moeten geven met een aantal promovendi. In Tilburg is nu wel een onderzoek gestart maar dat is heel erg in de psychologiehoek getrokken, mede door Stapel, en het is vooral statistisch onderzoek naar bijvoorbeeld controle van de p-waarde. Nou, dat is interessant en belangrijk, maar geeft natuurlijk geen inzicht in die wetenschappelijke cultuur.’

Hoe is Schuyt in zijn wetenschappelijke loopbaan zelf omgegaan met kwesties als fraude en plagiaat? ‘Ik ben zelf een paar keer geplagieerd. Dat vond ik ook wel weer leuk. Ik las een keer een artikel en dacht, dat is eigenlijk wel goed wat daar staat over burgerlijke ongehoorzaamheid. Toen las ik verder en dacht, die tekst ken ik. Toen zag ik dat vijftien bladzijden van mijn proefschrift keurig in een artikel van iemand anders waren overgenomen. Helemaal aan het begin van de tekst stond een keer een bronvermelding, in de vijftien bladzijden daarna niet meer. Iemand raadde mij af om hier een proces over te beginnen en ik vond het heel vervelend om de auteur te benaderen. Later heb ik het nog wel een paar keer meegemaakt en nou ja, kennelijk is die tekst toch wel heel goed overgekomen en kan men zich erin vinden. (…) Maar vijftien bladzijden overschrijven zonder bronvermelding kan natuurlijk niet.’

‘Mijn wetenschappelijke loopbaan loopt van 1966 tot 2008. De eerste helft heb ik nog ouderwetse wetenschap meegemaakt, van 1966 tot 1988. Rond 1985 krijg je een omslagpunt, dan wordt de voorwaardelijke financiering van wetenschappelijk onderzoek ingevoerd, dus dat je in competitie moet gaan bedelen om geld. En het stelsel van onderzoeksscholen is toen ingevoerd. Er heeft zich sindsdien een enorme schaalvergroting voorgedaan. Maar in die eerste helft van mijn loopbaan bestond er nog niet veel aandacht voor wetenschappelijke integriteit, men vertrouwde er nog op dat de regels niet werden geschonden. Wel was het vanzelfsprekend dat je de normen van Merton kende. Voor mijn doctoraalexamen moest je dat dikke boek van Merton bestuderen, met zijn artikelen over de wetenschap.²xHet gaat om het boek Social theory and social structure (Merton, 1949/1966) met daarin het artikel ‘Science and democratic social structure’. Die vier normen van Merton zaten in mijn hoofd toen ik dat examen moest halen. Het gaat om het idee van communalisme (een plicht tot onderlinge en constante openbare uitwisseling van ideeën en kennis), het universalisme (wetenschappelijke kennis is niet gebonden aan landsgrenzen, religie of politiek, dus wie iets zegt en welke uiterlijke kenmerken die heeft, is niet van belang voor wetenschappelijke kennis), het scepticisme (neem niks voor waar aan maar laat het eerst goed onderzoeken en bewijzen) en onafhankelijkheid van geest (wetenschap mag niet afhankelijk zijn van niet-wetenschappelijke, politieke of ideologische belangen). Die normen heb ik bijna vanzelfsprekend meegekregen en ik geloof er nog steeds in. Vooral scepticisme vind ik heel belangrijk. Een sceptische houding hoort bij de wetenschap. Dat geldt ook voor het eigen beeld van de universiteit en voor de wijze waarop de wetenschapper naar zijn eigen werkzaamheden kijkt en naar zijn eigen onderzoeksresultaten. Bij die scepsis hoort natuurlijk ook kritiek en kritiek hoort bij de wetenschap.’ Volgens Schuyt is van die scepsis vandaag de dag weinig meer te bespeuren bij universiteiten. Tenminste als het gaat om gehanteerde werkwijzen voor het beoordelen van prestaties en kwaliteit. Daarover komen we later nog te spreken.

Een van de andere grote veranderingen die Schuyt gedurende zijn loopbaan in de sociale wetenschappen waarneemt, is de introductie van het peer review-systeem. ‘In die eerste twintig jaar van mijn loopbaan in de empirische sociologie had je nog nauwelijks peer review. De redactie van een tijdschrift beoordeelde het artikel en als iemand iets had gepubliceerd, werd dat daarna uitvoerig besproken door collega-wetenschapsbeoefenaren. Er werden behoorlijke discussies gevoerd over de kwaliteit van proefschriften en oraties, maar die reviews vonden achteraf plaats, in de openbaarheid. En op een rare manier hebben ze dat systeem van die biomedische wetenschappen en natuurwetenschappen overgenomen en krijg je dus alles van tevoren, maar er vindt nauwelijks nog een discussie plaats nadat iets is gepubliceerd. Die wetenschappelijke discussie in de scientific community over verschenen publicaties is echt verminderd. Behalve als je moet beoordelen als peer reviewer, dan ontstaat er weleens een onderlinge discussie, maar die blijft geheim. Het rare is nu dat er enorm veel wordt gepubliceerd en er is enorm veel nadruk op publiceren, maar die publicaties worden nauwelijks meer gelezen en bediscussieerd. De wetenschappelijke discussie verarmt hierdoor.’

De anonimiteit van reviewers kan volgens Schuyt nog andere onbedoelde gevolgen hebben vanwege de concurrentie tussen onderzoekers. ‘Diegene die de review nu doet en anoniem blijft, kan heel onwillig zijn’, aldus Schuyt. ‘Anonimiteit maakt het veel gemakkelijker om onterechte kritiek te geven. Of iemand pikt de goede ideeën eruit en wijst het artikel af. Mocht een concurrent het artikel beoordelen, dan kan die bij voorbaat al een oordeel klaar hebben. Behalve als ze weten dat hun oordeel op papier komt en gelezen kan worden door anderen.’ Schuyt pleit ervoor het peer review-systeem open te maken, dubbel open. ‘Peer review zou geweldig verbeterd kunnen worden, ook met de elektronische mogelijkheden die er nu zijn. Dat je gewoon weet wie jou beoordeelt, dat die beoordeling op papier komt, dat jouw antwoord op die beoordeling ook op papier komt, en dat dat allemaal elektronisch beschikbaar wordt gesteld. Dan krijg je die discussie weer boven water. Hier is al mee geëxperimenteerd in de biomedische wetenschappen in Amerika. En het hoort bij de wetenschap, het is gewoon openheid van kritiek, hoor en wederhoor in de wetenschap. Een tegenwerping tegen een open peer review-systeem is “we kunnen dan niet meer zo kritisch zijn want we kennen die persoon en hij is mijn dit of dat”. Maar kritiek hoort bij de wetenschap en je kan heel goed kritisch zijn op een nette manier. Die kritiek wordt door die openheid waarschijnlijk ook iets beschaafder.’ De gevestigde wetenschappelijke wereld is echter niet genegen om veel te veranderen aan het bestaande systeem van beoordelen van wetenschappelijke prestaties, zo is de ervaring van Schuyt. ‘Men denkt “zo hoort het en zo doen we het”, terwijl de kritiek langzamerhand evident is, maar de pogingen om serieus na te denken over hoe het anders kan, die worden niet ter hand genomen.’

Peer reviewers en promotiecommissies blijken nauwelijks in staat om fraude of plagiaat op tijd te ontdekken. Onwaarschijnlijke uitkomsten (‘te mooi om waar te zijn’), onwaarschijnlijke statistische getallen of vele pagina’s die letterlijk van een ander zijn overgenomen; het wordt meestal niet gezien tijdens de peer review-procedure of door promotiecommissies, maar pas achteraf, als een publicatie inmiddels is verschenen. Schuyt: ‘We hebben bij het LOWI meegemaakt dat van een proefschrift veel was overgeschreven op een hele subtiele manier: de eerste twee regels wel, de derde niet, de vierde en vijfde regel wel, de zesde niet. Het ging om twee proefschriften op hetzelfde vakgebied. En die promotiecommissie heeft dat niet door. Dan zeg ik, ja sorry, natuurlijk moet het individu die dat soort dingen doet op een of andere manier berispt worden, maar die promotiecommissie moet het zijn opgevallen want die moeten hun vakgebied kennen. Ik ben af en toe flink geschrokken van de oppervlakkigheid waarin men tot wetenschappelijke oordeelsvorming komt, geschrokken van de slordigheid van het controlesysteem. Dat geldt voor promotiecommissies en voor dat peer review-systeem, dat absoluut niet waterdicht is maar behoorlijk veel gaten vertoont. En dat was niet alleen in 2007, maar ook nog steeds in 2014.’

De kritiek op het peer review-systeem leidt er bij Schuyt echter niet toe dat hij automatisch een oorzakelijk verband aanneemt tussen publicatiedruk en fraude. Bij de veelgehoorde stelling dat fraude in de wetenschap toeneemt door publicatiedwang, die weer het gevolg is van de sterke concurrentie, plaatst hij grote vraagtekens. In de eerste plaats is de vermeende causale relatie nog nooit onderzocht en aangetoond, zo stelt hij. Ook is het volgens hem niet aannemelijk dat er nu percentueel veel meer fraude wordt gepleegd. Vroeger kwamen fraude en plagiaat in de wetenschap ook al voor, toen er nog helemaal geen sprake was van publicatiedwang. ‘En de strijd om prestige was er vroeger ook, evenals concurrentie en de drang van wetenschappers om ergens als eerste mee te komen’, aldus Schuyt. ‘Men koppelt fraude nu aan dit systeem, maar het zijn allemaal intelligente mensen die aan de universiteit werken. Zelfs als er grote competitie is, hoef je van die intelligente mensen niet te verwachten dat ze daarmee de grenzen van het toelaatbare overschrijden. Mijn redenering is anders: er is schaalvergroting, er zijn vier keer zoveel onderzoekers dan rond 1960, dus je mag ook vier keer zoveel fraudegevallen verwachten. Je kan dus niet zeggen dat die fraude er komt, omdat er nu meer competitie is. Er is meer competitie vanwege die schaalvergroting en er zijn meer gevallen van fraude vanwege die schaalvergroting. Dat is een van de eerste lessen methodologie: de correlatie tussen A en B zou kunnen worden veroorzaakt door C. Ik ben op zichzelf niet tegen concurrentie, want het kan ook een flinke stimulans zijn en eigenlijk zit dat altijd al in de wetenschap. Wie komt met de beste ideeën, wie komt met de eerste ideeën, dat zit helemaal in de moderne wetenschap vanaf de zeventiende eeuw. Newton en Leibniz streden met elkaar over wie als eerste de belangrijke calculus had uitgevonden. En toen werden ze al over en weer beschuldigd van plagiaat. Er was een commissie die dat onderzocht onder leiding van Newton, en Newton heeft dat dus gewonnen. Interessant hè? Dus die concurrentie is er en die hoef je niet weg te poetsen. Maar de causaliteit met fraude zou ik tussen haakjes willen zetten. Niet alleen omdat het geen enkele rechtvaardiging geeft van de normoverschrijding, maar het is ook niet waar.’ Het verweer van wetenschappers die van fraude zijn beschuldigd, namelijk dat zij de druk om te publiceren niet aankonden, vindt Schuyt ongeloofwaardig. ‘Waarom moeten hoogleraren die al een goede carrière hebben, dit soort dingen doen? Dat is denk ik overambitie, persoonlijke eerzucht en een te grote egomanie. Het toppunt hiervan zijn personen die alleen maar aan zichzelf denken, aan hun eigen carrière, aan de eigen naam en roem en faam en weet ik veel wat. Je hoeft als hoogleraar geen 25 publicaties per jaar af te leveren, dat dring je jezelf op. Voor jonge onderzoekers is het veel moeilijker.’

Niettemin is Schuyt kritisch over de hedendaagse publicatiedwang. Dat het aantal publicaties in internationale peer review-tijdschriften tegenwoordig als indicatie voor kwaliteit wordt gehanteerd, vindt hij zorgwekkend. ‘Dit peer review-systeem is eigenlijk pas na 1960 in de wetenschap binnengeslopen. In de zeventiende, achttiende en negentiende eeuw bestond het helemaal niet. Als je het historisch bekijkt, zitten wij nu in een periode waarin zoveel mogelijk publiceren de norm is geworden. Teldrift noem ik dat. Iedereen denkt dat de kwaliteit van je werk enorm goed is als je maar vaak publiceert in wetenschappelijke peer review-tijdschriften. En je krijgt dat promotoren, ook al hebben ze niks meegeschreven, toch mee willen publiceren. Dat vind ik een hele slechte ontwikkeling. Ik had met mijn promovendi altijd de afspraak: je bent alleen maar coauteur als je ook echt daadwerkelijk meegeschreven hebt, en niet als je alleen tips hebt gegeven of een begeleidende rol hebt gespeeld. Kijk, ik heb geen behoefte om een ouwelullenverhaal te houden van “vroeger was alles beter”, dat zeg ik ook niet want er wordt door wetenschappers nu veel harder gewerkt dan vroeger, er wordt veel meer gepromoveerd en er wordt gemiddeld ook beter gepromoveerd dan vroeger. Vroeger had je soms hele magere proefschriften die net het niveau hadden van een goede scriptie. Maar er is wel een geweldige blikvernauwing voor in de plaats gekomen, alleen dat ene ding telt, terwijl er vroeger meer eruditie was en je ook naar andere dingen keek dan alleen naar dat ene ding. Wat vroeger goed was, verschilt in zeer grote mate van wat tegenwoordig goed wordt bevonden. Men is heel erg gericht op het eigen werk, niet meer op het werk van anderen, en soms zodanig dat mensen hun eigen ideeën niet eens meer durven te delen met anderen. Als je die normen van Merton neemt, is dat helemaal niet wat de wetenschap pretendeert. De wetenschap pretendeert dat je op de schouders van je voorgangers en met behulp van je collega-wetenschappers, samen tot verbeterde kennis van de werkelijkheid komt. Van de natuur of van de sociale werkelijkheid. Dat idee geldt eigenlijk niet meer, en dat vind ik dus vreemd. De competitiezucht in de wetenschap is nu vele malen groter dan ik eigenlijk wil aanvaarden.’

Literatuur

• Merton, R.K. (1949/1966), Science and democratic social structure. In: Social Theory and Social Structure. New York: The Free Press.

• KNAW (2012), Zorgvuldig en integer omgaan met wetenschappelijke onderzoeksgegevens. Amsterdam: KNAW.

• Schuyt, C.J.M. (2014), Tussen fout en fraude. Integriteit en oneerlijk gedrag in het wetenschappelijk onderzoek. Leiden: Leiden University Press.

Noten

• 1 In 2012 bracht de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) het advies Zorgvuldig en integer omgaan met wetenschappelijke onderzoeksgegevens uit. Het advies werd uitgebracht door een ad hoc adviescommissie onder voorzitterschap van Kees Schuyt.

• 2 Het gaat om het boek Social theory and social structure (Merton, 1949/1966) met daarin het artikel ‘Science and democratic social structure’.