Ontwikkelings-samenwerking
13 september 2015 | door: Hans Sluijter

Grootschalige evaluatie ontwikkelingshulp beweert zonder te bewijzen

In het MFSII-evaluatierapport beweert hoogleraar Wiebe Bijker zonder te bewijzen en daarmee is het onderzoek alles behalve wetenschappelijk. Het is een gemiste kans en dat is doodzonde.

"Artificiële houding en imaginaire verzinsels"

200 wetenschappers schreven 8000 pagina’s waarmee ze 200 Nederlandse ontwikkelingsprojecten evalueerden die werden werd uitgevoerd door 19 allianties van 64 ontwikkelingsorganisaties (de zogenaamde MFSII-rapporten, zie ook dit bericht erover in de Volkskrant en dit item van NWO). De supervisie viel onder Wiebe Bijker, hoogleraar technologie en maatschappij aan de Universiteit Maastricht. Het rapport beweert zonder te bewijzen en daarmee is het onderzoek alles behalve wetenschappelijk. Het is een gemiste kans en dat is doodzonde.

 

NGO’s in het Zuiden zijn extreem hulpafhankelijk waardoor je een gekunstelde relatie krijgt. In veel ontwikkelingslanden verdienen overheidsfunctionarissen op een ministerie circa € 200,- per maand. Kleine bedragen van enkele duizenden tot honderdduizenden euro’s aan ontwikkelingshulp zou verhoudingsgewijs in Nederland dezelfde omvang hebben indien wij gratis hulp zouden krijgen van honderden miljoen tot een miljard euro. De afhankelijkheidsrelatie wordt hiermee heel intens. Veel NGO’s verzinnen een track record die iedereen gaat napraten en overnemen. Verzonnen tabellen rollen uit vergaderingen en verschijnen in allerlei flyers waardoor ze plotseling als waarheid worden aanvaard. Hoe vaker een imaginair verzinsel ergens wordt geciteerd hoe meer het gaat renderen en waarde krijgt. Op een gegeven moment is het zo ver gekomen dat een NGO het niet meer hoeft te bewijzen maar dat je als criticaster het tegendeel moet bewijzen. De mensen in het Zuiden weten heel goed wat westerse journalisten en onderzoekers willen zien en horen. Ze zijn meester in het creëren van tableaux vivants waarbij soms hele scholen worden gemobiliseerd om zaken in scène te zetten. Veel mensen worden afgekocht om verhalen te vertellen hoe fantastisch het is. Voor weinig geld (weinig vanuit westers perspectief) worden mensen artificieel.

 

Is dit te doorzien? Jazeker. Alles dat wordt beweerd, van het track record van een NGO tot aan de output van een project moet worden bewezen.

 

Ten eerste moeten onderzoekers een blokkade opwerpen bij beweringen. Het is namelijk helemaal niet interessant wat mensen beweren. Een goede wetenschapper twijfelt te allen tijde. Een goede wetenschapper is niet vriendelijk voor statistiek. Een goede wetenschapper heeft geen interesse in een ‘leuke’ of ‘vriendschappelijke’ binding met de doelgroep die hij/zij onderzoekt. Op het moment dat er maar enigszins een binding is met een actor, verdwijnt de wetenschappelijke neutraliteit als sneeuw voor de zon en wordt de gunfactor groter.

 

Ten tweede kun je data bewijzen door telling, al dan niet steekproefsgewijs. En daar zit nu net de crux van deze evaluatie want Bijker maakt slechts gebruik van peer reviews. Als lezer heb ik dan enkele cruciale vragen. Wordt data zomaar overgenomen? Worden trainingen geteld (welke persoon heeft op welke data een training bijgewoond, zijn hier lijsten van en zijn middels een steekproef enkele personen bezocht?) Wordt hardware geteld (en zo ja, is er een lijst van bezochte hardware?). De 8000 pagina’s laten nergens een telling zien en we kunnen ons ernstig afvragen of alles wat door de NGO’s beweerd wordt niet slaafs is overgenomen.

 

U geeft een voorbeeld uit het Country Report Bangladesh. ‘Our qualitative interviews confirmed our quantitative analysis in that there was a strong endorsement of the effectiveness and comprehensiveness of the different trainings and awareness raising activities around health and sexual and reproductive rights.’ (pagina 39) Wie is wanneer naar deze training geweest? Ik kan dit nergens vinden.

 

Nog een voorbeeld: ‘An increase in the number of children with disability being enrolled in schools’ (pagina 142). Is er een lijst van kindernamen gezien en gecontroleerd? Zijn dit verzonnen namen of bestaande personen? Hoe is dit gecontroleerd? Kan ik deze lijsten inzien voor een check? Op deze manier kan ik honderden voorbeelden noemen met steeds dezelfde vraag die ontspruit uit het begrip ‘telling’.

 

Indien een telling niet is afgenomen dan kun je spreken over een artificiële omgeving met imaginaire verzinsels. Kortom, dan bestaat het niet. Door te beweren bestaat iets niet. Door het keer op keer te citeren, wordt iets dat onwaar is, niet beetje bij beetje meer waar. Niet het tegendeel van een bewering moet worden bewezen, een bewering moet worden bewezen. Het overnemen van statistiek of het overnemen van beweerde statistiek zonder een ‘wetenschappelijke’ proeve zoals een telling, heeft geen waarde. Wetenschappelijk krijgt het dan de indicatie ‘onwaar’. Evaluaties gebaseerd op peer reviews is niets minder dan het reproduceren van datgene dat beweerd wordt. Daarbij meent een westerling te leunen op het waarheidsgehalte binnen een rechtsschapen en vertrouwelijke vriendschapsrelatie. Dit is dé bottleneck van dit onderzoek want het strookt totaal niet bij de geschetste afhankelijkheidsrelatie en het cultuurgoed in het Zuiden. De mensen in het Zuiden zijn veel hardnekkiger in het creëren van een artificiële wereld dan westerse journalisten en onderzoekers vermoeden. Dat an sich zou al een fraai onderwerp kunnen zijn om te onderzoeken.

 

Voor het schrijven van mijn opinie heb ik contact gehad met Bijker en mijn pijnpunten voorgelegd. Hij schrijft mij: ‘Zorgvuldige peer review door de beste internationale experts heeft de wetenschappelijke kwaliteit van de evaluaties vastgesteld en die evaluaties zijn genuanceerd positief over de Nederlandse ontwikkelingsinterventies.’

 

Hoe goed je mensen ook zijn, als je methode onjuist is dan ben je wetenschappelijk gezien doelloos en ondienstig. Ik daag alle mondiale ontwikkelingsorganisaties, (inter)nationale overheden, wereldwijde onderzoeksinstituties uit om de eerste evaluatie ter wereld te schrijven waarbij ‘telling’ centraal staat, ingezoomd op de track record van de betreffende NGO alsmede van het ontwikkelingsproject dat je evalueert. Een dergelijk rapport bestaat tot op de dag van vandaag niet.

 

Zelf heb ik het vermoeden dat westerse onderzoekers ‘lastige vragen’ gewoonweg niet durven te stellen. Ze kiezen liever voor een vriendschappelijke relatie en het creëren van een genegen atmosfeer waarbij actoren in het Zuiden bereidwillig zijn om mee te werken. Ik heb vele onderzoekers met elkaar enthousiast horen praten, niet over de resultaten, maar over het feit dat er een amicale vertrouwensband is opgebouwd zodat de bereidwilligheid om informatie te krijgen of rapporten in te zien hoger is geworden. Hoe lastiger de vragen die een onderzoeker stelt, hoe stroever de vertrouwensband wordt. Echter, een stroeve en een bureaucratische houding is slechts één van de wapens die zij gebruiken als inruilfiche. Daarnaast maken actoren in het Zuiden met een amicale binding de wetenschappelijke neutraliteit kapot zodat hun artificiële houding en imaginaire verzinsels geloofwaardiger worden. Kortom, het is een spel. Westerse onderzoekers hebben dit totaal niet door.

 

Van belang is om te weten dat universitaire onderzoekers kwalitatief worden opgeleid, niet kwantitatief. Je kunt ook stellen: universitaire onderzoekers weten niet beter. In 1997 was ik op mijn universitaire studierichting de eerste student, sinds de oprichting in 1973, die afstudeerde met een kwantitatief onderzoek en tot op de dag van vandaag ben ik in 42 jaar tijd nog steeds de enige. Te triest voor woorden. Ik daag Bijker uit om het aantal scripties te noemen die hij begeleid heeft die kwalitatief zijn in verhouding tot het aantal die kwantitatief zijn. Ik denk dat we met de uitkomst meteen klaar zijn om deze verschrikkelijk dure en tijdrovende evaluatie nog verder serieus te noemen.

 

Helaas kan ik niets anders concluderen dat hoogleraar Bijker met 200 wetenschappers een ernstige denkfout hebben begaan door een methoden van onderzoek erop na te houden die juist niet wetenschappelijk is. Juist Bijker had dit moeten weten. Met 200 onderzoekers had je zoveel kunnen tellen en hadden we zoveel meer geweten. Met deze opinie heb ik ook kritiek op Partos en het Ministerie van Buitenlandse Zaken die een kwalitatieve studie zonder enige vorm van telling kennelijk als objectief/neutraal aanvaarden. Ik ben de eerste die Bijker’s conclusies omarmt, maar wel indien deze via een juiste weg is verkregen. Gebaseerd op peer reviews is een ongekend aantal van 8000 pagina’s geschreven. Echter, niet het vele is goed maar het goede is veel. In mijn ogen is deze evaluatie dan ook een waste of time, een waste of money, maar bovenal een waste of awareness.

 

Noot van de redactie: Lees ook de inzending van Frank Boerhave over dit rapport: De onmacht van ontwikkelingssamenwerking

Deel

met uw netwerk:
Opiniestukken van: Hans Sluijter
Grootschalige evaluatie ontwikkelingshulp beweert zonder te bewijzen - 13 september 2015



Meer opiniestukken:

Bestel online:

Zo wordt u opiniemaker

In dit boek leert u in tien stappen denken en schrijven als een journalist

 

Alleen nog verkrijgbaar via bol.com


Schrijftip van de week

Week 43
Toespraken zijn ook opiniestukken
> Meer