NRC en Intomart: een verhaal over statistische manipulatie

Door Henry Sturman

28 september 2003

Op een eerder artikel op Meervrijheid over de Europese Grondwet, schreef ik twee reacties waarin ik kritiek had op de in het artikel genoemde NRC enquĂȘte hierover. Ik stelde dat de kop en een aantal feiten en conclusies in het artikel "Meerderheid is voor Europese grondwet" op de voorpagina van het NRC van zaterdag 20 september niet klopten. Een ingezonden brief hierover van mij is donderdag in het NRC gepubliceerd.

Mijn kritiek was dat uit hun eigen informatie over het in opdracht van het NRC uitgevoerde Intomart-onderzoek bleek dat het aantal voorstanders slechts 37% was en niet 51%. De toename van 37% naar 51% gold alleen voor de beperkte groep van ondervraagden en niet voor de bevolking als geheel.

Ten tweede stelde ik dat de toename van 37% naar 51% in de ondervraagde groep weinig zei, omdat die gebaseerd was op het wijzigen van hun mening nadat ze extra informatie over de grondwet hadden gekregen van de enquêteur. Uit de toename van het aantal voorstanders leidde ik af dat ze waarschijnlijk positieve informatie hadden gekregen, en dat als ze negatieve informatie hadden gekregen het aantal voorstanders net zo goed had kunnen afnemen in plaats van toenemen. Die 51% vond ik dus nietszeggend.

Door het lezen van een andere reactie op het internet, NRC manipuleert Europa-enquête, werd ik geïnspireerd om mijn reacties op Meervrijheid te combineren tot een ingezonden brief aan het NRC. Ik mailde de volgende brief:

Geachte redactie,

Uw krantenkop van 20 september j.l. ("Meerderheid is voor Europese grondwet") klopt niet. Niet 51% is voor de Europese grondwet, maar 37%. Die 37% veranderde in 51% nadat de ondervraagden informatie over de grondwet kregen. Uit algemeen aanvaarde onderzoeksnormen volgt dat zo'n gewijzigd percentage alleen voor het cohort geldt, en niet voor de bevolking als geheel. De correcte uitspraak in deze blijft dat 37% van de bevolking voor een Europese grondwet is.

Een ernstiger punt is dat de toename van 37% naar 51%, nadat de respondenten meer informatie over de grondwet kregen, misleidend is. Dat hangt immers af van welke informatie de respondenten over de grondwet kregen. Waarschijnlijk heeft men een aantal positieve punten van de grondwet genoemd, waardoor het percentage toenam van 37% naar 51%. Had men een aantal nadelen van de grondwet gegeven, dan had het percentage bijvoorbeeld kunnen zakken van 37% naar 17%. Die 51% zegt dus vrij weinig. Zowel de feiten als de conclusies van uw stuk kloppen dus helaas niet.

Met vriendelijke groet,

Henry Sturman
Stichting MeerVrijheid.nl


Deze brief is geplaatst in het NRC-Handelsblad van donderdag 25 september 2003, met een uitgebreid antwoord van de hoofdredacteur Folkert Jensma. Mijn brief plus antwoord is ook hier te lezen op de site van het NRC (om dat te kunnen lezen moet je je geloof ik wel even gratis registereren als gebruiker op de site).

Jensma geeft zijn fouten niet toe, en claimt dat de kop en conclusie van het artikel wel kloppen. Het antwoord van Jensma neemt direct een buitengewoon amusante wenteling door met een volledig nieuwe herinterpretatie te komen van wat ze bedoeld hadden. In het oorspronkelijke artikel werd steeds het onderscheid gemaakt tussen voorstanders van de grondwet, tegenstanders en mensen die het niet wisten. Nu maakt hij ervan dat hij eigenlijk bedoelde: "Van de stemgerechtigde Nederlanders die al weten wat ze zullen gaan stemmen bij een referendum over de Europese grondwet volgend jaar juni, zegt een ruime meerderheid voor zo'n grondwet te gaan stemmen." Dat klopt inderdaad. En zo bezien is het inderdaad een ruime meerderheid, want 37% zei voor te stemmen en 15% tegen (en 49% wist het niet). Van het aantal mensen dat het wist was het aantal voorstanders dus 71%, inderdaad een ruime meerderheid.

Vervolgens gaat Jensma vrolijk verder en claimt dat het in het artikel wat beknopter stond: "Ruim de helft van de stemgerechtigde Nederlanders is voor een Europese grondwet. [...] Twintig procent is tegen zo'n grondwet en 29 procent weet het niet." Maar in deze zin duidt die "ruim de helft" dus op 51%. Dit is dus niet een beknopte versie van wat Jensma zegt dat hij bedoelde, maar iets heel anders. Hier worden de resultaten bekeken vanuit het idee van drie groepen (voor, tegen, weet niet), terwijl nu plotseling Jensma komt met het idee om de resultaten te bekijken vanuit het idee van twee groepen (voor en tegen binnen de groep die het al weet).

Nu zijn beide methodes om naar de onderzoeksresultaten te kijken, en de cijfers te berekenen, geldig en nuttig, zolang je er maar duidelijk bij vertelt waar je het over hebt. Maar Jensma gooit ons zand in de ogen door deze twee verschillende methodes door elkaar heen te gooien. Uit de context van het oorspronkelijke artikel (met name de inleiding die direct na de kop volgt) was duidelijk dat het woord "Meerderheid" uit de kop "Meerderheid is voor Europese grondwet" verwijst naar het getal 51%. Ik wees erop dat die kop fout was omdat het werkelijke percentage slechts 37% is. Maar volgens Jensma's creatieve nieuwe methode van berekening is zijn eigen gerapporteerde getal ook onjuist. Volgens die berekening is het werkelijke getal namelijk noch 37%, noch 51%, maar 71%. De kop had dan moeten luiden: "Van de mensen die weten wat ze gaan stemmen is 71% voor de Europese grondwet." Dat was een correcte kop geweest.

Mijn kritiek dat die 51% niet klopt in de context van het oorspronkelijke artikel blijft staan. De 51% verwijst alleen naar het percentage voorstanders binnen de onderzoeksgroep nadat ze nadere informatie kregen. Voor de totale bevolking moet je aannemen dat het percentage voorstanders nog steeds 37% is. Jensma heeft dit kritiekpunt van mij op geen enkele manier proberen te weerleggen. Wel is het inderdaad zo dat als je het percentage voorstanders neemt binnen de groep van mensen die al weet wat ze gaan stemmen, dat dat 71% is. Maar dat heeft dus weer niets met het getal 51% te maken, in tegenstelling tot wat Jensma suggereert.

Blijft over mijn aanname dat de informatieve vragen waarschijnlijk alleen positieve punten van de grondwet gaven, omdat het anders niet te verklaren is dat het aantal voorstanders toenam van 37% naar 51%. Dat neem ik terug, want Jensma wijst er terecht op dat "De verhouding tussen het aantal voor- en tegenstanders wordt nauwelijks beïnvloed door deze informatie, die is besloten in de vraagstelling." Het percentage voorstemmers neemt namelijk na de informatieve vragen slechts toe van 71% naar 73%, als we alleen naar de mensen kijken die weten wat ze gaan stemmen. Ik trek dus de conclusie dat de vragen bij nader inzien toch vrij neutraal zijn, en noch speciaal positieve, noch speciaal negatieve informatie over de grondwet geven.

Toch blijft mijn punt dat de gewijzigde cijfers, nadat men nadere informatie gekregen had, op zichzelf staand nietszeggend zijn. Maar Jensma heeft wel gelijk dat die cijfers betekenis hebben als je weet wat de precieze informatieve vragen zijn die gesteld zijn. Jensma zegt dat alle inhoudelijke vragen reeds waren samengevat in het artikel en dat de volledige vraagstelling gelijktijdig op internet werd gepubliceerd. Dat laatste is onvoldoende, omdat niet elke krantenlezer dit op internet zal nakijken en bovendien stond er in het artikel geen verwijzing naar het internet. Het feit dat de inhoudelijke vragen reeds waren samengevat in het artikel is inderdaad iets, maar om de lezer voldoende in staat te stellen de gegeven cijfers te interpreteren, had dit toch duidelijker genoteerd moeten worden. Men had een volledige lijst van de vragen moeten afdrukken. En bovendien was het in het artikel niet voldoende duidelijk gemaakt dat de samenvatting van meningen over verschillende punten sloeg op de lijst van informatieve vragen die de verandering van 37% naar 51% bewerkstelligde.

Met meest schokkende aan Jensma's antwoord vind ik zijn verdediging dat de kop en conclusie van het artikel voor publicatie zijn voorgelegd aan het onderzoeksbureau Intomart. Het feit dat journalisten slordig omgaan met statistische gegevens en daarbij fouten maken valt hun wellicht enigszins te vergeven, het is immers niet hun expertise. Maar dat een vooraanstaand onderzoeksbureau als Intomart een misleidende en foute rapportage van een onderzoek doodleuk goedkeurt, is buitengewoon kwalijk. Zij dienen het door het NRC betaalde geld voor het onderzoek volledig en met excuses te retourneren.

Henry Sturman

Gerelateerde links:

Meerderheid is voor Europese grondwet
Nederlanders over Europese grondwet
Ingezonden brief en antwoord
NRC manipuleert Europa-enquête
"Europese Grondwet? Goed idee!"

Over de auteur

Henry Sturman studeerde technische natuurkunde in Delft. Hij is freelance auteur voor o.a. HP/De Tijd en is actief binnen de Nederlandse libertarische beweging.

Sturman is eigenaar van Sturman Enterprises, een Haags bedrijf dat diensten verleent op het gebied van automatisering en internet.

Op zijn homepage kunt u meer over hem lezen.

Stichting MeerVrijheid
webmaster@meervrijheid.nl