Mijn werkwijze: van vermoeden naar bevinding

De volgorde van denken¶

Dit is de vraag die ik het vaakst krijg, en meestal wordt hij gesteld als een vraag naar gereedschap. Welke tool gebruik je, welke taal, welk platform.

Het antwoord daarop is het minst interessante deel. Wat telt is de volgorde van denken. Wie die volgorde aanhoudt, komt met een browser en een notitieblok verder dan iemand met dure software en een slordige redenering.

Hieronder staat die volgorde, met bij elke stap het beslismoment. En met de plekken waar mijn eigen regels elkaar in de weg zitten, want die zijn er en ik wil ze niet wegpoetsen.

Stap één: het vermoeden mag alles zijn¶

Aan het begin sta ik mezelf toe om van alles te denken. Een vermoeden hoeft nergens op te slaan. Het mag uit ergernis komen, uit een nieuwsbericht, uit een naam in een script die ik niet ken.

Dat is bewust. Een onderzoek dat pas begint bij wat al waarschijnlijk is, vindt alleen wat iedereen al vermoedde. De trechter mag aan de bovenkant wijd zijn, zolang hij aan de onderkant maar smal wordt.

Het beslismoment hier is: is dit toetsbaar. Een vermoeden dat ik niet in een meting kan omzetten, gaat de stapel op met dingen waar ik niets mee kan. Niet omdat het onwaar is, maar omdat ik er niets over kan zeggen dat een tegenpartij overleeft.

Stap twee: de meting die mijn vermoeden kan slopen¶

Nu bedenk ik de meting. En de toets die ik daarbij aanleg is niet welke meting mijn vermoeden bevestigt, maar welke meting hem onderuit kan halen.

Praktisch betekent dat drie dingen.

Ik begin in een schone omgeving. Geen geschiedenis, geen eerder gegeven toestemming, niets dat de uitkomst kleurt.

Ik meet drie keer: niets doen, weigeren, accepteren. Het verschil tussen die drie is waar de bevinding zit. Eén meting over alles heen wist juist het interessante uit.

En ik gedraag me als bezoeker. Scrollen, wachten, doorklikken. Veel volgtechniek wacht op gedrag, en wie alleen de eerste seconde bekijkt, ziet de brave helft. Hoe dat er in de praktijk uitziet, staat in Hoe mijn scanner werkt, van bezoek tot bewijsstuk; het uitlezen zelf in Netwerkverkeer lezen via HAR-files.

Het beslismoment: hoe vaak meet ik. Eén keer iets niet zien is geen nulbevinding. Een partij die per bezoek een kleine kans heeft om af te vuren, mis je in één meting bijna altijd. Zie een nulbevinding wordt pas hard na genoeg metingen.

Ik heb dat aan mijn eigen data getoetst. Van de sites die in drie of meer runs zaten, 434 stuks, was het mediane verschil tussen de laagste en de hoogste meting nul. Voor het geheel is één run dus voldoende. Voor een individuele site is dat het niet: op veva.nl liep het uiteen van 4 tot 46 ontvangers, op werkenbijdefensie.nl van 13 tot 53.

Daar volgt een harde regel uit. Ik doe uitspraken over de verzameling op basis van één run. Ik spreek een individuele organisatie nooit aan op één run.

Stap drie: het tegendeel, hardop¶

Voordat ik iets opschrijf, beredeneer ik het tegendeel. Kan dit verkeer een onschuldige verklaring hebben. Bestaat er een uitzondering in de wet die dit dekt. Is er een technische reden die ik over het hoofd zie. Zie Beargumenteer eerst het tegendeel van je eigen bevinding.

Deze stap kost de meeste tijd en levert de minste tekst op. Hij is de reden dat mijn stukken blijven staan als er tegengas komt, want de eerste drie tegenwerpingen zijn dan al in mijn hoofd geweest.

De regel die daarbij hoort: begin bij je zwakste claim. De bewering die het makkelijkst onderuitgaat, controleer je als eerste. Zie verifieer eerst wat het wankelst is. De verleiding is precies andersom, want aan je sterkste punt werk je met plezier.

En het gaat verder dan een gedachtenoefening. Als het tegendeel wint, gaat het stuk om. Op de sites die ik meet zag ik regelmatig dat een partij wel laadt en geen enkele cookie zet. Dat is een verzwakking van mijn eigen verhaal, en die hoort er dan gewoon in te staan.

Stap vier: welk getal publiceer ik¶

Hier zit het scherpste beslismoment van de hele keten, en het is er een waar bijna niemand over schrijft.

Neem de vraag of weigeren werkt. Uit dezelfde scan over 1.718 overheidssites komen twee cijfers.

Het eerste: op 98,2 procent van alle sites laadde er na een weigering evenveel of meer dan toen de bezoeker niets deed. Dat is een spectaculair getal.

Het tweede: op de 1.011 sites waar geen toestemmingsmodule werd herkend, was het 77,8 procent.

Beide zijn juist berekend. Ze meten iets anders. Het eerste getal telt alle sites mee, inclusief de sites waar helemaal niets te weigeren viel, want daar is "evenveel als bij niets doen" de normale uitkomst. Het tweede getal kijkt naar de groep waar wel iets stond. Zie twee getallen die botsen meten vaak iets anders.

Ik publiceer het lagere. Altijd. Het is minder indrukwekkend en het overleeft een gesprek met een advocaat.

Dezelfde keuze maak ik bij het tellen van ontvangers. Wie elke host die je toestel aanraakt meetelt als ontvanger, komt veel hoger uit dan ik. Ik splits in categorieën en tel alleen wat ik kan dragen. Mijn cijfer is daardoor structureel te laag. Dat neem ik voor lief, want een bevinding die je kunt tonen is meer waard dan een bevinding die indruk maakt.

Bij een getal dat een heel argument moet dragen, gaat er nog een ronde overheen: kruisen tegen een onafhankelijke bron, hertellen, ontdubbelen, en een bandbreedte tonen. Zie een getal dat een argument draagt krijgt een ruggengraat.

Waar ik mezelf tegenspreek¶

Vier plekken waar mijn eigen regels botsen. Ik los ze niet op, ik hanteer ze.

Meet als een bezoeker, en klik niet door. Ik schrijf dat je moet scrollen en doorklikken, omdat volgtechniek op gedrag wacht. Ik schrijf ook dat doorklikken je meting vervuilt, omdat de trackers van andere pagina's je resultaat in lekken. Dat zijn twee tegengestelde adviezen en ze zijn allebei waar. Zie Meet zoals een bezoeker, niet zoals een scanner en doorklikken vervuilt je meting. Mijn oplossing is twee runs: de agressieve laat zien wat kan gebeuren, de schone levert de cijfers. Elegant is het niet.

Het gereedschap is inwisselbaar, en ik heb er vijf versies van gebouwd. Ik open dit stuk met de mededeling dat de tool er niet toe doet. Tegelijk is de helft van mijn lessen ontstaan doordat mijn instrument iets verkeerd deed. Wie zegt dat gereedschap niet uitmaakt, heeft er meestal nog nooit een gebouwd. De eerlijker formulering is dat de volgorde van denken zwaarder weegt dan de keuze van de tool, en dat de tool je stilletjes voorliegt zodra je hem niet kent.

Een lege map is een bevinding, en één keer niets zien is niets. Ik schrijf dat je moet publiceren wat je niet vond. Ik schrijf ook dat één nulmeting geen nulbevinding is. Zie een lege map is ook een bevinding en een nulbevinding wordt pas hard na genoeg metingen. Het verschil zit in het aantal metingen en in de bekende detectiegraad van je instrument. Een nul zonder die twee getallen erbij is een lege huls.

Ik wil de omvang laten zien, en mijn methode telt te laag. Een browsermeting ziet alleen de eerste server. Wat daarachter gebeurt, tussen servers onderling, blijft volledig buiten beeld. Zie Een browsermeting ziet alleen de eerste server. Ik publiceer dus getallen waarvan ik weet dat de werkelijkheid groter is, en ik zeg dat erbij. Dat is ongemakkelijk en het is het enige eerlijke.

Stap vijf: het label, per zin¶

Elke uitspraak krijgt een niveau. Gemeten, afgeleid, of vermoed.

Gemeten is wat in de opname staat. Afgeleid is wat ik uit een domeinnaam, een parameter of een register concludeer. Vermoed is wat ik denk dat er gebeurt, tot ik het kan laten zien. Zie Label elke bevinding op bewijsniveau.

Dat labelen is geen sier. Het dwingt me om per zin te bepalen waar de bewering vandaan komt. Een tracker-verzoek bewijst dat er data vertrekt, niet waar die belandt of wie hem inziet. En een sterke aanwijzing is nog geen overtreding: de meting stelt vast, de kwalificatie is aan het recht. Zie Gemeten is niet bewezen en een sterke aanwijzing voor een overtreding is nog niet de overtreding.

Hier hoort ook de nulbevinding die mijn mooiste hypothese sloopte. Ik dacht dat sites die hun beveiliging op orde hebben, ook zorgvuldiger omgaan met privacy. Het tegendeel bleek. Van de 684 sites met een Content Security Policy trackte 86,1 procent voor toestemming. Van de 1.034 sites zonder zo'n beleid was dat 42,4 procent.

Mijn verklaring is dat grote, professioneel gebouwde sites allebei hebben: een net ingerichte beveiliging en een volledige marketingstapel. Dat is afgeleid en geen meting. Het cijfer zelf is gemeten, en het staat in mijn stuk juist omdat het mijn eigen aanname omverwierp. Zie publiceer de nulbevinding die je mooiste hypothese sloopt.

Nog zo een. Van de 1.718 gemeten sites had er niet één geen privacyverklaring in de aggregatie, en toch trackte 59,8 procent van dat geheel al voor toestemming. Het papier zegt dus niets over de uitvoering. Zie Papier versus code: de verklaring en de uitvoering.

Wat er daarna nog moet gebeuren, en waarom dit werkt¶

Publiceren is geen eindpunt.

Onderzoeksmateriaal gaat niet naar een clouddienst of een taalmodel. Gelekte gegevens onderzoek ik in een afgesloten omgeving zonder netwerk. Wie een lek onderzoekt, hoort het lek niet te vergroten. Zie Wie een lek onderzoekt, stuurt het lek niet naar de cloud.

Een gevoelige bevinding gaat eerst achter een link die nergens vindbaar is, zodat de betrokkene hem kan inzien voordat het publiek is. Zie eerst een geheime link dan pas de etalage.

En ik corrigeer nooit stil. Blijkt iets fout, dan staat de correctie er zichtbaar en gedateerd bij, met de oorspronkelijke tekst erbij geciteerd. Een stille aanpassing van een gepubliceerde conclusie is niet te onderscheiden van heimelijk afzwakken. Zie corrigeer nooit stil.

Wat ik niet zelf heb gemeten, bevestig ik niet, hoe goed het verhaal ook in mijn straatje past. Mijn oordeel reikt tot waar mijn meting reikt en geen stap verder. Zie wat je niet zelf hebt gemeten bevestig je niet.

Er zit in deze volgorde geen geheim. Het is traag, het is saai op de plek waar het ertoe doet, en het is volledig na te doen.

Dat laatste is het punt. Een bevinding die alleen ik kan reproduceren, is geen bevinding. Elke stap hierboven is met een gewone browser uit te voeren op een gewone avond, en dat is precies de bedoeling.

De prijs betaal ik in getallen. Mijn cijfers zijn stelselmatig lager dan wat een ruimere telling zou opleveren, mijn conclusies zijn voorzichtiger dan het materiaal soms toelaat, en mijn stukken bevatten passages waarin ik mijn eigen verhaal verzwak. Wat ik daarvoor terugkrijg is dat er tot nu toe niets is ingetrokken.

Dezelfde meetlat leg ik overal langs, bij een ministerie net zo goed als bij een app uit de winkel, omdat de burger het verschil in gevolgen toch niet merkt. Zie Dezelfde meetlat voor de overheid en de app in je broekzak.