Een vijfde van de bezoekers was geen mens. Wie mag er blijven?

Ongeveer een vijfde van al het verkeer op de sites van News UK kwam de afgelopen zes maanden niet van mensen. Dat zei Tom Jackson, technisch directeur van de uitgever van The Times en The Sun, op een conferentie waarvan Press Gazette verslag deed. News UK merkte ongeveer een derde van dat botverkeer aan als kwaadaardig en hield het tegen. “So 6% of our traffic we’re currently blocking,” zei Jackson.

De rest, zo’n 14 procent van alle bezoeken, komt wel binnen. De vraag voor een uitgever is daarmee welke bots hij toelaat.

Van blocklist naar software die zelf beslist

News UK begon eenvoudig. De uitgever weerde een lijst met AI-bots, al het andere mocht erin. Daarna draaide hij het om: een allow list, waarop alleen partijen staan die expliciet mogen scrapen. Ook dat vond Jackson “not really nuanced and sophisticated enough”.

Nu beslist software. News UK gebruikt Netacea, dat botverkeer opspoort en per bot bepaalt of die wordt geblokkeerd. Pas daardoor zag de uitgever hoeveel van zijn bezoekers geen mens waren. Waterdicht noemt Jackson het blokkeren “probably not”, maar wel “pretty good”. Het voordeel van een externe partij is volgens hem dat die rondhangt waar aanvallers elkaar spreken:

“The benefit of working with a third party like that is that they go off and hang out in the shady corners of the internet and the dark web in the chatrooms, hearing what the latest is on malicious bot scraping, and then refining their product to help combat that.”

Brian Alvey, technisch directeur van WordPress VIP, vond een vijfde juist weinig. Het “sounds so low – it feels like there’s so much more scraping and activity going on”, zei hij op hetzelfde panel. Jackson antwoordde dat de aantallen bij de start van Netacea “significantly higher” lagen. Sindsdien zijn ze flink gedaald, omdat News UK volgens hem minder een doelwit is geworden. Onafhankelijk getoetst is geen van die cijfers: het zijn uitspraken van een spreker op een podium.

Het beleid past bij de lijn van moederbedrijf News Corp. Dat heeft licentiedeals met OpenAI en Meta en daagt tegelijk Perplexity voor de rechter. Wie betaalt komt binnen, wie steelt wordt aangeklaagd.

De Daily Mail wil verdienen aan bots

De Daily Mail kiest een andere route. De krant blokkeerde AI-bots standaard en gaat nu over van “monitoring to enforcing”, zei Carly Steven, directeur SEO en redactionele e-commerce. Tegelijk test de Mail een aanpak waarin bepaalde bots juist welkom zijn, om commerciële redenen. Merkpartners van de krant moeten beter zichtbaar worden in taalmodellen als ChatGPT.

Steven wil daarbij de regie houden: “control – so it’s on our terms. It isn’t an all-or-nothing.” Ze ziet het niet als verdediging. “This isn’t a defensive play. This is actually opening up new conversations around revenue,” zei ze op het panel. Een licentiedeal met een grote AI-partij heeft de Mail niet.

Alvey wijst op een groeiende markt van bedrijven die uitgevers helpen AI-bots per bezoek “a fraction of a penny” te laten betalen. Een fortuin verwacht hij er nog niet van: “There’s a reason it’s called micropayments, it’s not a lot of money.” The Atlantic gebruikt zo’n systeem al. Topman Nicholas Thompson zei in een podcast dat hij de stap zette toen hij iets merkte: het meeste verkeer vanaf zijn eigen computer kwam niet meer van hemzelf, maar van zijn AI-agents.

Wat de pageviews dan nog meten

In augustus groeiden de pageviews van The Sun met 9 procent, terwijl het aantal Britse lezers met 6 procent daalde. Bij de Daily Mail zakte het publiek met 17 procent, en toch stegen de pageviews met 5 procent. Of die cijfers voor botverkeer zijn gecorrigeerd, vermeldt Press Gazette niet.

In de reclamebranche is de norm helder. De Media Rating Council stelt normen op voor bureaus die media meten. Zijn standaard rekent verkeer van bots en spiders tot ongeldig verkeer dat niet in de tellingen hoort. Dat geldt volgens de standaard ook voor gebruikersaantallen en paginabezoek. Het lastigste deel noemt de MRC bots die zich als echte gebruikers voordoen: die vind je alleen met geavanceerde analyse, en de methoden moeten voortdurend mee veranderen. De standaard is geschreven voor meetbureaus, niet voor redacties.

Soms is het beeld wel schoon. Alvey vertelde over een klant die normaal 3 tot 5 miljoen bezoekers per uur trekt. Een bericht over de dood van Dolly Parton haalde in het eerste uur 99 miljoen. In zijn dashboard zijn mensen paars: “it was all purple. It was all people.” De bots kwamen een uur later.

Voor wie op de eigen cijfers stuurt, is dat de les uit Londen. Een piek bij groot nieuws kan volledig menselijk zijn, het gewone verkeer daartussen is dat deels niet.