Bot traffic herkennen en uitsluiten acties

In de wereld van data-collectie is niet alle data 'goede' data. Een aanzienlijk deel van het internetverkeer bestaat uit bots. Sommige zijn nuttig (zoals Googlebot), maar veel zijn schadelijk of simpelweg irritant: ze vullen formulieren in met spam, verlagen je conversiepercentages en vervuilen je CRM-systemen zoals HubSpot of Pipedrive.

Bot-verkeer verwijst naar alle niet-menselijke bezoeken aan je website of landingspagina. In de context van AdPage zien we dit vaak terug in:

• Spam-submissions: Automatisch ingevulde formulieren.

• Ghost referrals: Verkeer dat in je analytics verschijnt maar nooit echt je pagina heeft bezocht.

• Ad-fraud: Bots die op je advertenties klikken, wat je onnodig geld kost.

• Zoekmachine crawlers: Bots die websites scrapen

• Kwaadwillende bots: automatische aanvallen om actief schade te doen

Als data specialist zien we vaak dat bot-verkeer wordt onderschat als een "technisch dingetje", maar de impact op je business is tastbaar en kostbaar. Hierom moet je dit serieus nemen:

• Vervuilde Algoritmes: Advertentieplatformen zoals Meta en Google optimaliseren op basis van conversies. Als bots jouw formulieren invullen, 'denkt' het algoritme dat dit waardevolle klanten zijn. Het gevolg? Je budget wordt verspild aan het targeten van nóg meer bots in plaats van echte kopers.

• Schade aan je E-mail Reputatie: Wanneer bot-leads met nep-mailadressen in je Mailchimp of HubSpot belanden, schieten je bounce rates omhoog. Dit kan ervoor zorgen dat je e-mailprovider je account markeert als spammer, waardoor je legitieme nieuwsbrieven niet meer aankomen bij echte klanten.

• Vertekende Besluitvorming: Als je conversieratio 5% lijkt, maar de helft is bot-verkeer, neem je beslissingen op basis van gebakken lucht. Je denkt misschien dat een campagne succesvol is, terwijl de salesafdeling klaagt over "slechte leads". Zuivere data is het enige fundament voor groei.

• Spambots: Overspoelen je formulieren en reviews met nepberichten, wat de geloofwaardigheid van je platform schaadt.

• Scraperbots: Stelen ongevraagd content van je website om deze elders (vaak voor concurrentie) te hergebruiken.

• Credential Stuffing bots: Proberen met gestolen inloggegevens toegang te krijgen tot accounts, wat je inlogpagina's traag of onbereikbaar maakt.

• DDoS-bots: Leggen je complete website plat door deze te overbelasten met massaal, zinloos verkeer.

• Ad Fraud bots: Klikken op je advertenties om je budget te verspillen en je conversiestatistieken onbruikbaar te maken.

• Search Engine bots: Cruciaal voor je vindbaarheid; zij indexeren je pagina's voor zoekresultaten in Google of Bing.

• Chatbots & Virtuele Assistenten: Verbeteren de klantervaring door direct vragen te beantwoorden en support te bieden.

• Content Aggregators: Helpen bij het automatisch verzamelen en verspreiden van het laatste nieuws naar je lezers.

• Performance bots: Monitoren continu de snelheid en uptime van je website, zodat je direct weet wanneer er iets misgaat.

Om de integriteit van je data te waarborgen, is het nodig om regelmatig te analyseren en te scannen op deze indicatoren:

• Onverwachte Verkeersbronnen: Verkeer uit geografische regio's waar je geen marketing voert (bijv. een lokale Nederlandse campagne die opeens 200 hits uit een datacenter in Virginia krijgt) is bijna altijd spam. Let ook op IP-adressen die toebehoren aan bekende cloud-providers in plaats van consumenten-ISP's.

• Onlogische Sessieduur: Bots zijn extreem: of ze bezoeken je site voor een fractie van een milliseconde om snel data te 'scrapen', of ze blijven juist urenlang hangen in een poging om menselijk surfgedrag na te bootsen. Beide uitersten zijn een rode vlag.

• Abnormaal Hoge Bounce Rate: Als een bot specifiek is ontworpen om je statistieken te verslechteren, opent hij de pagina en vertrekt direct zonder enige interactie. Zie je een plotselinge stijging in je bounce rate zonder aanwijsbare reden? Dan zijn er bots in het spel.

• Pieken in het Aantal Verzoeken: Een plotselinge explosie van paginaveergaven of een enorm aantal verzoeken vanaf één specifiek IP-adres kan wijzen op een (beginnende) DDoS-aanval of een agressieve scraper.

• Fake Conversies (Lead Spam): Dit is de meest zichtbare vorm in. Tientallen formulieren die gevuld zijn met zinloze data, willekeurige tekens of overduidelijk neppe e-mailadressen. Dit vervuilt niet alleen je lijst, maar geeft ook een vals gevoel van succes in je advertentiecampagnes.

• Kunstmatig Klik- en Scrollgedrag: Waar simpele bots direct naar hun doel schieten, proberen geavanceerde bots menselijke bewegingen te imiteren. Toch vallen ze vaak door de mand door té rechtlijnige muisbewegingen, repetitieve klikpatronen of onnatuurlijk scrollgedrag dat geen logische leeslijn volgt.

Om je data-collectie zuiver te houden, zijn er de volgende best practices die uitgevoerd kunnen worden:

Door je tracking via een server-side container te laten lopen, kun je inkomende verzoeken filteren op basis van IP-adressen of User-Agent strings.

• Waarom dit essentieel is: Je blokkeert de bot nog voordat de tracking-pixel van Facebook of Google wordt afgevuurd. Dit bespaart je niet alleen schone data, maar voorkomt ook dat algoritmes worden getraind op 'nep-converteerders'.

• Adpage maakt gebruik van GEO server headers waarmee je kunt filteren.

Dit is een onzichtbaar veld in je formulier. Menselijke gebruikers zien dit veld niet, maar bots vullen automatisch alle beschikbare velden in. Veel formulieren bevatten deze methode inmiddels en het is goed om de juiste tooling hiervoor te gebruiken.

• Hoe het werkt: Als het 'Honeypot-veld' data bevat bij een inzending, weet het systeem direct: dit is een bot.

• Voordeel: De gebruikerservaring (UX) wordt niet verstoord door irritante puzzels, terwijl de bot zichzelf direct verraadt.

In plaats van de ouderwetse "klik op alle verkeerslichten" plaatjes, gebruikt Google reCAPTCHA v3 een score-systeem op de achtergrond. Dit wordt op de landingspagina toegepast. Gebruikers merken er niets van, maar de gebruiker krijgt een score tussen 0 (waarschijnlijk een bot) en 1.0 (waarschijnlijk een mens). Je kunt instellen dat inzendingen onder de 0.5 automatisch worden geweigerd.

Door real-time validatie toe te voegen aan je formulieren, dwing je een correcte structuur af. Veel bots gebruiken willekeurige reeksen tekens.

• Expert tip: Gebruik veldvalidatie voor specifieke formaten (bijv. een Nederlands telefoonnummers

Software zoals Cloudflare Bot Management maakt gebruik van machine learning om onnatuurlijk gedrag te herkennen. Verdachte verzoeken worden al geblokkeerd voordat ze je landingspagina bereiken. Dit is de "uitsmijter" aan de deur van je data-omgeving.

Stel een limiet in voor het aantal verzoeken dat een specifiek IP-adres binnen een bepaalde tijd mag doen. Dit is een uiterst effectieve barrière tegen DDoS-aanvallen en spam-bots die proberen in recordtempo honderden formulieren in te vullen.

• JS Challenges: Vraag de browser om een simpel script uit te voeren voordat de pagina laadt. De meeste 'slechte' bots kunnen dit niet, waardoor ze direct door de mand vallen.

• Header Filtering: Bots gebruiken vaak generieke of foutieve informatie in hun headers. Door verzoeken met verdachte headers te filteren, houden we een groot deel van de geautomatiseerde ruis buiten.

Zie een WAF als een antivirus voor je webverkeer. Het identificeert bekende bot-aanvallen in een vroeg stadium en blokkeert ze voordat ze interactie kunnen hebben met je formulieren of je server belasten.

• Fingerprinting: Bots veranderen vaak van IP-adres, maar hun 'apparaat-vingerafdruk' blijft meestal hetzelfde. Door apparaatgegevens te analyseren, kunnen we herhaalde aanvallen van dezelfde bron blokkeren, zelfs als ze van IP wisselen.

• Server-Side Tracking: Dit is mijn belangrijkste advies. Stap over van client-side naar server-side tracking (bijv. via Stape of GTM). Hierdoor kun je verzoeken valideren op de server voordat ze je analytics vervuilen. Als je nog steeds alleen client-side meet, loop je onnodig risico op data-vervuiling.

Krijg je massaal verkeer uit regio's waar je geen business doet? Blokkeer deze regio's volledig of dwing daar een extra verificatie (challenge) af. Waarom zou je data verzamelen uit een land waar je niet eens levert?

• Adpage maakt gebruik van GEO server headers waarmee je kunt filteren.

Het beschermen van je landingspagina’s tegen bot-verkeer is geen luxe, maar een noodzaak in een gezonde marketingstrategie. Zoals we hebben gezien, doen bots meer schade dan alleen het creëren van 'ruis'. Ze vreten je advertentiebudget op, verwarren slimme algoritmes en kunnen zelfs je reputatie bij e-mailproviders beschadigen.Data die niet zuiver is, is een kostenpost; data die wél klopt, is een groeiversneller.