Ahrefs Site Audit en Cloudflare: zo fix je die vervelende 404 meldingen

Bij Robuust regelen wij dit voor je. Alle websites die wij hosten zijn correct geconfigureerd voor SEO tools. Wil je weten hoe je dit zelf oplost? Lees dan verder.

De snelle fix

Geen zin om het hele verhaal te lezen? Hier is wat je moet doen:

In Cloudflare:

1. Ga naar Rules > Configuration Rules
2. Maak een nieuwe regel met deze expression:

(http.user_agent contains "AhrefsSiteAudit") or (http.user_agent contains "AhrefsBot")

3. Zet Email Obfuscation op Off
4. Deploy

Klaar. Je volgende Ahrefs audit zal schoon zijn. Wil je weten waarom dit werkt en wat de veiligste aanpak is? Lees dan verder.

Wat is er aan de hand?

Je kent het wel: je draait een site audit in Ahrefs en plotseling zie je tientallen (of honderden) "Page has links to broken page" meldingen. Allemaal 404 errors. En ze wijzen allemaal naar URLs die er ongeveer zo uitzien:

/cdn-cgi/l/email-protection#a8c9cccdc6e8cfc5c9c1c486cbc7c5

Dit zijn geen echte broken links op je website. Het is een bijwerking van twee features die niet goed samenwerken:

Cloudflare's Email Obfuscation vervangt e-mailadressen op je website door versleutelde versies. Dit beschermt tegen spam bots die e-mailadressen harvesten. De echte bezoeker ziet gewoon [email protected], maar in de HTML staat een cryptische /cdn-cgi/ link.

De Ahrefs crawler ziet die links, probeert ze te volgen, krijgt een 404, en markeert ze als broken pages.

Het resultaat: een vervuild audit rapport waar je de echte problemen niet meer tussen ziet.

Waarom robots.txt niet werkt

Je eerste gedachte is misschien: "Ik blokkeer /cdn-cgi/ gewoon in robots.txt."

Dat werkt niet. De crawler ontdekt de links nog steeds in je HTML. Hij kan ze alleen niet meer volgen. Resultaat: nog steeds broken page meldingen, want een link naar een geblokkeerde URL is voor Ahrefs ook een probleem.

De oplossing zit in Cloudflare zelf: zorg dat de email obfuscation niet actief is wanneer Ahrefs langskomt.

Optie 1: User-Agent regel (snel en simpel)

De makkelijkste oplossing is een Configuration Rule die de Ahrefs crawler herkent aan zijn user-agent.

1. Open je Cloudflare dashboard en selecteer je domein
2. Ga naar Rules > Configuration Rules
3. Klik Create rule
4. Kies een naam, bijvoorbeeld "SEO crawlers - disable email obfuscation"
5. Klik op Edit expression en plak:

(http.user_agent contains "AhrefsSiteAudit") or (http.user_agent contains "AhrefsBot")

6. Scroll naar beneden, vind Email Obfuscation en zet deze op Off
7. Klik Deploy

Dat is alles. Binnen een paar minuten is de regel actief.

Bonus: Je kunt ook andere SEO tools toevoegen aan dezelfde regel:

(http.user_agent contains "AhrefsSiteAudit") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "Screaming Frog") or (http.user_agent contains "SEMrush")

Optie 2: IP whitelist (veiliger)

User-agents kunnen gespoofed worden. Een kwaadwillende bot zou zich kunnen voordoen als Ahrefs om je e-mailbescherming te omzeilen. In de praktijk gebeurt dit zelden, maar als je maximale security wilt, gebruik dan IP whitelisting.

Deze methode vereist dat je IP Lists kunt aanmaken in Cloudflare (onder Manage Account > Settings > Lists). Niet alle plannen ondersteunen dit.

De IP lijst aanmaken

1. Ga naar Manage Account > Settings > Lists
2. Klik Create list
3. Noem het ahrefs-crawlers
4. Selecteer IP als type
5. Voeg alle Ahrefs IP-ranges toe:

5.39.1.224/27
5.39.109.160/27
15.235.27.0/24
15.235.96.0/24
15.235.98.0/24
37.59.204.128/27
51.68.247.192/27
51.75.236.128/27
51.89.129.0/24
51.161.37.0/24
51.161.65.0/24
51.195.183.0/24
51.195.215.0/24
51.195.244.0/24
51.222.95.0/24
51.222.168.0/24
51.222.253.0/26
54.36.148.0/24
54.36.149.0/24
54.37.118.64/27
54.38.147.0/24
54.39.0.0/24
54.39.6.0/24
54.39.89.0/24
54.39.136.0/24
54.39.210.0/24
92.222.104.192/27
92.222.108.96/27
94.23.188.192/27
142.44.220.0/24
142.44.225.0/24
142.44.228.0/24
142.44.233.0/24
148.113.128.0/24
148.113.130.0/24
167.114.139.0/24
168.100.149.0/24
176.31.139.0/27
198.244.168.0/24
198.244.183.0/24
198.244.186.193
198.244.186.194
198.244.186.195
198.244.186.196
198.244.186.197
198.244.186.198
198.244.186.199
198.244.186.200
198.244.186.201
198.244.186.202
198.244.226.0/24
198.244.240.0/24
198.244.242.0/24
202.8.40.0/22
202.94.84.110
202.94.84.111
202.94.84.112
202.94.84.113

De regel aanmaken

1. Ga naar je domein > Rules > Configuration Rules
2. Maak een nieuwe regel
3. Selecteer IP Source Address > is in list > ahrefs-crawlers
4. Zet Email Obfuscation op Off
5. Deploy

Nu wordt email obfuscation alleen uitgeschakeld voor verkeer dat daadwerkelijk van Ahrefs' servers komt.

Welke optie moet je kiezen?

| Situatie | Aanbeveling | |----------|-------------| | Kleine bedrijfswebsite | User-Agent regel (Optie 1) | | Webshop met klantgegevens | IP whitelist (Optie 2) | | Enterprise / strenge security eisen | IP whitelist (Optie 2) | | Geen toegang tot IP Lists | User-Agent regel (Optie 1) |

Voor de meeste websites is de user-agent methode prima. Het risico dat iemand specifiek jouw site target door de Ahrefs user-agent te spoofen is verwaarloosbaar klein.

Na de fix

Draai een nieuwe Site Audit in Ahrefs. De /cdn-cgi/l/email-protection meldingen zouden verdwenen moeten zijn. Als je ze nog steeds ziet, wacht dan even - Cloudflare rules kunnen een paar minuten nodig hebben om actief te worden.

Zie je nog steeds problemen? Controleer of:

• De regel daadwerkelijk deployed is (niet in draft staat)
• Je de juiste expression hebt gebruikt
• Email Obfuscation daadwerkelijk op "Off" staat in de regel

Meer over Cloudflare

Dit artikel is onderdeel van onze Cloudflare serie:

• Website sneller met Cloudflare CDN - Performance optimalisatie
• Website beveiligen met Cloudflare - DDoS bescherming en firewall
• Cloudflare DNS Beheer - DNS configuratie uitgelegd
• Cloudflare Page Rules - Redirects en caching configuratie

Gerelateerd

• Goed van start met SEO - SEO basics voor beginners
• Core Web Vitals uitgelegd - Performance metrics die ertoe doen