Googlebot dominerer web-crawling i 2025, mens AI-bots eksploderer – Hvad betyder det for din online marketing?
I 2025 har Googlebot igen sat sig tungt på web-crawling, ifølge Cloudflares seneste Radar 2025 Year in Review. Googlebot genererede alene 4,5 % af al HTML-anmodningstrafik – mere end alle AI-bots tilsammen. Samtidig oplever vi en 15-dobling af “user action” AI-crawling, bots der simulerer menneskelig interaktion. For dig i online marketing og SEO betyder det nye udfordringer og muligheder: Hvordan sikrer du, at dit indhold bliver indekseret effektivt, samtidig med at du begrænser unødvendig bot-trafik og bevarer dit crawl-budget?
1. Cloudflare-rapportens nøgleindsigter
- Googlebot tegnede sig for over 25 % af al verificeret bot-trafik.
- Googlebot genererede 4,5 % af alt HTML-request-trafik – mere end OpenAI, Anthropic og Meta tilsammen (4,2 %).
- “User action” AI-crawling voksede over 15 gange på ét år.
2. AI-botsnes eksplosive vækst
AI-serviced revsere crawler dit site for at fodre store sprogmodeller. Data viser:
- Anthropic toppede med en crawl-to-refer-ratio på cirka 500.000:1 i årets første måneder, før den stabiliserede sig mellem 25.000:1 og 100.000:1.
- OpenAI nåede en ratio på omkring 3.700:1 i marts.
- Perplexity lå lavest: under 100:1, med en kort spike over 700:1 i marts, og fra september under 200:1.
En høj crawl-to-refer-ratio betyder, at bot’en henter gigantiske mængder data, men sender kun en beskeden mængde trafik tilbage. Det er dyrt for servere og kan forstyrre dine vigtige Google-crawls.
3. Traditionelle søgemaskiners crawl-to-refer-ratios
Søgemaskiner som Google, Microsoft (Bing) og DuckDuckGo har langt lavere ratioer, hvilket er mere gunstigt for webansvarlige:
- Microsoft (Bing) lå stabilt mellem 50:1 og 70:1 med en tydelig ugentlig cyklus.
- Google svingede fra 3:1 i årets start op til 30:1 i april, ned til 3:1 om sommeren, og herefter gradvist opad.
- DuckDuckGo lå under 1:1 i tre kvartaler, steg til 1,5:1 i oktober og fastholdt det niveau.
En ratio tættere på 1:1 betyder, at crawleren leverer næsten lige så meget trafik tilbage, som den læser data – ideelt for håndterbart crawl-budget.
4. Robots.txt: Dit vigtigste våben mod uønskede bots
Cloudflare-rapporten afslører, at AI-crawlers oftest blev fuldt disallowed i robots.txt. Som digital marketing-ansvarlig bør du:
- Gennemgå og opdatere din robots.txt regelmæssigt.
- Blokér user agents med høje crawl-to-refer-ratioer (f.eks. Anthropic, OpenAI-bots) for at spare serverressourcer.
- Tillad Googlebot, Bingbot og andre betroede søgemaskiner for optimal indeksering.
User-agent: AnthropicBot
Disallow: /
User-agent: OpenAI
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /private/
5. Søgetrafik: Google fastholder hegemoniet
Når vi ser på faktiske søgehenvisninger, leverer Google stadig næsten 90 % af al søgetrafik til websites. De resterende tal for 2025:
- Google: 89,8 %
- Bing: 3,1 %
- Yandex: 2,0 %
- Baidu: 1,4 %
- DuckDuckGo: 1,2 %
Ændringer i løbet af året var minimale. Yandex faldt fra 2,5 % i maj til 1,5 % i juli, mens Baidu steg fra 0,9 % i april til 1,6 % i juni.
6. Hvad betyder det for din SEO- og online marketing-strategi?
6.1. Prioritér crawl-budget-optimering
- Teknisk SEO: Ryd op i 404-fejl og omdirigeringer.
- XML-sitemap: Hold den opdateret, så Googlebot hurtigt finder nyt og opdateret indhold.
- Sidehastighed: Reducér load-tider for at imødekomme både brugere og bots.
6.2. Skær ind til benet i din robots.txt
- Bloker AI-bots med ekstremt høje crawl-to-refer-ratioer for at undgå serverbelastning.
- Undgå at blokere vigtige ressourcefiler (CSS, JavaScript), da det kan skade indeksering og brugeroplevelse.
6.3. Indholdsstrategi og brugerengagement
- Fokus på dybdegående, autoritativt indhold, som Googlebot ønsker at indekseres hyppigt.
- Structurer dit indhold med overskrifter (H1–H3), interne links og rig artikulær markup (schema.org).
- Prioritér brugeroplevelse: Bounce rate og tid på siden påvirker dine rankings indirekte.
7. Overvåg og tilpas løbende
Brug værktøjer som Google Search Console, Bing Webmaster Tools og serverlog-analyser til at:
- Identificere hvilke user agents der crawler mest.
- Måle sidevisninger per bot og crawl-to-refer-ratio over tid.
- Justere dine tilladelser i robots.txt og .htaccess for at beskytte dine ressourcer.
8. Fremtidsperspektiv: AI og web crawling
- Stadig mere “human-like” crawl-adfærd fra avancerede AI-bots.
- Øget brug af session-baseret browsing (user action crawling) for at simulere almindelig brugeradfærd.
- Nye standarder for bot-identifikation (f.eks. signeringsnøgler), som kan hjælpe webmastere med at skelne venlige vs. fjendtlige bots.
Konklusion
Cloudflares rapport bekræfter, at Googlebot fortsætter med at dominere web-crawling i 2025, mens AI-bots eksploderer og belaster servere med høje crawl-to-refer-ratioer. For online marketing- og SEO-folk er det essentielt at forstå disse tendenser og tilpasse sig:
- Optimer dit crawl-budget ved at rydde teknisk SEO op og gennemgå din robots.txt.
- Tillad kun betroede crawlers som Googlebot og Bingbot – blokér AI-bots med ekstrem dataindsamling.
- Skab kvalitetsindhold og strukturér din side, så du får mest muligt ud af hver crawling-session.
Med de rette tiltag sikrer du, at dit website forbliver synligt i søgeresultaterne, samtidigt med at du beskytter dine serverressourcer og bevarer en god brugeroplevelse. Læs mere på Morningshow – God SEO!