Weniger bekannte Bots wie die von TikTok dominieren die KI-Suche

Berlin (ots) -

- Der Webhosting-Anbieter Hostinger hat auf Grundlage von mehreren Milliarden
ihrer Kunden-Websites Anfragen analysiert, welche KI-Agenten das Web
dominieren
- Ergebnis: KI-Crawler wie OpenAI-GPTBot scannen über 4,4 Millionen von 5
Millionen Webseiten täglich und erreichen eine höhere Abdeckung als der
Googlebot
- Indexierung des Webs ist primär von Anbietern aus den USA geprägt, gefolgt von
China

KI-Crawler, allen voran der OpenAI GPTBot, haben in kürzester Zeit eine enorme
Reichweite aufgebaut und scannen inzwischen mehr Webseiten als Googles eigener
Bot. Das zeigt eine aktuelle Analyse des Webhostinganbieters Hostinger (
www.hostinger.de (https://www.hostinger.com/de) ), die auf der Auswertung von
über elf Milliarden täglichen Requests, rund 5 Millionen Webseiten und 55
verschiedenen User-Agent-Gruppen basiert. Darüber hinaus prägen Bots die
Online-Landschaft insgesamt immer stärker: Weniger bekannte Crawler verursachen
fast 1,4 Milliarden tägliche Anfragen und besuchen über 4,2 Millionen Webseiten.
Auch automatisierte Skripte sind mit 383 Millionen täglichen Requests und einer
Abdeckung von 91 Prozent nahezu allgegenwärtig.

Disclaimer: Bots sind automatisierte Programme, die das Internet durchsuchen und
dabei Inhalte erfassen. Dieser Vorgang wird Crawling genannt und ist die
Grundlage dafür, dass Suchmaschinen Websites auffindbar machen. Neue KI-Crawler
wie GPTBot sammeln Inhalte, damit diese in KI-Systemen wie ChatGPT genutzt
werden können. Bots senden sogenannte Requests, also einzelne Anfragen an eine
Website, um deren Inhalte abzurufen und zu speichern. Die Zahl der Requests
zeigt, wie intensiv ein Bot Daten sammelt, während die Zahl der erfassten
Websites angibt, wie breit er im Internet unterwegs ist. Manche Bots stellen
deutlich mehr Requests, weil sie Inhalte sehr detailliert erfassen oder
regelmäßig aktualisieren, andere konzentrieren sich stärker auf die Abdeckung
möglichst vieler Websites.

KI-Crawler auf dem Vormarsch

Besonders auffällig ist das Wachstum von KI-Bots. OpenAI-GPTBot verarbeitet
täglich mehr als 108 Millionen Anfragen und crawlt über 4,4 Millionen Webseiten,
mit einer Abdeckung von 84 Prozent. Damit liegt er bereits vor Googles eigenem
Bot, der mit 798 Millionen Requests rund 3,9 Millionen Webseiten erfasst, aber
nur 74 Prozent Abdeckung erreicht. Neben GPTBot zeigt auch der OpenAI-SearchBot
Aktivität und crawlt schon über 2,4 Millionen Webseiten, wenn auch mit deutlich
weniger Anfragen.

Die bekanntesten Bots im Bot-Ökosystem:

- Meta-Bots: Der Facebook-Bot fbexternalhit nutzt täglich über 70 Millionen