Tägliche robots.txt-Messung über die deutschen Top-1000-Websites: welche KI-Bots ausgesperrt werden, wie oft — und was die 20 größten Sites tun. Alle Zahlen kannst du frei zitieren.
Stand: 30. September 2026 · Panel: Deutschland (CrUX Top-1000), 868 Sites erreichbar
Anteil der erreichbaren Panel-Sites, die den jeweiligen Bot per robots.txt aussperren, ausdrücklich oder per Pauschalsperre (User-agent: *):
Gemessen wird täglich die robots.txt der deutschen Top-1000-Websites (CrUX-Panel); von 868 erreichbaren Sites werden die Regeln für 12 bekannte KI-Crawler ausgewertet. Eine Teilmenge wird zusätzlich auf serverseitige Blocks geprüft (z. B. 403 für Bot-User-Agents).
„Geblockt“ heißt hier: Die robots.txt sperrt den Bot ausdrücklich oder per Pauschalsperre für alle Bots (User-agent: *). Serverseitige Blocks zeigt der interaktive Monitor getrennt, sie stecken nicht in diesen Quoten. Sites ohne Regel zählen als nicht geblockt, und robots.txt ist nur eine Bitte, kein technischer Zwang.
Beobachtet seit 3. Juli 2026. Die Zahlen auf dieser Seite stammen aus der Messung zum oben genannten Stand; die tagesaktuelle Messung zeigt der interaktive KI-Crawler-Monitor.