1. Was ist die Funktion „AI-Block“?
Der AI-Block ist ein Ein-Klick-Schalter in Ihren SEO-Einstellungen, der automatisch Disallow: /-Regeln in Ihre robots.txt einfügt, um eine Vielzahl KI-gesteuerter Crawler und Scraping-Bots zu blockieren.
2. Warum sollte ich den AI-Block aktivieren?
Schutz der Inhalte: Verhindert, dass KI-Dienste Ihre proprietären Inhalte für das Training von Modellen scrapen.
Leistungssteigerung: Reduziert unnötigen Bot-Traffic und führt so zu schnelleren Ladezeiten für echte Nutzer.
Kostensenkung: Hält Bandbreiten- und Serverkosten niedrig, indem umfangreiche Crawler gefiltert werden.
SEO-Budget schonen: Stellt sicher, dass Suchmaschinen ihr Crawl-Budget auf die wirklich wichtigen Seiten Ihrer Website verwenden.
3. Wie schalte ich den AI-Block ein?
Gehen Sie im Dashboard zu SEO → Crawler-Blocker.
Stellen Sie den Schalter „AI Block“ auf Ein.
Klicken Sie auf Speichern.
Manuelle Änderungen an derrobots.txtsind nicht nötig.
4. Beeinträchtigt der AI-Block Google oder andere wichtige Suchmaschinen?
Nein. Der AI-Block zielt ausschließlich auf bekannte KI- und Scraping-Bots ab. Standard-Crawler wie Googlebot oder Bingbot bleiben unberührt und indexieren Ihre öffentlichen Inhalte wie gewohnt.
5. Stört der AI-Block andere SEO-Einstellungen?
Nein. Er arbeitet unabhängig und verwaltet nur die robots.txt-Einträge für KI- und Scraping-Bots. Alle anderen SEO-Konfigurationen bleiben unverändert.
6. Welche User-Agents umfasst der AI-Block?
Aktiviert der AI-Block, werden standardmäßig folgende Crawler ausgesperrt:
Amazonbot
anthropic-ai
Applebot-Extended
AwarioRssBot & AwarioSmartBot
Bytespider
CCBot
ChatGPT-User
ClaudeBot & Claude-Web
cohere-ai
DataForSeoBot
Diffbot
DuckAssistBot
FacebookBot
FriendlyCrawler
Google-CloudVertexBot & Google-Extended
GPTBot
ImagesiftBot
magpie-crawler
Meta-ExternalAgent & Meta-ExternalFetcher
NewsNow & news-please
OAI-SearchBot
omgili & omgilibot
peer39_crawler
PerplexityBot
Quora-Bot
Scrapy
Timpibot
TurnitinBot
YouBot