- Cloudflare blockiert standardmäßig KI-Crawler und bietet ein “Pay Per Crawl”-Programm an, das es Kunden ermöglicht, AI-Unternehmen für das Scraping ihrer Webseiten in Rechnung zu stellen. Webcrawler sind essenziell für den Zugang zu Online-Diensten, jedoch hat der Anstieg von KI-fokussierten Crawlern zu intensiverem Scraping geführt. Das Robots Exclusion Protocol ermöglicht selektives Blocking, ist aber rechtlich nicht bindend, und Berichte zeigen Millionen von Verstößen gegen Blockaden. Cloudflares Strategie könnte einen Machtwechsel herbeiführen, da KI-Unternehmen nun verhandeln müssen, um Inhalte zu nutzen. Unklar bleibt, ob große KI-Unternehmen am “Pay Per Crawl”-Programm teilnehmen, während ein Online-Ökosystem zur Umgehung von Blockierungen existiert.
Im vergangenen Jahr hat das Unternehmen Cloudflare seinen Kunden ermöglicht, KI-Scraper zu blockieren. Heute geht die Firma einen bedeutenden Schritt weiter in ihrem Kampf gegen unstreitig verwendetes Scraping. Ab sofort blockiert sie standardmäßig KI-Crawler für ihre Kunden und führt ein “Pay Per Crawl”-Programm ein, das Kunden gestattet, AI-Unternehmen für das Scraping ihrer Webseiten in Rechnung zu stellen. Webcrawler haben das Internet bereits seit Jahrzehnten nach Informationen durchforstet. Ohne diese Werkzeuge würde der Zugang zu essenziellen Online-Diensten nicht so einfach möglich sein. Allerdings hat der Aufschwung der künstlichen Intelligenz eine neue Welle von KI-fokussierten Webcrawlern hervorgerufen, die mit einer intensiveren Frequenz Webseiten auslesen können.
Automatisierte Intelligenz versus Inhaltsersteller
Selbst wenn Webseiten der erhöhten Last standhalten, missfällt vielen die Praxis des inhaltlichen Abgreifens, vor allem Nachrichtenplattformen, die von KI-Firmen eine Bezahlung für die Nutzung ihrer Inhalte fordern. Danielle Coffey, Präsidentin der News Media Alliance, betont, dass man “mit Eifer daran arbeitet, sich zu schützen”. Bisher haben über eine Million Kunden-Websites die älteren Bot-Blockierungs-Tools von Cloudflare aktiviert. Nun wird es Millionen weiteren ermöglicht, das Blockieren als Standardfunktion beizubehalten. Cloudflare ist in der Lage, selbst nicht-offiziell bekannte Scraper zu erkennen, indem es eine Kombination aus Verhaltensanalyse, Fingerprinting und maschinellem Lernen einsetzt, um zwischen KI-Bots und “guten” Bots zu unterscheiden.
Herausforderungen und Perspektiven im Umgang mit KI-Scraping
Ein häufig genutzter Webstandard, das Robots Exclusion Protocol, das oft über eine robots.txt-Datei implementiert wird, unterstützt Verleger darin, Bots selektiv zu blockieren. Doch die Einhaltung des Protokolls ist rechtlich nicht bindend. Berichte des Content-Lizenzanbieters Tollbit zeigen, dass einige KI-Unternehmen versuchen, die Blockade zu umgehen, und im März 2025 wurden über 26 Millionen Verstöße registriert. In diesem Kontext könnte Cloudflares Strategie, standardmäßig zu blockieren, einen signifikanten Einschnitt für unvorsichtige Scraper darstellen und Verlegern mehr Verhandlungsstärke verleihen, beispielsweise im Rahmen des “Pay Per Crawl”-Programms.
Nicholas Thompson, CEO von Atlantic, sieht hierin einen potenziellen Machtwechsel. “Bislang mussten KI-Unternehmen nicht für Inhalte zahlen, da sie diese problemlos nutzen konnten. Nun müssen sie verhandeln und es wird ein Wettbewerbsvorteil für diejenigen entstehen, die bessere Abkommen schließen können.” Ein Start-up, das die KI-Suchmaschine Gist.AI betreibt, hat sich zur Teilnahme am “Pay Per Crawl”-Programm entschieden, wie der Gründer Bill Gross erläutert.
Trotz dieser Entwicklungen bleibt unklar, ob die großen Player im KI-Bereich an einem solchen Programm teilnehmen werden. Unternehmen wie OpenAI haben bereits mit verschiedenen Verlagsgruppen, einschließlich Condé Nast, Vereinbarungen getroffen. Ob diese sich auf Bot-Zugriffe beziehen, ist jedoch nicht bekannt. In der Zwischenzeit existiert ein umfassendes Online-Ökosystem, das sich mit der Umgehung von Cloudflares Bot-Blockierung auseinandersetzt. Solange das Standard-Blocking eingeführt wird, ist es wahrscheinlich, dass solche Aktivitäten fortbestehen. Cloudflare hebt hervor, dass Kunden, die den Zugriff auf ihre Inhalte gewähren möchten, die Blockierung deaktivieren können, da alle Blockierungen vollständig optional sind.
