Definition

KI-Crawler sind automatisierte Programme, die Websites aufrufen und deren Inhalte für KI-bezogene Anwendungen erfassen. Je nach Betreiber können die Daten beispielsweise für das Training von KI-Modellen oder für die Suche nach aktuellen Informationen verwendet werden. Website-Betreiber können den Zugriff bestimmter Crawler unter anderem über die robots.txt steuern. Ob ein KI-System Inhalte tatsächlich verwendet oder zitiert, lässt sich dadurch nicht garantieren.

Geschrieben von

Ortwin Oberhauser

Co-Founder, CTO & Digital Visibility Strategist