Glossar

robots.txt

Definition

Die robots.txt ist eine Datei auf deiner Website. Darin legst du fest, welche Bereiche Suchmaschinen und KI-Crawler besuchen dürfen. Du kannst beispielsweise Google den Zugriff erlauben und bestimmte KI-Crawler ausschließen. Wichtig: Die robots.txt schützt keine vertraulichen Inhalte und entfernt Seiten nicht automatisch aus den Suchergebnissen.

Geschrieben von

Ortwin Oberhauser

Co-Founder, CTO & Digital Visibility Strategist