Glossar
robots.txt
Die robots.txt ist eine Datei auf deiner Website. Darin legst du fest, welche Bereiche Suchmaschinen und KI-Crawler besuchen dürfen. Du kannst beispielsweise Google den Zugriff erlauben und bestimmte KI-Crawler ausschließen. Wichtig: Die robots.txt schützt keine vertraulichen Inhalte und entfernt Seiten nicht automatisch aus den Suchergebnissen.