Tag-Crawler

Tag-Crawler ist der Name für den populartags.net Web-Crawler von pdir.

Erlauben Sie Tag-Crawler die Website zu durchsuchen

Hinzufügen zur robots.txt

User-agent: Tag-Crawler
Disallow:

Tag-Crawler für das Crawlen deiner Website blockieren

Wenn du nicht möchtest, dass der Tag-Crawler Inhalte auf deiner Website crawlt, hast du verschiedene Möglichkeiten. Du kannst entweder verhindern, dass der Tag-Crawler eine Seite crawlt, dass er sie indexiert oder dass der Crawler überhaupt auf die Seite zugreifen kann.

robots.txt

Bestimmte Bereiche deiner Website ausschließen

User-agent: Tag-Crawler
Disallow: /privat/
Disallow: /nachrichten/

Um alle Verzeichnisse deiner Webseite aus unserem Index zu entfernen, platziere die folgenden in deiner robots.txt-Datei im Stammverzeichnis deines Servers/Website:

User-agent: Tag-Crawler
Disallow: /

noindex-Anweisung für Webseiten

noindex ist ein Verfahren, mit dem der Crawler angewiesen wird, deine Seite oder bestimmte Unterseiten nicht zu lesen oder in unseren Taglisten nicht erscheinen zu lassen.

 

Du hast Fragen oder benötigst Support?

Wir nehmen Anfragen zur Unterlassung des Crawlens einer Website oder von Teilen einer Website oder sonstiges Feedback zu unserem Betrieb ernst und werden umgehend und angemessen darauf reagieren. In der Regel überprüfen wir die Robots-Dateien einmal pro Tag, so dass es 24 Stunden dauern kann, bis Änderungen an einer Site-Datei aktiv werden. Wenden Sie sich an support @ pdir . de und wir werden Ihre Seite ausschließen oder anderweitig sofort untersuchen.