Meine Extension dev/null robots.txt ist online. Damit können "on the fly" pro Domain unterschiedliche robots.txt Dateien generiert werden. Weiters können einzelne Konfigurationen für unterschiedliche Crawler zentral im Backend konfiguriert werden. -> Zur Extension
Durch die weitere Nutzung der Seite stimmst du der Verwendung von Cookies zu. Weitere Informationen
Die Cookie-Einstellungen auf dieser Website sind auf "Cookies zulassen" eingestellt, um das beste Surferlebnis zu ermöglichen. Wenn du diese Website ohne Änderung der Cookie-Einstellungen verwendest oder auf "Akzeptieren" klickst, erklärst du sich damit einverstanden.