Генератор robots.txt
Выбираешь пресет и допиливаешь правила. Превью обновляется на лету.
Пресет:
robots.txt
скопировано
О сервисе
Конструктор файла robots.txt с готовыми пресетами для WordPress, интернет-магазина, корпоративного сайта. Поддерживает User-agent, Allow/Disallow правила, Sitemap и директиву Host для Яндекса.
Что умеет
- 5 готовых пресетов: WordPress, e-commerce, корпоративный, заблокировать всё, разрешить всё
- Allow и Disallow правила по строке
- Указание Sitemap URL
- Опциональная директива Host для Яндекса
- Превью на лету, скачивание готового файла
Как работает
Каждый пресет — захардкоженный массив наиболее часто используемых правил. Можно дополнять и редактировать после применения пресета.
Пример
Готовый файл сохраняется как «robots.txt» — кладите его в корень сайта рядом с index.php / index.html.
Нужен подобный сервис для вашего сайта или сложный сценарий — пишите, разработаю под задачи.
