Генератор robots.txt
Собирает корректный robots.txt: User-agent, Allow/Disallow, Sitemap. Готовые пресеты для WordPress, e-commerce, корпоративного сайта.
О сервисе
Конструктор файла robots.txt с готовыми пресетами для WordPress, интернет-магазина, корпоративного сайта. Поддерживает User-agent, Allow/Disallow правила, Sitemap и директиву Host для Яндекса.
Что умеет
- 5 готовых пресетов: WordPress, e-commerce, корпоративный, заблокировать всё, разрешить всё
- Allow и Disallow правила по строке
- Указание Sitemap URL
- Опциональная директива Host для Яндекса
- Превью на лету, скачивание готового файла
Как работает
Каждый пресет — захардкоженный массив наиболее часто используемых правил. Можно дополнять и редактировать после применения пресета.
Пример
Готовый файл сохраняется как «robots.txt» — кладите его в корень сайта рядом с index.php / index.html.
Нужен подобный сервис для вашего сайта или сложный сценарий — пишите, разработаю под задачи.
Похожие инструменты
Генератор .htaccess
Собирает .htaccess для Apache: редиректы, кэширование, gzip, защита директорий, кастомные ошибки. Каждый блок включается галочкой.
Генератор редиректов
Из CSV-таблицы «старый URL → новый URL» собирает правила для Apache (.htaccess), Nginx, PHP и JavaScript.
Генератор meta-тегов
Собирает title, description, OG- и Twitter-теги для head раздела сайта. Превью в Google и соцсетях.
Генератор Schema.org разметки
Собирает JSON-LD разметку Schema.org: Organization, LocalBusiness, FAQ, Article, Product, Person, BreadcrumbList.
Генератор UTM-меток
Собирает корректную URL-ссылку с UTM-параметрами. Пресеты Яндекс.Директ, VK, Telegram. История последних 10 ссылок в браузере.
Дефрагментатор URL
Разбирает полный URL на составные части: протокол, хост, порт, путь, query-параметры и якорь.
Сделаю такой же сервис под вашу задачу
Внутренние инструменты для сотрудников, публичные сервисы для клиентов, конвертеры и генераторы. Напишите — обсудим.
