– Host: http://penobeton.ru
– Sitemap: http://penobeton.ru/sitemap_index.xml
Сохраняем файл и переносим его в корневую папку нашего сайта.
Для этого заходим на наш хостинг (Beget), раскрываем наш аккаунт, выбираем файловый менеджер.
Откроется корневая папка
Жмём Загрузить файлы. На компьютере находим наш файл robots. txt
Жмём Загрузить. Когда загорится зелёный индикатор, значит загрузка прошла успешно.
Жмём Закрыть
Видим, что файл появился в корневой папке.
Закрываем файловый менеджер.
Чтобы быстро посмотреть содержимое файла robots. txt наберите в адресной строке браузера
адрес вашего сайта/robots. txt
Чтобы просмотреть какие страницы и записи вашего сайта проиндексированы Яндексом, в поисковой строке Яндекса наберите url: адрес сайта/*
Если вы установили плагин Yoast SEO, то отредактировать файл robots. txt можно зайдя в «Консоль/ SEO/Инструменты/Редактор файлов».
Тонкие настройки robots. txt
Ввиду особой важности этого файла можете провести более тонкие настройки файла robots. txt, изложенные на сайте:https://seogio.ru/robots-txt-dlya-wordpress/ (https://seogio.ru/robots-txt-dlya-wordpress/)
Автор: bisteinoff Окт 19, 2018 Google, SEO, Яндекс
Один из лучших robots. txt на данный момент, это robots. txt, предложенный в блоге http://wp-kama.ru/id_803/pishem-pravilnyiy-robotstxt-dlya-wordpress.html (http://wp-kama.ru/id_803/pishem-pravilnyiy-robotstxt-dlya-wordpress.html).
Ошибочные рекомендации других блогеров для Robots. txt на WordPress
– Использовать правила только для User-agent: *
Для многих поисковых систем не требуется индексация JS и CSS для улучшения ранжирования, кроме того, для менее значимых роботов вы можете настроить большее значение Crawl-Delay и снизить за их счет нагрузку на ваш сайт.
– Прописывание Sitemap после каждого User-agent
Это делать не нужно. Один sitemap должен быть указан один раз в любом месте файла robots. txt
– Закрыть папки wp-content, wp-includes, cache, plugins, themes
Это устаревшие требования. Для Яндекса и Google лучше будет их вообще не закрывать. Или закрывать «по-умному», как это описано выше.
– Закрывать страницы тегов и категорий
Если ваш сайт действительно имеет такую структуру, что на этих страницах контент дублируется и в них нет особой ценности, то лучше закрыть. Однако нередко продвижение ресурса осуществляется в том числе за счет страниц категорий и тегирования. В этом случае можно потерять часть трафика
– Закрывать от индексации страницы пагинации /page/
Это делать не нужно. Для таких страниц настраивается тег rel = «canonical», таким образом, такие страницы тоже посещаются роботом и на них учитываются расположенные товары/статьи, а также учитывается внутренняя ссылочная масса.
– Прописать Crawl-Delay
Модное правило. Однако его нужно указывать только тогда, когда действительно есть необходимость ограничить посещение роботами вашего сайта. Если сайт небольшой и посещения не создают значительной нагрузки на сервер, то ограничивать время «чтобы было» будет не самой разумной затеей.
– Ляпы
Некоторые правила можно отнести только к категории «блогер не подумал». Например: Disallow: /20 – по такому правилу не только закроете все архивы, но и заодно все статьи о 20 способах или 200 советах, как сделать мир лучше
Александр Борисов в своих интенсивах https://isif-life.com/school/free-kurs (https://isif-life.com/school/free-kurs) рекомендует более короткий файл robots. txt
User-agent: *
Disallow: /wp-
Disallow: /tag/
Disallow: */feed
Disallow: */trackback
Disallow: */page
Disallow: /author/*
Disallow: /201*
Disallow: /template.html
Disallow: /readme.html
Disallow: *?replytocom
Disallow: *?*
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
