Правильный файл robots.txt для WordPress 2018

Существует множество статей о том, как должен выглядеть правильный Robots.txt для Вордпресс, вот и я поглядевши множество инфы по многим блогам, решил написать свою статейку и поделиться правельным файлом robots.txt.

Что такое Robots.txt

Robots.txt — это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов, разработан Мартином Костером и принят в качестве стандарта 30 июня 1994 года.

Использование файла robots.txt

Если своими словами то фактически, с помощью этого служебного файла ми указиваем, какие разделы будут индексироваться в поисковых системах, а какие нет.

Как создать robots.txt для WordPress

  • Создайте обычный текстовый файл с названием robots в формате .txt.
  • Заполните его согласно примеров ниже.
  • Сохраните изменения и загрузите файл robots.txt (с помощью FTP) в корневую папку Вашего сайта.
  • Чтобы проверить содержимое нашего служебного файла, достаточно просто набрать в адресной строке после имени сайта robots.txt. Пример: http://ваш сайт/robots.txt

Cтандартный robots.txt для WordPress

[html]
User-agent: *
Disallow: Disallow: /cgi-bin
Disallow: /wp-
Disallow: wp-admin
Disallow: wp-content\languages
Disallow: wp-content\plugins
Allow: wp-content\uploads
Host: http://ваш сайт
Sitemap: http://ваш сайт/sitemap.xml
[/html]

Оптимальный код robots.txt для WordPress

А это роботс, я использую на своем сайте и он самый лучший robots.txt, который я видел на данный момент. Обратите внимание что мы напишем индивидуальные правила для всех роботов, для Яндекса и для Google.

[html]
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-admin/
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Allow: /wp-admin/admin-ajax.php
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif

User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-admin/
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Allow: /wp-admin/admin-ajax.php
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-admin/
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Allow: /wp-admin/admin-ajax.php
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif

User-Agent: BingPreview
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-admin/
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Allow: /wp-admin/admin-ajax.php
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif

User-Agent: msnbot
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-admin/
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Allow: /wp-admin/admin-ajax.php
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif

User-Agent: Slurp
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-admin/
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Allow: /wp-admin/admin-ajax.php
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif

Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat

Host: https://danielgoldberg.su
Sitemap: https://danielgoldberg.su/sitemap.xml
Sitemap: https://danielgoldberg.su/sitemap.xml.gz
[/html]

User-agent

User-agent-основная директива, которая указывает для каких роботов прописаны инструкции.

User-agent: * – означает, что правила прописаны для всех роботов без исключения. Обратите особое внимание на правильность написания всех директив, внимательно прописывайте все двоеточия, звездочки и так далее; User-agent: Yandex, User-agent: GoogleBot ( user-agent: googlebot) директива для определенного поискового робота. Регистр написания названия робота не важен.

Директивы Disallow и Allow

Disallow – служит для закрытия определенной страницы или раздела сайта. Allow – предназначена для открытия страниц сайта для индексирования.

Директива Host

Директива Host предназначена для указания роботу главного зеркала вашего сайта и необходима, если ваш сайт доступен по нескольким доменам.

Директива Sitemap

Назначение этой директивы- указать на наличие и пути к XML-карте сайта. Помогает начать ее индексацию и служит для описания структуры ресурса. Например

Sitemap: http://ваш сайт.ru/sitemap.xml

Несколько очень важных моментов

  • Когда вы будете копировать содержимое в файл – лучше убрать комментарии (пояснения с #)
  • правило Disallow: /tag/ можно убрать. Лично я убрал метки из индексации из-за огромного количества дублей (страниц с одинаковым содержимым), т.к они пагубно влияют на продвижение.

Вывод

Собственно именно так должен выглядеть правильно составленный robots.txt для WordPress в 2018 году. Безусловно, есть еще масса всевозможных вариантов, однако я рекомендую остановиться именно на этом. Я и сам его использую, в чем вы можете убедиться лично (добавьте /robots.txt к адресу моего сайта).

Понравилась статья? Поделиться с друзьями:

Оставьте комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Пролистать наверх