Всем привет! Robots.txt для wordpress — неотъемлемая часть любого блога. К сожалению, часто начинающие блогеры об этом файле забывают. Самое время им напомнить. :)

robots.txt для wordpress

Сейчас многие мои постоянные читатели покрутят у виска и скажут «Совсем Дима деградирует! Уже про robots.txt снова писать начал!». Может я и деградирую, но склерозом еще не страдаю. ;) Вот статья про общие правила формирования этого файла была, а про robots.txt для wordpress пока нет. Надо исправить.

Сейчас очень часто сталкиваюсь с ним, то анализируя блоги моих читателей, то создавая новые блоги для них. Честно, надоело уже каждый раз лазить к себе на ftp за правильным robots.txt для wordpress. Пора выложить его к себе на блог, что я сейчас и сделаю.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed$/*/
Disallow: */feed$
Disallow: /*?*
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed$/*/
Disallow: */feed$
Disallow: /*?*
Host: fairheart.ru
Sitemap: http://fairheart.ru/sitemap.xml.gz
Sitemap: http://fairheart.ru/sitemap.xml

Обязательно в трех местах вместо fairheart.ru впишите домен своего блога. Последние две строчки Sitemap прописывают адрес карты сайта для поисковых систем. Она создается с помощью плагина Google XML Sitemaps, и об это я подробно рассказал здесь.

Совсем забыл, ведь меня же читают и совсем новички, так что надо сказать пару слов, зачем он вообще нужен.

Текстовый файл robots.txt (оно и видно из разрешения) располагается в корневом каталоге сайта на ftp и содержит в себе инструкции для поисковых систем — какие части сайта им можно индексировать и добавлять в поиск, а какие нельзя. Другими словами, данный файл запрещает поисковым системам заходить в некоторые папки на сервере и читать их содержимое. Другое дело, что некоторые поисковики им порой пренебрегают — тот же Гугл иногда жрет все подряд.

Что же мы прячем от поисковых систем? Прежде всего служебные файлы и папки, в которых могут содержаться страницы с дублирующим контентом. К примеру, страницы с результатами поиска. Между прочим, я именно из-за этого не рекомендую пользоваться стандартным поиском. Лучше поставьте Яндекс поиск по сайту и радуйтесь жизни. Очень удобная вещь, которая еще может приносить доход, если в нее добавить контекстную рекламу Яндекса.

Короче говоря, создаете текстовый документ под названием robots, пихаете в него то, что я привел выше и закидываете в корневой каталог WordPress на сервере (там, где лежит папка wp-content и файл wp-config.php). Больше ничего с ним делать не надо.

Только не перепутайте название этого файла, а то знаю, что некоторые люди по невнимательности называют его robot.txt (без s на конце). Так делать нельзя. Будьте бдительны, друзья!

На этом на сегодня все. Стремился, чтобы статья получилась короткой и понятной, как шпаргалку у школьника. :) Спасибо за внимание, друзья!

Лучший способ выразить благодарность автору - поделиться с друзьями!

Узнавайте о появлении нового материала первым! Подпишитесь на обновления по email:

Следите за обновлениями в Twitter и RSS.