Составляем правильный robots.txt для wordpress

Всем привет! Robots.txt для wordpress — неотъемлемая часть любого блога. К сожалению, часто начинающие блогеры об этом файле забывают. Самое время им напомнить.

Сейчас многие мои постоянные читатели покрутят у виска и скажут «Совсем Дима деградирует! Уже про robots.txt снова писать начал!». Может я и деградирую, но склерозом еще не страдаю. Вот статья про общие правила формирования этого файла была, а про robots.txt для wordpress пока нет. Надо исправить.

Сейчас очень часто сталкиваюсь с ним, то анализируя блоги моих читателей, то создавая новые блоги для них. Честно, надоело уже каждый раз лазить к себе на ftp за правильным robots.txt для wordpress. Пора выложить его к себе на блог, что я сейчас и сделаю.

User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed$/*/ Disallow: */feed$ Disallow: /*?*   User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed$/*/ Disallow: */feed$ Disallow: /*?* Host: fairheart.ru Sitemap: http://fairheart.ru/sitemap.xml.gz Sitemap: http://fairheart.ru/sitemap.xml

Обязательно в трех местах вместо fairheart.ru впишите домен своего блога. Последние две строчки Sitemap прописывают адрес карты сайта для поисковых систем. Она создается с помощью плагина Google XML Sitemaps, и об это я подробно рассказал здесь.

Совсем забыл, ведь меня же читают и совсем новички, так что надо сказать пару слов, зачем он вообще нужен.

Текстовый файл robots.txt (оно и видно из разрешения) располагается в корневом каталоге сайта на ftp и содержит в себе инструкции для поисковых систем — какие части сайта им можно индексировать и добавлять в поиск, а какие нельзя. Другими словами, данный файл запрещает поисковым системам заходить в некоторые папки на сервере и читать их содержимое. Другое дело, что некоторые поисковики им порой пренебрегают — тот же Гугл иногда жрет все подряд.

Что же мы прячем от поисковых систем? Прежде всего служебные файлы и папки, в которых могут содержаться страницы с дублирующим контентом. К примеру, страницы с результатами поиска. Между прочим, я именно из-за этого не рекомендую пользоваться стандартным поиском. Лучше поставьте Яндекс поиск по сайту и радуйтесь жизни. Очень удобная вещь, которая еще может приносить доход, если в нее добавить контекстную рекламу Яндекса.

Короче говоря, создаете текстовый документ под названием robots, пихаете в него то, что я привел выше и закидываете в корневой каталог WordPress на сервере (там, где лежит папка wp-content и файл wp-config.php). Больше ничего с ним делать не надо.

На этом на сегодня все. Стремился, чтобы статья получилась короткой и понятной, как шпаргалку у школьника. Спасибо за внимание, друзья!