Robots.txt и sitemap.xml для WordPress блога
Только сейчас сделал robots.txt и sitemap.xml для сайта. Че-то robots.txt в дистрибутив WordPress не включен, хотя стоило бы. Хотя думаю есть плагины соответствующие. У меня получился такой текст:
# BEGIN XML-SITEMAP-PLUGIN – Плагин генератор карты сайта для поисковиков.
Sitemap: http://corumcctv.ru/sitemap.xml.gz # Карта, сжатая в архив для экономии траффика роботам
# END XML-SITEMAP-PLUGIN
# Это типа для всех роботов, то есть то что не для них:)
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
# Можно еще каменты запретить индексировать, но я пока не буду, комментируйте на здоровье
# Персонально для Яндекса:
User-agent: Yandex
Host: corumcctv.ru # Здесь основной адрес он же основное зеркало сайта
Allow: / # “Allow – разрешить” я так понял только для яндекса действует, а по стандарту только “Disallow – запретить”.
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
# Специально для Яндекса карта сайт в формате xml, так он требует
Sitemap: http://corumcctv.ru/sitemap.xml
Для генерации карты сайта WordPress блога есть спецплагин – Google XML Sitemaps.
Удобная штука – генерирует sitemap.xml и сжатый sitemap.xml.gz, совместимый с sitemaps.org, автоматически обновляет (может в фоновом режиме во время написания статьи) и уведомляет Ask.com, Google, MSN Search и YAHOO об обновлении карты сайта. Позволяет настраивать что включать в карту и как часто поисковым ботам заглядывать за обновлениями
Такие вот два нужных для сайта файла.
Еще почитать:
Апдейт этого поста о файле robots.txt. Перед блоком disallow запрещающих индексацию страниц не д ...
В прошлой записи речь шла о прожигании фида, а в этой о том, как сделать карту сайта. Благодаря ...
Из этой статьи Вы почерпнете много новой информации по теме очень важного для каждого сайта файл ...
Добавил фид блога в rss-каталоги. Для индексации полезно, обратных ссылок, трафа. Минимум потеря ...
В прошлый раз в блоге corumcctv.ru было о файле robots.txt, а сейчас о том, как сделать hum ...