Robots.txt и sitemap.xml для WordPress блога

Tweet

Только сейчас сделал и sitemap.xml для сайта. Че-то в дистрибутив не включен, хотя стоило бы. Хотя думаю есть плагины соответствующие. У меня получился такой текст:

# BEGIN XML-SITEMAP-PLUGIN – Плагин генератор карты сайта для поисковиков.
Sitemap: http://corumcctv.ru/sitemap.xml.gz # Карта, сжатая в архив для экономии траффика роботам :)
# END XML-SITEMAP-PLUGIN

# Это типа для всех роботов, то есть то что не для них:)

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

# Можно еще каменты запретить индексировать, но я пока не буду, комментируйте на здоровье ;)
# Персонально для Яндекса:

User-agent: Yandex
Host: corumcctv.ru # Здесь основной адрес он же основное зеркало сайта
Allow: / # “Allow – разрешить” я так понял только для яндекса действует, а по стандарту только “Disallow – запретить”.
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
# Специально для Яндекса карта сайт в формате xml, так он требует :)
Sitemap: http://corumcctv.ru/sitemap.xml

Для генерации карты сайта WordPress блога есть спецплагин – Google XML Sitemaps.
Удобная штука – генерирует sitemap.xml и сжатый sitemap.xml.gz, совместимый с sitemaps.org, автоматически обновляет (может в фоновом режиме во время написания статьи) и уведомляет Ask.com, Google, MSN Search и YAHOO об обновлении карты сайта. Позволяет настраивать что включать в карту и как часто поисковым ботам заглядывать за обновлениями :)

Такие вот два нужных для сайта файла.

Еще почитать:

Прочтите и эти записи схожей тематики:


  • Свежие комментарии

    • PenPam: У нас на сайте вы найдете незаменимый и захватываю »
    • Makermoney: Да, посещаемость 50 человек в день. От одного толь »
    • Федор: Такой старый блог и такая низкая посещаемость(неск »
    • Валера: Смотрите здесь лучшие из бирж статей и все описано »
    • Makermoney: Юрист, это же пост о бесплатной регистрации в ката »
    • Юрист: Юрист в Воронеже ... консультации »
    • Makermoney: User12, это лучший коммент за всю историю этого бл »
    • User12: Для заработка. Быстро пикольно!!! Усть желание лав »