Tag: robots.txt
Как сделать humans.txt для своего сайта
В прошлый раз в блоге corumcctv.ru было о файле robots.txt, а сейчас о том, как сделать humans.txt для своего сайта.
Ведь robots.txt это еще что, вот оказывается придумали humans.txt – тоже текстовый файл в корне сайта, но не для роботов, а для людей. Идея не такая уж и глупая, как может показаться на первый взгляд.
Как сделать humans.txt для своего сайта
Я как-то раз, чтобы подтвердить свое портфолио создавал похожий текстовый файл с указанием авторства на своих сайтах, называл его типа moysayt.txt – заказчики знали имя файла, подтверждение было для них, а для обычных посетителей на сайте в “Контактах” могла быть указана любая информация.
Прочтите и эти записи схожей тематики:
SEO-курс: Что такое Robots.txt?
Из этой статьи Вы почерпнете много новой информации по теме очень важного для каждого сайта файла robots.txt. В блоге http://corumcctv.ru про robots.txt было здесь и здесь продолжение. Вы узнаете, что это такое, как его создавать, как производить правильную настройку данного файла, а также что, может случиться, если произвести эту настройку некорректно. Эта информация принесет пользу абсолютно всем вебмастерам. А также читайте новый блокбастер: “Блеск и сила природного камня“.
SEO: Что такое Robots.txt?
Robots.txt – многим знакомый, текстовый документ, который имеет необычную важность. Он находиться в основной папке Вашего ресурса. В данном файле находятся специальные инструкции и указания для поисковиков. С помощью robots.txt Вы сможете запрещать индексацию одних или других файлов или разделов. Вы сможете указать, какое зеркало основное. Также можно указать путь к другому специальному файлу sitemap – карте сайта.
Прочтите и эти записи схожей тематики:
Robots.txt – 2
Апдейт этого поста о файле robots.txt. Перед блоком disallow запрещающих индексацию страниц не для индексации (служебных, комментарии, rss, чтобы не было склейки) нужно было поставить:
User-agent: *
Что значит: для всех роботов. Эта команда совместима с www.robotstxt.org. Проверить свой robots.txt можно здесь: Robots.txt syntax checker.
Мой правда недоступен. Ниче, проверил на чужих, как эта система работает.
Нашел у некоторых такой прикол:
User-agent: * Disallow:
Что свидетельствует, о том что robots.txt не заполняли. Строка “Disallow:” некорректна, так как не указано что именно не индексировать, нужен хотя бы / – слэш, чтобы ничего не индексировать:) или какую-именно папку. То есть просто “Disallow:” ничего не дает, ни запрета, ни разрешения. Такие дела.
Прочтите и эти записи схожей тематики:
Robots.txt и sitemap.xml для WordPress блога
Только сейчас сделал robots.txt и sitemap.xml для сайта. Че-то robots.txt в дистрибутив WordPress не включен, хотя стоило бы. Хотя думаю есть плагины соответствующие. У меня получился такой текст:
# BEGIN XML-SITEMAP-PLUGIN – Плагин генератор карты сайта для поисковиков.
Sitemap: http://corumcctv.ru/sitemap.xml.gz # Карта, сжатая в архив для экономии траффика роботам
# END XML-SITEMAP-PLUGIN