Из этой статьи Вы почерпнете много новой информации по теме очень важного для каждого сайта файла robots.txt. В блоге http://corumcctv.ru про robots.txt было здесь и здесь продолжение. Вы узнаете, что это такое, как его создавать, как производить правильную настройку данного файла, а также что, может случиться, если произвести эту настройку некорректно. Эта информация принесет пользу абсолютно всем вебмастерам. А также читайте новый блокбастер: “Блеск и сила природного камня“.

SEO: Что такое Robots.txt?

Robots.txt – многим знакомый, текстовый документ, который имеет необычную важность. Он находиться в основной папке Вашего ресурса. В данном файле находятся специальные инструкции и указания для поисковиков. С помощью robots.txt Вы сможете запрещать индексацию одних или других файлов или разделов. Вы сможете указать, какое зеркало основное. Также можно указать путь к другому специальному файлу sitemap – карте сайта.

Robots.txt – незаменимый в SEO-оптимизации файл. А вся полезность его ярко наблюдается на примере запрета индексирования технической информации и технических разделов и подразделов Вашего сайта. Если Ваша тех. информация доступна для индексации в поисковике, то робот постарается выбросить эту информацию из индекса. В следствии которого существует возможность закрытия страниц или разделов, имеющих уникальную и важную информацию. У новичков часто возникает вопрос: “Каким образом создать этот файл?”. На самом деле создать robots.txt легко и просто, а делает это с помощью обычного блокнота. После уже созданный файл помещают в главный раздел Вашего ресурса. Первым делом, поисковый робот, войдя к Вам на сайт, прочитает инструкции указанные в robots.txt. У новичков возникают затруднение, когда нужно создать robots.txt но хочется повторить, что создается этот файл с помощью самого обычного блокнота, а после размещается в корневой папке сайта.

Правильные настройки robots.txt?

Чтобы настроить robots.txt обычно используют 2 основные или несколько дополнительных директив. Давайте рассмотрим основные: первая директива User-agent, вторая Disallow. Директива User-agent отвечает за определение поискового робота, который будет выполнять необходимые инструкции по запрету на индексацию, прописанной во второй директиве. При работе с этим файлом надо быть предельно осторожным, так как, совершив ошибку последствия могут быть не совсем приятными, но о них мы поговорим позже.

Если после Disallow указать путь к искомому файлу, то робот не будет индексировать только этот файл или несколько файлов. А если поменять Disallow на Allow, указанные файлы будут индексироваться, а все остальные нет. Не стоит указывать несколько путей к файлам в одной строке – она перестанет работать.

Как говорилось выше, в robots.txt используются также другие директивы:

1. Host – директива используется, если Ваш сайт имеет несколько зеркал. Она указывает на основное, которое будет выдаваться поисковиками.

2. Crawl-delay – директива, используемая для установки задержки между загрузками страниц Вашего ресурса поисковой системой. Данная функция очень полезна для сайта, имеющего не одну страницу. Crawl-delay: 7 – означает, что пауза между загрузками будет длиться только семь секунд.

3. Еще одна директива носит название Request-rate – она ответственна за периодичность загрузки страниц поисковиком. К примеру: Request-rate: 1/8 – означает, что страница будет загружаться роботом 8 секунд.

4. Последняя директива в нашем списке – Visit-time, она ответственна за отрезок времени, в который Ваш ресурс работает, и его можно посещать. Время выставляется по Гринвичу.

Последствия некорректных настроек robots.txt?

Неправильная настройка файла, чаще всего, приводит к тому, что скрытные для индексации разделы, например, имеющие конфиденциальную информацию Вас или пользователей будут открыты для поиска или наоборот. Например, страницы, которые имеют уникальный контент, будут запрещены к поиску и потеряют индекс.

Как проверить настройки robots.txt?

Итак, для лучшей проверки надо использовать специальный сервис, который нам предлагает Яндекс.Webmaster, а сама услуга носит название Анализ robots.txt. Нажав на этот сервис, появится окно, в которое требуется ввести имя нужно Вам домена. После Вам покажут все ошибки, которые надо исправить.

Подведем итог, создать robots.txt очень просто, основная проблема в настройке, о которой мы немного рассказали в данной статье. Всем удачи!

Видео: Что такое Robots.txt?

Смотрите полный видеокурс на iTunes

Прочтите и эти записи схожей тематики:

• Robots.txt и sitemap.xml для WordPress блога (8)
• Факты о Чаке Норрисе и интернете (2)
• ТОП-100 самых ожидаемых фильмов 2012-2013 (0)
• Продвижение неизбежно, особенно в гугл.ру (6)
• Предложения для раскрутки и продвижения (6)