10 Июль, 2008

Robots.txt – 2

  Makermoney   2 комментария  
Tweet

Апдейт этого поста о файле robots.txt. Перед блоком disallow запрещающих индексацию страниц не для индексации (служебных, комментарии, rss, чтобы не было склейки) нужно было поставить:

User-agent: *

Что значит: для всех роботов. Эта команда совместима с www.robotstxt.org. Проверить свой можно здесь: Robots.txt syntax checker.

Мой правда недоступен. Ниче, проверил на чужих, как эта система работает.

Нашел у некоторых такой прикол:

User-agent: *
Disallow:

Что свидетельствует, о том что robots.txt не заполняли. Строка “Disallow:” некорректна, так как не указано что именно не индексировать, нужен хотя бы / – слэш, чтобы ничего не индексировать:) или какую-именно папку. То есть просто “Disallow:” ничего не дает, ни запрета, ни разрешения. Такие дела.

Еще почитать:


e04717e2

Прочтите и эти записи схожей тематики:


Опубликовано в: Блог, Оптимизация, Сайтостроение   Тэги: , , ,
«
»

2 Responses to Robots.txt – 2

  1. Криштиану пишет:
    17 Сентябрь 2008 в 14:00

    На Ваш сайт знакомый в аську ссылку кинул. Оказалось ,что не зря :) Понравилось. Тепрь постоянно читать буду :)

  2. Роман пишет:
    31 Январь 2020 в 17:04

    Привет! А можно ли ссылками с вами обменяться?

Оставить комментарий

  • Свежие комментарии

    • Hitch: Оказываем помощь: открыть Брокерскую компанию, отк »
    • Emi: Все так и есть, только в жизни все занимает больше »
    • Марат: Здраств. Монетизация сайта или блога это конечно х »
    • PenPam: У нас на сайте вы найдете незаменимый и захватываю »
    • Makermoney: Да, посещаемость 50 человек в день. От одного толь »
    • Федор: Такой старый блог и такая низкая посещаемость(неск »
    • Валера: Смотрите здесь лучшие из бирж статей и все описано »
    • Makermoney: Юрист, это же пост о бесплатной регистрации в ката »