GA
098 192 79 36 (044) 209 22 49 Отправить заявку

Интернет-маркетинговое агентство полного цикла

Строим продажи через Интернет

Яндекс сообщил о новых правилах обработки директив Allow и Disallow

Несколько дней назад все вебмастера, которые зарегистрированы на сервисе «Яндекс.Вебмастер» получили уведомление, в котором речь идет о том, что поисковый гигант Рунета меняет правила обработки директив Allow и Disallow в файле robots.txt.

Напомним, с помощью данного файла, а именно директив Allow и Disallow вебмастер имеет возможность разрешать или запрещать поисковику, осуществлять индексацию ресурса.

Теперь, по новым правилам поисковой системы, в том случае, если страница попадает под действие той или иной вышеупомянутой директивы, то во внимание будет браться директива с наибольшей длиной префикса URL. При этом во время определения длины префикса специальный символ «*» не будет учитываться.

Таким образом, если на вашем сайте файл robots.txt использует совместно и директиву «Allow», и «Disallow», то вам нужно проверить их на правильность согласно новым стандартам.

Иными словами это означает, что каждому владельцу сайта необходимо изменить файл robots.txt на правильный. Скорее всего, теперь нужно после директивы «allow» указать те или иные папки и файлы, которые мы хотим предоставить поисковой системе Яндекс для индексации. В свою очередь, все остальные папки не будут индексироваться роботом.

Итак, новый файл robots.txt будет выглядеть примерно так:

User-agent:

Allow: / category

Disallow: /

Host: semempire.com.ua

Sitemap: http://semempire.com.ua/sitemap.xml

По материалам: blogalt.ru

Наши клиенты

 
 
 
УкрАвто
Swatch
Типография Wolf
MGID
Мегасити
Кузов и Оптика
SanoShop
Фитнесс-Бутик
Арма факторинг
Лаки Чайлд
Центр навчальної літератури
ЗАБОТА - дом пристарелых
TESTO
Стройкат

Sem Empire

04071, Украина, Киев
ул. Ярославская, 11-В, оф. 202
Телефон:
098 192 79 36
office@semempire.com.ua