Яндекс сообщил о новых правилах обработки директив Allow и Disallow

wall-e
Поисковая оптимизация

Яндекс сообщил о новых правилах обработки директив Allow и Disallow

Несколько дней назад все вебмастера, которые зарегистрированы на сервисе «Яндекс.Вебмастер» получили уведомление, в котором речь идет о том, что поисковый гигант Рунета меняет правила обработки директив Allow и Disallow в файле robots.txt.

Напомним, с помощью данного файла, а именно директив Allow и Disallow вебмастер имеет возможность разрешать или запрещать поисковику, осуществлять индексацию ресурса.

Теперь, по новым правилам поисковой системы, в том случае, если страница попадает под действие той или иной вышеупомянутой директивы, то во внимание будет браться директива с наибольшей длиной префикса URL. При этом во время определения длины префикса специальный символ «*» не будет учитываться.

Таким образом, если на вашем сайте файл robots.txt использует совместно и директиву «Allow», и «Disallow», то вам нужно проверить их на правильность согласно новым стандартам.

Иными словами это означает, что каждому владельцу сайта необходимо изменить файл robots.txt на правильный. Скорее всего, теперь нужно после директивы «allow» указать те или иные папки и файлы, которые мы хотим предоставить поисковой системе Яндекс для индексации. В свою очередь, все остальные папки не будут индексироваться роботом.

Итак, новый файл robots.txt будет выглядеть примерно так:

User-agent:

Allow: / category

Disallow: /

Host: www.semempire.com.ua

Sitemap: https://www.semempire.com.ua/sitemap.xml

По материалам: blogalt.ru