Файл robots.txt: как создать и не допустить ошибки

Чтобы сайт высоко ранжировался в выдаче, SEO-специалисты оптимизируют его страницы, чтобы сделать их привлекательными для поисковых роботов. Однако на любом сайте есть «уголки», оптимизировать которые невозможно и бессмысленно, и поисковым роботам «знать» о них не следует.

Речь идет ни в коем случае не о подменных страницах: клоакинг строго запрещен во всех поисковых системах и карается фильтрами. Но клоакинг здесь не причем.

Админ-панель, формы обратной связи и регистрации, политика обработки данных, служебные и технические страницы – это компоненты, без которых сайту не обойтись, но оптимизировать их по требованиям SEO невозможно и незачем. Соответственно, нет смысла показывать эти страницы поисковым роботам: продвинуться в топ они не помогут, а вот ухудшить позиции – да. Тем более не следует показывать корзины и личные кабинеты пользователей, поскольку это чревато утечкой личных данных клиентов в поисковую систему.

Для того, чтобы роботы «знали», какие страницы им оценивать, а какие – пропускать, используют файл robots.txt. Разберемся, что это такое, откуда берется и как работает.

Robots.txt – это служебный файл, который размещается в корневом каталоге сайта. В этом файле прописываются указания (директивы) для роботов поисковых систем. Директивы сообщают роботам, какие части сайта индексировать, а какие нет.

Файл robots.txt технически представляет собой документ, созданный в простом текстовом редакторе – например, в Блокноте. Создать его может как веб-мастер, так и SEO-специалист или сам владелец сайта. Указания для роботов прописываются в виде стандартных директив. С их помощью можно закрыть от индексации отдельные страницы или сайт целиком, если он находится на стадии разработки и еще не готов к ранжированию в ПС.

Чтобы поисковый робот «понял» вас и прислушался к вашим рекомендациям, файл robots.txt должен соответствовать принятым требованиям:

Файл robots.txt должен быть размещен в корневом каталоге сайта и доступен по ссылке https://yoursite.ru/robots.txt, где yoursite.ru – ваш домен. Инструкции, указанные в документе, касаются всего ресурса вместе с поддоменами.

Создать файл с инструкциями для роботов просто. Открываем Блокнот и создаем новый документ с именем robots.txt.

В созданном файле прописываем необходимые директивы – каждую с новой строки. Значение пишем через двоеточие.

Основные параметры, которые используются в файле robots, приведены ниже.

Обозначает поискового бота, на которого рассчитана конкретная директива. Если рекомендация дана для всех поисковиков, то ставится знак звездочка (*).

Например:

Запрещает индексирование конкретной страницы, раздела или всего сайта. Это означает, что роботам запрещено сканировать указанный URL.

Например:

Если оставить строку с директивой Disallow пустой, то это будет означать отсутствие запретов для сканирования.

То есть:

Указывает на разрешение индексирования. Используется, чтобы задавать исключения: например, когда основная часть раздела закрывается от роботов, но отдельные страницы можно им показать.

Например:

Прописывать директиву Allow для всех разрешенных страниц не требуется. Все страницы и разделы, которые вы не закрыли директивой Disallow, по умолчанию считаются открытыми для индексации.

Если оставить поле после директивы Allow пустым, то это означает отсутствие разрешенных для сканирования страниц.

То есть:

Помимо перечисленных также используются:

Также важно знать специальные символы которые используются при составлении robots.txt:

• * означает, что директива распространяется на любые символы, которые могут следовать после знака;
• $ означает окончание действия правила;
• # обозначает комментарий, который веб-мастер прописывает для себя, чтобы роботы его не учитывали

Например:

Если правильно составленный файл robots улучшает ранжирование сайта, то некорректный, напротив, препятствует продвижению. Неверно указанные директивы чреваты ухудшением позиций в выдаче, поскольку роботы будут сканировать не то, что нужно, а важные части сайта будут пропускать. Если подобные ошибки допустить на сайте интернет-магазина, то можно в кратчайшие сроки лишиться большой части дохода.

Ошибки, которые часто допускают по неопытности или невнимательности:

Еще одна возможная ошибка – расстановка запретов тегом noindex.

С 2019 года роботы ПС Google не учитывают эту директиву при сканировании. Поэтому если сайт существует давно, то следует проверять на актуальность правила, указанные в файле robots.

Для того, чтобы проверить корректность файла robots.txt, используют сервис Яндекс Вебмастер.

Алгоритм действий для Яндекса:

Если система выявит ошибки, то укажет их в отчете «Результаты анализа robots.txt» с комментариями. Если ошибки не зафиксированы, то файл составлен верно.

Рекомендуется также проверить отдельные адреса. Для этого пропишите их в поле «Разрешены ли URL?» Если раздел или страница, которую вы запретили, воспринимается системой как запрещенная, значит, директивы в robots.txt прописаны правильно.