Директивы robots.txt: User-agent, Disallow, Allow и другие


Директивы robots.txt: Полное руководство

robots.txt – это текстовый файл, который размещается в корневом каталоге веб-сайта и содержит инструкции для поисковых роботов (пауков, ботов) о том, какие страницы и разделы сайта следует индексировать, а какие – нет. Правильная настройка robots.txt критически важна для SEO, так как позволяет контролировать, какие части вашего сайта видят поисковые системы, предотвращая индексацию дублирующегося контента, служебных страниц и других нежелательных элементов.

Основные директивы robots.txt

Существует несколько основных директив, которые используются в файле robots.txt. Рассмотрим их подробнее:

1. User-agent

Директива User-agent определяет, к какому поисковому роботу применяются следующие правила. Можно указать конкретного робота (например, Googlebot, YandexBot) или использовать символ «», который означает, что правила применяются ко всем роботам.

Пример:

User-agent: Googlebot
User-agent:

2. Disallow

Директива Disallow указывает, какие страницы или разделы сайта запрещено индексировать указанному User-agent. Путь указывается относительно корневого каталога сайта.

Пример:

Disallow: /admin/

Этот пример запрещает индексировать все страницы в каталоге /admin/.

Этот пример запрещает индексировать конкретный файл /tmp/secret.html.

3. Allow

Директива Allow разрешает индексировать страницы или разделы сайта, которые в противном случае были бы заблокированы директивой Disallow. Она используется для более точной настройки правил.

Пример:

Disallow: /private/

В этом примере запрещен доступ ко всему каталогу /private/, но разрешен доступ к файлу /private/public_page.html.

4. Sitemap

Директива Sitemap указывает URL-адрес файла Sitemap, который содержит список всех важных страниц вашего сайта. Это помогает поисковым системам быстрее и эффективнее индексировать ваш сайт.

Пример:

Sitemap: https://www.example.com/sitemap.xml

Другие полезные директивы и особенности

  • Crawl-delay: Указывает, с какой задержкой (в секундах) поисковый робот должен сканировать страницы сайта. Использование этой директивы не рекомендуется, так как большинство современных поисковых систем игнорируют ее.
  • Host: Указывает основной домен сайта. Используется редко.
  • Комментарии: Строки, начинающиеся с символа «#», игнорируются поисковыми роботами и используются для добавления комментариев.

Пример robots.txt файла

User-agent: *
Disallow: /tmp/
Disallow: /cgi-bin/
Disallow: /private/Sitemap: https://www.example.com/sitemap.xml

Важные замечания

robots.txt – это не гарантия безопасности! Он лишь дает рекомендации поисковым роботам. Если вы хотите защитить конфиденциальную информацию, используйте другие методы, такие как аутентификация или шифрование.

Проверяйте свой robots.txt файл! Используйте инструменты для проверки robots.txt (например, Google Search Console) чтобы убедиться, что он правильно настроен и не блокирует важные страницы вашего сайта.

robots.txt чувствителен к регистру! Убедитесь, что пути к файлам и каталогам указаны правильно, с учетом регистра.

Не перегружайте robots.txt! Слишком сложный robots.txt может быть трудно поддерживать и может привести к ошибкам.

Помните о приоритетах! Правильно настроенный robots.txt помогает поисковым системам эффективно сканировать ваш сайт, что положительно влияет на его позиции в поисковой выдаче.