Robots txt директива host: Хост в robots.txt – директива для указания основного зеркала сайта.

Директива Host в robots.txt используется, чтобы указать роботу на главное зеркало сайта.

Пример:

https://www.glavnoye-zerkalo.ru является главным зеркалом сайта, и для всех сайтов из группы зеркал необходимо прописать в robots.txt:

User-Agent: *

Disallow: /forum

Disallow: /cgi-bin

Host: https://www.glavnoye-zerkalo.ru

Правила использования директивы Host:

• В файле robots.txt может быть только одна директива Host. Робот всегда ориентируется на первую директиву, даже если их указано несколько.
• Если зеркало доступно по защищенному каналу, нужно добавить протокол HTTPS,
• Должно быть указано одно доменное имя и номер порта в случае необходимости.

Если директива Host прописана неправильно, роботы ее проигнорируют.

Директива Crawl-delay задает для робота промежуток времени, с которым он должен загружать страницы. Пригодится в случае сильной нагрузки на сервер.

Например, если нужно задать промежуток в 3 секунды между загрузкой страниц:

User-agent: *

Disallow: /search

Crawl-delay: 3

Пригодится для сайтов, страницы которых содержат динамические параметры, которые не влияют на их содержимое (например, идентификаторы сессий). Директива позволяет роботам не перезагружать дублирующуюся информацию, что положительно сказывается на нагрузке на сервер.

При составлении файла robots.txt нельзя использовать кириллические символы. Допускается использование Punycode для доменов.

Для проверки файла robots.txt можно использовать Яндекс.Вебмастер (Анализ robots.txt) или Google Search Console (Инструмент проверки файла Robots.txt).

Как только файл robots.txt написан и проверен, его нужно сохранить в виде текстового файла с названием robots.txt и загрузить в каталог верхнего уровня сайта или в корневой каталог.

Как управлять поисковым роботом Яндекса? — Учебный центр Unibrains

Как можно повлиять на робота, чтобы он индексировал то, что нам нужно или наоборот не индексировал? Это одна из самых популярных тем, которую кто только не разбирал, и в тоже время мы постоянно видим ошибки в файле robots.txt. Что же не так? Давайте разберемся.

Сам файл robots.txt – это строгий набор инструкций для индексирующего робота, показывающий, что можно индексировать, а что нет.  Этот файл находится в корне вашего сайта, обязательно имеет название robots.txt  и начинается со строки User-agent.  Эта директива показывает какие правила, перечисленные ниже, будут использоваться для того или иного робота.

Распространенные директивы disallow/allow запрещают или разрешают индексирование страниц. Здесь можно запрещать и дублирующие страницы, и служебные, и скрипты, и все что угодно. Особенно важна эта директива, если у вас на сайте хранятся какие-то пользовательские данные: договор, адреса доставки, мобильный телефон и др.  Эту информацию нужно закрыть от индексирующего робота, чтобы она не попала в результаты поиска.

Директива Clean-param  позволяет удалять ненужные параметры из URL-адресов страниц, если вы их используете для отслеживания того, откуда пришел на ваш сайт индексирующий робот.

Директива Crawl-delay задает интервал между окончанием запроса одной страницы роботом и началом запроса другой. Очень эффективная директива,  если вы открыли новый раздел на вашем сайте; робот пришел и начал скачивать кучу страниц, создавать дополнительную нагрузку сайту, ресурс перестает отвечать, недоступен для посетителей, и вы теряете своих клиентов.

Директива Sitemap указывает на наличие и адрес, т.е. местоположение соответствующего файла карты на вашем сайте.  Директива Host указывает адрес главного зеркала.

Вот пример типичного файла robots.txt

Начинается файл с директивы User-agent: *. Где * — показывает, что используется для всех индексирующих роботов, если не указано иначе. Во втором блоке указано  User-agent: Yandex. Это означает, что он предназначен только для индексирующих роботов Яндекса.

Директива Disallow:/admin указывает на то, что нужно запретить обход всех страниц, которые начинаются с admin. Disallow:*=? cart*  запрещает любые действия, любые GET-параметры, содержащие этот адрес.

GET-параметры – это параметры, которые передаются серверу, когда совершается запрос. Со стороны пользователя это выглядит, как часть интернет адреса. Например, такой запрос http://www.examle.com/test?param1=value1&param2=value2&param3=value3.
Все, что идет после ? это GET-параметры. Они представляют собой список пар – ключ-значение, разделенные &. В данном случае это три пары: (param1, value1) (param2, value2) (param3, value3).

Дополнительные директивы:  Clean-param: sid/ – очищает идентификатор сессии.
Crawl-delay: 0.5 – в данном случае робот будет запрашивать две страницы в 1 секунду.

Какие самые распространенные ошибки допускаются при работе с файлом robots.txt?

1. Ошибки в содержимом файла. Даже самые опытные вебмастера допускают такие ошибки, допускают вылета сайта из результата поиска, так как сайт становится полностью недоступен для индексирующего робота.
2. Код ответа НТТР отличный от кода 200. Самый распространенный случай, когда у вас есть служебный домен, и он вылез в результаты поиска. Что вы делаете? Вы закрываете  Disallow all на служебном домене. И настраиваете индексирующему роботу НТТР-код ответа 403. Робот приходит, запрашивает ваш файл robots.txt и видит код ответа отличный от кода 200. Он игнорирует эту инструкцию и считает, что тут находится полностью разрешающий файл, что все адреса, которые ему известны, можно индексировать и включать в результаты поиска.
3. Наличие кириллических символов в файле robots.txt. Такие символы использовать нельзя, робот их проигнорирует.

Самый распространенный случай ошибки, например, если ваш сайт лютикицветочки.рф, и в директиве Host – вы его указали не в закодированном виде. Хотя нужно указывать в закодированном понекоде (Punycode).

Punycode — алгоритм, который определяет однозначное преобразование символов Юникода (символы национального алфавита, например, россия.рф) в строки ASCII-символов.

А как мы знаем, URL отправляются в интернет в ASCII-кодировке. Данная кодировка используется для передачи информации между компьютерами в интернете. ASCII расшифровывается как Американский Стандартный Код для Обмена информацией.

1. Файл robots.txt превышает размер 32 Кб. Робот, получая такой файл, считает, что это не файл текстового типа, а обычная страничка, и что эту страничку не нужно учитывать при обходе сайта.

Все эти ошибки можно предотвратить, если пользоваться простейшим инструментом в «Яндекс.Вебмастер» — Анализатор robots.txt.

Вставляете адрес вашего сайта, нажимаете загрузить robots.txt, теперь можете увидеть, то, что сейчас там находится,  добавляете список URL-адресов страниц, нажимаете кнопку проверить.  Можно редактировать, посмотреть, как робот воспримет то или иное изменение.  Если вы вносите какие-то серьезные изменения в файл robots.txt, даже если знаете и делали это много раз, то перестрахуйтесь, воспользовавшись этим инструментом.

Что такое карта сайта и как её рисовать?

Итак, мы с вами запретили роботу посещать те или иные страницы на сайте,  но теперь нужно показать, какие страницы нужно индексировать и включать в поисковую выдачу.

Для этого существует специальный файл Sitemap – карта вашего сайта. Это текстовый или XML-файл, содержащий адреса страниц, которые необходимо индексировать. Ниже приведен пример файла sitemap.

Файл должен начинаться со служебной строки, указывающей на кодировку. Обязательно стандарт, с которым он составлен, и обязательно тэг Url и Loc (location – показывает адрес  страницы).  Это самый простой файл, здесь всего одна страница – это «морда» (главная страница сайта). Плюс есть необязательные тэги, которые тоже можно передавать роботу, и которые робот может учитывать (lastmode – дата последнего изменения страницы , changefreq – периодичность ее изменения, priority – приоритет при обходе вашего сайта в целом).

Ошибки при работе с Sitemap

1. Самая распространенная ошибка, с которой сталкиваются вебмастера – это, когда индексирующему роботу указывают файл sitemap, находящийся на другом сайте.  Например, если вы используете бесплатный генератор файлов sitemap, то он автоматически размещает этот файл у себя на сайте. Робот не будет обрабатывать такой файл, потому что в соответствии со стандартом, файл должен обязательно находиться на том хосте, ссылки  которого указаны внутри самого сайта. То есть, если у вас есть сайт лютикицветочки.рф  в нем должны находиться только эти ссылки и сам файл должен находиться только на этом сайте.
2. Установленное перенаправление файла sitemap – это вторая проблема. К примеру, у вас файл находится по стандартному адресу (sitemap.xml),  и там находится редирект, ведущий на какую-то внутреннюю страницу, на внутренний адрес. Робот не обрабатывает такие файлы sitemap. Файл sitemap обязательно должен возвращать код ответа 200.
3. Критические ошибки внутри самого файла, которые тоже влияют на его обработку. Например, если отсутствует служебная строка с указанием кодировки (<?xml version=”1,0” encoding=”UTF-8”?>). Робот просто проигнорирует такой файл, и не будет использовать его при обходе.

В работе с файлом sitemap вам так же пригодится Валидатор в «Яндекс.Вебмастер», в котором можно проверить все эти ошибки, проверить ваш готовый файл, размещенный на сервере либо на компьютере.  Поможет Стандарт файлов sitemap, переведенный на русский язык.  И, конечно, раздел «Помощь вебмастеру».

Зеркала сайтов

Следующий вопрос, о котором хочется поговорить – это зеркала сайтов. Попробуем с ними разобраться.  Как правило, любой сайт в интернете доступен по двум адресам: http://www.site.ru и  http://site.ru. Для индексирующего робота это два изначально независимых ресурса, они индексируются независимо, и участвуют в поиске независимо друг от друга. Что это значит? Что у одного сайта может быть проиндексировано определенное количество страниц, они будут находиться по таким-то запросам. У второго сайта может быть совсем другая ситуация. И для того, чтобы избежать такого дублирования и перемешки, непонимания, мы используем зеркала сайтов.

Зеркала сайтов – это несколько сайтов, которые обладают одинаковым контентом. В данном случае, это сайты с www или без www, сайты по протоколу https, и адрес сайта на кириллице. Это все распространенные случаи.

Зачем все это нужно? Основная причина, по которой сейчас используются зеркала сайтов – это перенос сайта на новый адрес с сохранением характеристик старого адреса. Например, вы решили сменить доменное имя по каким-либо причинам. Потому что выбрали его 10 лет назад, и сейчас он кажется вам не современным, так как сложно писать  пользователям, которые вбивают его в адресную строку, постоянно делают ошибки. Во-вторых, для того, чтобы предотвратить ошибочные переходы по другим адресам.

В первом случае, если мы совершаем переезд с использованием зеркал, мы сохраняем все характеристики старого сайта для нового.  Соответственно, мы минимизируем какие-либо возможные проблемы.

Каким образом сайты можно сделать зеркалами?

1. Указать роботу на адрес вашего главного зеркала, который должен находиться в результатах поиска. А можно с помощью директивы Host в вашем файле robot.txt. Указали адрес, это будет прямое направление роботу, что нужно включать адрес по определенному адресу в поиск.
2. Сообщить роботу об изменениях, если у вас уже есть сайт с www и без www, можно с помощью соответствующего инструмента «Главное зеркало» в «Яндекс.Вебмастер». Но сам по себе инструмент не позволяет изменить адрес главного зеркала. Это делает именно директива Host.
3. Последний пункт, который я бы рекомендовал использовать, в крайнем случае — это северное перенаправление на главное зеркало. Например, с неглавного зеркала на новый адрес сайта. Почему? Одна из распространённых ошибок при использовании зеркал, это как раз серверное перенаправление.

Допустим ситуацию, что у нас есть два сайта: Сайт А (главное зеркало) и сайт В (не главное зеркало). Сайт А индексируется, участвует в результатах поиска, участвует по запросам. Есть сайт В, сейчас это не главное зеркало, и в выдаче мы его не видим. Мы принимаем решение, что нам нужно включать в результаты поиска именно сайт В. И устанавливаем перенаправление с сайта А на сайт В. Что происходит дальше? Главное наше зеркало (сайт А) перестает участвовать в результатах поиска, потому что сейчас на нем установлено перенаправление и его страницы не доступны для робота. Они начинают исключаться из поисковой выдачи. Сайт В при этом (поскольку является не главным зеркалом) в поиске не участвует, не индексируется и не показывается по каким-либо запросам.

А теперь немного данных из «Яндекс.Метрики». После установки редиректа буквально в течение двух недель страницы сайта начали исключаться из поисковой выдачи, и переходы на сайт снизились. Все это продолжалось  до того момента, когда изменился адрес главного зеркала.

 Типичные ошибки при работе с зеркалами.

Помимо установки редиректа для смены адреса главного зеркала, допускаются еще ряд многочисленных ошибок, основные из которых:

1. Разное содержимое на ваших сайтах при попытке склеить их или объединить в группу зеркал. К примеру, вы хотите одновременно изменить дизайн на вашем сайте и изменить адрес главного зеркала. Чтобы сайты были зеркалами, на них для робота должен находиться один и тот же контент.  В данном случае, я советую делать это поэтапно: сначала делать редизайн, потом менять главное зеркало. Либо наоборот: размещать по старому адресу старый контент, ждать склейки, потом делать редизайн сайта. Чтобы не было проблем. Если контент будет разным, вы не склеите, то потеряете время и посетителей.
2. Вторая распространённая проблема — это переезд вашего сайта в раздел другого ресурса. Например, у вас есть 2 сайта. Один сайт занимается роботами-пылесосами, а второй — бытовой техникой.  Вы решаете, что роботы-пылесосы – это тоже бытовая техника, и что можно объединить их в один большой ресурс. Устанавливаете директиву Host,  и ждете, но ничего не происходит, потому что у вас на одном адресе находится один сайт, а на другом — другой. Директива Host здесь не поможет, и объединить такие сайты в группу зеркал не получится.

В подобных ситуациях можно открывать раздел на вашем большом ресурсе, после того как эти страницы начнут индексироваться можно установить 301 редирект с вашего маленького сайта на этот раздел. К сожалению, склеить сайты в такой ситуации не получится.

1. Еще одна распространенная проблема — это запрет или недоступность вашего старого зеркала.  Бывает так, что вебмастера забывают продлить доменное имя. Спустя какое-то время они покупают доменное имя, хотят объединить данные сайты в группы зеркал. Поскольку доступ к вашему старому сайту уже утерян, склеить такие сайты не получится. Их нельзя склеить как-то вручную, применить какие-то настройки.

Чтобы сайты могли быть склеены, они должны быть доступны для индексирования и находиться в вашем управлении.

1. Последнее по популярности — это противоречивые указания для индексирующего робота о том, по какому адресу сайт должен индексироваться и находиться в поисковой выдаче. Например, в директиве Host вы указали один адрес, редирект поставили по другому адресу. Робот автоматически выберет по своему усмотрению, в соответствии со своими алгоритмами, адрес главного зеркала. Иногда бывает, что это не тот адрес, который вы хотели. Поэтому тут нужно быть внимательным. Если вы решаете переехать на новый домен, все указания должны вести именно на него.

robots.txt недействителен

2 мая 2019 г. • Обновлено 29 мая 2020 г.

Файл robots.txt сообщает поисковым системам, какие страницы вашего сайта они могут сканировать. Недопустимая конфигурация robots.txt может вызвать проблемы двух типов:

• Она может помешать поисковым системам сканировать общедоступные страницы, в результате чего ваш контент будет реже отображаться в результатах поиска.
• Это может привести к тому, что поисковые системы будут сканировать страницы, которые вы не хотите показывать в результатах поиска.

Как происходит сбой аудита Lighthouse

Недопустимые флаги Lighthouse robots.txt files:

Большинство проверок Lighthouse применяется только к той странице, на которой вы сейчас находитесь. Однако, поскольку robots.txt определен на уровне имени хоста, этот аудит применяется ко всему вашему домену (или субдомену).

Разверните robots.txt недействителен audit в вашем отчете, чтобы узнать, что не так с вашими роботами .txt .

Общие ошибки включают:

• Не указан пользовательский агент
• Шаблон должен быть пустым, начинаться с "/" или "*"
• Неизвестная директива
• Неверный URL карты сайта
• $ следует использовать только в конце шаблона.

Lighthouse не проверяет правильность расположения файла robots.txt . Для правильной работы файл должен находиться в корне вашего домена или субдомена.

Как исправить проблемы с

Убедитесь, что

Если ваш сервер возвращает ошибку сервера (код состояния HTTP в 500) для robots.txt поисковые системы не будут знать, какие страницы следует сканировать. Они могут перестать сканировать весь ваш сайт, что предотвратит индексацию нового содержания.

Чтобы проверить код состояния HTTP, откройте robots.txt в Chrome и проверьте запрос в Chrome DevTools.

Оставить

Поисковые системы могут прекратить обработку robots.txt на полпути, если размер файла превышает 500 КиБ. Это может сбить с толку поисковую систему и привести к некорректному сканированию вашего сайта.

Чтобы robots.txt оставался маленьким, меньше сосредотачивайтесь на отдельных исключенных страницах и больше на более широких шаблонах. Например, если вам нужно заблокировать сканирование файлов PDF, не запрещайте каждый отдельный файл. Вместо этого запретите все URL-адреса, содержащие .pdf с использованием disallow: /*.pdf .

Исправьте любые ошибки формата #

• В файле robots.txt разрешены только пустые строки, комментарии и директивы, соответствующие формату «имя: значение».
• Убедитесь, что allow и disallow Значения либо пусты, либо начинаются с / или * .
• Не используйте $ в середине значения (например, allow: / file $ html ).

Убедитесь, что есть значение для

User-agent names, чтобы сообщить сканерам поисковых систем, каким директивам следовать.Вы должны указать значение для каждого экземпляра user-agent , чтобы поисковые системы знали, следует ли следовать соответствующему набору директив.

Чтобы указать конкретный сканер поисковой системы, используйте имя пользовательского агента из его опубликованного списка. (Например, вот список пользовательских агентов Google, используемых для сканирования.)

Используйте * для сопоставления со всеми другими поисковыми роботами, не имеющими аналогов.

Не

  user-agent: 
 disallow: / downloads /  

Пользовательский агент не определен.

Do

  user-agent: * 
 disallow: / downloads / 
 user-agent: magicsearchbot 
 disallow: / uploads / 
  

Определены общий пользовательский агент и пользовательский агент magicsearchbot .

Убедитесь, что нет директив

Имена пользовательских агентов определяют разделы вашего файла robots.txt . Сканеры поисковых систем используют эти разделы, чтобы определить, каким директивам следовать.Размещение директивы перед именем первого пользовательского агента означает, что никакие сканеры не будут следовать ей.

Не

  # начало файла 
 disallow: / downloads / 
 user-agent: magicsearchbot 
 allow: / 
  

Никакой поисковый робот не прочитает директиву disallow: / downloads .

Do

  # начало файла 
 user-agent: * 
 disallow: / downloads /  

Всем поисковым системам запрещено сканировать папку / downloads .

Сканеры поисковой системы следуют только директивам в разделе с наиболее конкретным именем пользовательского агента. Например, если у вас есть директивы для user-agent: * и user-agent: Googlebot-Image , изображения Googlebot будут следовать только директивам в разделе user-agent: Googlebot-Image .

Предоставьте абсолютный URL-адрес для

Файлы Sitemap — отличный способ сообщить поисковым системам о страницах вашего веб-сайта. Файл карты сайта обычно включает в себя список URL-адресов на вашем веб-сайте вместе с информацией о том, когда они в последний раз были изменены.

Если вы решили отправить файл карты сайта в robots.txt , убедитесь, что используете абсолютный URL.

Не

  карта сайта: /sitemap-file.xml  

Do

  карта сайта: https://example.com/sitemap-file.xml  

Ресурсы #

Как я могу управлять ботами, пауками и краулерами? — База знаний DreamHost

Обзор

Боты, пауки и другие поисковые роботы, обращающиеся к вашим динамическим страницам, могут вызвать чрезмерное использование ресурсов (памяти и ЦП).Это может привести к высокой нагрузке на сервер и замедлить работу вашего сайта (ов).

Один из способов уменьшить нагрузку на сервер от ботов, пауков и других поисковых роботов — создать файл robots.txt в корне вашего веб-сайта. Это сообщает поисковым системам, какой контент на вашем сайте они должны и не должны индексировать. Это может быть полезно, например, если вы хотите исключить часть своего сайта из индекса поисковой системы Google.

Если вы предпочитаете не создавать этот файл самостоятельно, вы можете попросить DreamHost создать его автоматически (для каждого домена) на странице Block Spiders.

Хотя большинство основных поисковых систем соблюдают директивы robots.txt, этот файл действует только как предложение для соответствующих поисковых систем и не препятствует доступу поисковым системам (или другим подобным инструментам, таким как электронная почта / парсер) контент или сделать его доступным.

Роботы-блокираторы

Проблема может заключаться в том, что Google, Yahoo или другой бот поисковой системы просматривает ваш сайт чрезмерно. (Это проблема, которая подпитывается сама собой; если бот не может завершить поиск из-за нехватки ресурсов, он может запускать один и тот же поиск снова и снова.)

Блокировка роботов Google

В следующем примере IP-адрес 66.249.66.167 был найден в вашем журнале access.log. Вы можете проверить, какой компании принадлежит этот IP-адрес, выполнив команду «host» через SSH:

 [сервер] $ host 66.249.66.167
167.66.249.66.in-addr.arpa указатель имени домена crawl-66-249-66-167.googlebot.com.
 

Чтобы заблокировать этого робота Google, используйте в файле robots.txt следующую строку:

 # уходи, Googlebot
Пользовательский агент: Googlebot
Disallow: / 

Расшифровка полей вверху:

# уходи

Это комментарий, который используется только для того, чтобы вы знали, почему вы создали это правило.

Пользовательский агент

Имя бота, к которому будет применяться следующее правило.

Запретить

Путь к URL-адресу, который вы хотите заблокировать. Эта косая черта означает, что весь сайт будет заблокирован.

Просмотрите дополнительную информацию о роботах Google, нажав следующее:

Блокировка Yahoo

Yahoo подчиняются правилу задержки сканирования в robots.txt, которое ограничивает их активность при загрузке. Например, чтобы указать Yahoo не загружать страницу чаще, чем раз в 10 секунд, вы должны добавить следующее:

 # замедлить Yahoo
Пользовательский агент: Slurp
Задержка сканирования: 10 

Расшифровка полей вверху:

# замедлить Yahoo

Это комментарий, который используется только для того, чтобы вы знали, почему вы создали это правило.

Агент пользователя: Slurp

Slurp — это имя пользовательского агента Yahoo. Вы должны использовать это, чтобы заблокировать Yahoo.

Задержка сканирования

Указывает агенту пользователя ждать 10 секунд между каждым запросом к серверу.

Просмотрите дополнительную информацию о роботах Yahoo, щелкнув следующее:

Замедление хороших ботов

Используйте следующее, чтобы замедлить некоторых, но не всех хороших ботов:

 Агент пользователя: * 
 Задержка сканирования: 10 

Расшифровка полей вверху:

Пользовательский агент: *

Относится ко всем User-agent.

Задержка сканирования

Указывает агенту пользователя ждать 10 секунд между каждым запросом к серверу.

Блокировка всех ботов

Запретить всех ботов:

 Агент пользователя: *
Disallow: / 

Чтобы запретить их использование в определенной папке:

 Агент пользователя: *
Запретить: / yourfolder / 

Плохие боты могут использовать этот контент как список целей.

Расшифровка полей вверху:

Пользовательский агент: *

Относится ко всем User-agent.

Запрещено: /

Запрещает индексацию всего.

Запретить: / yourfolder /

Запрещает индексирование этой отдельной папки.

Будьте осторожны

Блокирование всех ботов (User-agent: *) со всего вашего сайта (Disallow: /) приведет к деиндексированию вашего сайта в законных поисковых системах. Также обратите внимание, что плохие боты, скорее всего, проигнорируют ваш файл robots.txt, поэтому вы можете заблокировать их пользовательский агент с расширением.htaccess файл.

Плохие боты могут использовать ваш файл robots.txt в качестве целевого списка, поэтому вы можете пропустить перечисление каталогов в файле robots.txt. Плохие боты также могут использовать ложные или вводящие в заблуждение пользовательские агенты, поэтому блокировка пользовательских агентов с помощью .htaccess может работать не так, как ожидалось.

Если вы не хотите никого блокировать, это хороший файл robots.txt по умолчанию:

В этом случае вам может потребоваться удалить robots.txt, если вы не возражаете против 404 запросов в ваших журналах.

DreamHost рекомендует блокировать только определенные пользовательские агенты и файлы / каталоги, а не *, если вы не уверены на 100%, что хотите.

Блокировка плохих ссылок

Для получения подробных инструкций, пожалуйста, посетите статью о том, как блокировать рефереры.

См. Также

Управление поисковыми системами и поисковыми роботами с помощью файла robots.txt

Вы можете указать, какие разделы вашего сайта вы хотите, чтобы поисковые системы и веб-сканеры индексировали, а какие разделы они должны игнорировать. Для этого вы указываете директивы в файле robots.txt и помещаете файл robots.txt в корневой каталог вашего документа.

Директивы, которые вы указываете в файле robots.txt, являются только запросами. Хотя большинство поисковых систем и многие сканеры соблюдают эти директивы, они не обязаны это делать. Поэтому никогда не следует полагаться на файл robots.txt, чтобы скрыть контент, который вы не хотите индексировать.

Использование директив robots.txt

Директивы, используемые в файле robots.txt, просты и понятны. Наиболее часто используемые директивы: User-agent , Disallow и Crawl-delay .Вот несколько примеров:

Пример 1. Указать всем сканерам доступ ко всем файлам

 Агент пользователя: *
Disallow: 

В этом примере любой искатель (указанный в директиве User-agent и подстановочном знаке звездочки) может получить доступ к любому файлу на сайте.

Пример 2. Дайте указание всем сканерам игнорировать все файлы

 Агент пользователя: *
Disallow: / 

В этом примере всем сканерам дано указание игнорировать все файлы на сайте.

Пример 3. Дайте указание всем сканерам игнорировать конкретный каталог

 Агент пользователя: *
Запретить: / scripts / 

В этом примере всем поисковым роботам предписывается игнорировать каталог сценариев .

Пример 4. Указать всем сканерам игнорировать определенный файл

 Агент пользователя: *
Запретить: /documents/index.html 

В этом примере всем поисковым роботам предписывается игнорировать каталог documents / index.html .

Пример 5. Управление интервалом сканирования

 Агент пользователя: *
Задержка сканирования: 30 

В этом примере всем поисковым роботам предписывается ждать не менее 30 секунд между последовательными запросами к веб-серверу.

Дополнительная информация

Для получения дополнительной информации о robots.txt, посетите http://www.robotstxt.org.

Что такое файл Robots.txt?

Используйте файл robots.txt, чтобы указать сканерам поисковых систем, какие страницы сканировать, а какие игнорировать. Небольшая ошибка в файле robots.txt может иметь серьезные последствия.

Содержание

Что такое файл Robots.txt?

Файл robots.txt — это просто текстовый файл в каталоге вашего веб-сайта, который указывает сканерам поисковых систем, какие страницы веб-сайта сканировать, а какие игнорировать.Эти инструкции сканирования определяются как «запрещение» или «разрешение» поведения определенного (или всего) программного обеспечения для сканирования Интернета.

Как работает Robots.txt?

Файл robots.txt является частью протокола исключения роботов (REP), конгломерата стандартов, которые регулируют, как роботы сканируют Интернет, получают доступ и индексируют контент, а также предоставляют этот контент пользователям. REP также включает в себя указания, такие как мета-роботы, а также инструкции для страницы, подкаталога или всего веб-сайта о том, как поисковые системы должны обрабатывать ссылки (например, «nofollow» или «follow»).

Пример файла robots.txt:

Ниже приведены некоторые примеры использования robots.txt для сайта www.example.com: URL файла robots.txt: www.example.com/robots.txt

Блокирование доступа всех поисковых роботов к содержимому

Эта инструкция говорит всем поисковым роботам не сканировать никакие страницы на www.example.com, включая домашнюю страницу.

Пользовательский агент: *
Запретить: /

Разрешение всем поисковым роботам доступа ко всему контенту

Приведенное ниже правило предписывает поисковым роботам сканировать все страницы на www.example.com, включая домашнюю страницу.

Пользовательский агент: * Позволять:

Блокировка определенного поискового робота из определенной папки

User-agent: Googlebot
Disallow: / example-subfolder /

Этот синтаксис дает указание только сканеру Google сканировать любые страницы, содержащие строку URL www.example.com/example-subfolder/.

Блокировка определенного поискового робота с определенной веб-страницы

Пользовательский агент: Bingbot
Disallow: / example-subfolder / blocked-page.html

Этот синтаксис дает указание только сканеру Bing избегать сканирования точной страницы по адресу www.example.com/example-subfolder/blocked-page.html.

Бесплатная пробная версия SiteGuru

Проверьте свои неиндексированные страницы с помощью полного SEO-аудита SiteGuru

Как работает robots.txt?

Поисковые системы преследуют две основные цели:

• Для сканирования Интернета для обнаружения содержимого
• Чтобы проиндексировать этот контент, чтобы его могли найти люди, ищущие информацию.

В целом, чтобы сканировать веб-сайты, поисковые системы переходят по ссылкам с одного веб-сайта на другой, в конечном итоге просматривая миллиарды ссылок и сайтов. Такое ползание иногда называют «пауками». Оказавшись на веб-сайте и перед тем, как запустить поиск, сканеры ищут файл robots.txt. Если он существует, они прочитают его, прежде чем продолжить просмотр страницы. Если файл robots.txt не содержит правила запрета или на веб-сайте нет файла robots.txt, сканеры продолжат сканирование другой информации на веб-сайте.

Другой быстрый файл robots.txt, который необходимо знать:

• Чтобы его можно было найти, файл robots.txt должен быть помещен в каталог верхнего уровня веб-сайта.
• Файл /robots.txt общедоступен. Просто добавьте /robots.txt в конец любого корневого домена, чтобы увидеть директивы этого веб-сайта (если на этом сайте есть файл robots.txt!). Это означает, что любой может увидеть, какие страницы вы настроили сканировать или не сканировать. Таким образом, не используйте их для сокрытия конфиденциальной информации пользователя.
• Некоторые роботы могут решить игнорировать ваших роботов.txt файл. Это особенно характерно для более предосудительных поисковых роботов, таких как парсеры адресов электронной почты или вредоносные роботы.
• Каждый субдомен в корневом домене использует отдельные файлы robots.txt. Это означает, что и example.com, и blog.example.com должны иметь свои собственные файлы robots.txt (по адресу example.com/robots.txt и blog.example.com/robots.txt).
• Robots.txt чувствителен к регистру: файл должен называться «robots.txt» (не robots.TXT, Robots.txt и т. Д.).
• Рекомендуется указывать расположение любых файлов Sitemap, связанных с этим доменом, в нижней части файла robots.txt файл.

Технический синтаксис robots.txt

Moz определяет синтаксис robots.txt следующим образом: Синтаксис robots.txt можно рассматривать как «язык» файлов robots.txt. Есть 5 общих терминов, которые вы, вероятно, встретите в файле robots. Они включают:

• User-agent: Конкретный поисковый робот, которому вы даете инструкции для обхода — обычно это поисковая система. Здесь можно найти большинство пользовательских агентов.
• Разрешить (действует только для робота Googlebot): Эта директива указывает роботу Googlebot доступ к странице или подпапке, даже если его родительская страница или подпапка могут быть запрещены.
• Disallow: Директива указывает агенту пользователя не сканировать определенный URL. Обратите внимание, что для каждого URL разрешена только одна строка «Disallow:».
• Sitemap: Используется для вызова местоположения любых XML-файлов Sitemap, связанных с этим URL. Кончик! эта директива поддерживается только Ask, Bing, Google и Yahoo.
• Задержка сканирования: Относится к количеству секунд, в течение которых поисковый робот должен ждать перед загрузкой и сканированием содержимого страницы.Кончик! Робот Googlebot не распознает это правило; однако скорость сканирования можно установить в Google Search Console.

Сопоставление с образцом

Когда дело доходит до точных URL-адресов, которые нужно разрешить или заблокировать, файлы robots.txt могут быть довольно сложными, поскольку они позволяют использовать сопоставление с шаблоном для охвата диапазона возможных вариантов URL. И Bing, и Google признают два общих выражения, которые можно использовать для определения страниц или подпапок, которые оптимизатор поисковых систем хочет исключить. Эти два символа — знак доллара ($) и звездочка (*).($) Соответствует концу URL-адреса, а (*) — это подстановочный знак, представляющий любую последовательность символов. Google предоставляет здесь отличный список возможных синтаксисов и примеров сопоставления с образцом.

Куда девать robots txt?

Файл robots.txt должен быть размещен в корне хоста сайта, к которому он применяется. Например, для управления сканированием всех URL-адресов ниже http://www.example.com/ файл robots.txt должен находиться по адресу http://www.example.com/robots.txt. Он не может находиться в подкаталоге (например, по адресу http: // example.ru / pages / robots.txt). Если вы не уверены в том, как получить доступ к корню вашего сайта или вам нужно разрешение, обратитесь к поставщику услуг веб-хостинга. Совет профессионала! Если вы не можете получить доступ к корню своего веб-сайта, используйте альтернативный метод блокировки, например метатеги.

Почему важен robots.txt?

Чтобы заблокировать закрытые страницы

Да, иногда на вашем веб-сайте могут быть страницы, которые вы не хотите индексировать, например страница входа.Если у вас есть такие страницы, можно использовать robots.txt, чтобы заблокировать их от роботов и роботов поисковых систем.

Максимальное увеличение краулингового бюджета

Если вам сложно проиндексировать все свои страницы, у вас может быть сбой краулингового бюджета. Блокируя незначительные страницы с помощью файла robots.txt, робот Googlebot может тратить большую часть вашего краулингового бюджета на наиболее важные страницы.

Запрет индексации ресурсов

Хотя мета-директивы могут работать так же хорошо, как robots.txt, чтобы предотвратить индексацию страниц, они не подходят для мультимедийных ресурсов, таких как изображения и PDF-файлы. Вот где в игру вступает robots.txt. Бонус! Вы всегда можете проверить, сколько веб-страниц вы проиндексировали, в Google Search Console. Если это именно то число, которое вы хотите проиндексировать, не беспокойтесь. Но если это не так, то для вашего сайта необходимо создать файл robots.txt.

Рекомендации по поисковой оптимизации

• Убедитесь, что вы не блокируете какой-либо контент или разделы вашего сайта, которые нужно сканировать.
• Не используйте robots.txt, чтобы конфиденциальные данные не появлялись в результатах поисковой выдачи. Это связано с тем, что другие страницы могут напрямую ссылаться на страницу, содержащую личную информацию, которая все еще может быть проиндексирована. Если вы действительно хотите заблокировать свою страницу из результатов поиска, используйте другой метод, например метадирективу noindex или защиту паролем.
• Ссылки на страницах, заблокированных файлом robots.txt, переходить не будут. Это означает:

• Если они также не связаны с другими страницами, доступными для поисковых систем (например, страницы, не заблокированные через robots.txt, мета-роботы и т. д.) связанные ресурсы не будут сканироваться и не могут быть проиндексированы.
• Невозможно передать эквити ссылки с заблокированной страницы на место назначения ссылки. Если у вас есть страницы, на которые вы хотите передать средства, используйте другой механизм блокировки, отличный от robots.txt.

• В некоторых поисковых системах используется несколько сканеров. Например, Google использует Googlebot-Image для поиска изображений и Googlebot для обычного поиска. Большинство сканеров одной поисковой системы следуют одним и тем же правилам, поэтому нет необходимости определять правила для каждого из нескольких сканеров поисковой системы.Однако такая возможность позволяет вам оптимизировать сканирование вашего веб-сайта.

• Сделайте ваш файл robots.txt удобным для поиска. Сразу у вас есть файл robots.txt; пора оживить его. Хотя вы можете разместить его в любом основном каталоге своего веб-сайта, мы рекомендуем разместить его по адресу https://example.com/robots.txt и записать его в нижнем регистре, чтобы увеличить шансы. Обратите внимание, что ваш файл robots.txt чувствителен к регистру. Поэтому убедитесь, что в имени файла используется строчная буква «r».
• Поисковая система кэширует содержимое robots.txt, но обычно обновляет кэшированное содержимое не реже одного раза в день. Если вы изменили файл и хотите обновить его быстрее, чем есть, вы можете отправить URL-адрес robots.txt в Google.

Robots.txt против мета-роботов против x-роботов

В чем разница между этими тремя типами директив роботов? Просто robots.txt — это фактический текстовый файл, тогда как мета и x-роботы — это метадирективы. Помимо этого, эти три функции выполняют разные функции.Robots.txt определяет поведение сканирования веб-сайта или каталога. С другой стороны, мета и x-роботы могут определять поведение индексации на уровне отдельной страницы (или элемента страницы).

роботов-текст-парсер — npm

Легкий парсер robots.txt для Node.js с поддержкой подстановочных знаков, кеширования и обещаний.

Установка

Через NPM: npm install robots-txt-parser --save .

Начало работы

После установки robots-txt-parser необходимо запросить и инициализировать:

 const robotsParser = require ('robots-txt-parser');
const robots = robotsParser (
  {
    userAgent: 'Googlebot', // Пользовательский агент по умолчанию для использования при поиске разрешающих / запрещающих правил, если этого агента нет в списке активных robots.txt мы используем *.
    allowOnNeutral: false // Значение, которое будет использоваться, когда правила robots.txt для разрешения и запрета сбалансированы в зависимости от того, можно ли сканировать ссылку.
  }); 

Пример использования:

 const robotsParser = require ('robots-txt-parser');

const robots = robotsParser (
  {
    userAgent: 'Googlebot', // Пользовательский агент по умолчанию для использования при поиске разрешающих / запрещающих правил, если этот агент не указан в активном robots.txt, мы используем *.
    allowOnNeutral: false // Значение, которое будет использоваться, когда robots.txt для разрешения и запрета сбалансированы в зависимости от того, можно ли сканировать ссылку.
  });

robots.useRobotsFor ('http://Example.com')
  .then (() => {
    robots.canCrawlSync ('http://example.com/news'); // Возвращает истину, если ссылку можно просканировать, и ложь, если нет.
    robots.canCrawl ('http://example.com/news', (значение) => {
      console.log ('Сканируемый:', значение);
    }); // Вызывает обратный вызов со значением true, если ссылка доступна для сканирования, и false в противном случае.
    robots.canCrawl ('http://example.com/news') // Если обратный вызов не предоставлен, возвращает обещание, которое разрешается со значением true, если ссылка доступна для сканирования, и false в противном случае..then ((значение) => {
        console.log ('Сканируемый:', значение);
      });
  }); 

Документы

parseRobots (ключ, строка)

Анализирует строковое представление файла robots.txt и кеширует его с заданным ключом.

isCached (домен)

Метод, используемый для проверки того, был ли уже извлечен и проанализирован файл robots.txt.

Параметры

• домен -> Может быть любой URL.

Возвращает

Возвращает истину, если файл robots.txt уже был извлечен и кэширован анализатором robots-txt-parser.

Пример

 robots.isCrawled ('https://example.com'); // правда или ложь
robots.isCrawled ('example.com'); // Пытается проверить кеш только на http: // и возвращает true или false. 

выборка (URL)

Пытается получить и проанализировать файл robots.txt, расположенный по URL-адресу, этот метод позволяет избежать проверки встроенного кеша и всегда будет пытаться получить новую копию robots.txt.

Параметры

Возвращает

Возвращает обещание, которое разрешится после того, как robots.txt был получен с помощью проанализированного файла robots.txt.

Пример

 robots.fetch ('https://example.com/robots.txt')
    .then ((дерево) => {
        console.log (Object.keys (дерево)); // Будет регистрировать карту сайта и любые пользовательские агенты.
    }); 

useRobotsFor (url)

Пытается загрузить и использовать robots.txt по заданному URL-адресу, если файл robots.txt уже был загружен, вместо этого выполняется чтение из кэшированной копии.

Параметры

Возвращает

Возвращает предложение, которое разрешается после получения и анализа URL-адреса.

Пример

 robots.useRobotsFor ('https://example.com/news')
    .then (() => {
        // Логика проверки возможности сканирования ссылок.
    }); 

canCrawl (URL, обратный вызов)

Проверяет, можно ли сканировать URL-адрес для текущего активного файла robots.txt и пользовательского агента. Если файл robots.txt не кэширован для домена URL-адреса, он извлекается и анализируется перед возвратом логического значения.

Параметры

• url -> Любой URL.
• обратный вызов -> Дополнительный обратный вызов, если undefined возвращает обещание.

Возвращает

Возвращает обещание, которое разрешается с помощью логического значения.

Пример

 robots.canCrawl ('https://example.com/news')
    .then ((сканирование) => {
        console.log (доступный для сканирования); // Запишем логическое значение.
    }); 

canCrawlSync (URL)

Проверяет, можно ли сканировать URL-адрес для текущего активного файла robots.txt и пользовательского агента. Это не будет пытаться получить файл robots.txt, если он не кэширован.

Параметры

Возвращает

Возвращает логическое значение в зависимости от того, доступен ли URL-адрес для сканирования.Если для этого URL-адреса нет кешированного файла robots.txt, он всегда будет возвращать значение true.

Пример

 robots.canCrawlSync ('https://example.com/news') // правда или ложь. 

getSitemaps (обратный вызов)

Возвращает список карт сайта, имеющихся в активном файле robots.txt.

Параметры

• обратный вызов -> Дополнительный обратный вызов, если undefined возвращает обещание.

Возвращает

Возвращает обещание, которое разрешается с помощью массива строк.

Пример

 robots.getSitemaps ()
    .then ((карты сайта) => {
        console.log (карты сайта); // Запишем список строк.
    }); 

getSitemapsSync ()

Возвращает список карт сайта, имеющихся в активном файле robots.txt.

Параметры

Нет

Возвращает

Массив строк.

Пример

 robots.getSitemapsSync (); // Будет массивом, например. ['http://example.com/sitemap1.xml', 'http: // example.ru / sitemap2.xml ']. 

getCrawlDelay (обратный вызов)

Возвращает задержку сканирования по запросам к текущему активному robots.txt.

Параметры

• обратный вызов -> Дополнительный обратный вызов, если undefined возвращает обещание.

Возвращает

Возвращает обещание, которое разрешается целым числом.

Пример

 robots.getCrawlDelay ()
    .then ((crawlDelay) => {
        console.log (crawlDelay); // Будет целым числом больше или равным 0.}); 

getCrawlDelaySync ()

Возвращает задержку сканирования, указанную в активном файле robots.txt для активного пользовательского агента.

Параметры

Нет

Возвращает

Целое число, большее или равное 0.

Пример

 robots.getCrawlDelaySync (); // Будет целым числом. 

getCrawlableLinks (ссылки, обратный вызов)

Принимает массив ссылок и возвращает массив ссылок, которые можно сканировать. для текущих активных роботов.текст.

Параметры

• ссылок -> Массив ссылок для проверки возможности сканирования.
• обратный вызов -> Дополнительный обратный вызов, если undefined возвращает обещание.

Возвращает

Обещание, которое будет содержать массив всех доступных для сканирования ссылок.

Пример

 robots.getCrawlableLinks ([])
    .then ((ссылки) => {
        console.log (ссылки);
    }); 

getCrawlableLinksSync (ссылки)

Принимает массив ссылок и возвращает массив ссылок, которые можно сканировать. для текущих активных роботов.текст.

Параметры

• ссылок -> Массив ссылок для проверки возможности сканирования.

Возвращает

Массив всех ссылок, доступных для сканирования.

Пример

 robots.getCrawlableLinks (['example.com/test/news', 'example.com/test/news/article']); // Вернет массив ссылок, которые можно сканировать. 

getPreferredHost (обратный вызов)

Возвращает предпочтительное имя хоста, указанное в директиве host: активного файла robots.txt, или null, если его нет.

Параметры

• обратный вызов -> Дополнительный обратный вызов, если undefined возвращает обещание.

Возвращает

Строка, если хост определен, в противном случае не определено.

Пример

 robots.getPreferredHost ()
    .then ((хост) => {
        console.log (хост);
    }); 

getPreferredHostSync ()

Возвращает предпочтительное имя хоста, указанное в директиве host: активного файла robots.txt или undefined, если его нет.

Параметры

Нет

Возвращает

Строка, если хост определен, в противном случае не определено.

Пример

 robots.getPreferredHostSync (); // Будет строкой, если указана директива host. 

setUserAgent (пользовательский агент)

Устанавливает текущий агент пользователя для использования при проверке возможности сканирования ссылки.

Параметры

Возвращает

неопределенный

Пример

 роботов.setUserAgent ('exampleBot'); // Теперь при взаимодействии с robots.txt мы ищем записи для exampleBot.
robots.setUserAgent ('testBot'); // Теперь при взаимодействии с robots.txt ищем записи для testBot. 

setAllowOnNeutral (разрешить)

Устанавливает для поведения canCrawl возврат значения true или false, когда правила robots.txt сбалансированы относительно того, следует ли сканировать ссылку или нет.

Параметры

• разрешить -> логическое значение.

Возвращает

неопределенный

Пример

 роботов.setAllowOnNeutral (истина); // Если правила разрешения / запрета сбалансированы, canCrawl возвращает true.
robots.setAllowOnNeutral (ложь); // Если правила разрешения / запрета сбалансированы, canCrawl вернет false. 

См. Файл ЛИЦЕНЗИИ.

Robots.txt: Как создать идеальный файл для SEO

В этой статье мы расскажем, что такое robot.txt в SEO, как он выглядит и как его правильно создать. Это файл, который отвечает за блокировку индексации страниц и даже всего сайта.Неправильная структура файла — частая ситуация даже среди опытных SEO-оптимизаторов, поэтому остановимся на типичных ошибках при редактировании robot.txt.

Что такое Robots.txt?

Robots.txt — это текстовый файл, информирующий поисковых роботов о том, какие файлы или страницы закрыты для сканирования и индексации. Документ размещается в корневом каталоге сайта.

Давайте посмотрим, как работает robot.txt. У поисковых систем две цели:

1. Для сканирования сети для обнаружения контента;
2. Индексировать найденный контент, чтобы показывать его пользователям по идентичным поисковым запросам.

Для индексации поисковый робот посещает URL-адреса с одного сайта на другой, просматривая миллиарды ссылок и веб-ресурсов. После открытия сайта система ищет файл robots.txt. Если сканер находит документ, он сначала сканирует его, а после получения от него инструкций продолжает сканирование страницы.

Если в файле нет директив или он не создается вообще, робот продолжит сканирование и индексацию без учета данных о том, как система должна выполнять эти действия.Это может привести к индексации нежелательного содержания поисковой системой.

Но многие SEO-специалисты отмечают, что некоторые поисковые системы игнорируют инструкции в файле robot.txt. Например, парсеры электронной почты и вредоносные robots. Google также не воспринимает документ как строгую директиву, но рассматривает его как рекомендацию при сканировании страницы.

User-agent и основные директивы

Агент пользователя

У каждой поисковой системы есть свои собственные пользовательские агенты.Robots.txt прописывает правила для каждого. Вот список самых популярных поисковых ботов:

• Google: Googlebot
• Bing: Bingbot
• Yahoo: Slurp
• Baidu: Baiduspider

При создании правила для всех поисковых систем используйте этот символ: (*). Например, давайте создадим бан для всех роботов, кроме Bing. В документе это будет выглядеть так:

Агент пользователя: *

Запрещено: /

Агент пользователя: Bing

Разрешить: /

Роботы.txt может содержать различное количество правил для поисковых агентов. При этом каждый робот воспринимает только свои директивы. То есть, инструкции для Google, например, не актуальны для Yahoo или какой-либо другой поисковой системы. Исключение будет, если вы укажете один и тот же агент несколько раз. Тогда система выполнит все директивы.

Важно указать точные имена поисковых ботов; в противном случае роботы не будут следовать указанным правилам.

Директивы

Это инструкции по сканированию и индексации сайтов поисковыми роботами.

Поддерживаемые директивы

Это список директив, поддерживаемых Google:

1. Запретить

Позволяет закрыть доступ поисковых систем к контенту. Например, если вам нужно скрыть каталог и все его страницы от сканера для всех систем, то файл robots.txt будет иметь следующий вид:

Агент пользователя: *

Disallow: / catalog /

Если это для конкретного краулера, то это будет выглядеть так:

Пользовательский агент: Bingbot

Disallow: / catalog /

Примечание: Укажите путь после директивы, иначе роботы его проигнорируют.

2. Разрешить

Это позволяет роботам сканировать определенную страницу, даже если она была ограничена. Например, вы можете разрешить поисковым системам сканировать только одно сообщение в блоге: