Директива host для яндекса: настройка главного зеркала в Яндекс

О прекращении дальнейшей поддержки директивы Host специалисты Яндекс сообщили вебмастерам в профильном блоге компании 12 марта. Официальные подтверждения реализации появились уже 20 марта. Дополнительно разработчики поисковой системы опубликовали инструкции по осуществлению переезда с применением редиректа 301.

Основной задачей директивы Host было пояснение для робота-зеркальщика с указанием на главное зеркало. Host появилась еще в первой половине 2000-х годов на базе поисковой системы Рамблер, а спустя некоторое время начала активно применяться и другими поисковиками российских компаний. Сегодня директива остается активной в документации Mail.Ru. Западный интернет-гигант Google никогда не работал с директивой Host.

На протяжении многих лет поисковая система Яндекс применяла Host для внесения рекомендаций с отметкой главного зеркала, что осуществлялось вместе с серверным редиректом. Функция определения направления с предпочтительным доменом для дальнейшего индексирования страниц формата «www» или без него была внедрена еще в 2011 году. Тогда на базе специального сервиса «Яндекс.Вебмастер» поисковик установил инструмент под названием «Главное зеркало». Разработчики указывали, что подобный механизм указания главного зеркала сайта отличается большим потенциалом и возможностями в сравнении с директивой Host, однако уступает редиректу 301 и 302.

Даже при акцентировании внимания вебмастеров на преобладание сервисного редиректа в сравнении с другими методами представители поисковой системы Яндекс ни разу не выступали с рекомендациями о его применении. В рамках применения редиректа классической особенностью был процесс выпадения ресурса из индекса поисковика до тех пор, пока осуществляется индексация сайта, адрес которого указан в редиректе.

Результатом становился слишком долгий переход поискового трафика и оказывающих влияние на характеристики позиций в пользу главного зеркала от второстепенного. В ряде случаев выполнение процесса могло растянуться на несколько месяцев. Директива Host была эффективной и надежной альтернативой для выполнения переклейки главного зеркала. Основная причина заключается в том, что отмеченный в качестве второстепенного зеркала ресурс сохранялся в индексе до проведения переклейки.

Необходимость замены второстепенных и главных зеркал местами подробно рассматривал Платон Щукин. Он отметил, что процедура практически идентична классической склейке, однако применять для переезда редирект не стоит. Щукин указывал на перекрытие доступа к главному зеркалу по причине редиректа, а основной целью редиректа станет второстепенное зеркало, которое не сможет попасть в выдачу. Для решения проблемы желательно применять директиву «Host: https://site.ru» в рамках «Переезда сайта». Тогда изменение адреса в поиске будет осуществлено всего через несколько недель.

Теперь описанный совет можно считать устаревшим и недействительным для поисковой системы Яндекс. Разработчики при отмене директивы Host обратили внимание на то, что при выполнении переклейки сайта с использованием постраничной настройки редиректа 301 можно завершить процесс в течение нескольких дней. Подобный результат потенциально доступен только в случае применения инструмента «Переезд сайта» в конфигурации с редиректом 301.

На практике использовать функцию «Переезд сайта» допускается для выполнения склейки зеркал без внесения параметров в редирект. Проблемой такого технического решения станет срок выполнения задачи, который составляет несколько недель. Следует обратить внимание, что второстепенное зеркало сохранится в поисковой выдаче. По этой причине владельцы сайтов готовы обращаться к данному методу и выделять необходимое для осуществления процесса время с целью исключения риска потери трафика.

В ситуациях, при которых вебмастер не может выполнить подтверждение прав каждого из сайтов, подходит вариант только с применением редиректа 301 без использования функции «Переезд сайтов». Проведение склейки ресурсов без инструмента «Переезд сайта» дополнительно подходит для условий, когда ресурс переносится по причине наложения поисковых санкций. По причине того, что функция «Переезд сайта» работает только при выполнении подтверждения прав собственности на каждый из сайтов, санкции Яндекс против первого могут после выполнения процедуры перейти на второй ресурс.

Если поисковая система не располагает достоверными сведениями о возможных связях между владельцами подлежащих склейке ресурсов, Яндексу необходимо полностью исключить вероятность нанесения вреда конкурентам в ситуации подклейки ранее скомпрометированного ресурса, который станет второстепенным зеркалом с дальнейшим переносом санкций. В данном случае поисковая система проводит оценку вероятности присутствия связи между владельцами ресурсов на базе косвенных признаков, к числу которых относятся контент и структура до выполнения переезда.

В рамках внесенных поисковой системой Яндекс корректировок в процедуру переезда следует акцентировать внимание на потенциальные изменения степени полноты данных при переносе параметров ресурса на домен. Ранее при склейке зеркал сайтов на главное с второстепенного переходили не все основные характеристики. Была исключена возможность изменить возраст сайта, что исключало выполнение искусственного повышения возраста ресурса при помощи применения специальных «дропов».

Ситуация с отказом от поддержки директивы Host с целью активного использования редиректа 301 – новый шаг со стороны руководства Яндекс в пользу приближения имеющихся функциональных параметров к возможностям системы Google. Крупнейший западный поисковик с самого начала применял редирект 301, который является главной процедурой для отметки главного зеркала при склейке.

В течение 2017 года Яндекс постепенно отказывался от некоторых операторов языка запроса, которые не используются в Google. В обозримом будущем можно ожидать отказа Яндекса от обеспечения поддержки ряда других элементов в функциональных параметрах, которые не поддерживаются Google. Одним из основных может стать поддержка тега noindex, а также директивы Crawl-Delay и Clean-param, которые используются в файле robots.txt.

Просмотр примеров страниц, появившихся в поиске или удаленных из поиска. Руководство разработчика

Возвращает URL-адреса страниц, которые появились в результатах поиска или были исключены из поиска (максимум 50 000).

1. Формат запроса
2. Формат ответа
3. Коды ответов

 ПОЛУЧИТЬ https://api.webmaster.yandex.net/v4/user/{Type: int64. ID пользователя. Требуется при вызове всех ресурсов API Яндекс.Вебмастера. Чтобы получить его, используйте метод GET /v4/user."}}">}/hosts/{Type: идентификатор хоста (строка).  Идентификатор сайта. Чтобы получить его, используйте метод GET /v4/user/{user-id}/hosts."}}">}/search-urls/events/samples
 ? [Смещение списка. Минимальное значение равно 0."}}">=]
 & [Размер страницы (1-100). Значение по умолчанию: 50."}}">=] 

 {
  "количество": 1,
  "образцы": [
    {
      "url": "http://example. com/some/path?a=b",
      "title": "какая-то строка",
      "event_date": "2016-01-01T00:00:00,000+0300",
      "last_access": "2016-01-01T00:00:00,000+0300",
      "событие": "APPEARED_IN_SEARCH",
      "excluded_url_status": "НИЧЕГО_НАЙДЕНО",
      "bad_http_status": 500,
      "target_url": "http://example.com/some/path?a=b"
    }
  ]
} 

 <Данные>
  <  Требуется  
 Да 
 
  Тип  
 
 int32 
 
  Описание  
 
 Общее количество доступных примеров. 
 "}}">>1
  <  Обязательно  
 Да 
 
  Тип  
 
  Описание  
 
 Образцы страниц. 
 "}}">>
    <  Обязательно  
 Да 
 
  Тип  
 
 url 
 
  Описание  
 
 Адрес страницы. 
 "}}">>http://example.com/some/path?a=b
    <  Обязательно  
 Да 
 
  Тип  
 
 строка 
 
  Описание  
 
 Заголовок страницы.  
 "}}">>какая-то строка
    <  Обязательно  
 Да 
 
  Тип  
 
 datetime 
 
  Описание  
 
 Дата появления или исключения страницы. 
 "}}">>2016-01-01T00:00:00,000+0300
    <  Обязательно  
 Да 
 
  Тип  
 
 datetime 
 
  Описание  
 
 Дата последнего обхода страницы до ее появления или исключения. 
 "}}">>2016-01-01T00:00:00,000+0300
    <  Обязательно  
 Да 
 
  Тип  
 
 строка (ApiSearchEventEnum) 
 
  Описание  
 
 Появление или удаление страницы. 
 "}}">>APPEARED_IN_SEARCH
    <  Обязательно  
 Нет 
 
  Тип  
 
 строка (ApiExcludedUrlStatus) 
 
  Описание  
 
 Причина исключения страницы. 
 "}}">>НИЧЕГО_НАЙДЕНО
    <  Требуется  
 Нет 
 
  Тип  
 
 int32 
 
  Описание  
 
 Код ответа HTTP страницы для статуса HTTP_ERROR.  
 "}}">>500
    <  Обязательно  
 Нет 
 
  Введите  
 
 url 
 
  Описание  
 
 Другой адрес страницы, о которой знает робот. Это может быть цель перенаправления, канонический адрес или дубликат страницы. 
 "}}">>http://example.com/some/path?a=b
  
 

Name	Required	Type	Description
count	Yes	int32	Total number of available examples.
образец | образцов	Да		Образцы страниц.
URL-адрес	Да	url ​​	Адрес страницы.
заголовок	Да	строка	Заголовок страницы.
event_date	Да	datetime	Дата появления или исключения страницы.
last_access	Да	datetime	Дата последнего сканирования страницы до ее появления или исключения.
событие	Да	строка (ApiSearchEventEnum)	Появление или удаление страницы.
exclude_url_status	Нет	строка (ApiExcludedUrlStatus)	Причина исключения страницы.
bad_http_status	Нет	int32	Код HTTP-ответа страницы для состояния HTTP_ERROR.
target_url	Нет	url ​​	Другой адрес страницы, о которой знает робот. Это может быть цель перенаправления, канонический адрес или дубликат страницы.

Индикатор	Описание
NO NOWER_FOUND
HOST_ERROR	При попытке доступа к сайту робот не смог подключиться к серверу. Проверьте ответ сервера и убедитесь, что робот Яндекса не заблокирован хостинг-провайдером. Сайт индексируется автоматически, когда становится доступным для робота. Информацию о роботах агента пользователя см. в разделе справки.
REDIRECT_NOTSEARCHABLE	Страница перенаправляется на другую страницу. Целевая страница индексируется (RedirectTarget). Проверьте индексацию целевой страницы.
HTTP_ERROR	Произошла ошибка при доступе к странице «Ошибка HTTP». Проверьте ответ сервера. Если проблема не устранена, обратитесь к администратору вашего сайта или администратору сервера. Если страница уже доступна, отправьте ее на переиндексацию.
НЕКАНОНИЧНЫЙ	Страница индексируется по каноническому URL, указанному в атрибуте rel=»canonical» в исходном коде. Исправьте или удалите атрибут, если он указан неправильно. Робот будет отслеживать изменения автоматически.
NOT_MAIN_MIRROR	Страница принадлежит вторичному зеркалу сайта, поэтому исключена из поиска.
PARSER_ERROR	При попытке доступа к странице робот не смог получить ее содержимое. Проверьте ответ сервера или наличие запрещающих элементов HTML. Если проблема не устранена, обратитесь к администратору вашего сайта или администратору сервера. Если страница уже доступна, отправьте ее на переиндексацию.
ROBOTS_HOST_ERROR	Индексация сайта запрещена в файле robots. txt. Робот автоматически начнет сканирование страницы, когда сайт станет доступен для индексации.
ROBOTS_URL_ERROR	В файле robots.txt запрещено индексирование страниц. Робот автоматически просканирует страницу, когда она станет доступной для индексации.
ДУБЛ.	Страница дублирует страницу сайта, которая уже есть в поиске. Для получения дополнительной информации см. раздел справки.
LOW_QUALITY	Страница удалена из результатов поиска из-за низкого качества, определенного специальным алгоритмом. Если алгоритм найдет страницу, релевантную поисковым запросам пользователей, она появится в поиске автоматически.
CLEAN_PARAMS	Страница была исключена из поиска после обработки роботом директивы Clean-param. Чтобы страница проиндексировалась, отредактируйте файл robots.txt.
НЕТ_ИНДЕКС	Страница исключена, так как метатег robots имеет значение noindex.
ДРУГОЕ	У робота нет обновленных данных для страницы. Проверить ответ сервера или наличие запрещающих элементов HTML. Если робот не может открыть страницу, обратитесь к администратору вашего сайта или сервера. Если страница уже доступна, отправьте ее на переиндексацию.

Чтобы подробно просмотреть структуру ответа, щелкните причину.

 {
  "код_ошибки": "INVALID_USER_ID",
  "доступный_user_id": 1,
  "error_message": "Недопустимый идентификатор пользователя. Следует использовать {user_id}."
} 

 <Данные>
    <  Описание  
 Код ошибки.  
 "}}">>INVALID_USER_ID
    <  Описание  
 Идентификатор пользователя, разрешившего доступ. 
 "}}">>1
    <  Описание  
 Сообщение об ошибке. 
 "}}">>Недопустимый идентификатор пользователя. Следует использовать {user_id}.
 

 {
  "error_code": "HOST_NOT_VERIFIED",
  "host_id": "http:ya.ru:80",
  "error_message": "какая-то строка"
} 

 <Данные>
  <  Описание  
 Код ошибки. 
 "}}">>HOST_NOT_VERIFIED
  <  Описание  
 Идентификатор запрошенного сайта. 
 "}}">>http:ya. ru:80
  <  Описание  
 Сообщение об ошибке. 
 "}}">>какая-то строка
 

Была ли статья полезна?

редиректов — Индексный робот Яндекса перенаправляется при запросе этого сайта, поэтому файл robots.txt использоваться не будет. Что исправить?

спросил 6 лет, 9 месяцев назад

Изменено 6 лет, 9 месяцев назад

Просмотрено 204 раза

У нас есть сайт: www.example.com который перенаправляет на https://www.example.com .

Поэтому, когда вы вводите www.example.com/robots.txt , вы перенаправляетесь на https://www.example.com/robots.txt .

Еще одно замечание: Главное зеркало в Яндексе будет определять краулер, он не позволит нам установить www. example.com или установить https://www.example.com в качестве основного зеркала.

Обратите внимание: эта ошибка, которую я получаю

Индексный робот Яндекса перенаправляется при запросе этого сайта, поэтому файл robots.txt не будет использоваться с этой страницы: https://webmaster.yandex.com/robots.xml

Обновление:

Мы обновили наш Robots.txt до следующего после ответов.

 User-agent: Яндекс
    Карта сайта: https://www.example.com/sitemap.xml
    Запретить: /some_pages/
    Хост: https://www.example.com
    Пользовательский агент: *
    Карта сайта: https://www.example.com/sitemap.xml
    Запретить: /some_pages/
 

• редиректы
• https
• карта сайта
• robots.txt
• yandex

Можно установить главное зеркало в Яндекс. Я думаю, вам нужно что-то вроде этого:

 Хост: myhost.ru #uses
Пользовательский агент: *
Запретить: /cgi-bin
User-agent: Яндекс
Запретить: /cgi-bin
Хост: www.