Переезд сайта после отказа от директивы Host — Платон Щукин
Платон Щукин
12 марта 2018, 18:22
В свете отказа от директивы Host я бы хотел рассказать подробнее о рекомендациях по переезду сайта. Данные рекомендации предназначаются как для переезда на протокол https, так и для переезда на новое доменное имя, поскольку алгоритм будет совпадать.
Директива Host позволяла сохранить доступность старого сайта на период переезда, однако ее использование было также сопряжено с некоторыми неудобствами. Например, необходимо было проверять, что в директиве Host всех зеркал указан один и тот же сайт, иначе переезд мог произойти некоректно. В связи с этим было решено отказаться от использования директивы Host — теперь переезд будет выполняться только при помощи редиректа HTTP-301. Это также упростит совмещение переезда в Яндексе и других поисковых системах. Теперь для переезда я рекомендую следующее:
1. Добавьте новый домен в Вебмастер (в том числе сайт по протоколу HTTPS, если переезд выполняется на HTTPS) и убедитесь, что он не склеен в группу зеркал с другим сайтом.
Если это так, воспользуйтесь инструментом «Отклейка зеркал», чтобы расклеить сайты. После окончания расклейки переходите ко второму пункту.
2. Настройте редирект 301 со страниц старого сайта на аналогичные страницы нового. При этом я рекомендую учитывать несколько важных моментов:
— сайты должны совпадать между собой структурно, поэтому страницы старого сайта должны выполнять редирект именно на аналогичные страницы нового сайта. Если же структура сайта при переезде изменилась, Вы можете установить редирект со страниц старого сайта на аналогичные страницы нового, а с них установить редирект на нужные адреса. Наши рекомендации по смене структуры сайта описаны в разделе Помощи.
— оба сайта должны быть доступны роботу. Проверьте, что в robots.txt обоих сайтов содержатся одинаковые правила, ведь если будут запрещены разные страницы, это может привести к различию контента. Если сайты используют один и тот же файл robots.txt, то файл sitemap лучше указать по адресу нового главного зеркала, так как после переезда индексироваться будет именно он.
— убедитесь, что большая часть страниц сайтов доступна и отвечает кодом HTTP-200 ОК или кодом редиректа 301. Если на доменах существенная доля страниц будет недоступна из-за кода ответа 404, это может помешать переезду. В таком случае недоступные страницы можно запретить к индексированию в файле robots.txt, чтобы робот-зеркальщик не посещал их при сверке контента.
3. Проверьте, что все зеркала в группе выполняют редирект на желаемое главное зеркало. Это также относиться к версиям «с www» или «без www».
Когда все необходимые настройки будут внесены, в панели Яндекс.Вебмастера старого адреса отправьте заявку на переезд сайта. Если заявка была успешно принята, значит, настройки выполнены корректно и сайты смогут склеиться. Процесс склейки был значительно ускорен и сейчас может занимать от нескольких дней до 3 недель. Замечу, что завершение переезда не означает, что все страницы сайта сразу попадут в поиск по адресу главного зеркала. Страницы неглавного зеркала будут участвовать в поиске какое-то время, пока аналогичные страницы главного зеркала не будут проиндексированы.
Постепенно, по мере обхода нужного сайта, неглавное сможет пропасть из поиска.
Зачастую также возникает вопрос, почему в Яндекс.Вебмастере у неглавного зеркала большое число страниц в списке «Загруженных», и это число может даже увеличиваться, хотя в поиске страницы не появляются. В этом нет какой-либо ошибки: в список загруженных входят все страницы, ссылки на которые известны индексирующему роботу, поэтому данные о таких страницах вполне могут храниться в базе робота. Попадать в поиск такие страницы не будут, так как принадлежат неглавному зеркалу.
Не забудьте также, что для нового домена в Яндекс.Вебмастере необходимо добавить свой файл sitemap и установить региональность.
Все блоги сервисов© 2013–2023 «Яндекс»Безвременная кончина директивы Host в Яндексе
wolf
7668
Изменения в поисковом функционале Яндекса продолжают демонстрировать стабильную тенденцию на урезание – ничего нового уже давно не добавляется, а вот многое из старого планомерно перестает поддерживаться.
В марте текущего года очередной жертвой этого процесса стала директива Host для файла robots.txt.
12 марта 2018 года Яндекс в своем блоге для вебмастеров анонсировал скорое прекращение поддержки директивы Host, а уже 20 марта констатировал сей факт, сопроводив его новыми подробными инструкциями по переезду с помощью 301-го редиректа.
Директива Host как рекомендация для робота-зеркальщика о выборе главного зеркала была введена еще в начале прошлого десятилетия, если не ошибаюсь, в Рамблере, и со временем стала поддерживаться другими российскими поисковиками. На данный момент она содержится в документации поисковой системы Mail.Ru. Google эту директиву никогда не поддерживал.
Яндекс долгое время использовал эту директиву как рекомендацию для указания главного зеркала наряду с серверным редиректом. В 2011-м году для случаев выбора предпочтительного домена для индексирования из вариантов с www или без www, в сервисе Яндекс.Вебмастер появился инструмент «Главное зеркало», для которого был заявлено, что «такой способ выбора главного зеркала имеет больший приоритет, чем директива Host, но меньший, чем редирект (301, 302)».
Удивительно, но несмотря на заявленное главенство приоритета серверного редиректа перед остальными способами указания главного зеркала, сотрудники Яндекса никогда не рекомендовали его применять. Дело в том, что при использовании редиректа в Яндексе типичной ситуацией было выпадение редиректящего сайта из индекса до того момента, пока проиндексируется сайт, на который указывает редирект. И даже если сайт, являющийся целью редиректа, уже был проиндексирован, то все равно процесс выпадения редиректящего сайта происходил быстрее, чем его подклейка в качестве второстепенного зеркала к цели редиректа. В итоге характеристики, влияющие на позиции, а, следовательно, и поисковый трафик, переходили от второстепенного к главному зеркалу далеко не сразу, процесс мог затянуться на месяцы. Поэтому намного более надежным способом переклейки главного зеркала была директива Host, т.к. сайт, указанный как второстепенное зеркало, находился в индексе непосредственно до момента переклейки.
Одну из проблемных ситуаций, в которой необходимо было поменять главное и второстепенное зеркало местами, так описывал в своей инструкции по деликатному переезду с http на https собирательный образ сотрудников службы поддержки Яндекса Платон Щукин:
«Процесс в целом ничем не отличается от склейки, только в этом случае я особенно не рекомендую использовать редирект для переезда: получится, что главное зеркало недоступно из-за редиректа, а цель редиректа — это неглавное зеркало и в поиск попасть не сможет.
В результате в поиск страницы не смогут попасть совсем. В такой ситуации устанавливайте директиву «Host: https://site.ru», используйте «Переезд сайта», адрес в поиске будет изменён в течение нескольких недель».
Сейчас этот совет Платона Щукина перечеркнут с пометкой о том, что он устарел, и сотрудники Яндекса, отменив поддержку директивы Host, утверждают, что переклейка сайта с помощью постранично настроенного 301-го редиректа будет занимать всего несколько дней. Однако это будет возможно только в том случае, если в связке с 301-м редиректом будет использоваться инструмент «Переезд сайта», подразумевающий наличие подтвержденных прав на оба сайта.
Инструмент «Переезд сайта» можно использовать для склейки зеркал и без настройки редиректа, однако в таком случае оперативность не гарантируется, и срок склейки может затянуться на несколько недель. Стоит заметить, в этом случае, как и раньше в случае директивы Host, второстепенное зеркало будет гарантированно находится в индексе, и поэтому этот способ могут выбрать наиболее осторожные владельцы сайтов, готовые пожертвовать временем ради минимизации рисков потери трафика, пусть и кратковременной.
В случае же, когда нет возможности подтвердить права на оба сайта, придется пользоваться только 301-м редиректом, без поддержки инструментом «Переезд сайта». Сотрудник Яндекса Елена Першина утверждает, что склейка должна произойти, но отсутствия проблем не гарантирует:
Склейка сайтов без использования инструмента «Переезд сайта» также весьма актуальна для тех случаев, когда переезд сайта осуществляется с целью ухода из-под наложенных на него санкций поисковика. Так как инструмент «Переезд сайта» требует наличия подтверждения прав владельца на оба сайта, то не надо быть семи пядей во лбу, чтобы понимать, что в случае наличия такой информации у Яндекса, санкции очень быстро переедут со старого на новый сайт. Если же у поисковика достоверной информации о связи между владельцами склеиваемых сайтов нет, то ему следует исключить возможность попытки нанесения целенаправленного вреда конкуренту путем подклейки к его сайту своего скомпрометированного сайта в качестве второстепенного зеркала с целью переноса санкций.
Кстати, в свете изменений в процедуре переезда сайтов в Яндексе, интересен также и вопрос возможных изменений степени полноты переноса характеристик сайта на новый домен. Ведь до сих пор при склейке зеркал с второстепенного зеркала на главное переносились явно не все характеристики. Например, нельзя было предать возраст сайта, что было сделано для предотвращения манипуляций с «состариванием» сайтов с помощью подклейки к ним возрастных «дропов».
В любом случае, отказ от директивы Host в пользу 301-го редиректа является еще одним шагом Яндекса в процессе унификации своего функционала с функционалом Google, для которого 301-й редирект изначально являлся основной процедурой для указания главного зеркала при склейке сайтов.
Напомню, что в прошлом году Яндекс расстался с частью операторов языка запросов, не имевших аналогов в Google, что я отмечал в своей статье «Кастрация языка запросов Яндекса».
Вполне возможно, что в скором времени следует ожидать от Яндекса очередных шагов по прекращению поддержки других элементов своего функционала, не имеющих аналогов в Google. К наиболее известным из них можно отнести тег noindex, а также директивы файла robots.txt Clean-param и Crawl-Delay.
- Статьи
- SEO
Простые и эффективные способы выявления вероятности выхода запроса в топ
Выявляя те запросы, которые имеют шанс поскорее выстрелить, и беря их в работу в первый же месяц, можно существенно ускорить достижение первых результатов в продвижении
SEO для расширенных результатов: как находить и устранять ошибки в разметке
В статье автор делиться советами о том, как проверять и устранять ошибки в разметке структурированных данных с помощью общедоступных инструментов
Как с помощью Сети знаний занимать более высокие позиции в Google
Как анализировать содержимое блоков выдачи Сети знаний для разработки более таргетированной стратегии контент-маркетинга
11 вопросов для определения причин падения трафика из Google
В статье приведены самые частые причины падения органического трафика из Google и даны советы по их диагностике
Поисковая оптимизация приложений в сторах
Также, как и классическое SEO, ASO требует постоянной и комплексной работы по оптимизации приложения
Как отслеживать статистику по YouTube с помощью Google Analytics
Google Analytics является отличным дополнением для YouTube, позволяющим отслеживать то, как пользователи взаимодействуют с вашим каналом.
..
редиректов — Индексный робот Яндекса перенаправляется при запросе этого сайта, поэтому файл robots.txt не будет использоваться. Что исправить?
спросил
Изменено 7 лет, 4 месяца назад
Просмотрено 209 раз
У нас есть сайт: www.example.com , который перенаправляет на https://www.example.com .
Поэтому, когда вы вводите www.example.com/robots.txt , вы перенаправляетесь на https://www.example.com/robots.txt .
Еще одно замечание:
Главное зеркало в Яндексе будет определять краулер, он не позволит нам установить www.example.com или установить https://www.example.com в качестве основного зеркала.
Обратите внимание: эта ошибка, которую я получаю
Индексный робот Яндекса перенаправляется при запросе этого сайта, поэтому файл robots. с этой страницы:
https://webmaster.yandex.com/robots.xml
txt не будет использоваться
Обновление:
Мы обновили наш Robots.txt до следующего после ответов.
User-agent: Яндекс
Карта сайта: https://www.example.com/sitemap.xml
Запретить: /some_pages/
Хост: https://www.example.com
Пользовательский агент: *
Карта сайта: https://www.example.com/sitemap.xml
Запретить: /some_pages/
- редиректы
- https
- карта сайта
- robots.txt
- yandex
Можно установить главное зеркало в Яндекс. Я думаю, вам нужно что-то вроде этого:
Хост: myhost.ru #uses Пользовательский агент: * Запретить: /cgi-bin User-agent: Яндекс Запретить: /cgi-bin Хост: www.myhost.ru # не используется
или даже:
# domen.myhost.com - главное зеркало # www.domen.myhost.com, правильное использование # хост Host директива: User-Agent: * Запретить: Хост: domen.myhost.com
myhost.com
Директива Host должна содержать:
Указание протокола HTTPS, если зеркало доступно только через защищенный канал (хост: https://myhost.com). Одно конкретное доменное имя, соответствующее RFC 952 и не являющееся IP-адресом. Номер порта, если необходимо (хост: myhost.com:8080).
Дополнительная информация: https://yandex.com/support/webmaster/controlling-robot/robots-txt.xml
5Зарегистрируйтесь или войдите в систему
Зарегистрируйтесь с помощью Google Зарегистрироваться через Facebook Зарегистрируйтесь, используя адрес электронной почты и парольОпубликовать как гость
Электронная почтаТребуется, но не отображается
Опубликовать как гость
Электронная почтаТребуется, но не отображается
Нажимая «Опубликовать свой ответ», вы соглашаетесь с нашими условиями обслуживания и подтверждаете, что прочитали и поняли нашу политику конфиденциальности и кодекс поведения.
| Mozilla/5.0 (совместимо; YandexAccessibilityBot/3.0; +http://yandex.com/bots) | YandexAccessibilityBot загружает страницы для проверки их доступности для пользователей. Отправляет до 3 запросов на сайт в секунду. Робот игнорирует настройку в интерфейсе Яндекс.Вебмастера. | № |
| Mozilla/5.0 (совместимо; YandexAdNet/1.0; +http://yandex.com/bots) | Робот рекламной сети Яндекса. | Да |
| Mozilla/5.0 (совместимо; ЯндексБлоги/0.99; робот; +http://yandex.com/bots) | Поисковый робот по блогам, индексирующий комментарии к сообщениям. | Да |
| Mozilla/5.0 (совместимый; YandexBot/3.0; +http://yandex.com/bots) | Основной робот-индексатор. | Да |
| Mozilla/5.0 (совместимый; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) | Обнаружение зеркал сайта. | Да |
| Mozilla/5.0 (совместимый; YandexCalendar/1.0; +http://yandex.com/bots) | Робот Яндекс.Календаря. Загружает файлы календаря по запросам пользователей. Эти файлы часто находятся в каталогах, индексация которых запрещена. | Нет |
Mozilla/5.0 (совместимый; ЯндексДирект/3. 0; +http://yandex.com/bots) | Загружает информацию о содержании сайтов-партнеров Рекламной сети Яндекса для определения их тематических категорий в соответствии с релевантной рекламой. | Нет |
| Mozilla/5.0 (совместимо; YandexDirectDyn/1.0; +http://yandex.com/bots | Генерирует динамические баннеры. | Нет |
| Mozilla/5.0 (совместимо; YandexFavicons/1.0; +http://yandex.com/bots) | Загружает файл favicon сайта для отображения в результатах поиска. | Нет |
| Mozilla/5.0 (совместимо; YaDirectFetcher/1.0; Дятел; +http://yandex.com/bots) | Скачивает целевые страницы объявлений для проверки их наличия и тематики. Это необходимо для размещения рекламы в результатах поиска и на партнерских сайтах. | Нет. Робот не использует файл robots.txt и игнорирует заданные для него директивы. |
| Mozilla/5.0 (совместимо; YandexForDomain/1.0; +http://yandex.com/bots) | Робот Яндекс.Почты для домена, используемый для проверки прав владения доменом. | Да |
| Mozilla/5.0 (совместимый; YandexImages/3.0; +http://yandex.com/bots) | Индексирует изображения для отображения в Яндекс.Изображениях. | Да |
| Mozilla/5.0 (совместимый; YandexImageResizer/2.0; +http://yandex.com/bots) | Робот мобильных устройств. | Да |
Mozilla/5. 0 (iPhone; ЦП iPhone OS 8_1, как Mac OS X) AppleWebKit/600.1.4 (KHTML, как Gecko) Версия/8.0 Mobile/12B411 Safari/600.1.4 (совместимый; YandexMobileBot/3.0; +http://yandex .com/bots) | Определяет страницы с макетом, подходящим для мобильных устройств. | Нет |
| Mozilla/5.0 (совместимо; ЯндексМаркет/1.0; +http://yandex.com/bots) | Робот Яндекс.Маркета. | Да |
| Mozilla/5.0 (совместимо; YandexMarket/2.0; +http://yandex.com/bots) | Нет | |
| Mozilla/5.0 (совместимо; YandexMedia/3.0; + http://yandex.com/bots) | Индексирует мультимедийные данные. | Да |
Mozilla/5. 0 (совместимо; ЯндексМетрика/2.0; +http://yandex.com/bots yabs01) | Загружает страницы сайта для проверки их доступности, в том числе целевые страницы объявлений Яндекс.Директа. | Нет. Робот не использует файл robots.txt и игнорирует заданные для него директивы. |
| Mozilla/5.0 (совместимо; ЯндексМетрика/2.0; +http://yandex.com/bots) | Робот Яндекс.Метрики. | № |
| Mozilla/5.0 (совместимо; ЯндексМетрика/3.0; +http://yandex.com/bots) | № | |
| Mozilla/5.0 (совместимо; ЯндексМетрика/4.0 ; +http://yandex.com/bots) | Робот Яндекс.Метрики. Загружает и кэширует стили CSS для отображения страниц сайта в Webvisor. | Нет. Робот не использует файл robots.txt и игнорирует заданные для него директивы. |
| Mozilla/5.0 (совместимо; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots) | Делает скриншот мобильной страницы. | № |
| Mozilla/5.0 (совместимо; YandexNews/4.0; +http://yandex.com/bots) | Робот Яндекс.Новостей. | Да |
| Mozilla/5.0 (совместимый; YandexOntoDB/1.0; +http://yandex.com/bots) | Объект реагирования робота. | Да |
| Mozilla/5.0 (совместимый; YandexOntoDBAPI/1.0; +http://yandex.com/bots) | Объектно-ответный робот, загружающий динамические данные. | Нет |
| Mozilla/5.0 (совместимо; YandexPagechecker/1.0; +http://yandex.com/bots) | Доступ к странице для проверки микроразметки через валидатор структурированных данных. | Да |
| Mozilla/5.0 (совместимо; YandexPartner/3.0; +http://yandex.com/bots) | Загружает информацию о содержании сайтов партнеров Яндекса. | Нет |
| Mozilla/5.0 (совместимо; YandexRCA/1.0; +http://yandex.com/bots) | Собирает данные для создания превью. Например, предварительный просмотр мастера. | Нет |
Mozilla/5.0 (совместимо; YandexSearchShop/1. 0; +http://yandex.com/bots) | Загружает каталоги товаров в YML-файлах по запросам пользователей. Эти файлы часто размещаются в каталогах, запрещенных для индексации. | Нет |
| Mozilla/5.0 (совместимо; YandexSitelinks; Дятел; +http://yandex.com/bots) | Проверяет наличие страниц, используемых в качестве быстрых ссылок. | Да |
| Mozilla/5.0 (совместимо; ЯндексСправБот/1.0; +http://yandex.com/bots) | Робот Яндекс.Бизнес. | Да |
| Mozilla/5.0 (совместимый; YandexTurbo/1.0; +http://yandex.com/bots) | Сканирует RSS-канал, созданный для создания Турбо-страниц. Он отправляет до 3 запросов на сайт в секунду. Робот игнорирует настройки в интерфейсе Яндекс.Вебмастера и директиву Crawl-delay. | Да |
| Mozilla/5.0 (совместимо; YandexVertis/3.0; +http://yandex.com/bots) | Поисковый робот по вертикали. | Да |
| Mozilla/5.0 (совместимо; ЯндексВертикали/1.0; +http://yandex.com/bots) | Робот Яндекс.Вертикали: Auto.ru, Yanex.Realty, Яндекс.Работа, Яндекс.Отзывы. | Да |
| Mozilla/5.0 (совместимый; ЯндексВидео/3.0; +http://yandex.com/bots) | Индексирует видеоклипы для отображения в Яндекс.Видео. | Да |
Mozilla/5. |