Разное

Добавить в индекс яндекса: Как добавить страницу в индекс

29.08.1990

Как быстро добавить страницу в индекс Яндекса и Google

#Оптимизация сайта #Индексация

#37

Апрель’17

19

Апрель’17

19

Новый ваш сайт или давно действующий в определенный момент вам понадобиться добавление страниц в поиск. Отдельная страница акции, новый товар или контент — он должен быть проиндексирован и быть видимым для поисковых системы. Мы расскажем как это сделать.

Чтобы быстро добавить страницу в поиск Яндекса, необходимо войти в сервис Яндекс.Вебмастер и воспользоваться инструментом «Переобход страниц».

Важно! Права на сайт должны быть заранее подтверждены.

Чтобы добавить страницу в индекс Google, надо войти в Search Console, выбрать необходимый сайт. Далее в разделе «Сканирование» выбрать «Просмотреть как Googlebot», добавить адрес новой страницы, выбрать «Сканировать» и далее кликнуть на «Запросить индексирование».

Для ускорения индексации страниц также рекомендуется:

  • автоматическое добавление новой страницы в карту сайта sitemap.xml;
  • наличие ссылок на новую страницу с популярных разделов вашего сайта или с внешних веб-ресурсов.

Похожее

Оптимизация сайта Индексация

Атрибут rel=canonical

Оптимизация сайта Индексация

Индексация ссылок

Оптимизация сайта Индексация

#133

Атрибут rel=canonical

Октябрь’22

10334

22

Оптимизация сайта Индексация

#119

Индексация ссылок

Апрель’19

4245

30

Оптимизация сайта Индексация

#111

Описание и настройка директивы Clean-param

Апрель’19

7985

24

Оптимизация сайта Индексация

#104

Как привлечь быстроробота Яндекс

Февраль’19

2087

21

Оптимизация сайта Индексация

#94

Проверка индекса сайта. Как найти мусорные или недостающие страницы

Декабрь’18

8214

28

Оптимизация сайта Индексация

#86

Как закрыть ссылки и текст от поисковых систем

Ноябрь’18

5221

22

Оптимизация сайта Индексация

#82

Почему Яндекс удаляет страницы из поиска

Ноябрь’18

2909

19

Оптимизация сайта Индексация

#60

Правильная индексация страниц пагинации

Февраль’18

7240

19

Оптимизация сайта Индексация

#47

Как узнать дату индексации страницы

Ноябрь’17

7068

18

Оптимизация сайта Индексация

#46

Какие страницы надо закрывать от индексации

Ноябрь’17

9495

18

Оптимизация сайта Индексация

#38

Как удалить страницу из индекса Яндекса и Google

Ноябрь’17

12637

20

Оптимизация сайта Индексация

#7

Как закрыть сайт от индексации

Ноябрь’17

8589

17

Оптимизация сайта Индексация

#2

Как проверить индексацию сайта в поисковых системах

Ноябрь’17

16230

27

Оптимизация сайта Индексация

#1

Как ускорить индексацию сайта

Ноябрь’17

5068

29

Индексирование сайта — Вебмастер.

Справка

  1. Добавьте сайт в Яндекс Вебмастер.

  2. Sitemap. Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. На специальной странице сервиса можно загрузить Sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

  3. Robots.txt — файл, предназначенный для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Рассмотрим три наиболее важных параметра, которые можно указать в этом файле:

    Disallow
    Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся:
    Подробнее об этом см. в разделе Использование файла robots.txt.
    Clean param
    С помощью этой директивы можно указать роботу, какие cgi-параметры в адресе страницы следует считать незначащими. Иногда адреса страниц содержат идентификаторы сессий — формально страницы с разными идентификаторами различаются, однако их содержимое при этом одинаково. Если таких страниц на сайте много, индексирующий робот может начать индексировать такие страницы, вместо того чтобы скачивать полезное содержимое. Подробнее об этом см. в разделе Использование файла robots.txt.

  4. Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

    • Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

    • Для индексирования важен размер документа — документы больше 10Мб не индексируются.

    • Индексирование flash:

      1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

      2. если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле.

    • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

    • Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

    • Допустимо использование тегов <frameset> и <frame>, робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

  5. Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

  6. Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since» . Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.

  7. Версии сайта, адаптированные для просмотра на мобильных устройствах, лучше выносить на поддомен, так же, как и версии сайта на различных языках.

Примечание.

Запрещайте для индексирования не предназначенные для пользователей страницы, управляйте поисковым роботом Яндекса.

К следующему разделу

Если страницы доступны для робота, отправлены на переобход, но не появляются в поиске больше двух недель, заполните форму ниже:

Индексация — Вебмастер.

Справка

  1. Добавить сайт в Яндекс.Вебмастер.

  2. Карта сайта. Карта сайта — это специальный формат, разработанный для веб-мастеров и поисковых систем для описания структуры сайта. Представляет собой список ссылок на внутренние страницы сайта, представленный в формате XML. Яндекс также поддерживает этот формат. Вы можете загрузить карту сайта для своего сайта на специальной странице в Яндекс.Вебмастере. Используйте его, чтобы установить приоритет сканирования определенных страниц для робота. Например, если какие-то страницы обновляются чаще, сообщите об этом, чтобы робот правильно планировал сканирование.

  3. Robots.txt — это файл для роботов поисковых систем. В этом файле вебмастер может указать параметры индексации для всех роботов или для каждой поисковой системы отдельно. Вот три наиболее важных параметра, указанные в этом файле:

    Disallow
    Эта директива используется для запрета индексации определенных разделов сайта. Используйте его, чтобы предотвратить индексацию технических страниц и страниц, которые не важны для пользователей и поисковых систем. В том числе:
    Дополнительные сведения см. в разделе Использование robots.txt.
    Очистить параметр
    Используйте эту директиву, чтобы указать роботу, какие параметры CGI в URL-адресе страницы не важны. Иногда URL-адреса страниц содержат идентификаторы сеансов. Формально страницы с разными ID разные, но содержание у них одинаковое. Если на сайте много таких страниц, робот может начать индексировать такие страницы, а не скачивать полезный контент. Дополнительные сведения см. в разделе Использование robots.txt.

  4. Яндекс индексирует основные типы документов, распространяемых в сети. Но существуют ограничения, которые влияют на то, как документ индексируется и индексируется ли он вообще:

    • Большое количество параметров CGI в URL-адресе, большое количество вложенных каталогов и слишком длинные URL-адреса могут мешать индексированию документа.

    • Размер документа важен для индексации. Документы размером более 10 МБ не индексируются.

    • Indexing Flash:

      1. Робот индексирует файлы *.swf, если на них есть прямая ссылка или они встроены в HTML с тегами object или embed.

      2. Если Flash содержит полезное содержимое, исходный HTML-документ можно найти по содержимому, проиндексированному в swf-файле.

    • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде изображений, не индексируется.

    • Яндекс индексирует документы в форматах Open Office XML и OpenDocument (включая документы Microsoft Office и Open Office). Но поддержка новых форматов может занять некоторое время.

    • Вы можете использовать теги и. Робот Яндекса индексирует загруженный в них контент и находит исходный документ по содержимому фреймов.

  5. Если вы задали другое поведение сервера для несуществующих URL-адресов, убедитесь, что сервер возвращает код ошибки 404. Как только поисковая система получает код 404, она удаляет документ из индекса. Убедитесь, что все необходимые страницы на сайте отвечают кодом 200 OK.

  6. Убедитесь, что заголовки HTTP указаны правильно. Ответ сервера на запрос «if-modified-since» важен. Заголовок Last-Modified должен содержать правильную дату последнего изменения документа.

  7. Размещать версии сайта, адаптированные для мобильных устройств, а также языковые версии в поддоменах.

Примечание.

Управлять роботом Яндекса и запрещать индексацию страниц, не предназначенных для пользователей.

Далее

Если страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более двух недель, заполните форму ниже:

Индексация сайта с тегом Яндекс.Метрики

Внимание . Этот метод не подходит для индексации:

  • Турбо-страниц. Они индексируются с помощью специального робота.

  • Публикации на Яндекс Дзен. Их регулярно сканирует основной робот Яндекса.

Робот Яндекса узнает о страницах сайта из разных источников. Один из них — тег отслеживания Яндекс.Метрики. Вы можете указать Яндексу сканировать страницы с тегом.

Если вы хотите, чтобы робот зашел на ваш сайт как можно быстрее, привяжите свою метку Яндекс.Метрики к сайту, проверенному в Яндекс.Вебмастере, и включите опцию обхода метки.

Кто может запросить и подтвердить привязку

Куда отправляется запрос от Кто отправляет запрос Кто подтверждает запрос
Яндекс.Метрика.

Пользователь с правами редактирования тегов или представительским доступом.

Пользователь Яндекс.Вебмастер с правами на управление сайтом.

Яндекс.Вебмастер. Подробнее о том, как отправить запрос в Яндекс.Вебмастере.

Пользователь с правами управления сайтом.

Пользователь Яндекс.Метрики с правами редактирования тегов или с правами представителя.

После того, как робот просканирует страницы сайта, они могут появиться в результатах поиска при условии, что индексация не запрещена. Чтобы дать роботу лучшее представление о страницах, используйте файл Sitemap.

  1. Шаг 1. Добавить сайт в Яндекс.Вебмастер
  2. Шаг 2. В Яндекс.Метрике отправить запрос на привязку сайта
  3. Шаг 3. Подтвердить запрос в Яндекс.Вебмастер
  4. Шаг 4. Включите сканирование тегов для вашего сайта в Яндекс.
    Вебмастере

Добавьте сайт с тегом Яндекс.Метрики в Яндекс.Вебмастер и подтвердите права на управление сайтом.

  1. Перейти на страницу настроек (вкладка Тег).

  2. Нажмите Ссылка на Яндекс.Вебмастер рядом с адресом сайта. Если в настройках тега указаны дополнительные адреса:

    • Субдомен — В Яндекс.Вебмастере подтвердите свои права упрощенным способом и отправьте запрос на привязку сайта.

    • Дополнительный адрес — Добавьте его в Яндекс.Вебмастер и отправьте запрос на привязку сайта.

    • Зеркало — Привязка тега к основному зеркалу сайта (адрес, который должен участвовать в поиске).

После того, как вы отправили запрос на подтверждение привязки сайта, пользователю Яндекс.Вебмастера будет отправлено уведомление на адрес электронной почты, указанный в настройках уведомлений (если пользователь подписан на уведомления о запросах Яндекс.Метрики ).

Когда запрос на привязку сайта отправлен, Вебмастер начинает поиск совпадений с доменом сайта. Протокол и наличие префикса www игнорируются. Если совпадения найдены, подтвердите запрос:

  1. Перейдите в Настройки → Ссылка на Яндекс.Метрику.

  2. Щелкните Подтвердить рядом с соответствующим идентификатором тега.

Отследить статус привязки тега к сайту можно:

  • в Яндекс.Метрике, зайти в Настройки и открыть вкладку Тег.

  • в Яндекс.Вебмастере перейдите в Настройки → Ссылка на Яндекс.Метрику.

Статус Описание Примечание
«ВСЕГО НАБЛЮДА. Выполняется проверка домена. После того, как домен найден, запрос ожидает подтверждения. Пользователь Яндекс. Вебмастера должен подтвердить запрос.
«Связано» Пользователь Яндекс.Вебмастер подтвердил запрос на привязку сайта. Робот Яндекса начнет обход страниц сайта.
«Не проверено» Пользователь Яндекс.Метрики или Яндекс.Вебмастер отменил привязку сайта. Вы можете повторно отправить запрос на привязку тега к сайту.
«Ошибка подтверждения» Тег не привязан к сайту. Возможные причины:

  • Сайт не добавлен в Яндекс.Вебмастер.

  • Не подтверждены права на управление сайтом в Яндекс.Вебмастере.

  • Неверный идентификатор тега в Яндекс. Вебмастере на странице Настройки → Ссылка на Яндекс.Метрику.

 Проверьте возможные причины и снова запросите подтверждение.

  1. Перейдите в раздел Индексирование → Сканирование тегов.

  2. Напротив метки Яндекс.Метрики, которую вы привязали к сайту, включите сканирование.

Робот сможет сканировать страницы, на которых установлен тег. Этот вариант будет применяться ко всем версиям сайта: как HTTP, так и HTTPS, а также с префиксом www или без него.

Во время обхода робот ищет на сайте страницы, которые могут участвовать в поиске. В некоторых случаях сканирование может быть остановлено, чтобы вы могли проверить страницы. Робот может найти много страниц — Яндекс.Вебмастер показывает только примеры. Они могут помочь вам понять, какие группы страниц могут участвовать в поиске, а какие нет.

В зависимости от настроек может появиться уведомление о готовности списка к проверке:

  • В Яндекс. Вебмастере, на страницах Уведомления и Диагностика.

  • Отправлено на адрес электронной почты, который вы указали в настройках уведомлений.

Чтобы просмотреть примеры, перейдите в раздел Индексирование → Сканирование тегов и нажмите Примеры страниц рядом с тегом, с которым вы связали веб-сайт.

Если вы думаете, что в списке:

  1. Проанализируйте список страниц — среди них могут быть, например:

  2. Подождите, пока сервис обновит список — на адрес электронной почты, который вы указали в настройках уведомлений, будет отправлено письмо.

  3. Еще раз проверьте образцы страниц.

  4. Включить сканирование.

  1. Убедитесь, что они готовы к отображению в результатах поиска — например, проверьте полноту содержимого, а также проверьте наличие и правильность заголовка элемента и метатега Description.

  2. Включить сканирование.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *