Почему страницы исключены из поиска
Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам. Чтобы узнать, по какой именно причине страница исключена, перейдите в Вебмастер на страницу Индексирование → Страницы в поиске и выберите Исключённые страницы. Подробно о блоке Исключённые страницы
| Причина исключения страницы | Решение |
|---|---|
| Страница признана малоценной или маловостребованной | Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница не содержит контента, дублирует уже известные роботу страницы или ее контент не вполне отвечает интересам пользователей. Это автоматический регулярный процесс, поэтому решение алгоритма может измениться. Подробно в разделе Малоценные или маловостребованные страницы. |
| Ошибка при загрузке или обработке страницы роботом — если ответ сервера содержал HTTP-статус 3XX, 4XX или 5XX | Выявить ошибку поможет инструмент Проверка ответа сервера. Если страница доступна для робота, проверьте, что:
|
| Индексирование страницы запрещено в файле robots.txt или с помощью метатега с директивой noindex | Удалите запрещающие директивы. Если вы самостоятельно не размещали запрет в файле robots.txt, обратитесь к хостинг-провайдеру или регистратору доменного имени для выяснения подробностей. Также проверьте, не было ли блокировки доменного имени в связи с истечением срока регистрации. |
| Страница перенаправляет робота на другие страницы | Убедитесь, что исключенная страница действительно должна перенаправлять пользователей. Для этого используйте инструмент Проверка ответа сервера. |
| Страница дублирует содержание другой страницы | Если страница определена как дубль по ошибке, следуйте указаниям в разделе Дублирование страниц. |
| Страница не является канонической | Проверьте, что страницы действительно должна перенаправлять робота на URL, указанный в атрибуте rel=»canonical». |
| Сайт признан неглавным зеркалом | Если сайты объединены в группу по ошибке, следуйте рекомендациям в разделе Расклейка зеркал сайта. |
| На сайте обнаружены нарушения | Чтобы проверить это, перейдите в Вебмастере на страницу Диагностика → Безопасность и нарушения. |
Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.
Если вы устранили причину удаления страницы, отправьте страницу на переобход. Так вы сообщите роботу об изменениях.
Нажмите, чтобы решить проблему
Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна.
Проверьте ответ сервера по интересующему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.она недоступна для робота в течение некоторого времени;
на нее не ссылаются другие страницы сайта и внешние источники.
На странице правильно заполнены метатеги description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?
Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы.
При этом метатегам стоит уделять внимание. Например, метатег description и элемент title могут создаваться автоматически, повторять друг друга.
Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.
Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?
Это может происходить по нескольким причинам:
Проверьте ответ сервера по интересующему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?
На странице Страницы в поиске, в списке Исключенные страницы, отображаются страницы, к которым робот обращался, но не проиндексировал (это могут быть уже несуществующие страницы, если ранее они были известны роботу).
Страница удаляется из списка исключенных, если:
Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска.
Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:
Страницы с разным содержанием могут считаться дублями, если отвечали роботу сообщением об ошибке (например, на сайте была установлена заглушка).
Проверьте, как отвечают страницы сейчас. Если страницы отдают разное содержимое, отправьте их на переобход — так они смогут быстрее вернуться в результаты поиска.
Чтобы избежать исключения страниц из поиска в случае кратковременной недоступности сайта, настройте HTTP-код ответа 503.
Исключение страниц из поиска не является ошибкой со стороны сайта или индексирующего робота: исключаются страницы, которые пользователи не смогут обнаружить по запросам, поэтому их исключение не должно повлиять на видимость проиндексированных страниц сайта. Подробно см. в разделе Малоценные или маловостребованные страницы.
Напишите в службу поддержки, если:
страницы занимали высокие позиции в результатах поиска до момента их исключения;
позиции сайта после исключения страниц существенно понизились;
количестве переходов из поисковой системы значительно сократилось после исключения страниц.
Заполнить форму
Мониторинг важных страниц — Вебмастер.
СправкаЯндекс Вебмастер позволяет получать актуальную информацию об индексировании выбранных вами страниц и разделов сайта, а также следить за динамикой показов и кликов популярных страниц.
- Настройка отслеживания важных страниц
- Информация об индексировании
Вебмастер анализирует данные результатов поиска Яндекса и рекомендует, какие страницы сайта отслеживать. Он предложит вам страницы с наибольшим количеством кликов и показов в поиске за прошлую неделю (с понедельника по воскресенье).
Перейдите на страницу Индексирование → Мониторинг важных страниц.
Перейдите к блоку Рекомендованные страницы.
Чтобы отслеживать:
отдельные страницы — нажмите кнопку Отслеживать напротив адреса страницы;
все подобранные страницы — нажмите кнопку Отслеживать все.
Список может содержать до 100 страниц.
Перейдите на страницу Индексирование → Мониторинг важных страниц.
В поле введите URL страницы, информацию о которой хотите получить.
Можно указать полный URL страницы или путь от корня сайта, начинающийся с /. Например, если указать URL http://example.com, то система обработает информацию о странице http://example.com. Если указать путь /news, обработается информация о странице http://example.com/news.
Примечание. Можно указать до 100 адресов для одного сайта.
Нажмите кнопку Отслеживать.
Обычно информация собирается и обрабатывается несколько минут. Иногда это может занять несколько часов.
Чтобы вовремя узнавать о том, как меняется состояние страниц, настройте уведомления:
На странице Индексирование → Мониторинг важных страниц нажмите кнопку .
В появившемся окне проверьте способ получения уведомлений. В окне можно выбрать большинство тем изменений. Подписаться на все темы можно в настройках уведомлений.
Вебмастер отображает состояние страницы на момент последнего обхода роботом и последнего обновления поисковой базы. После добавления URL и сбора информации на странице Мониторинг важных страниц появятся актуальные данные о состоянии страницы.
дата последнего обхода страницы роботом и ответ сервера, полученный при этом;
версия и статус страницы (например, «В поиске»).
Нажмите значок около адреса, чтобы просмотреть историю. Она может содержать до 100 изменений для каждого адреса.
Вы можете продолжить работу с проверенной страницей. Нажмите кнопку:
Проверить ответ сервера — откроется страница Проверка ответа сервера с результатом проверки выбранного URL.
Переобойти страницу — откроется страница Переобход страницы, при этом выбранный URL отобразится в списке отправленных на переобход со статусом «В очереди».
Чтобы сообщить об ошибке в работе Мониторинга важных страниц, заполните форму ниже.
SEO Tutorial: Yandex Webmaster Tools
Christina Meyer  |  06.10.2015  |  
Российская поисковая система Яндекс предлагает инструмент Яндекс.Вебмастер, аналогичный Google Search Console (ранее Webmaster Tools) и Bing Webmaster Tools. Если Россия является важной целевой страной для вашего бизнеса и вы оптимизируете свой сайт для Яндекса, вам следует использовать Яндекс.Вебмастер. Он дает вам контроль и предоставляет важную информацию об индексации вашего сайта в Яндексе.
Верификация вашего сайта
В первую очередь вам необходимо подтвердить свой сайт в Яндекс. Это включает в себя следующие шаги:
- Создание учетной записи: Чтобы использовать Яндекс.Вебмастер, вам необходимо создать учетную запись Яндекс. Если вы уже рекламируетесь в Яндексе через Яндекс.Директ, вы можете использовать этот аккаунт.
- Добавьте свой веб-сайт: В своем аккаунте нажмите «Добавить сайт», чтобы добавить свой веб-сайт.
- Подтвердите свой веб-сайт: Теперь вам нужно подтвердить, что вы являетесь владельцем этого веб-сайта. Вы можете выбрать один из пяти различных методов проверки.
Релевантные отчеты и характеристики
После добавления вашего сайта в Яндекс.Вебмастер вы сможете использовать следующие отчеты и функции: статус индексации, например, количество страниц вашего сайта в индексе Яндекса и количество обратных ссылок.
Проверить URL
В меню «Проверить URL» вы можете получить доступ к информации о конкретных страницах вашего сайта. В этом отчете будет указано, проиндексирована ли страница в Яндексе, ее HTTP-статус-код, дата последнего обхода и количество обратных и внутренних ссылок.
Индексация
Этот отчет содержит информацию об индексации вашего сайта:
- Структура сайта: Здесь вы можете увидеть, как Яндекс воспринимает структуру вашего сайта.
- Страницы в поиске: Здесь вы найдете список всех страниц вашего сайта, которые входят в индекс Яндекса.
- Ссылки на сайт: В этом отчете вы увидите все обратные и внутренние ссылки вашего сайта.
- Исключенные страницы: Здесь вы найдете все страницы вашего сайта, которые исключены из индекса Яндекса. Причины исключений следующие: битые ссылки, исключения с файлом robots.txt или метатегом noindex и страницы с тегом canonical. Кроме того, этот отчет содержит список всех неработающих ссылок.
Параметры индексирования
В этом меню есть инструмент анализа файла robots.txt и разделы для загрузки ваших карт сайта (файлы Sitemap). В разделе «Главное зеркало» вы определяете свои предпочтения, должны ли URL-адреса индексироваться с www или без него.
Поисковые запросы
Этот отчет аналогичен отчету Search Analytics в Google Search Console и показывает поисковые запросы, по которым ваш сайт отображался в Яндексе.
География сайта
Здесь вы можете определить географический таргетинг вашего веб-сайта. Вы можете определить только одну географическую цель. Вы также можете указать, что ваш веб-сайт не имеет определенной географической цели.
Появление в результатах поиска
В этом разделе вы найдете две характеристики того, как ваш сайт отображается в результатах поиска Яндекса:
- Ссылки SERP: Этот отчет показывает, какие ссылки сайтов отображаются в поиске Яндекса вместе с вашим сайтом .
- Регистр букв URL: Здесь вы определяете, как вы хотите, чтобы ваш URL отображался в результатах поиска (прописные и строчные буквы).
Как видите, Яндекс предоставляет несколько важных отчетов и функций для контроля и мониторинга индексации вашего сайта. Однако Яндекс.Вебмастер менее универсален, чем инструменты для веб-мастеров от Google и Bing. Чтобы оптимизировать свой сайт для Яндекса, вам также следует использовать дополнительные SEO-инструменты.
Можем ли мы помочь вам оптимизировать ваш веб-сайт для SEO? Не стесняйтесь, присылайте мне по электронной почте.
Украина война: русские в темноте в темноте от интернет-поиска
Опубликовано
Связанные темы
- Russia-ukraine War
By Adam
BBC Monitoring
Во многих местах поиск в Интернете является воротами в более широкий мир информации, но в России он является частью системы, которая помогает заманивать людей в ловушку альтернативной реальности.
Вскоре после того, как 20 человек были убиты в результате российского ракетного обстрела украинского города Кременчуг в июне, Лев Гершензон, бывший менеджер российской технологической компании Яндекс, ввел название города в поисковую систему, чтобы узнать больше.
Результаты, которые он получил, потрясли его.
«Источники, занимавшие верхние строчки страницы, были странными и малоизвестными», — сказал он Би-би-си. «Был один блог неизвестного автора, который утверждал, что информация о жертвах была фальшивой».
Кремль жестко контролирует средства массовой информации страны, особенно телевидение, которое прославляет вторжение России в Украину как освободительную миссию и отвергает сообщения о зверствах как фальшивку.
Интернет в России долгое время был основным пространством для альтернативных источников информации, но после начала войны в феврале Кремль начал наступление на независимые интернет-СМИ.
По оценкам Роскомсвободы, борца за цифровые права, за первые шесть месяцев конфликта в России было заблокировано около 7000 веб-сайтов, включая сайты крупных независимых СМИ и правозащитных групп.
Наш эксперимент
Би-би-си Мониторинг хотела узнать, что люди в России видят, когда они ищут в Интернете сейчас.
Мы использовали виртуальную частную сеть (VPN), поэтому могло показаться, что мы ищем в Интернете из России.
В период с июня по октябрь мы провели десятки поисков в ведущих поисковых системах России — Яндексе и Google — по ключевым словам, связанным с войной на Украине.
Яндекс — одна из больших звезд отечественной технологической сцены в России. Он управляет крупнейшей поисковой системой страны и позиционирует себя как независимая от властей.
Согласно собственной статистике компании, она обрабатывает около 60% поисковых запросов в России, при этом на долю Google приходится около 35%.
С самого начала войны «Яндекс» подвергался критике за прокремлевский уклон сайтов и статей, размещенных на его новостном агрегаторе «Яндекс Новости». В сентябре он продал «Яндекс.Новости» связанному с Кремлем владельцу социальной сети «ВКонтакте».
Но Яндекс сохраняет контроль над своей общей поисковой системой, и здесь результаты эксперимента BBC Monitoring раскрывают альтернативную реальность, в которой доминирует российская пропаганда войны.
Никаких упоминаний о зверствах
Одной из тем, которые искали, была Буча, украинский город, где российские войска убили сотни мирных жителей, прежде чем они отступили в начале апреля.
Смерти потрясли мир, но в России многие, похоже, верят версии государственных СМИ, что их инсценировала Украина.
Подпись к изображению,Результаты Яндекса об убийствах мирных жителей в Буче, как будто базирующихся в России (слева), содержат сообщения в блогах, отрицающие вину России, в то время как результаты Google в Великобритании говорят о свидетельствах зверств
Когда мы искали Буча на Яндексе — используя VPN, как будто базирующийся в России, и печатая по-русски — верхняя страница результатов выглядела так, будто убийств никогда не было.
Три из девяти лучших результатов были анонимными сообщениями в блогах, отрицающими причастность российских войск. Остальные шесть не содержали независимых сообщений о событиях.
Обнаружение массовых захоронений в октябре в городе Лиман, после того, как он был отбит у российских войск, также нашло отражение в Яндексе с прокремлевской точки зрения.
Несколько прокремлевских новостей, обвиняющих в гибели украинских «нацистов», попали в первую десятку результатов.
Источник изображения, LiveJournal
Подпись к изображению,Типичный прокремлевский пост в блоге с высоким рейтингом в результатах поиска Яндекса, отрицающий, что российские военные убивали мирных жителей в Буче результаты сильно смещены в сторону нарратива Кремля.
Четыре из девяти результатов на первой странице связаны с прокремлевскими новостными агентствами, и ни один с независимыми СМИ.
Отрывки независимых репортажей лишь изредка появлялись в результатах поиска Яндекса со ссылками на статьи Википедии или YouTube.
На просьбу BBC прокомментировать, Яндекс сказал, что его поиск в России «отображает контент, [то есть] доступный в Интернете, за исключением сайтов, которые заблокированы регулятором [медиа]». Он отрицал какое-либо «человеческое вмешательство» в результаты рейтинга.
Image caption,Результаты Яндекса в России (слева) и Google в Великобритании (справа) охватывают массовые захоронения в Лимане, но в отчетах Яндекса эксгумация тел названа «осквернением»
Так что же произойдет, если вы переходите с Яндекса на вторую по величине поисковую систему России, Google?
Поиск в поисковой системе американской компании с нашим VPN, настроенным на российскую локацию, и набор текста на русском языке по-прежнему выдавали прокремлевские СМИ, но смешанные с некоторыми независимыми и западными источниками.
Еще больше независимых источников появилось, когда мы искали в Google с VPN, настроенной так, как будто мы были в Великобритании, хотя все еще печатали на русском языке. Было много результатов, охватывающих либо гибель мирных жителей, либо войну.
Google сообщил Би-би-си, что его поиск «отражает контент, доступный в открытой сети», а его алгоритм обучен «заметно отображать высококачественную информацию из надежных источников».
Очистка результатов
Так почему же результаты поиска Яндекса так сильно отличаются от результатов поиска Google?
Несколько специалистов, с которыми поговорила Би-би-си, заявили, что маловероятно, чтобы внутри Яндекса происходили крупномасштабные манипуляции, поскольку это было бы слишком сложно сделать.
Одна из возможностей состоит в том, что результаты компании просто искажены репрессиями Кремля в отношении независимых сообщений о вторжении.
Потому что тысячи сайтов были заблокированы российским регулятором СМИ , огромные массивы информации не отображаются в результатах поиска Яндекса.
В результатах поиска Яндекса по слову «Украина», как будто базирующемся в России (слева), преобладали прокремлевские СМИ и не содержались независимые СМИ, в то время как в результатах поиска Google, как если бы они базировались в Великобритании (справа), отображались только западные репортажи
«Они [власти] могут полностью очистить результаты», — сказал Би-би-си Алексей Сокирко, бывший разработчик Яндекса.
В то же время Кремль вкладывает значительные средства в создание веб-контента, отражающего его собственное мировоззрение, добавил он.
Эксперты по поиску Гвидо Амполлини и Михаил Орлов из маркетинговой компании GA Agency говорят, что это также может исказить результаты, которые пользователи увидят в Яндексе, поскольку алгоритм поисковой системы может вознаграждать прокремлевские материалы более высоким рейтингом и понижать рейтинг альтернативных взглядов. .
Искусственный веб-трафик
Может ли использование VPN помочь россиянам узнать больше о войне на их родном языке?
Если они используют Яндекс, чтобы найти эту информацию, то не обязательно.
При поиске на его движке с VPN, настроенным на Великобританию и использующим русский язык, появился странный независимый источник, но прокремлевские источники по-прежнему преобладали.
Г-н Амполлини и г-н Орлов говорят, что прокремлевский контент выглядит тщательно подобранным, чтобы алгоритм ранжировал его выше.
И с одним малоизвестным новостным сайтом, который занимал видное место в результатах, они также обнаружили признаки возможного манипулирования веб-трафиком.
Было обнаружено большое количество потенциально искусственных ссылок на сайт с внешних веб-сайтов — распространенный метод повышения рейтинга сайта в поиске.
Источник изображения, МАРИНА МОИСЕЕНКО
Подпись к изображению,В результате авиаударов российской авиации по украинским городам погибло много мирных жителей
Наконец, Яндекс может учитывать тот факт, что российские пользователи сами выбирают прокремлевский контент.
Специалист по поиску Ник Бойл из агентства цифрового маркетинга The Audit Lab рассказал Би-би-си, что, в отличие от Google, Яндекс учитывает поведение пользователей.