Файл sitemap xml: Где находится файл sitemap

Проверить файл sitemap.xml на наличие ошибок

Sitemap.xml — это карта сайта для поисковых роботов, которая находится в корне сайта и содержит рекомендации того, какие страницы необходимо обходить в первую очередь и с какой частотой. Это ускоряет и упрощает процесс индексации. Создание sitemap.xml не является обязательным правилом. Такая карта должна быть на сайтах, которые имеют большое количество страниц, и в тех случаях, когда контент на страницах часто обновляется.

Sitemap, как правило, формирует программное обеспечение сайта по всем страницам, которые на нем есть. Однако не все системы администрирования сайтов знают, какие страницы запрещены для индексирования директивами в robots.txt или другим способом, и поэтому в Sitemap попадают закрытые от индексации страницы, а также страницы, созданные, но не добавленные в меню и т. д. Эти ошибки приносят массу проблем с поисковыми системами.

Разные поисковые системы обрабатывают правила в sitemap по-разному.

Например, Яндекс скорей всего проиндексирует все страницы, которые есть в sitemap. Google чаще всего индексирует только те страницы, до которых можно дойти краулером переходом по ссылкам на сайте с учетом всех правил. То есть Google использует sitemap только для определения частоты сканирования страниц, а Яндекс берёт из sitemap страницы для индексации. Это является одной из причин, почему число страниц в Яндекс и Google может отличаться.

Анализ sitemap на сервисе Labrika помогает найти следующие виды ошибок:

Есть в sitemap, но не найдены при обходе сайта

Содержание отчета:

1. Адреса страниц.
2. Код ответа страницы. Ошибка 404 — это стандартный код ответа HTTP о том, что страница не может быть найдена.
3. Количество входящих ссылок, ведущих на страницу.
4. Наличие блокировки страницы от индексации при помощи атрибута noindex.
5. Наличие блокировки ссылок на страницу при помощи атрибута nofollow.
6. Наличие блокировки страницы от индексации в Яндексе посредством директивы в robots. txt.
7. Наличие блокировки страницы от индексации в Google посредством директивы в robots.txt.
8. После нажатия кнопки «Скачать исправленный sitemap.xml» Labrika самостоятельно исправит все обнаруженные ошибки и сохранит правильную обновленную версию sitemap.xml на ваш компьютер.

Этот отчёт помогает найти так называемые страницы-сироты. Про этот термин в России знают далеко не все оптимизаторы. На Западе же он широко используется.

Страницы-сироты (бесхозные страницы) — это страницы веб-сайта, на которые нет ссылок с других страниц вашего сайта. Если такая страница даже проиндексируется поисковой системой, то PageRank (ссылочный вес) у этих страниц будет равен нулю, а значит позиции по конкурентным запросам будут сильно занижены. B интернете можно найти исследования, которые указывают на то, что несмотря на отказ от расчёта PageRank на сайт поисковые системы используют PageRank или аналогичные алгоритмы для оценки веса страниц внутри сайта.

А это значит, что если посадочная страница попала в этот отчёт, то это требует срочного исправления ошибок.

Причины ошибки могут быть следующие:

1. На страницу ведет ссылка с документа, который сам закрыт для индексации, либо закрыты ведущие на него страницы. В результате паук поисковой системы, передвигаясь от главной страницы, доходит до закрытых страниц и не может пройти дальше, чтобы проиндексировать следующие документы.
2. Заблокированы ссылки на нужную страницу, например, через атрибут rel=nofollow. То есть паук видит ссылку на страницу, но не переходит по ней, так как это запрещено.
3. На страницу нет и, возможно, никогда не было ссылок.
4. Страницу удалили в редакторе сайта и из меню, а html-файл на сайте остался.
5. Закрыта сама страница, которая есть в sitemap. Поэтому она и не была найдена при индексации.

Чтобы исправить ошибку необходимо проверить блокировки страниц и ссылок на более низких уровнях, начиная с главной страницы сайта. Чаще всего ошибка возникает из-за того, что страницу сделали, но не добавили в меню или из-за того, что закрыли от индексации пагинацию в каталоге товаров (или в разделе блога – для информационных страниц).

Есть в sitemap, но закрыты от индексации

Здесь отображаются страницы, которые запрещены для индексации, но есть в sitemap.

То есть страницы по каким-то причинам закрыли от индексации, но не убрали из sitemap.

Это может привести к утечке конфиденциальной информации, появлению закрытых от индексации дублей страниц в индексе поисковых систем (+снижение позиций из-за этого) или потере краулингового бюджета в Яндексе. Google, как правило, не индексирует такие страницы. Их следует удалить из карты сайта. Если же по ошибке оказалась закрыта от индексирования страница, которая должна попасть в результаты поиска, необходимо снять блокировку индексации.

Нет в sitemap, но разрешены для индексации

Содержание отчета:

1. Адреса страниц.
2. Код ответа страницы. Код 200 говорит об успешной обработке запроса (страница доступна).
3. Количество входящих ссылок, ведущих на страницу.
4. После нажатия кнопки «Скачать исправленный sitemap.xml» Labrika самостоятельно исправит все обнаруженные ошибки и сохранит правильную версию карты сайта на ваш компьютер.

Здесь отображаются страницы, которые разрешены для индексации, но отсутствуют в sitemap. Эта ошибка самая безобидная из всех. Тем не менее, наличие страницы в sitemap даёт возможность управлять краулинговым бюджетом. Краулинговый бюджет — это лимит страниц, который поисковый робот может просканировать за определенный период времени. Важно, чтобы он расходовался на приоритетные посадочные страницы. Для этого они должны быть прописаны в sitemap.

В случае появления данной ошибки добавьте нужные страницы в карту сайта, а также проверьте, включено ли её автоматическое обновление и все ли необходимые разделы обрабатываются при формировании sitemap.

Внимание! Отчёты по sitemap будут доступны в том случае, если было выставлено достаточно лимитов, чтобы просканировать весь сайт. Иначе Labrika только определит, какие страницы включены в карту сайта, но не сможет установить весь список существующих на сайте страниц и сравнить его с содержимым sitemap.

Зачем нужен файл sitemap.xml (карта сайта для роботов) и как с ним работать. Мифы и реальность ~ Блог Алексея Трудова

В последнее время часто приходится отвечать на вопросы, связанные с файлами sitemap. Всплеск интереса к этому далеко не самому важному аспекту оптимизации сайтов объясняется выходом новой версии Яндекс.Вебмастера, который помечает отсутствие карты сайта как ошибку.

В разделе “Возможные проблемы” показывается следующее уведомление:

Нет используемых роботом файлов Sitemap
Робот не использует ни одного файла Sitemap. Это может негативно сказаться на скорости индексирования новых страниц сайта. Если корректные файлы Sitemap уже добавлены в очередь на обработку, сообщение автоматически исчезнет с началом их использования.
Обратите внимание на раздел «Файлы Sitemap».

Так ли страшно это предупреждение? Обязательно ли создавать sitemap и если да, то для чего? Разложим по полочкам.

Что такое sitemap и для чего он предназначен?

Это файл, содержащий список адресов страниц сайта, сформированный по специальному (достаточно простому) стандарту. Подробно о нем можно почитать на www.sitemaps.org.

Чаще всего используется формат xml, который позволяет указывать помимо самих URL-адресов также некоторые их характеристики (частоту обновления и изменения, относительную значимость страницы). Однако можно использовать и совсем простую структуру. Это файл txt, содержащий список URL (каждый с новой строки) – и больше ничего.

Назначение списка – предоставить поисковым паукам информацию об имеющихся на сайте документах. Это помогает роботу найти все страницы ресурса и добавить их в результаты поиска. Дополнительные данные из xml – это рекомендация поисковым паукам чаще или реже посещать те или иные страницы. Кстати, не слышал ничего о том, как эти рекомендации выполняются. Очень может быть что они не учитываются вообще или являются значительно более слабым сигналом по сравнению с другими факторами.

Мифы о карте сайта

1. Достаточно сделать sitemap.xml – и об индексации можно не беспокоиться

Это самое частое заблуждение, сталкиваюсь регулярно. На самом деле для крупных сайтов (сотни тысяч страниц) полнота индекса – одна из наиболее важных проблем и простым размещением карты сайта она не решается. Карта дает роботу возможность найти все страницы, но это не значит, что а) индексации не помешает что-то другое, например, технические проблемы и б) поисковая система сочтет страницу “достойной” быть в поиске.

Для индексации всех страниц даже относительно небольшого (30 – 50 тысяч страниц) сайта нередко приходится прилагать дополнительные усилия. См. обзорную статью на эту тему а также описание автоматизированного подхода к ускорению индексации.

2. Sitemap обязателен для всех сайтов

Маленькие проекты (до тысячи страниц) с более-менее адекватной структурой, когда можно в пару кликов перейти на любую страницу, прекрасно себя чувствуют и без него. Это понятно как из общих соображений (основной механизм нахождения материалов для индексации – это переходы по внутренним ссылкам), так и из практики. Видел десятки сайтов без карты, которые полностью корректно воспринимались роботом.

Наконец, о том же говорит Гугл в своей справке:

Если страницы файла корректно связаны друг с другом, поисковые роботы могут обнаружить большую часть материалов. Тем не менее, с помощью файла Sitemap можно оптимизировать сканирование сайта, особенно в следующих случаях:

• Размер сайта очень велик. Поисковые роботы Google могут пропустить недавно созданные или измененные страницы.
• Сайт содержит большой архив страниц, которые не связаны друг с другом. Чтобы они были успешно просканированы, их можно перечислить в файле Sitemap.
• Ваш сайт создан недавно, и на него указывает мало ссылок. Робот Googlebot и другие поисковые роботы сканируют Интернет, переходя по ссылкам с одной страницы на другую. Если на ваш сайт указывает мало ссылок, его будет сложного найти.
• На сайте используется мультимедийный контент, он отображается в Новостях Google или использует другие аннотации, совместимые с файлами Sitemap. Из файлов Sitemap может получать дополнительную информацию для отображения в результатах поиска.

3. Если удалить страницу из sitemap, она выпадет из индекса

Аналогично – миф. Сталкивался с огромным количеством сайтов, где sitemap отваливался из-за технических проблем или отдавался роботам в сильно урезанном виде. Это могло вредить попаданию в поиск новых страниц, но со старыми все было в порядке.

Наоборот, нередко используется прием “удалим из карты все проиндексированное чтобы сосредоточить внимание робота на новых страницах”. Он дает определенный эффект в плане оптимизации краулинга (сканирования) сайта. Однако для большинства случаев я не рекомендую его использовать, о причинах см. ниже.

4. Обязательно нужно настраивать все доп. параметры (приоритет, частота обновления)

Нет. Как уже упоминалось, можно без проблем использовать обычный txt-файл со списком url. Разумеется, хуже от указания максимума информации в карте не будет. Однако:

1. Нет достоверных данных о том, что поисковики действительно учитывают эти инструкции. Вообще-то Яндекс зачастую игнорирует даже куда более жесткую рекомендацию – заголовок сервера Last-Modified и If-Modified-Since (см. подробнее).
2. Даже если сигналы учитываются строго по заявлениям поисковиков – то есть как рекомендация – то выигрыш в эффективности сканирования будет чаще всего весьма незначителен. Исключение – по-настоящему крупные проекты, где полнота индекса критична.
3. Указание всех данных требует от SEO-аналитика дополнительной кропотливой работы по подбору их значений.
4. Аналогично, настройка генерации файла со всеми параметрами – это дополнительные затраты на разработку.
5. Пункты 3 и 4 еще серьезнее, чем кажутся. Ведь сайт меняется, должны меняться и расширенные данные, иначе рекомендации станут неактуальными.

Думаю, на этом хватит о мифах, перейдем к настоящим рекомендациям.

Как правильно работать с sitemap?

Большая часть необходимых сведений о создании файлов и предоставлении роботам доступа к ним содержится в справке поисковых систем. См. помощь Google и Яндекса. Я же расскажу о нескольких неочевидных моментах.

Во-первых, файл со списком url сайта, к которому легко получить доступ, может пригодиться не только поисковым роботам. Он крайне удобен для ряда задач SEO-аналитики.

Пара примеров.

Оценка полноты и качества индекса

Раз мы точно знаем количество доступных для поисковых систем страниц (число ссылок в карте посчитать несложно) – значит, можем быстро оценить, насколько полно он проиндексирован. Делаем грубую оценку через оператор “site:” (лучше с некоторыми ухищрениями, см. о проверке индексации в Google).

Если количество страниц в выдаче меньше, чем в карте – находим те, что ускользнули от роботов и загоняем их в поиск – правкой структуры, Твиттером (инструкция) и т.д.

Если больше – то в поиск могли попасть случайно сгенерированные, “мусорные” страницы. Их нужно найти и либо довести до ума, либо закрыть с помощью robots.txt, canonical, мета-тегов. Опять же, для поиска лишнего пригодится список нужного, чем и является sitemap.

Поиск страниц, которые не приносят трафик

Если страница есть на сайте, но не приносит нам посетителей в течение долгого времени, с ней что-то не так. Подобные url нужно найти и разобраться в причинах – зачастую это помогает здорово поднять трафик.

Как это сделать? Хотя бы так:

Строим в Метрике отчет по страницам входа из поиска за квартал:

Фильтруем по источнику – по одной из поисковых систем, под которую работаем:

И выгружаем список страниц (данные таблицы) в excel.

Теперь нам осталось:

а) перегнать xml-карту в excel (для этого есть море онлайн-конвертеров).

б) используя функции excel находим url, которые есть в столбце из карты, но нет в столбце из Метрики.

Алгоритм выглядит довольно громоздко, но ничего сложного в нем нет. А для ленивых ценящих свое время (таких как я) есть автоматизация процесса. Один из отчетов моего сервиса анализа сайта как раз проверяет списки из sitemap по разным параметрам. Например, вчера вышло обновление, где на основе sitemap работает поиск потенциально опасных страниц, которые загоняются в индекс ссылочным спамом от конкурентов, желающих навредить сайту.

Подобных примеров можно привести еще много. Суть не в них, а в том, что  иметь под рукой актуальный перечень страниц сайта очень полезно. К нему можно быстро получить доступ с помощью разных сервисов и софта (на крайний случай – используя excel) и использовать в процессе оптимизации сайта.

Да что там говорить, даже стандартный технический аудит с применением парсеров вроде Screaming Frog делать удобнее, если подать на вход не url главной страницы, как обычно, а sitemap. Процесс делается более управляемым: можно заранее отобрать для анализа часть страниц (например, по самому проблемному разделу) и не ждать, пока будут обработаны другие.

Это был первый не очень очевидный момент.

Как лучше дать роботам доступ к карте?

В некоторых случаях лучше не указывать ссылку на stiemap в robots.txt, а отправлять вручную через Google Search Console и Яндекс.Вебмастер. Дело в том, что в robots.txt ее может увидеть кто угодно. Например, какой-нибудь злодей, который ищет где спарсить контент. Не стоит облегчать ему задачу.

Если дать SEO-паранойе разгуляться еще сильнее – то приходит мысль не использовать стандартное имя (sitemap.xml), а назвать файл как-нибудь иначе, чтобы ее не нашли, введя традиционное название.

Не скажу, что это особо критичный совет, но почему бы не подстелить соломки, если это несложно?

Резюме

1. Файл sitemap помогает сайту в плане индексации, но отнюдь не является панацеей. Если есть проблемы с полнотой индекса – их нужно решать комплексно.
2. Использовать необязательно, но желательно для крупных сайтов и некоторых специфичных задач (см. выше цитату из справки Google).
3. Предыдущий пункт справедлив в отношении задачи “облегчить жизнь поисковым роботам”. Однако для задач анализа сайта и принятия решений в процессе оптимизации иметь под рукой карту удобно практически для всех сайтов (кроме совсем маленьких).
4. Важнейшее требование к sitemap (помимо соответствия стандартам) – это полнота и актуальность. Для задач SEO-аналитики карта выступает как эталон, с которым сравнивают другие списки url-адресов (те, что в индексе; на которые есть входящие ссылки; на которые есть переходы из поиска и так далее). Поэтому при создании нужно сразу позаботиться о ее регулярном обновлении.
5. Если есть необходимость управлять индексацией путем удаления уже проиндексированных страниц из sitemap, то можно иметь 2 разных файла – один отдавать роботам, а другой держать для собственных нужд по анализу.

Уф, вроде бы простой предмет, а статья почти на 1500 слов. Поздравляю себя с ее написанием и вас – с прочтением. Мы оба небывало усидчивы для эпохи социальных сетей и непрерывного отвлечения!

Исправляем распространенные ошибки в карте сайта

16 мин — время чтения

Апр 29, 2021

Поделиться

Вы создали карту сайта, загрузили ее в Google Search Console, но файл не получил статус «Успешно» или «Ок»? А, может, отчет о файлах Sitemap выглядит хорошо, но поисковикиигнорирует ваш файл Sitemap и не собирается индексировать многие страницы из карты сайта. Возникает вопрос, можно ли что-нибудь сделать для улучшения статистики индексирования. Отвечаем — можно, и даже расскажем, как это сделать.

Если у вас еще нет карты сайта и вы хотите узнать, зачем она нужна, ознакомьтесь с нашим вводным интенсивом по созданию файла Sitemap. Здесь мы расскажем о преимуществах использования карты сайта и действенных рекомендациях по работе с ней. Если вы пока не знаете, для чего используют теги <loc> и <lastmod>, что такое карта сайта для видео или файл индекса Sitemap, вводное руководство вам точно пригодится.

В первой части этой статьи перечислены все ошибки, с которыми вы можете столкнуться в отчетах о файлах Sitemap в Google Search Console. Если же вы ищете способ устранить конкретные проблемы, воспользуйтесь содержанием, чтобы перейти к интересующим вас ошибкам.

Во второй части — рекомендации, которые помогут вам извлечь максимальную выгоду из карты сайта. Вы узнаете, как найти мусорные страницы в файле Sitemap, где искать страницы, которые вы могли пропустить и не добавить в карту сайта, и как заставить поисковик проиндексировать как можно больше страниц из файла Sitemap. Поэтому очень советую всем внимательно ознакомиться со второй главой этой статьи.

Исправление ошибок в отчете Sitemap

После загрузки карты сайта в Google в столбце «Статус» можно увидеть, удалось ли поисковику обработать файл. Если ваш файл соответствует всем правилам, появится статус «Успешно». В этой главе мы рассмотрим другие статусы, а именно «Не получено» и «Обнаружены проблемы».

Проблемы со сканированием вашего файла Sitemap

Начнем с самого худшего сценария, когда поисковик не может обработать файл Sitemap. Сначала разберемся с Google — что делать, если статус вашей карты сайта «Не получено». 

В этом случае вам придется использовать «Инструмент проверки URL», чтобы выяснить, что может быть причиной проблемы. В инструменте нажмите кнопку «Проверить страницу на сайте» и посмотрите статус получения страницы. Если написано «Успешно», значит ошибка на стороне Google.

Если Google не удалось получить вашу карту сайта, убедитесь, что ничто не блокирует доступ к файлу Sitemap — будь то директивы robots.txt или плагины CMS (да, иногда виноваты они!). Также проверьте, правильно ли введен URL-адрес карты сайта — обратите внимание на протокол и префикс www.

Ошибка «Не получено» может возникнуть как при загрузке отдельной карты сайта, так и в случае загрузки в Google Search Console файла индекса Sitemap. Проблему нужно решить так же, как и с одной картой сайта.

Ошибки в файле индекса Sitemap

Теперь перейдем к случаям, когда поисковики просканировали добавленный вами файл и обнаружили ошибки. И начнем мы с ошибок файла индекса Sitemap.

Файл индекса Sitemap содержит ссылки на несколько карт сайта — поисковой системе необходимо обработать их все, чтобы наконец получить доступ к URL-адресам вашего сайта. В Google Search Console вы получите ошибку «Неполные URL в файле индекса Sitemap», если поисковик не сможет обработать URL-адреса, перечисленные в файле индекса Sitemap. Обычно это означает, что Google не удалось найти одну или несколько ваших карт сайта, потому что вы использовали относительные URL-адреса. Все URL-ы, которые указывают на отдельные карты сайта в файле индекса Sitemap, должны быть абсолютными, иначе Google не сможет их найти.

Кроме того, в вашем файле индекса Sitemap не должны быть указаны другие файлы индекса Sitemap, а только карты сайта. Если вы сделаете так, то получите сообщение «Вложенные файлы индекса Sitemap» в Google Search Console.

И последняя ошибка. В Google она звучит так «Слишком много файлов Sitemap в файле индекса». Это происходит с огромными сайтами, которые содержат более 50 000 карт сайта в одном файле.

Недопустимый размер файла Sitemap и ошибки сжатия

Ограничения по размеру применяются как к файлам индекса Sitemap, так и к отдельным картам сайта. Размер файла Sitemap в несжатом виде не должен превышать 50 МБ, а в карте сайта не должно быть более 50 000 URL-адресов. Если вы не соблюдаете эти правила, то получите ошибку «Превышен максимальный размер файла Sitemap» в Google. Узнать больше о том, как разделить карту сайта на несколько файлов, можно из нашего полного руководства по созданию файла Sitemap. 

Карта сайта должна не только не превышать допустимые размеры, но и не быть пустой. Если вы загрузите пустой Sitemap, то получите соответствующую ошибку в консоли.

Я говорила, что допустимый размер карты сайта в несжатом виде должен быть меньше 50 МБ, но часто файлы Sitemap сжимают для экономии пропускной способности канала. Обычно для этой цели используют инструмент gzip, который добавляет расширение gz к файлу. Сообщение об ошибке сжатия или разархивирования в отчете означает, что что-то пошло не так во время процесса сжатия, и вам нужно сделать это еще раз.

Проблемы со сканированием URL-адресов в карте сайта

По ряду причин поисковики могут не просканировать некоторые URL-адреса, которые указаны в карте сайта. Давайте разберемся со всеми подобными ошибками.

«Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt» — ошибка довольно простая, поскольку поисковики укажут вам на заблокированные URL-адреса. Все зависит от того, хотите ли вы, чтобы эти URL-ы были проиндексированы. Если да, то вам придется снять блокировку, в другом случае необходимо удалить адреса из карты сайта.

Еще одна довольно очевидная проблема, которая не позволяет Google сканировать страницу, — это код ответа, отличный от 200 ОК. В отчете поисковиков это называется ошибкой HTTP, и точный код указывается для каждой отдельной страницы. Кроме консолей вебмастеров, проверить коды ответа URL-адресов из вашей карты сайта можно с помощью инструмента «Аудит сайта» от SE Ranking.

Всю необходимую информацию ищите в разделе «Код ответа сервера».

Google также выделяет другие не такие очевидные и простые ошибки. Кратко пройдемся по каждой из них.

Ошибка «URL недоступны» означает, что поисковик обнаружил вашу карту сайта в указанном месте, но не смог получить все URL-адреса из списка. В этом случае вам снова нужно использовать «Инструмент проверки URL» и проверять доступность для сканирования каждого проблемного URL-а.

Ошибка «Переход по URL не выполнен» возникает либо из-за того, что вы использовали относительные URL-адреса в карте сайта вместо абсолютных, либо из-за проблем с редиректами. Цепочки и циклы редиректов, временные редиректы, которые используют вместо постоянного перенаправления, а также HTML- и JS-редиректы могут привести к этим ошибкам.

Google Search Console не указывает, что именно может быть причиной проблемы. Поэтому вам нужно использовать другие инструменты, чтобы понять, какие ошибки необходимо исправить. Например, в инструменте «Аудит сайта» SE Ranking есть специальный раздел «Редиректы», где можно проверить, есть ли на вашем сайте какие-либо проблемы с перенаправлениями.

Если инструмент обнаружит какие-либо ошибки, вы получите всю необходимую информацию по каждой из них — щелкнув на количество страниц, можно узнать, на какой странице есть проблема и как она связана с другими страницами сайта.

Ошибка «Нельзя использовать URL» означает, что ваша карта сайта содержит URL-адреса, которые находятся на более высоком уровне или в другом домене по сравнению с файлом Sitemap. Например, если ваша карта сайта находится по адресу: vashsajt.com/category1/sitemap.xml и вы добавили в нее страницу, адрес которой: vashsajt.com/stranitsa1, поисковики не смогут получить к ней доступ.

Что касается разных доменов, помните, что для Google версии сайта на HTTP и HTTPS, а также с www и без www считаются разными. Поэтому, если ваша карта сайта находится по адресу http://www.vashsajt.com/sitemap.xml, URL вида https://vashsajt.com/stranitsa1 будет считаться некорректным. 

Если вы недавно перешли на HTTPS, обязательно создайте новую карту сайта с HTTPS URL-адресами. Инструмент «Аудит сайта» SE Ranking напомнит вам об этом.

Google считает, что вы указали неправильные URL

Также стоит обратить внимание на еще одну ошибку, которую выделяет Google. Если вы добавите URL без префикса www в свою карту сайта, адрес которой содержит www, вы получите ошибку «Несоответствующий путь». То же самое касается файла Sitemap с www и URL-адресом без соответствующего префикса. Даже если ваш сайт доступен как с префиксом www, так и без него, не нужно путать эти вещи в карте сайта. Если ваш файл Sitemap находится по адресу: https://example.com/sitemap.xml, ни один из URL-ов, которые она содержит, не должен включать www. Если ваша карта сайта находится по адресу: https://www. example.com/sitemap.xml, все перечисленные в ней URL-ы должны включать www.

Синтаксические ошибки в карте сайта

В большинстве случаев вам не нужно беспокоиться о синтаксических ошибках в карте сайта — создав файл Sitemap с помощью одного из специальных сервисов, вы можете быть уверены, что с тегами и атрибутами не будет проблем. Однако, если вы самостоятельно сделали карту сайта, то можете столкнуться с одной из ниже описанных ошибок. 

• «Недопустимое значение тега». Значение тега — это то, что вы указываете между начальным и конечным тегами — URL-адрес между тегами <loc>, или дата, которую вы определяете с помощью тега <lastmod>. Ошибка возникает, когда вы указываете недопустимое значение в карте сайта, например, устанавливаете приоритет вне диапазона от 0,0 до 1,0.
• «Неверное значение атрибута». Значение атрибута указывается после знака равенства (=) в кавычках. В следующей строке кода перечислены различные языковые версии страницы в файле Sitemap.

<url><loc>https://example.com</loc><xhtml:link rel=”alternate” hreflang=”gb” href=”https://example.com”/><xhtml:link rel=”alternate” hreflang=”fr” href=”https://example.com/fr”/></url>

Здесь “alternate”, “gb” и “fr” являются значениями атрибутов, но “gb” используется неправильно. Вы не можете указать в hreflangs только код страны — он должен сочетаться с кодом языка, например, “en-gb”.

• «Неправильно введена дата». Все довольно просто — вы использовали неправильный формат даты для тега <lastmod>. Единственный допустимый формат:

2005-02-21 
2005-02-21T18:00:15+00:00

• «Недопустимый URL». Как вы могли догадаться, эта ошибка означает, что нужно искать опечатки в добавленных URL-адресах. Напомню, что все URL-ы в вашей карте сайта должны быть абсолютными.
• Ошибки «Отсутствует атрибут XML» и «Отсутствует тег XML» тоже довольно очевидны. Отсутствие обязательных тегов и атрибутов (urlset, url, loc, xmlns) недопустимо — их нужно добавить, чтобы ваша карта сайта работала должным образом.
• «Недопустимый XML: слишком много тегов». Эта ошибка может возникнуть, если вы используете один из тегов несколько раз. Например, вы указали два разных адреса или две даты изменения для одного URL. В этом случае вам необходимо удалить повторяющийся тег.

<url>
<loc>http://www.example.com/</loc>
<lastmod>2021-01-01</lastmod>
<lastmod>2021-02-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>

• «Неправильно указано пространство имен». Пространство имен, указанное в вашем теге <urlset>, должно быть одним из принятых протоколов. В настоящее время используется следующий протокол:

Обычные файлы Sitemap — xmlns=”http://www.sitemaps.org/schemas/sitemap/0. 9”

Файлы Sitemap для новостей — xmlns:news=”http://www.google.com/schemas/sitemap-news/0.9″

Файлы Sitemap для видео — xmlns:video=”http://www.google.com/schemas/sitemap-video/1.1″

Файлы Sitemap для изображений — xmlns:image:=”http://www.google.com/schemas/sitemap-image/1.1″

Напомню, что специальные карты сайта для новостей, картинок и видео поддерживает только Google.

Если вы использовали неправильный протокол для своей карты сайта, вы получите ошибку «Неподдерживаемый формат файла» в Google Search Console. Она также может появиться из-за других всевозможных синтаксических ошибок, таких как использование неправильных кавычек (принимаются только прямые одинарные или двойные), отсутствие тега кодировки или некорректный префикс UTF-8.

Также Google выделяет несколько ошибок, связанных с файлом Sitemap для видео: «Слишком большой/маленький значок видео», «Адреса видео и страницы воспроизведения совпадают», «URL видео указывает на страницу воспроизведения». Вы можете найти более подробную информацию об этих ошибках здесь.

Чтобы избежать синтаксических ошибок, перед отправкой файла Sitemap используйте один из сервисов проверки карты сайта, подобных этому. Инструменты будут выделять проблемы, которые необходимо исправить.

После устранения всех ошибок в файле Sitemap нужно повторно загрузить обновленную карту сайта в Google Search Console.

Такие действия заставят Google повторно просканировать ваш сайт и, наконец, проиндексировать страницы, которые они не смогли просканировать из-за ошибок.

Загруженные vs проиндексированные URL-адреса

Ваша карта сайта и файл индекса Sitemap могут получить статус «Успешно» или «Ок», но на этом ваша работа не заканчивается.

Давайте сначала разберем, что делать дальше в Google Search Console. Щелкните на значок диаграммы рядом с количеством выявленных URL-адресов, чтобы перейти к отчету об индексировании. Как только вы начнете анализировать его, вы скорее всего заметите, что не все отправленные страницы были проиндексированы.

Это нормально, когда страницы исключаются из индексации — Google не может оценить и проиндексировать все страницы вашего сайта, о которых он знает. Более того, почти на каждом сайте есть страницы, которые вебмастера не хотят индексировать: страницы защищенные паролем, служебные страницы и дубли. Что не нормально, так это наличие ошибок и предупреждений в вашем отчете об индексировании. Также недопустимо, чтобы количество исключенных страниц во много раз превышало количество страниц без ошибок.

Так почему же поисковики не могут проиндексировать страницы, которые были добавлены в карту сайта? В большинстве случаев это происходит, когда вы добавляете туда страницы, которых в карте сайта быть не должно. Возможно, поисковики просто не могут проиндексировать страницу из-за директивы noindex. Кроме того, поисковики могут запутаться, действительно ли вы хотите, чтобы страница была проиндексирована — например, когда вы добавляете неканонические страницы в карту сайта.  

Все подобные ошибки можно найти в разных вкладках «Отчета об индексировании» в Google Search Console. Но их удобнее проверять с помощью инструмента «Аудит сайта» SE Ranking — если на вашем сайте есть подобные проблемы, вы легко найдете их все в разделе «Сканирование» в «Отчете об ошибках».

Удалите из карты сайта неиндексируемые и неканонические страницы. А если страницы были по ошибке помечены как неиндексируемые и неканонические, решите эту проблему.

Оптимизируйте карту сайта с подсказками от Google

Убедившись, что с вашей картой сайта все в порядке, изучите «Отчет об индексировании», чтобы найти случаи, когда ваше мнение о странице расходится с Google.

• На вкладке «Без ошибок, есть предупреждения» обратите внимание на страницы, которые были проиндексированы, несмотря на директиву noindex. Скорее всего, Google был прав, и вам нужно удалить тег noindex из этих страниц или из вашего X-Robots-Tag.
• На вкладке «Страница без ошибок» посмотрите внимательно на проиндексированные, но не отправленные в файл Sitemap страницы — вы можете добавить их в карту сайта, так как Google считает их качественными. В то же время, если Google проиндексировал ваше «Пользовательское соглашение», которое вы не включили в карту сайта, можно ничего не делать. Также следите за дублями страниц, которые были проиндексированы, но отсутствовали в вашей карте сайта — такие случаи часто возникают из-за проблем с пагинацией и обработкой параметров URL-адресов.
• Наконец, перейдите на вкладку «Исключено». Большинство страниц здесь исключены из индексации в соответствии с вашими собственными директивами, например старые страницы 404, страницы, заблокированные robots.txt, неиндексируемые и неканонические страницы. Обратите внимание на канонические страницы, которые Google решил не индексировать, — поисковая система считает, что на вашем сайте есть альтернативы получше. Тщательно изучите каждый случай и решите, действительно ли страница более ценна, чем ее дубли — исправьте свои теги canonical, если Google был прав. Если вы по-прежнему считаете, что страницу нужно проиндексировать, вам придется поработать над ее содержанием, профилем бэклинков и внутренней линковкой, чтобы убедить Google в обратном.

На вкладке «Исключено» можно увидеть еще две интересные категории страниц: «Просканированы, но пока не проиндексированы», и «Обнаружены, не проиндексированы». Оба типа обычно определяют некачественные страницы с малым содержанием, которые Google не хочет показывать пользователям. В первом случае страница была по крайней мере просканирована, а затем признана некачественной. А во втором случае поисковик даже не потратил краулинговый бюджет на страницу. Тщательно проанализируйте все такие страницы и посмотрите, что вы можете сделать, чтобы повысить их ценность: поработайте над контентом, взаимодействием с пользователем, внутренней линковкой и т. д.

Заключение

Благодаря разнообразию инструментов для создания карты сайта сделать файл Sitemap очень легко. Однако, если вы просто воспользуетесь одним из случайных инструментов и проигнорируете рекомендации по созданию карты сайта, то наверняка получите отчет о файле Sitemap с большим количеством ошибок, или отправите через карту сайта множество некачественных страниц на рассмотрение поисковикам.

Я надеюсь, что это руководство помогло вам исправить каждую ошибку в отчете о файле Sitemap. А воспользовавшись советами из второй части этого руководства, вы сможете оставить в карте сайта только качественные страницы и убрать все те, которые поисковики все равно не захотят индексировать. Если у вас остались вопросы, не стесняйтесь оставлять их в комментариях ниже.

1565 views

Что такое XML Sitemap?

1. WooRank
2. SEO-руководства
3. XML-карты сайта

Карта сайта в формате XML (расширяемый язык разметки) — это текстовый файл, используемый для детализации всех URL-адресов на веб-сайте. Он может включать дополнительную информацию (метаданные) по каждому URL-адресу, включая сведения о том, когда они в последний раз обновлялись, насколько они важны и существуют ли какие-либо другие версии URL-адресов, созданные на других языках. Все это делается для того, чтобы помочь поисковым системам более эффективно сканировать ваш веб-сайт, позволяя напрямую передавать им любые изменения, в том числе при добавлении новой страницы или удалении старой.

Нет никакой гарантии, что XML-карта сайта позволит сканировать и индексировать ваши страницы поисковыми системами, но ее наличие определенно увеличивает ваши шансы, особенно если ваша навигация или общая стратегия внутренних ссылок не связаны со всеми вашими страницами.

Пример карты сайта:

 

   <ссылка>
      https://www.example.com
      2017-10-06
      еженедельно
      <приоритет>0,9
      
       example.com/fr"/>
   
 

Глоссарий тегов, используемых в карте сайта

— Карта сайта открывается и закрывается с помощью этого тега. Это текущий стандарт протокола.

— это родительский тег для каждой записи URL.

<место> — этот тег содержит абсолютный URL-адрес или локатор страницы.

— содержит информацию о дате последнего изменения файла. Он должен быть в формате ГГГГ-ММ-ДД.

— содержит информацию о частоте изменения файла.

<приоритет> — указывает на важность файла на сайте. Диапазон значений от 0,0 до 1,0.

— в этом случае этот тег используется для предоставления сведений об альтернативных URL-адресах, предлагаемых на других языках.

ПРИМЕЧАНИЕ:

1. Тег является обязательным, а теги , и являются необязательными.

2. В идеале XML Sitemap следует добавить в корневой каталог веб-сайта. Все URL-адреса в файле Sitemap должны исходить от одного и того же хоста.

3. Должна быть включена только каноническая версия всех URL-адресов страниц, поэтому страницы не должны перенаправлять или возвращать статус ошибки.

4. Максимальная длина URL-адресов составляет 2048 символов.

5. Хотя может показаться возможным заставить поисковые системы думать, что контент на вашей странице часто обновляется, ежедневно объявляя тег , делать это не рекомендуется. Если теги частоты и приоритета не соответствуют действительности, есть вероятность, что сканеры поисковых систем проигнорируют их.

6. Все URL-адреса в файле Sitemap должны исходить от одного хоста.

7. Если вам нужна помощь в создании карты сайта, вам помогут несколько инструментов для создания карты сайта.

Пример индексного файла Sitemap

При использовании нескольких файлов Sitemap для одного веб-сайта каждый файл должен быть указан вместе в отдельном файле, называемом индексным файлом Sitemap.

 
<карта сайта>
https://www.example.com/sitemap1.gz
2017-12-31
<карта сайта>
https://www.example.com/sitemap2.gz
2017-10-01
 

Вам может понадобиться несколько файлов Sitemap в формате XML, если у вас более 50 000 URL-адресов на сайте или если размер одного файла Sitemap превышает 10 МБ. В этом случае вам потребуется создать еще один файл Sitemap в формате XML. У вас есть возможность уменьшить требования к пропускной способности, сжав файл Sitemap с помощью gzip, но вы должны убедиться, что после распаковки размер файла по-прежнему не превышает 10 МБ.

Вы можете увидеть пример файла индекса Sitemap слева.

Глоссарий тегов, используемых в индексном файле Sitemap

— файл индекса Sitemap открывается и закрывается с помощью этого тега. Он включает в себя все файлы Sitemap XML в файле.

— этот тег содержит информацию об отдельных файлах Sitemap.

ПРИМЕЧАНИЕ. Индексный файл Sitemap может содержать до 50 000 XML-файлов Sitemap.

Какие типы файлов поддерживаются XML-файлами Sitemap?

Google может обнаруживать различные типы файлов Sitemap. Они специфичны для типа контента на сайте и помогают поисковым системам гораздо легче идентифицировать файлы.

Список типов файлов Sitemap:

• HTML
• Видео
• Изображение
• Мобильный
• Новости

Нужен ли файл Sitemap в формате XML?

Является ли карта сайта строго обязательной? Нет, не технически. Ваш сайт по-прежнему будет работать без него, и его даже могут сканировать и индексировать поисковые системы. Кроме того, карты сайта не используются в качестве сигнала ранжирования, поэтому их отправка не повысит ваш рейтинг.

Так зачем это делать? Основная причина, по которой вам следует создать и отправить XML-карту сайта, — это индексация. Несмотря на то, что поисковые системы все еще могут технически находить ваши страницы без нее, добавление карты сайта значительно облегчает им задачу. У вас могут быть страницы-сироты (страницы, которые не включены в вашу внутреннюю ссылку) или которые труднее найти. Ваша карта сайта особенно важна, когда вы недавно добавили страницы или создали совершенно новый сайт, на котором еще мало или вообще нет ссылок на него.

Файлы Sitemap также помогают поисковым системам сканировать ваши страницы более разумно. Они принимают во внимание теги и и могут соответствующим образом корректировать частоту сканирования. Вы должны быть немного активны в том, чтобы заставить поисковых пауков посещать ваши страницы. Повышение уровня приоритета страницы повышает вероятность того, что страницы будут сканироваться и индексироваться чаще и раньше других, менее важных частей вашего сайта.

Если у вас есть международный сайт с геотаргетингом или сайт, на котором одна и та же страница переведена на несколько языков, вы можете использовать XML-карту сайта в своих интересах. Как мы показали в нашем примере выше, размещение тегов hreflang в вашей карте сайта сообщает сканерам, что у вас есть несколько версий вашей страницы. Поисковые системы могут использовать эту информацию, чтобы убедиться, что они показывают правильную версию пользователям в зависимости от языка и/или местоположения.

Проверьте свой XML Sitemap

Вы можете проверить правильность настройки карты сайта, запустив бесплатную проверку WooRank.

Инструменты для создания файлов Sitemap в формате XML

• Screaming Frog SEO Spider и генератор Sitemap
• Энарион phpSitemapsNG
• XML-карты сайта
• Perl Генератор Sitemap One
• Простые файлы Sitemap One
• Бесплатный генератор Sitemap One

Плагины CMS для создания файлов Sitemap в формате XML

• Карта сайта XML – Drupal
• XML Sitemap — OS Commerce Three
• XML-карта сайта — WordPressOne
• XML Карта сайта – Joomla

Схемы Sitemap и инструменты проверки Sitemap

Схема

XML (XSD) для файлов Sitemap 0. 9 и поддерживаемых расширений Sitemap предоставляет элементы и атрибуты, которые необходимо включить в ваши файлы Sitemap в формате XML. Схемы (в зависимости от файлов Sitemap, индексных файлов Sitemap и различных поддерживаемых типов файлов Sitemap) следующие:

• Для файлов Sitemap
• Для файлов индекса Sitemap
• Для видео
• Для изображения
• Для мобильных устройств
• Для новостей

После создания файлов Sitemap со всеми правильными элементами и атрибутами проверьте их с помощью одного из следующих инструментов:

• XML-файлы Sitemap
• XChecker

Чтобы протестировать карту сайта перед ее отправкой в ​​Google Search Console, нажмите красную кнопку «Добавить/протестировать карту сайта» справа, затем введите URL-адрес карты сайта, которую вы хотите протестировать, как показано на снимках экрана ниже.

Проверьте правильность вашей карты сайта, а затем отправьте ее в Google для сканирования:

Вы можете отправить свою карту сайта с помощью Google Search Console и проверить, сколько из отправленных вами страниц было проиндексировано Google.

ПРИМЕЧАНИЕ. Эта функция также используется для отправки файла Sitemap в Google. Другой метод, который вы должны использовать, чтобы сообщить поисковым системам о вашем Sitemap, — это добавить в файл robots.txt следующее:

.

Карта сайта: http://example.com/sitemap.xml

Вы можете добавить это в любом месте файла robots.txt, потому что директива не зависит от строки пользовательского агента. Вы также можете указать несколько файлов Sitemap для каждого файла robots.txt. Всякий раз, когда вы обновляете свой файл Sitemap, вы можете повторно отправить его в Google, используя ту же опцию «Добавить/проверить файл Sitemap».

Узнайте больше в нашем руководстве: Как добавить карту сайта в файл robots.txt

ДОПОЛНИТЕЛЬНОЕ ПРИМЕЧАНИЕ: Вы также можете отправить свой файл Sitemap в виде HTTP-запроса. Для этого вам необходимо отправить запрос на следующий URL:

/ping?sitemap=

Взгляните на пример ниже:

http://www. google.com/webmasters/tools/ping?sitemap=http://www.yoursite.com/sitemap.xml

URL кодирует часть после ping?sitemap=

www.google.com/webmasters/tools/ping?sitemap=http%3A%2F%2Fwww.yoursite.com%2Fsitemap.xm

Выполните HTTP-запрос, используя wget, curl или любой другой метод, предложенный вашим веб-разработчиком.

Файлы Sitemap для изображений

Если у вас есть сайт, на котором используется много изображений, имеет смысл направлять поисковые системы к URL-адресам ваших изображений с помощью файла Sitemap для изображений.

Ниже приведен пример файла Sitemap для изображения.

 

    <ссылка>
        http://www.example.com/sample-page
        <изображение:изображение>
            http://www.example.com/image.jpg
        
        <изображение:изображение>
            http://www. exampe.com/image2.jpg
        
    

 

Глоссарий тегов, используемых в карте сайта изображения

— этот тег содержит URL-адрес каждого изображения. Вы можете перечислить до 1000 таких тегов.

— содержит URL-адрес изображения.

— этот тег содержит подпись к изображению. Это необязательно.

— в этом теге можно указать географическое положение изображения. Это необязательно.

— содержит заголовок изображения. Это необязательно.

— этот тег содержит URL-адрес, указывающий на лицензию изображения. Это необязательно.

Может оказаться невозможным проиндексировать весь ваш сайт, даже с идеальным файлом Sitemap. Однако можно обнаружить проблемы с индексацией вашего сайта, имея безупречный файл Sitemap. Для этого проанализируйте любые ошибки Sitemap в Google Search Console и Bing Webmaster Tools, проверьте, какие страницы проиндексированы по сравнению с отправленными вами URL-адресами, и если есть большая разница в этом соотношении или внезапное увеличение или уменьшение этих чисел, убедитесь, чтобы проверить ваши файлы Sitemap. Они могут выявить другие проблемы на вашем сайте, такие как проблемы с файлом robots.txt, дублирование контента и т. д. Существует множество инструментов, которые можно использовать для импорта и сканирования всех страниц, на которые есть ссылки в ваших картах сайта (например, Screaming Frog), что позволяет легко обнаруживать любые проблемы или ненужные переадресации.

Файлы Sitemap для видео

Вы можете многое рассказать поисковым системам о видеоресурсах вашей страницы в картах сайта:

• — URL-адрес, указывающий на проигрыватель для видео. Если ваше видео встроено на вашу страницу, например, с YouTube или Vimeo, вы можете использовать этот тег вместо . Обычно вы можете найти этот URL-адрес в коде для встраивания видео.

• <видео:длительность> — продолжительность видео в минутах от 0 до 28800 (8 часов). Технически это не требуется, но Google рекомендует.

• . Включайте эту информацию только в том случае, если ваше видео не будет доступно после определенной даты. Если вы используете его, укажите даты в формате ГГГГ-ММ-ДД, а время в формате Thh:mm:ss:TZD.

• — Рейтинг видео. Допустимы только значения от 0,0 до 5,0.

• — Количество просмотров видео.

• — дата первой публикации видео, а не дата его размещения на сайте.

• — если No , ваше видео будет отображаться в результатах поиска только тогда, когда пользователь отключит безопасный поиск. В противном случае сделайте это Да .

• — Очень краткое описание ключевых понятий, связанных с вашим видео. Создайте отдельный элемент для каждого используемого вами тега, до 32 тегов.

•  — Широкая тематика вашего видео, например SEO, цифровой маркетинг или реклама.

• — список стран, в которых видео не может воспроизводиться, или список только стран, в которых пользователи могут получить доступ к видео, в зависимости от того, установлен ли отношение как разрешить или запретить . Список разделен пробелами и использует коды стран ISO 3166. Если вы не используете этот тег, будет считаться, что ваше видео доступно по всему миру.

• — URL-адрес, по которому можно найти коллекцию, в которой появляется ваше видео, если она существует. Каждое видео может иметь только один тег Gallery_loc. Если у вашей галереи есть заголовок, вы можете добавить атрибут title .

• 9Отношение 0023 = атрибут определяет, является ли список включающим или исключающим. У вас может быть только один тег платформы для каждого видео.

• — Является ли видео прямой трансляцией. Действительны только да или нет .

Ограничения размера карты сайта XML

Карты сайта XML ограничены по размеру, как по количеству URL-адресов, которые вы можете включить, так и по размеру файла. Файлы Sitemap могут содержать не более 50 000 записей, до 1000 изображений и максимальный размер 10 МБ. Если у вас действительно большой сайт с большим количеством страниц, изображений и/или видео, вам потребуется создать несколько файлов Sitemap. Если вы столкнулись с этим, вам нужно создать карту сайта из карт сайта, известную как файл индекса карты сайта.

Файлы Sitemap в Google Search Console

Раздел Sitemaps позволяет вам отслеживать все ваши файлы Sitemap из одного места, предоставляя сводку файлов Sitemap, которые были отправлены через учетную запись Google Search Console. Это включает моментальный снимок данных, включая тип файла Sitemap, даты их последней обработки, любые выявленные проблемы и количество отправленных/проиндексированных страниц для каждого файла Sitemap и в целом.

Также можно протестировать или повторно отправить файлы Sitemap, щелкнув файл Sitemap, который вы хотите отправить, а затем нажав кнопку «Повторно отправить файл Sitemap» или «Проверить файл Sitemap».

Заключение

Если все сделано правильно, XML-карты сайта помогают поисковым системам быстро находить, сканировать и индексировать веб-сайты. Убедитесь, что вы правильно отформатировали, сжали и отправили XML-карту сайта в поисковые системы, чтобы получить максимальную отдачу от их преимуществ:

• Вам больше не нужно полагаться на ссылки для сканирования ваших страниц.

• Поисковые системы будут быстрее видеть новые или обновленные сайты и страницы.

• Боты могут более разумно сканировать страницы благодаря метаинформации, доступной в картах сайта.

• Вы можете убедиться, что поисковые системы находят важную информацию об изображениях и видео, которая недоступна для поисковых роботов.

Вы создали и отправили XML-карту сайта для своего веб-сайта? Какие преимущества вы заметили? Сталкивались ли вы с какими-либо проблемами?

Последние руководства

Что такое карта сайта в формате XML? И как использовать один для SEO [Видео]

Вы уже подписаны на наш канал на YouTube?!

Расшифровка: если вы пират, пытающийся найти сундук с сокровищами, разве карта, показывающая, где именно находится сокровище, не облегчит вам жизнь? Ну, в основном это то, что XML-карта сайта делает для сканеров поисковых систем — и облегчает им поиск и индексацию страниц на вашем сайте. В этом видео я расскажу о том, что такое XML-карта сайта, как создать карту сайта и как отправить ее через Google Search Console. Оставайтесь с нами, чтобы продолжать учиться.

Итак, во-первых, что такое XML-карта сайта?

Поисковые системы полагаются на ботов, называемых поисковыми роботами, которые выходят во Всемирную паутину для поиска страниц в Интернете. Хотя они делают это довольно быстро, может пройти некоторое время, прежде чем они найдут конкретную страницу на вашем веб-сайте из-за огромного количества контента, доступного в Интернете. Вот где XML-карта сайта пригодится! XML-карта сайта — это файл на вашем веб-сайте, который сообщает поисковым роботам, что вы хотите, чтобы они просмотрели на вашем сайте. Это выглядит примерно так: В этом примере с sitemaps.org вы видите карту сайта с одной ссылкой. Карта сайта состоит из трех обязательных частей.

Первый — это , который содержит все URL-адреса в карте сайта. Следующая обязательная часть — это тег , который является контейнером для всей информации, связанной с отдельными URL-адресами. Теперь мы переходим к индивидуальной информации URL. Внутри тега URL находится тег местоположения (), в который вы поместите URL-адрес, на который хотите направить сканеры. Другие элементы не требуются поисковым системам, но все же очень полезны. Тег последней модификации () сообщает вам, когда файл был изменен в последний раз. Тег частоты изменений () указывает, как часто вы обновляете свои страницы, а тег приоритета () сообщает сканерам, какие страницы на вашем сайте более важны. Вот пример карты сайта от компании GLAD, занимающейся хранением продуктов и мусорными мешками. Вот еще один пример XML-карты сайта от New Yorker.

Здесь вы увидите все типичные элементы карты сайта, о которых я говорил ранее, такие как теги , , и .

Что такое карта сайта и как она влияет на SEO?

Карта сайта — это план вашего сайта. Это файл, содержащий информацию о страницах, видео и других файлах на вашем сайте и взаимосвязях между ними. Файлы Sitemap могут оказать положительное влияние на SEO. Хотя сейчас мы сосредоточены на XML-картах сайта, HTML-карты сайта — очень полезный инструмент SEO. Обычно вы можете найти ссылку на карту сайта в формате HTML в нижнем колонтитуле веб-сайта.

Здесь вы видите пример карты сайта в формате HTML. Карта сайта в формате HTML предназначена для людей и поисковых роботов и позволяет поисковым роботам легко находить и индексировать ссылки на вашем сайте. Карта сайта XML предназначена для поисковых роботов и помогает им находить новые страницы для индексации. SEO в XML-карте сайта вступает в игру, поскольку сканирование и индексация страниц на вашем сайте является важной частью того, как поисковые системы определяют, где ваш сайт будет ранжироваться. Таким образом, наличие XML-карты сайта может дать толчок вашему SEO.

Ищете универсальный инструмент SEO-аудита? Вы нашли это.

SEO Checker предоставляет данные по ключевым показателям, чтобы дать вам:

• Полную оценку SEO
• Уровень содержания
• Анализ скорости сайта
• и более.

Введите действительный URL-адрес (например, webfx.com, www.webfx.com)

Как создать XML-карту сайта для своего веб-сайта?

При создании XML-карты сайта вы захотите включить ссылки на все страницы, которые поисковые роботы должны сканировать. Если вы не хотите, чтобы страница сканировалась, вы не должны помещать ее в карту сайта XML.

Однако это не помешает поисковым роботам найти его. Вы должны включить страницы, которые вы не хотите сканировать, в файл robots.txt. Посмотрите наш пост в блоге о robots.txt после этого видео, если вы хотите узнать больше. Отличный инструмент для создания карты сайта для вашего сайта — XML-Sitemaps.com. Если на вашем сайте 500 страниц или меньше, вы можете использовать этот инструмент бесплатно. Если вы используете систему управления контентом, такую ​​как WordPress, доступны плагины, которые создают и обновляют вашу XML-карту сайта для вас.

Давайте поговорим о том, как загрузить XML-карту сайта.

Как отправить XML-карту сайта в Google Search Console?

Если у вас нет учетной записи Google Search Console, связанной с вашим веб-сайтом, вам необходимо сначала создать ее. Сделав это, вы найдете «Sitemaps» под заголовком «Index» на левой боковой панели Google Search Console. Нажмите «Карты сайта», и вы попадете на страницу, где вы можете добавить URL-адрес своей карты сайта. Вставьте URL-адрес в поле с надписью «Добавить новую карту сайта» и нажмите «Отправить». Ваша карта сайта загружена в Google! Google не сразу начнет сканировать ваш сайт. Google может занять несколько дней или даже несколько недель, чтобы просканировать ваш сайт, но если вы просмотрите отчет о картах сайта, он расскажет вам, сколько URL-адресов Google нашел из вашей карты сайта и сканировал ли Google вашу карту сайта вообще. Важно поддерживать свою карту сайта, время от времени обновляя, какие страницы должны или не должны быть там.

Но как только вы отправите карту сайта в Google Search Console, вы можете расслабиться и позволить роботу Google сделать всю работу! Ничего слишком сумасшедшего, верно?

Нужна помощь с SEO, менеджером по маркетингу?

Ознакомьтесь с нашим Руководством по поисковой оптимизации для менеджеров по маркетингу , чтобы начать привлекать больше трафика, потенциальных клиентов и доходов!

Просмотреть руководство

Если вам понравилось это видео, посмотрите наш плейлист SEO, чтобы узнать все об оптимизации для поисковых систем! темы цифрового маркетинга. До скорого!

Как найти карту сайта на любом веб-сайте

Чтобы найти карту сайта для своего веб-сайта, достаточно поискать ее в нужных местах. Если он существует, эти шаги помогут вам найти его в 99% случаев.

Обратите внимание, что в этой статье мы говорим о XML-карте сайта.

Что такое XML Sitemap?

Карта сайта в формате XML — это список URL-адресов вашего веб-сайта, предоставленный поисковым системам. Он написан в формате кода, описанном sitemaps.org, который является авторитетом в области XML-карт сайта.

Как выглядит наша карта сайта WriteMaps XML…

 

Зачем мне нужно находить карту сайта?

Вам потребуется найти XML-карту сайта для своего веб-сайта, чтобы убедиться, что она у вас есть, убедиться, что она действительна, а затем отправить URL-адрес поисковым системам.

Лучше всего поместить файл карты сайта в корневую папку домена.
напр. https://writemaps.com/sitemap.xml

Но его можно хранить где угодно, даже на другом домене!

Наличие карты сайта не является обязательным, но помогает поисковым системам быстрее находить и индексировать новые веб-сайты или обновленные веб-страницы.

Как найти карту сайта

Первые три основных места, где можно найти карту сайта:

1. Попробуйте ввести имя своего домена, например. https://writemaps.com со следующими окончаниями
   /sitemap
/sitemap.xml
/sitemap_index.xml

    
2. Попробуйте ввести ваше доменное имя, например. https://writemaps.com плюс /robots.txt
   например. https://writemaps.com/robots.txt
Совет: замените «writemaps.com» своим доменным именем
   Найдите в файле robots.txt URL-адрес карты сайта, поскольку это стандартная практика, поскольку это первое место, которое ищут поисковые системы.

 

3. Выполните поиск по сайту в Google, введя свой сайт и выполнив поиск файла типа XML в поисковой системе.

   напр. "сайт:writemaps.com тип файла:xml"

    
   Если вы получите много результатов этого поиска, вы можете уточнить поиск. Попробуйте добавить критерий наличия «карты сайта» в URL-адресе
   напр. "site:writemaps.com тип файла:xml inurl:sitemap"

 

Расширенный — как найти карту сайта

Если ни один из основных методов не сработал, вы можете попробовать воспользоваться службой веб-сканирования для поиска карты сайта.

Быстрый и простой способ — инструмент карты сайта SEO Site Checkup — просто введите свой URL-адрес и дайте им посмотреть, смогут ли они найти вашу карту сайта.

Во-вторых, вы можете попробовать создать бесплатную учетную запись на Spotibo и просканировать свой сайт. Затем вам нужно будет просмотреть только типы файлов XML, чтобы увидеть, есть ли у вас карта сайта.

Как найти карту сайта в Shopify и Squarespace

Shopify и Squarespace автоматически генерируют карты сайта в формате XML. И обе платформы помещают их в файл sitemap.xml в корневой папке вашего домена. Поэтому попробуйте ввести это прямо в браузере:

https://yourwebsite.com/sitemap.xml
Совет: замените «yourwebsite. com» на ваше доменное имя

Этот файл карты сайта часто может действовать как индексная страница карты сайта. и ссылку на дополнительные карты сайта, которые вместе взятые перечисляют URL-адреса вашего веб-сайта.

Как и любая хорошая платформа или плагин, эти карты сайта автоматически обновляются в течение 24 часов, когда вы добавляете новые страницы или контент. Невозможно напрямую редактировать карту сайта.

При настройке Google Search Console вам может потребоваться подтвердить право собственности на свой сайт, прежде чем вы сможете отправить карту сайта.
В Shopify вам нужно будет следовать их пошаговому руководству, чтобы добавить метатег google-site-verification на свой веб-сайт.
Squarespace предлагает немного другие методы проверки вашего сайта с помощью консоли поиска Google, чтобы вы могли отправить свою карту сайта.

 

Как найти карту сайта в WordPress

WordPress не создает карты сайта XML автоматически, и эта работа обычно выполняется плагином.

Если вы настраиваете свой веб-сайт впервые, скорее всего, у вас не будет карты сайта.

Добавьте плагин, такой как Google XML Sitemaps, для простого инструмента, работающего только с картой сайта. Или попробуйте Yoast SEO, который также легко создает XML-карту сайта, но также предоставляет множество других инструментов SEO.

Если кто-то еще участвовал в создании вашего веб-сайта, возможно, у вас уже есть работающий плагин карты сайта.

Большинство плагинов помещают вашу карту сайта либо в /sitemap, либо в /sitemap.xml, либо в /sitemap_index.xml, поэтому постарайтесь сначала поискать там или в файле yourwebsite.com/robots.txt URL-адрес карты сайта.

В противном случае войдите в свою административную область WordPress и осмотритесь в следующих местах:

• «Плагины» — просмотрите свои активные плагины, чтобы увидеть, какие из них могут быть связаны с картой сайта. Если да, то вы сможете прочитать его документацию, чтобы найти, где изменить его настройки.