Правильный сайтмап: Sitemap.xml или карта сайта — руководство для новичков

Оптимизация Sitemap.xml для нужд SEO. Основные ошибки в xml-картах

XML карта сайта (sitemap.xml) — это файл в формате XML, в котором перечислены URL-адреса сайта, которые нужно сканировать и индексировать поисковыми системами.

Наличие xml-карт многие годы является отличной SEO практикой. Действительно, наличие качественных карт необходимо для того, чтобы поисковые системы сканировали и индексировали нужные страницы. Тем не менее, несмотря на повсеместное использование XML-карт сайта, их точное назначение не всегда полностью понимается оптимизаторами. И все еще существует некоторая путаница в отношении «идеальной» настройки карты сайта для оптимального сканирования и индексации.

Впервые опубликовано: 26/06/2018
Последние изменения: 4/12/2020

Содержание:

1. Требования к xml-карте сайта
   1. Основы создания XML-карт сайта
   2. Атрибуты Sitemap
   3. Сочетание карты сайта с robots.txt и мета-тегами robots
2. Оптимизация Sitemap. xml
   1. По размеру карты сайта
   2. По типу контента
   3. По актуальности
3. Основные проблемы с xml-картами сайтов
   1. Мифы о сайтмапах
   2. Частые ошибки в sitemap.xml

1.Требования к xml-карте сайта

Если основное предназначение robots.txt – это запрет индексации, то xml-карта сайта sitemap.xml выполняет прямо противоположные задачи. Она отвечает за ускорение и полноту индексации сайта.

1.1.Основы создания XML-карт сайта

Нет необходимости подробно перечислять основы генерации XML-карт сайта, поскольку они уже неоднократно освещались в литературе. Я просто резюмирую здесь самое главное:

1. XML-карты сайта должны соответствовать официальному протоколу, иначе поисковые системы не примут файл за действительный и проигнорируют его.
2. Они должны содержать только индексируемые, канонические URL-адреса сайта, которые вы планируете для индексации.
3. Можно отправить свою карту сайта в Google, Yandex и Bing непосредственно через Google Search Console и вебмастера поисковых систем, а также сослаться на неё в robots. txt сайта.
4. Поисковая консоль Google и Инструменты для веб-мастеров сообщат об URL-адресах, включенных в XML-карты сайта, о том, проиндексированы они и есть ли с ними какие-либо ошибки или предупреждения.
5. Существуют отдельные типы XML-карты сайта для веб-страниц, изображений, видео и новостных статей.

В этой статье мы сосредоточимся в основном на XML-файлах Sitemap для стандартных веб-страниц.

Общее число sitemap.xml на сайте не должно превышать 500 (ранее было 1000), при этом число записей в каждом не должно превышать 50 000 URL. Если необходимо перечислить более 50 000 URL-адресов, следует создать несколько файлов Sitemap.

Карту сайта можно сжать gzip архиватором для уменьшения его размера. Но объем каждого сайтмапа в развернутом (разархивированном) виде не должен превышать 50 мегабайт (ранее было 10).

Карта сайта не обязательно должна быть в виде xml файла. Протокол допускает генерацию карты в виде синдикации (RSS или Atom) либо в виде простого текстового файла с построчным перечислением URL. Но такие «карты сайта» либо не включают в себя все URL сайта (в случае с синдикацией), либо не несут дополнительную важную информацию (дата и время модификации контента страниц), собственно ради которой и используют в SEO карты сайта.

Предоставляя отметку времени последнего изменения <lastmod>, вы позволяете сканерам поисковой системы извлекать только часть файлов Sitemap в индексе, то есть сканер может извлекать только те файлы (страницы) сайта, которые были изменены после определенной даты. Этот механизм частичного извлечения файлов из Sitemap.xml позволяет быстро обнаруживать новые URL на сайтах больших размеров. Кроме того это позволяет снизить нагрузку как на сервер, так и на краулер поисковой системы.

1.2. Атрибуты Sitemap

XML-карты поддерживают несколько атрибутов для каждого URL. Вот три основных атрибута:

• Дата последнего изменения (< lastmod >).
• Приоритет страницы от 0,0 до 1,0 (< priority >).
• Частота изменения содержимого URL-адреса (< changefreq >).

Многие XML-карты будут иметь все эти три атрибута, определенных для каждого URL, указанного в карте сайта. Однако большинство поисковых систем, включая Google, обращают внимание только на один из этих атрибутов: дату модификации < lastmod >. Если URL-адрес имеет дату < lastmod >, более позднюю, чем дата сканирования поисковой системой, это явный признак необходимости повторного сканирования URL.

Рекомендуется проверять наличие и точность атрибута и автоматически обновлять его при значительном изменении страницы на сайте. Большинство генераторов XML-карты сайта, например плагин Yoast SEO для WordPress, обеспечивают автоматическое обновление атрибута < lastmod > в XML-карте сайта при изменении страницы.

Два других атрибута: < priority > и < changefreq > считаются слишком «шумными», чтобы их можно было использовать в качестве правильных сигналов. Часто они устанавливаются так, чтобы попытаться обманом заставить поисковые системы сканировать страницы чаще чем необходимо, поэтому они игнорируются большинством поисковых роботов.

Рекомендуется полностью исключить эти атрибуты. Это уменьшит размер файла карты и упростит устранение неполадок с ней.

1.3. Сочетание карты сайта с robots.txt и мета-тегами robots

Инструкции sitemap.xml, robots.txt и метатегов robots при правильном их использовании должны дополнять друг друга. Существуют три важнейших правила взаимодействия этих инструкций:

• sitemap.xml, robots.txt и метатеги robots не должны противоречить друг другу;
• все страницы, исключенные (заблокированные) в robots.txt и метатегами robots, должны быть исключены также из sitemap.xml;
• все индексируемые страницы, разрешенные в robots.txt, должны содержаться в sitemap.xml

Есть и исключения из этих трех правил. Например, оптимизаторы старой школы советуют добавлять в файл sitemap.xml только  не проиндексированные или изменившиеся страницы. При этом страницы, уже попавшие в индекс, следует удалять из xml-карты.

Применять этот способ или нет — на усмотрение оптимизатора. Думается, при сравнительно небольших размерах сайта и наличии поля lastmod, никакой нужды в таких вот изысках нет.

2. Оптимизация Sitemap.xml

В документации Google по XML- Sitemap говорится, что файл Sitemap не может содержать более 50 000 URL-адресов и не должен превышать 50 МБ в несжатом виде. Если на сайте более 50 000 URL-адресов, необходимо разбить их на отдельные карты сайта и отправить так называемый индекс карты сайта — XML-карту сайта в которой перечислены другие XML-карты.

2.1. По размеру карты сайта

Для крупных веб-сайтов с сотнями тысяч или миллионами страниц, обеспечение сканирования и индексации Google всех URL-адресов, представленных в XML-файлах Sitemap, является довольно сложной задачей. Использование в каждой карте сайта 50 000 URL-адресов иногда приводит к неполному сканированию и индексированию, при этом лишь незначительная часть отправленных URL добавляется в индекс Google.

В результате исследований было обнаружено, что ограничение размеров Sitemap до 10 000 URL приводит к более полному индексированию. Предполагается, что меньшие списки URL-адресов легче обработать и сканировать для Google.

В результате предлагается крупным сайтам использовать XML-карты меньшего размера, но при этом не следует слишком «мельчить». Я видел, как некоторые сайты — миллионники ограничивают XML-карту сайта 1000 URL-адресами, при этом они получают тысячи отдельных файлов карты сайта.

Это тоже вызывает сложности, так как Google Search Console в своих отчетах показывает только 1000 файлов Sitemap, следовательно, если у вас более 1000 отдельных XML-карт, вы не сможете получить полную оценку их производительности с точки зрения индексации из GSC.

Представляется, что лучше всего ограничить файлы 10 000 записями URL. Это отличный компромисс, который обеспечивает более полное сканирование и индексацию, чем карта с 50 000 адресами, при этом не создаются ограничения для отчетов в Google Search Console.

Максимум 10 000 URL на карту сайта XML кажется хорошим промежуточным звеном между индексацией и отчетностью. Впервые это исследовал NICK EUBANKS и получил отличные результаты.

2.2. По типу контента

При проведении SEO-аудитов и анализе проблем индексации, XML-карты являются крайне полезным подспорьем. Однако, если все URL-адреса сайта просто собраны вместе в XML-Sitemap, независимо от типа контента, устранение проблем затрудняется.

Отличный способ сделать XML-карты более полезными — разделить их по типу контента, чтобы для разных типов страниц существовали разные файлы XML-карты сайта.

Например, на коммерческом сайте — магазине могут быть разные файлы карты для страниц со статическим контентом (о компании, условия использования, контакты и пр.) и страниц категорий и подкатегорий, а так же страниц продуктов.

Или, например, можно сделать отдельные файлы XML-карты для каждой категории продуктов, чтобы было возможно быстро оценить индексацию отдельных категорий.

Новостным сайтам можно создавать отдельные карты для категорий (разделов) новостей и отдельно статей в них. Так мы сможем убедиться, что Google проиндексировал каждую страницу раздела на сайте (это важно для обнаружения новых статей), в то время как достичь 100% индексации для всех отдельных статей на новостном сайте крайне сложно.

Указание статей в отдельных XML-файлах от страниц разделов поможет более эффективно устранять потенциальные проблемы и получить более точные данные об эффективности индексации обоих типов страниц.

Не забывайте, что СМИ должны иметь отдельную XML-карту для свежих новостей, в которую добавляют статьи, опубликованные за последние 48 часов.

2.3. По актуальности

Еще одним интересным подходом в оптимизации карт сайтов является консолидация URL по актуальности.

Например, все старые и не обновляемые URL мы можем собрать в отдельных картах сайта, таких как sitemap-1.xml, sitemap-2.xml, sitemap-3.xml и т.д. А все новые или обновленные статьи мы добавляем в отдельную карту, например sitemap-new.xml. Как только страница будет переиндексирована или спустя определенный промежуток времени (например 1 месяц), мы переносим URL в последний архивный sitemap, удаляя его из sitemap-new. xml.

Если какая то страница из архивных претерпела изменения, то мы удаляем её из, например, sitemap-2.xml и переносим в sitemap-new.xml, где она будет дожидаться либо переиндексации, либо определенный срок (тот же месяц) и опять будет перенесена в последнюю «архивную» карту сайта.

Таким образом, постоянной перезагрузки будет требовать только 1 карта сайта — sitemap-new.xml. Это позволяет экономить бюджет сканирования, при этом мы можем добиться крайне быстрой и полной индексации материалов сайта.

Все приведенные выше способы оптимизации можно комбинировать и модифицировать.

3. Основные проблемы с xml-картами сайтов

3.1. Мифы о сайтмапах

Распространенным заблуждением о XML-картах является уверенность в том, что они могут заменить сканирование роботом сайта. Якобы, при наличии хорошей XML-карты сайта сам сайт не обязательно должен быть полностью просканированным. В конце концов, рассуждают товарищи, что URL-адреса необходимые для сканирования перечислены в XML-карте, поэтому на сайте не обязательно должны быть ссылки на URL-адреса для сканирования. Это неверно.

Основным механизмом, с помощью которого поисковые системы обнаруживают контент, является сканирование сайта роботом. Поэтому у сайта должна быть хорошая структура внутренних ссылок, которая позволит сканерам найти все важные страницы с минимальным количеством кликов.

Что более важно, именно ссылки позволяют получить страницам PageRank (вернее InRank), без которого контент сайта не будет ранжироваться в результатах поиска.

XML- карты не заменяют внутренние ссылки. Ссылки в них не передают вес и не гарантируют индексацию и ранжирование контента. Карты являются дополнительным сигналом для поисковых систем. Они не предназначены для подмены правильной структуры сайта.

Вы должны убедиться, что сайт полностью просканирован и все URL, перечисленные в XML-карте сайта, можно обнаружить используя навигацию сайта.

Если URL указан в карте сайта, но не имеет открытых входящих ссылок, указывающих на него, маловероятно, что поисковые системы просканируют этот URL-адрес и скорее всего он абсолютно не будет ранжироваться в выдаче.

3.2. Частые ошибки в sitemap.xml

Занимаясь техническими аудитами сайтов, я очень редко вижу по настоящему правильные, безошибочные карты сайтов. Подавляющее большинство карт сайтов имеет многочисленные проблемы, среди которых наиболее часто встречаются следующие:

1. Устаревшие XML-карты сайта — т.е. несоответствие страницам сайта. Эта проблема возникает, когда сайтмап генерируется не динамически, а эпизодически, запуском какой то службы в CMS, а то и сторонними сервисами. При этом возникает масса мертвых страниц, отдающих 404 ошибку (это если страницу физически удалили или перенесли в другое место, сменили адрес URL). Кроме того, новые страницы индексируются значительно медленнее, ибо не находятся в sitemap.xml.
2. URL-адреса не в файле Sitemap. Эта ошибка очень часто обусловлена предыдущей. При этом ряд страниц сайта не попадают в карту. Это может быть сделано и специально (когда владелец не желает включать в карту ненужные или малоценные страницы). В большинстве случаев необходимо обновить XML Sitemap, чтобы добавить в карту эти страницы.
3. Включение в карты сайта неканонических, не индексируемых страниц. В картах сайта должны находится только страницы, открытые для индексации, отдающие код 200. Неканонические страницы, страницы закрытые для индексации в robots.txt или мета-тегами robots, переадресации, страницы генерирующие 404 код, 503 код и прочие — не должны находится в рабочей карте сайта.
4. Неверная структура sitemap.xml. Эта ошибка возникает, как правило, на «самописных» CMS или при использовании неверных плагинов к популярной CMS. При этом генерируется файл sitemap.xml с нарушением структуры, описанной протоколом.
5. Отсутствие или неверная работа с датой изменения записи. С точки зрения протокола — это не ошибка, так как поле lastmod не является обязательным. С точки зрения SEO и поисковых систем, отсутствие правильного значения в этом поле (совпадающее с непосредственным изменением контента) — полностью нивелирует значимость всего файла sitemap. xml. Как было сказано выше, ПС будут переиндексировать те страницы, поле lastmod которых изменилось.Что произойдет, если это поле меняется одновременно у всех записей (страниц) сайта. То есть дата модификации одинакова у всех файлов сайта. Скорее всего, ПС не будут обращать внимание на sitemap и сайт будет переиндексироваться обычным способом, при этом глубоко расположенные страницы либо не переиндексируются вовсе, либо будут переиндексироваться очень долго.Итак, Необходимо или вовсе не использовать поле lastmod (что плохо), либо ставить дату последнего значимого изменения страницы, например, когда поменялась цена или товар закончился или изменилось описание.
6. Логические ошибки, вызваны нарушением трех правил о сочетании robots.txt и sitemap.xml. В этом случае можно наблюдать постоянное попадание страницы в индекс и немедленный вылет оттуда. Однако, это не будет наблюдаться при наличии метатега noindex и записи в Sitemap.xml. В этом случае краулер (робот, паук ПС), зашедший на страницу индексировать её не будет.
7. Наличие Orphan page («осиротевших страниц»). Это такие страницы, на которые стоит ссылка из sitemap, но нет ни одной прямой ссылки с любой из страниц сайта. Либо страница, на которой стоят ссылки на «утерянную страницу» была закрыта от индексации либо она не является канонической. Часто это связано с тем, что страницы были удалены «логически» (например в WordPress помещены в корзину), а не физически. Это так же наблюдается на сайтах, где доступ к карточкам товаров сделано на скриптах и фильтрах способом, который не позволяет проиндексировать результаты работ этих скриптов. Возможны и иные причины возникновения таких страниц-сирот. Все это снижает доверие поисковых систем к сайту и является негативным сигналом ранжирования.
8. Страница одновременно расположена в нескольких файлах Sitemap Это не обязательно является ошибкой, но обычно каждый URL-адрес должен быть расположен только в одном XML-файле Sitemap.

Согласно протокола, после изменения сайтмапа, можно перепинговать поисковые системы. Для этого нужно создать запрос следующего вида:

<searchengine_URL>/ping?sitemap=sitemap_url

Обязательно добавляйте сайтмапы в вебмастера и проверяйте их на серьезные ошибки.

4
Дек
2020

  Посмотрите еще

• Пошаговый аудит контента
• Mobile-First Index — убийца оптимизаторов от Google
• Голосовой поиск и SEO оптимизация сайта под него в 2018 году

Комментарии

как создать правильный sitemap и проверить его

Из этой статьи вы узнаете: 

    1. Что такое файл sitemap.xml
    2. Как выглядит карта сайта
    3. Требования к карте
    4. Как создать sitemap
    5. Как разместить на сайт
    6. Как проверить sitemap

---

Sitemap.xml – файл, в котором содержатся ссылки на страницы сайта. Он нужен для того, чтобы помочь поисковым системам лучше понять структуру и проиндексировать ресурс. В sitemap также можно помещать ссылки на видео и изображения (только для Google).

Создание такой карты – это не обязательное требование, а лишь рекомендация от и для поисковиков. Бывает, что робот не всегда находит нужные ссылки на сайте или в сети, но он обязательно заглянет в карту, чтобы убедиться, что ничего не пропустил.

Как выглядит карта

Карту можно создать в формате xml или txt, однако во втором случае не получится передать дополнительных параметров. Еще Google, в отличие от Яндекса, может поддерживать карту в формате RSS и Atom-фидов.

Рассмотрим подробнее как может выглядеть универсальный для обоих поисковиков xml вариант.

У карты есть свой собственный синтаксис, в котором нельзя допускать ошибок, иначе валидатор будет ругаться.

Вот так примерно выглядит правильный sitemap xml сайта:

Фото: пример файла sitemap

где

encoding= “UTF-8” – кодировка UTF-8 (неизменно)

<urlset xmlns= “https://www.sitemaps.org/schemas/sitemap/0.9”>  </urlset> указывает на стандарт текущего протокола (неизменно)

<url>…</url> блок, в который заключена информация о странице (неизменно)

<loc>…</loc> ссылка на страницу (обязательно)

Длина этого значения не должна превышать 2048 символов.

<lastmod>…</lastmod> дата последнего обновления страницы в формате ГГГГ-ММ-ДД (необязательно)

<changefreq>…</changefreq> вероятная частота изменения страницы (необязательно)

Этот параметр является рекомендацией при сканировании для поисковиков, однако может и не соблюдаться.

Варианты:

always – всегда
hourly – раз в час
daily – раз в день
weekly – раз в неделю
monthly – раз в месяц
yearly – раз в год
never – никогда (для архива)

<priority>0.8</priority> приоритетность при сканировании страницы относительно других URL с диапазоном от 0.0 до 1.0 и шагом 0.1 (необязательно)

Назначать всем страницам самый высокий приоритет не стоит, так как этот параметр должен быть использован для обозначения более важных страниц на сайте.

(Пример: Главная – 1, Категории – 0.9, Карточки товара – 0.8, новости о компании – 0.5)

Пример сложного sitemap.xml с указанием ссылок на изображения и видео. Это актуально для Google, так как Яндекс не поддерживает изображения.

Фото: sitemap.xml для видео и изображений

Требования к sitemap.xml

1. Файл должен открываться по ссылке https://site.com/sitemap.xml (имя можно менять)
2. При обращении к файлу он должен отдавать 200 ОК
3. Следует использовать кодировку UTF-8
4. Размер карты в несжатом виде не должен превышать 50 МБ
5. В карте не должно быть более 50 000 URL
6. В случае с дублями страниц, в карту должны попадать только канонические страницы
7. В карте должны быть URL только с кодом ответа 200 ОК
8. Не стоит добавлять мусорные, технические страницы
9. Не нужно добавлять страницы закрытые в файле robots.txt
10. Не стоит добавлять динамические URL, фильтры, параметры
11. В карте нужно указывать страницы только одного зеркала (не допускайте, к примеру, чтобы часть ссылок была на домене с www, а часть на домене без www).

Если же объем файла или количество урлов превышает норму, то нужно разбить его на несколько частей, создав “карту с картами” (файл индекса).

То есть этот будет тот же файл sitemap.xml, только содержащий ссылки на другие карты.

В этом файле индекса Sitemap может быть перечислено не более 50 000 файлов Sitemap. Размер файла не должен превышать 50 МБ и может быть сжат.

В начале индекса ставится открывающий тег <sitemapindex>, а в конце закрывающий тег </sitemapindex>.

Добавление записи <sitemap> для каждого файла Sitemap осуществляется как родительский XML-тег. Для каждого родительского тега <sitemap> включается дочерняя запись <loc>. Можно также использовать тег <lastmod>.

К примеру так делает сам Google: https://www.google.com/sitemap.xml

Как создать sitemap.xml

Карты бывает статической и динамической.

Статическая карта – карта, которую можно сгенирировать вручную и закинуть в корень сайта.

Создать ее можно вручную или с помощью специальных сервисов, например Screaming Frog, My Sitemap Generator и другие. Это не займет много времени и совсем не сложно. Минус ее в том, что при появлении новых страниц и при удалении старых она не будет обновляться.

Динамическая карта наоборот, автоматически обновляется при каждом изменении на сайте. Это очень удобно, когда нужно всегда поддерживать актуальность списка страниц. Сгенерировать ее помогут плагины для основных CMS (обычно с гибкими настройками), или волшебные руки программистов, которые смогут ее создать.

Более предпочтительно использовать второй вариант.

Куда разместить карту

Статическую карту можно просто закинуть в корень сайта. Динамическая карта будет открываться по заданной в настройках ссылке.

Ссылку на карту нужно прописать в файле robots.txt для всех поисковых роботов строкой:

Sitemap: https://site.ru/sitemap.xml

Также не помешает sitemap добавить в панель Яндекса и Google для вебмастеров.

В вебмастере Яндекса:  

Индексирование / Файлы Sitemap

В интерфейсе видно какую ссылку на карту Яндекс нашел в файле robots.txt. Если робот еще не успел найти, то можно добавить карту вручную.

Также в вебмастере можно отправлять файлы на переобход.

Фото: Добавление Sitemap в вебмастер Яндекса

В Google Search Console нужно зайти в Сканирование / Файлы Sitemap.

Фото: Добавление sitemap в вебмастер Google

Далее нажать на “Добавление / проверка Sitemap”, ввести ссылку на карту и нажать “Отправить”. Карта будет отправлена в Google.

Фото: Добавление sitemap в вебмастер Google

Как проверить Sitemap.xml на ошибки

Проверку карты можно осуществить в панелях для вебмастеров и в сторонних сервисах. 

Яндекс Вебмастер:

Инструменты / Анализ файлов Sitemap.

Добавить можно URL карты, текст и залить файл.

Далее нажимаем кнопку “Проверить” и ждем результатов. Если с синтаксисом что-то не то, то сервис выдает информацию об ошибках с указанием номеров строк.

Фото: Проверка sitemap в вебмастере Яндекс

Проверить карту в GSC можно там же, где и добавляли: Сканирование / Файлы Sitemap.

Нажимаем Добавление / Проверка Sitemap, вводим адрес и жмем кнопку “Тест”. После обновления страницы видим результаты сканирования.

Фото: Проверка sitemap в вебмастере Google

Если карта уже давно известна роботу, то там же можно проверить как дела с индексацией и наличие ошибок.

Сервис показывает сколько ссылок отправлено, сколько проиндексировано и какие есть проблемы.

Фото: Инструмент sitemap в вебмастере Google

Проверить ссылки в карте на код ответа можно с помощью сторонних сервисов. Есть несколько вариантов:

• отправить URL из карты в сервис и спарсить коды ответа сервера
• воспользоваться сервисом проверки sitemap, просто запустив чекер

Пример такого сервиса Pixel Tools:

Вставляем ссылку на карту, ставим галочку “Анализировать коды ответа указанных URL”, жмем на кнопку “Анализировать”:

Сервис покажет размер файла, количество ссылок, другую полезную информацию и выдаст ссылки на URL, коды ответа которых отличны от 200ОК:

Вывод:

Sitemap нужен для улучшения индексации сайта поисковыми роботами. Стоит позаботиться о том, чтобы файл содержал актуальную информацию и регулярно обновлялся. Все инструменты мониторинга и аналитику предоставляют сами поисковые системы в панелях для вебмастеров.

Официальные источники:

Google: О файлах Sitemap
Google: Как создавать и отправлять файлы Sitemap 
Yandex: Использование файла Sitemap
Sitemap.org: XML-формат файла Sitemap

Карта сайта: как настроить и структурировать карту сайта для поисковой оптимизации

Карта сайта — это критически важный элемент структуры вашего сайта, которым часто пренебрегают, и он играет решающую роль для поисковых систем, стремящихся проиндексировать информацию о вашем сайте.

К основным проблемам с картой сайта относятся:

• Отсутствие карты сайта или карта сайта, которая не отправлена ​​в Google Search Console (GSC)
• Устаревшая карта сайта
• Чрезмерно большая или сложная карта сайта (также известная как карта сайта, не оптимизированная для ограниченного бюджета на сканирование)
• Общие ошибки кода карты сайта (например, 301 редиректы или 404 ошибки)

Если ваша карта сайта устарела и вы не примете меры по ее исправлению, вы можете поплатиться снижением видимости в поиске и, следовательно, уменьшением посещаемости вашего сайта.

Оглавление

Чем полезны карты сайта

Местные карты сайта — это ссылка на ваш основной сайт, которая содержит структурированный макет всех ваших существующих страниц.

Они сканируются Google и информируют поисковую систему об остальных ваших внутренних страницах.

XML Sitemaps — это файлы, которые вы можете создавать и отправлять напрямую в Google. По сути, эти файлы представляют собой сжатую карту, отображающую структуру и иерархию вашего сайта.

Отправляя карту сайта в Google, вы говорите поисковой системе просмотреть и проиндексировать страницы вашего сайта, а это важный первый шаг, когда вы запускаете что-то новое.

Файлы Sitemap в основном представляют собой инструкции, которые позволяют поисковым системам быстрее и точнее находить ваши страницы. Поддержание их в актуальном состоянии гарантирует, что Google лучше всего понимает ваш веб-сайт в целом, и наибольшее количество ваших страниц отображается для соответствующих поисков.

Как реализовать карту сайта

Если вы используете WordPress в качестве своей CMS, я бы посоветовал плагин Yoast SEO для создания и управления вашими картами сайта.

Что касается структуры, мы предлагаем максимально простую структуру карты сайта.

Например, в нашей карте сайта мы удалили многие обширные подкарты сайта, доступные в плагине Yoast, в том числе:

• Категории
• Метки
• Авторы (мы оставляем архивы авторов включенными, но удаляем карту сайта автора)
• Портфели
• Шаблоны
• загрузок

Если мы не хотим специальной индексации, единственные карты сайта, которые мы включаем в нашу карту сайта на SEO.co, предназначены для «страниц» и «сообщений»:

Название игры — K.I.S.S. (держать его просто глупо). Придерживайтесь содержания «мясо и картофель».

Google нужно просканировать только следующие три страницы, чтобы получить доступ ко ВСЕМ материалам на нашем сайте:

• https://seo. co/sitemap_index.xml (только с двумя простыми ссылками на две другие карты сайта)
• https://seo.co/post-sitemap.xml
• https://seo.co/page-sitemap.xml

Если у вас есть магазин в Woocommerce с многочисленными SKU, рекомендуется индексировать продукты вашего магазина с помощью отдельной карты сайта.

Но идеальная карта сайта должна иметь наименьшее количество шагов, чтобы поисковые роботы могли получить доступ к содержимому.

Краулеры могут быть непостоянными и редко будут сканировать (не говоря уже об индексации или переиндексации) всего вашего сайта за один проход.

Вы можете отключить дополнительные подкарты в функциях Yoast:

Если вы не используете WordPress, вы можете использовать собственный генератор карт сайта XML. Я бы предложил https://www.xml-sitemaps.com/ в качестве простого бесплатного решения.

Опасности устаревшей карты сайта

Если ваша карта сайта не актуальна, вы можете предоставлять неточные данные поисковым системам.

В зависимости от серьезности ваших неточностей, это может иметь серьезные или минимальные последствия.

Например, если одна из ста страниц вашего продукта исчезнет, ​​вы не заметите большого влияния.

Однако, если вы изменили всю навигацию, поисковые системы могут запутаться при попытке просканировать ваш сайт, и в результате вы можете потерять проиндексированные страницы. В дополнение к меньшему количеству проиндексированных страниц, доступных для поиска, авторитет вашего домена может даже пострадать.

Суть в том, что устаревшая карта сайта будет отправлять устаревшую информацию в Google, и хотя Google в некоторых случаях достаточно умен, чтобы самостоятельно разобраться в этих несоответствиях, безопаснее играть, чтобы ваши карты сайта всегда были в рабочем состоянии. -на сегодняшний день.

Как ваша карта сайта может устареть

Файлы Sitemap не устаревают сами по себе. Только преднамеренное изменение вашего сайта, обычно увеличение или уменьшение количества страниц, может сделать вашу ранее отправленную карту сайта устаревшей. Внимательно следите за изменениями, которые вы вносите на свой сайт, и, если вы внесете существенные изменения, приложите усилия, чтобы ваша карта сайта обновлялась соответствующим образом.

Добавление и удаление страниц

Наиболее распространенной причиной устаревания карты сайта является добавление или удаление основной страницы. Даже традиционные статические веб-сайты время от времени нуждаются в изменениях — будь то добавление новой страницы услуг или удаление страницы со специальными предложениями, которая больше не актуальна. Хотя некоторые регулярно обновляемые разделы вашего веб-сайта (например, блог или страница для прессы) будут регулярно сканироваться Google, любые серьезные изменения страниц необходимо отражать в обновленной карте сайта.

Редизайн сайта или навигации

Реструктуризация сайта также потребует обновления карты сайта. В дополнение к простому перечислению страниц вашего сайта, карта сайта отвечает за демонстрацию иерархии вашего веб-присутствия, выделяя наиболее важные страницы в очень определенном порядке. Если вы внесете серьезные изменения в свою навигацию или реструктурируете приоритеты на основе страниц, вам потребуется обновить карту сайта.

Добавление или удаление продуктов или списков

Сайты электронной коммерции и сайты с классифицированными сообщениями (например, о вакансиях), как правило, наиболее уязвимы для карт сайта, устаревающих. Поскольку на большинстве этих сайтов есть большие объемы продуктов и списков, иногда исчисляемые тысячами, обычно пишутся новые сообщения в блогах, а старые удаляются. К счастью, динамическая карта сайта может избавить вас от ручного обновления карты сайта каждый раз, когда вы вносите незначительное изменение, но вам придется регулярно проверять, чтобы ваша карта сайта была точной и актуальной.

Диагностика карты сайта

Самый простой способ проверить, является ли ваша карта сайта актуальной или устаревшей, — это проверить ее с помощью инструментов Google для веб-мастеров. Если вы еще не загрузили сюда карту сайта, вы можете начать с нуля. Если вам нужна помощь в создании карты сайта с нуля, обязательно ознакомьтесь с рекомендациями Google по созданию карты сайта.

После отправки вы можете столкнуться с ошибками в процессе загрузки:

• Если вы видите ошибку сжатия, пустую карту сайта, ошибку HTTP (конкретный код), неверное пространство имен или неверный формат индекса карты сайта, скорее всего, проблема связана с формат карты сайта, которую вы отправили. Эти проблемы, как правило, легко устраняются и не обязательно указывают на проблему со ссылками и структурой, включенными в вашу карту.
• Если вы видите неверные или отсутствующие ошибки, ошибку синтаксического анализа или несоответствие пути, это обычно означает, что в теле вашей карты сайта есть ошибка форматирования, которую необходимо исправить.

И как только карта сайта будет принята, вы можете обнаружить ошибки в вашей карте сайта. Выполните тест, нажав на предполагаемую карту сайта и нажав «Проверить карту сайта» в правом верхнем углу. Оттуда вы сможете открыть результаты теста и просмотреть результаты теста.

Тест покажет вам, какой тип контента был отправлен, в виде таблицы с количественными данными, включая количество веб-страниц и видео, которые были отправлены в тесте. Будут отображены все ошибки, с которыми столкнулся Google и которые помешали ему проиндексировать отправленную страницу. Некоторые ошибки возникают, когда страницы нет там, где она должна быть согласно карте сайта. Другие основаны на внешних факторах, таких как проблемы, связанные с сервером, или наличие файла robots.txt, препятствующего его обнаружению поисковыми роботами Google.

Как протестировать вашу карту сайта и структуру сайта

К сожалению, ваша карта сайта может не выявить скрытые SEO-проблемы (например, 4XX, 3XX, тег заголовка, UTM, мета- и внутренние ссылки), которые могут повредить вашему рейтингу и препятствовать доступу поисковых роботов конкретное содержание.

Вы можете либо нанять SEO-специалиста для проведения комплексного SEO-аудита, либо использовать комбинацию следующих инструментов для поиска ошибок в структуре вашего сайта, включая карту сайта:

• Консоль поиска Google . Если Google обнаружит проблемы с вашим сайтом, они, как правило, дадут вам знать, отправив электронное письмо и оповещения через консоль GSC. Но, даже будучи святым Граалем, GSC может быть не первым, кто обнаружит проблемы с вашим сайтом. И лучше вам найти проблему на вашем сайте (с помощью вспомогательных инструментов), чем Google найдет ее первым.
• Кричащая лягушка . Как сканер, ScreamingFrog (SF) просматривает ваш сайт так же, как Google. Вы не увидите проблем, которые делает Googlebot, но сканирование SF их выявит. Это 150 долларов в год за неограниченное количество сканирований. Мы используем его в каждой управляемой учетной записи SEO, прежде чем делать что-либо еще.
• Арефс . Время от времени проблемы могут всплывать неожиданно. Вот почему регулярный автоматизированный аудит может помочь найти проблемы, даже если вы их не ищете. У Ahrefs есть функция, которая автоматически сканирует ваш сайт в поисках проблем через определенные промежутки времени. Например, Ahrefs сканирует все наши сайты и сайты наших клиентов раз в неделю. Мы получаем отчет по электронной почте и исправляем письма по мере их появления.

Пример результата сканирования сайта Ahrefs.

У каждого из этих инструментов есть свое место, и иногда один из них приводит к разным результатам, чем другие. Следовательно, полезно использовать их все в тандеме, чтобы убедиться, что ваш сайт поддерживает чистоту и не включает проблемы, о которых ваша карта сайта может не сообщать.

Если вы заметили какие-либо ошибки, препятствующие индексации, точности или актуальности вашей карты сайта, внимательно изучите разбивку в GSC, составьте список необходимых исправлений и начните их вносить.

Отправка новой карты сайта

Когда ваша новая карта сайта будет готова, перейдите на домашнюю страницу Google Search Console и войдите через сайт, для которого вы хотите отправить карту сайта.

Под заголовком «Сканирование» нажмите «Карты сайта», выберите карту сайта, которую вы хотите отправить повторно, и нажмите кнопку «Повторно отправить карту сайта».

После успешной повторной отправки вы сможете повторно запустить тест, который вы использовали для поиска ошибок в первую очередь. Надеемся, что все эти ошибки были исправлены в вашей редакции. Если нет, у вас будет еще одна возможность внести исправления и повторно отправить новую карту сайта.

Если вы используете статические XML-карты сайта и управляете сайтом электронной коммерции или сайтом другого типа, на котором страницы появляются и исчезают регулярно, вам предстоит много работы. Со статической XML-картой сайта вам придется вручную изменять и повторно отправлять свою работу при каждом изменении. Вместо этого вы можете создать динамическую карту сайта и настроить автоматический «пинг», чтобы уведомлять поисковую систему о серьезных изменениях.

Независимо от того, как вы на это смотрите, карты сайта являются важной частью головоломки, когда речь идет о том, чтобы убедиться, что Google имеет правильную информацию о вашем веб-сайте. Примите меры, чтобы ваша карта сайта всегда была актуальной , и в результате вы получите больше проиндексированных страниц и больше поискового трафика.

• Автор
• Последние сообщения

Сэм Эдвардс

Директор по маркетингу SEO.co

За более чем 9 лет работы в области цифрового маркетинга Сэм работал с бесчисленным множеством компаний и организаций из списка Fortune 500, включая NASDAQ. OMX, eBay, Duncan Hines, Drew Barrymore, Вашингтон, округ Колумбия, юридическая фирма Price Benowitz LLP и правозащитная организация Amnesty International.

Он постоянно выступает на конференциях Search Marketing Expo и выступает на TEDx Talker. Сегодня он работает напрямую с высококлассными клиентами по всем вертикалям, чтобы максимизировать рентабельность инвестиций в поисковую оптимизацию на сайте и за его пределами с помощью контент-маркетинга и построения ссылок. Свяжитесь с Сэмом на Linkedin.

Последние сообщения Сэма Эдвардса (посмотреть все)

Поиск подходящего генератора карт сайта: факторы, которые следует учитывать

Последнее редактирование: 4 января 2021 г.

, автор: Суперпользователь в генераторе карты сайта

Принятие Google и официальный запуск карт сайта еще в 2005 году — это все, что нужно веб-разработчикам и инженерам-программистам, чтобы придумать упрощенные способы создания, отправки и управления картами сайта. В результате в настоящее время в Интернете существует довольно много генераторов карт сайта, и вряд ли это замедлится. Теперь вы можете установить плагины в свой блог WordPress, которые будут обрабатывать все, что связано с картами сайта. На самом деле это необходимость для всех владельцев веб-сайтов, которую нельзя игнорировать. Простой поиск в Google выдаст сотни результатов, и, как всегда, каждый претендует на звание лучшего, если только вы не страдаете от проблем с уважением.

Когда вы пытаетесь создать карту сайта для своего веб-сайта с помощью одного из множества создателей карты сайта или плагинов, необходимо учитывать несколько очень важных факторов. Ниже обсуждаются некоторые из них;

Размер веб-сайта

Большинство генераторов карт сайта предлагают различные планы, разработанные для разных веб-сайтов и блогов. Эти планы поставляются с расширенными функциями, такими как автоматические обновления, инвентаризация контента и тому подобное. Если у вас есть большой, часто обновляемый веб-сайт, вам обязательно нужен наиболее полный генератор карт сайта, который эффективно удовлетворит все ваши потребности. Согласно протоколу карты сайта, идеальная карта сайта не должна содержать ссылок, превышающих 50 000 или 10 МБ. Некоторые разработчики учитывают это при распределении планов, потому что некоторые позволяют создать только одну карту сайта, но бывают случаи, когда вам определенно потребуется гораздо больше одной карты сайта. Фактически, несколько файлов Sitemap настоятельно рекомендуются для сайтов с тысячами страниц.

Инструмент Карта сайта по сравнению с. Плагин

Вы можете выбрать инструмент картирования веб-сайтов или установить плагин. Каждый из этих вариантов имеет свои преимущества и недостатки. С генератором карты сайта вам не нужно ничего устанавливать на сайт. Все, что вам нужно, это скопировать и вставить URL-адрес вашего сайта, а инструмент позаботится обо всем остальном. С другой стороны, на веб-сайте должны быть установлены плагины, что связано с некоторыми проблемами совместимости с CMS сайта, такой как WordPress. Взвесьте между ними и примите решение, исходя из вашего фактора удобства.

Бесплатно Против. Премиум

В Интернете существует множество бесплатных генераторов карт сайта, которые вы можете использовать бесплатно. С другой стороны, вам необходимо будет приобрести либо разовый план, либо вносить ежемесячные или периодические платежи. Бесплатные вещи нравятся большинству людей, но главный недостаток заключается в том, что разработчикам приходится так или иначе получать некоторый доход. Большинство бесплатных инструментов загромождены рекламой, которая некоторых людей раздражает. Вам определенно не нужна карта сайта с таким сообщением, как « эта карта сайта была создана… »

Наконец, количество страниц, которые необходимо включить в одну карту сайта, также является очень важным фактором. Стандартное максимальное количество ссылок на карту сайта в настоящее время ограничено 50 000.