Xml карта сайта что это: что такое sitemap.xml и как ей пользоваться — БЛОГ ADVENTUM

что такое sitemap.xml и как ей пользоваться — БЛОГ ADVENTUM

XML-карта (она же sitemap.xml) — это способ сообщить поисковикам информацию о страницах веб-сайта. Если неправильно настроить XML-карты, вы потеряете позиции в выдаче. XML-карту часто путают с HTML-картой. Разница в том, что HTML-карта нацелена на людей, а XML-карта — на роботов.

Попробуем разобраться, как пользоваться XML-картами.

Индексация

Когда вы загружаете XML-карту, вы подсказываете поисковикам информацию о страницах вашего сайта. XML-карта добавляется в Google Search Console или Яндекс.Вебмастер.

 

XML-карта делает индексацию сайта разумнее, но поисковики относятся к ней как к подсказке, а не руководству к действию.

Помимо XML-карты есть еще два способа работы с индексацией, которые дополняют XML-карту:

Файл robots.txt. Это обычный текстовый файл. Создайте и положите его в корневую папку вашего сайта. Robots.txt запрещает или разрешает поисковикам индексировать разделы сайта или отдельные страницы. Принцип работы хорошо объяснили в Яндексе:

Мета-тег robots. Тег помогает понять поисковикам, можно ли индексировать именно эту страницу и переходить по ссылкам, которые она содержит.

Мета-тег прописывается в шапку страницы и имеет четыре значения:

• Index – можно индексировать
• Noindex – нельзя индексировать
• Follow – можно переходить по ссылкам на странице
• Nofollow – нельзя переходить по ссылкам

 

Значение можно использовать в паре:

Значения не чувствительны к регистру и их можно комбинировать.

Нельзя одновременно добавлять страницу в XML-карту и robots.txt: так вы отправите поисковик индексировать запрещенную к индексации страницу. Если не хотите индексировать отдельную страницу, пропишите “noindex,follow”.

Если вы прописали “noindex,follow”, не добавляйте такую страницу в XML-карту.

 

Как улучшить качество сайта

Принцип оценки сайта неизвестен: алгоритмы ранжирования постоянно меняются. Яндекс и Гугл дают общие советы:

• Думать о пользователях, а не поисковиках. Дизайн и контент должны быть удобны человеку.
• Привлекать людей только по тем запросам, на которые сайт дает ответы.
• Не накручивать рейтинг искусственно.

 

С точки зрения пользы для посетителя, есть два типа страниц:

• Обслуживающие страницы (utility pages).
• Целевые страницы (landing pages).

 

Обслуживающие страницы упрощают работу с сайтом, но сами по себе посетителю не нужны. Чаще это элементы интерфейса и страницы без уникального контента. Запретите поисковикам индексировать вспомогательные страницы: запретите индексацию в robots.txt или пропишите мета-тег “noindex,follow”. Не указывайте их в XML-карте.

Целевые страницы. Это страницы, которые посетитель ищет целенаправленно: каталог товаров, тематические статьи и т. д. Не блокируйте их в robots.txt или мета-тегом “noindex”. Обязательно укажите их в XML-карте.

 

Допустим, есть сайт на 1000 страниц, 10 из которых — целевые. Если поисковик отправит посетителя на одну из 10 страниц, то скорее всего посетитель уйдет на одну из 990 страниц, где нет полезной информации. Посетитель уйдет с сайта и не решит проблему. Зачем поисковику отправлять посетителя на такой сайт?

Теперь представим, что целевых и обслуживающих страниц на сайте поровну:

• 500 целевых страниц
• 500 вспомогательных страниц

Страницы, которые вы укажете в XML-карте, поисковики расценят как целевые. Могут сложиться две ситуации:

Ситуация 1: В XML-карте указаны только целевые страницы.

Поисковик с радостью продвинет сайт в выдаче, ведь для него сайт состоит из 500 полезных страниц. 500 вспомогательных страниц не участвуют в индексации и не сказываются на качестве сайта.

Ситуация 2: в XML-карте указаны и целевые, и обслуживающие страницы.

Поисковик не захочет продвигать такой сайт. Он по-прежнему хорошо оценит целевые страницы, но качество сайта пострадает: обслуживающие страницы поисковик расценит как целевые. Поскольку обслуживающие страницы не несут пользу, поисковик оценит их на «тройки» и «двойки».  Качество сайта пострадает, его позиция в выдаче будет ниже.

Страницы, которые не указаны в XML-карте, все равно могут индексироваться, поэтому может повториться вторая ситуация.

 

Чтобы увидеть индексируемые страницы, вбейте в Яндексе или Гугле «site:search». Вы быстро найдете вспомогательные страницы: как правило они идут в конце выдачи. Если таких страниц немного, заблокируйте их мета-тегом «noindex,follow» или в robots.txt.

Пример использования site:search 

 

А вот выявленная страница, которая не несет пользы для посетителя:

 

Как пользоваться Robots. txt и мета-тегом robots

Используйте Robots.txt, чтобы запретить индексацию целых разделов. Поисковики ничего не будут там индексировать или переходить по ссылкам. Страницы заблокированного раздела не передают свой вес другим страницам и не показываются в поисковой выдаче.

Здесь блокируются страницы, которые являются скриптами: мы не хотим, чтобы такие страницы передавали ссылочный вес другим сайтам и индексировались как целевые страницы.

Можно прописать «disallow: /scripts/», тогда все скрипты в папке «scripts» не будут индексироваться.

 

Чтобы отдельные страницы не индексировались, но передавали вес, пропишите мета-роботов “noindex,follow”.

 

Страница «Свяжитесь с нами» — обслуживающая страница, но у нее большой ссылочный вес: на нее часто кликают. Поскольку это обслуживающая страница, мы не хотим ее индексировать, но хотим, чтобы она передавала свой вес другим разделам сайта. Чтобы запретить индексацию и не потерять ссылочный вес, мы прописываем для этой страницы “noindex,follow”.

Есть тонкость: не используйте robots.txt для того, чтобы спрятать личную информацию пользователей. На эту информацию могут вести посторонние ссылки, и информация будет высвечена в поисковой выдаче. Пропишите мета-тег “noindex,follow” в шапке страницы.

Если сайт большой, поисковики могут постоянно его индексировать. Это может повлиять на скорость работы сайта.

Если вы хотите в первую очередь проиндексировать часто обновляющиеся разделы, блог или продуктовые категории, укажите их в XML-карте. Так вы подскажете поисковику, что считаете эти страницы более приоритетными. Поисковик проиндексирует их в первую очередь, а оставшиеся целевые страницы проиндексирует позже.

 

Как решить проблемы с индексацией

В этом примере в XML-карте перечислено 2698 страниц, но Гугл проиндексировал только 1155.

Google Search Console покажет число проиндексированных страниц, но не сами страницы.

 

Допустим, у вас электронный магазин на 125 000 страниц. Все страницы целевые и делятся на 3 категории:

• 100 000 продуктовых страниц
• 20 000 подкатегорий товара
• 5 000 страниц категорий товара

 

Вы отправляете XML-карту на 125 000 страниц, но поисковик индексирует только 87 000 страниц. Как найти непроиндексированные страницы?

Создайте отдельные XML-карты для каждой категории страниц. Можно даже создать XML-карты для подкатегорий (XML-карта для 5 000 товаров — XML-карта для 4000 пылесосов и XML-карта для 1000 компьютеров). Добавьте одни и те же продуктовые страницы в разные XML-карты — ничего страшного не будет.

Так вы получите индексацию, близкую к 100%. Если индексация далека от 100%, нужно проработать сами страницы: добавить описание, увеличить вес ссылок. Вы можете обнаружить, что есть товарные категории без товара. Для таких категорий лучше прописать “noindex,follow” (не индексировать страницу, но переходить по ссылкам в ней) и убрать из XML-карты.

Чтобы выявить проблему, создайте XML-карту по каждой товарной категории, но с небольшой выборкой — 100 страниц в каждой категории достаточно.

 

Проблемы могут быть такими:

• Страницы без картинок не индексируются поисковиком
• Страницы со слишком коротким описанием (менее 200 слов уникального описания) не индексируются
• Страницы без комментариев не индексируются

Ваша цель — обнаружить проблемные элементы, которые мешают индексации. Используйте общий процент индексации каждой XML-карты для обнаружения проблемных элементов.

Допустим, страницы не индексируются из-за описания: всего 100 000 страниц, и одна пятая часть, 20 000 страниц, содержит слишком короткое описание. Расширьте описание или запретите индексацию через “noindex,follow”. Если страницы не привлекают много трафика, а описание вы берете с сайта производителя, то не тратьте время на описание для всех 20 000 страниц. Уберите их из индексации: поисковик все равно их не проиндексирует, а они только ухудшат качество сайта.

Не забудьте исключить эти страницы из XML-карты.

 

Как автоматически обновлять XML-карты

Если у вас сайт на 100 000 страниц, как постоянно отслеживать: надо ли добавить или исключить страницу из XML-карты?

XML-карты не обязаны быть статичными файлами или иметь расширения .xml. Используйте автоматический генератор XML-карт.

В генераторе вы можете задать правила, по которым страница попадет в XML-карту или ей присвоится “noindex,follow”. Возвращаясь к нашему примеру: как только вы увеличите описание с 50 слов до 200, страница автоматически попадет в XML-карту и ей присвоится уже “index,follow”.

 

Как создать XML-карту для видео

У Яндекса есть инструкция, как это сделать. Если у вас много видеоматериалов и вы используете собственный плеер, вам следует проиндексироваться.

 

Что в итоге:

1. Пользуйтесь XML-картами. Они помогают поисковикам лучше понять структуру вашего сайта.
2. Делайте сайт для людей, а не поисковиков. Продумайте дизайн, создавайте актуальный контент.
3. Аккуратно работайте с robots.txt и мета-тегами robots. Не отправляйте поисковик на заблокированные страницы.
4. Поймите, какие страницы целевые, а какие — вспомогательные. Целевые индексируйте, вспомогательные закрывайте в robots.txt или посредством “noindex,follow”.
5. Используйте в поисковике «site:search», чтобы увидеть все индексируемые страницы. Выявите вспомогательные страницы, добавьте их в robots.txt или пропишите “noindex,follow”.
6. Создавайте несколько XML-карт, чтобы выявить проблемы с индексацией.
7. Используйте XML-генераторы для создания динамичных XML-карт.
8. Используйте XML-карты для видео.

 

Желаем успехов!

По материалам moz.com

Карта сайта: что это такое и для чего она нужна

Карта сайта (sitemap) — это файл или страница с кликабельным перечнем всех важных разделов сайта.  

Карта сайта похожа на содержание или оглавление в книге. Она помогает пользователям быстро находить нужную информацию.

Карта сайта помогает людям сориентироваться на ресурсе. Источник

Кроме того, sitemap полезна для SEO, так как позволяет ускорить индексацию страниц поисковыми системами. 

Поисковым роботам нужна своя карта сайта в формате xml Источник

Для чего нужна карта сайта

Представим, что вы зашли на сайт Forbes, чтобы почитать статьи о личных финансах. Но на главной странице нет даже намека на этот раздел. Непонятно, куда нажимать и как искать.

Поисковые роботы тоже работают «вслепую». Они рандомно изучают контент — часть страниц так и остается неизученной. 

Поэтому и роботам, и людям нужен своеобразный путеводитель, который поможет точно и быстро изучить ресурс. А еще — найти нужную страницу в два клика. 

Карта сайта — это и есть путеводитель, который: 

• делает сайт удобным для посетителей;
• позволяет роботам корректно сканировать страницы;
• ускоряет индексацию контента.

Из карты сайта Forbes легко перейти в любой раздел, в том числе про личные финансы

Кроме того, карта сайта дает роботам важные данные. Например, сведения о последних обновлениях или типе контента. 

Какие бывают карты сайта

Есть два вида sitemap. Формат HTML предназначен для людей. Улучшить проверку структуры сайта роботами поможет XML карта. 

HTML

Такая карта нужна, чтобы визуализировать структуру сайта для пользователей. Ее задача — помочь с навигацией и поиском, поэтому HTML-карта должна быть простой, подробной и наполненной.

Простые и кликабельные разделы — основа карты сайта для людей

HTML-карту обычно оформляют в том же стиле, что и весь сайт. Она должна автоматически обновляться и отражать актуальную информацию. 

 

Допустим, вы продаете кровати «Амелия». Навигация на сайте может быть такой: 

Главная страница → раздел «Мебель из дерева→ категория «Мебель для спальни» → подкатегория «Кровати» → подкатегория «Кровати Амелия».

С картой сайта навигация станет намного проще: нужный раздел будет доступен за пару кликов.

Особенности HTML-карты: 

• четкая и понятная структура;
• доступ для всех пользователей;
• простое оформление. 

Главная ошибка при создании HTML-карты — забыть о ее главном назначении. Стоит отказаться от ярких картинок или подписей — они отвлекают пользователя. Простого и структурированного оглавления будет достаточно. 

Ссылки в карте сайта должны быть активными, чтобы пользователи могли сразу же переходить в нужный раздел. 

Карта сайта Apple — логичная и понятная

В HTML-map стоит добавлять только самые значимые страницы. Например: 

• разделы;
• подразделы;
• контактные данные.

Количество разделов зависит от объема данных. Если сайт небольшой, можно оставить ссылки на все опубликованные материалы. Если информации много, стоит выделить самое важное. 

Можно разработать несколько HTML-карт одновременно — никакого запрета нет. Стоит учитывать, насколько удобно пользоваться ресурсом. Если у вашего сайта сложная иерархия и множество страниц, сделайте sitemap для каждого раздела отдельно. Это особенно удобно для онлайн-магазинов с большим количеством товаров. 

Если сайт имеет простую структуру и число ссылок не превышает 100, достаточно одной HTML-карты. 

XML

Sitemap в таком формате используют поисковые системы. Обычно данные файлы скрыты от пользователей и предназначены только для роботов. 

Самый простой способ посмотреть карту сайта — указать адрес http://site.ru/sitemap.xml, где site.ru — это интересующий домен

XML-карта помогает быстро проиндексировать ресурс. С ее помощью роботы-поисковики узнают важные данные. Например, информацию о последних обновлениях или приоритете каждой страницы. 

XML-map не гарантирует, что роботы-поисковики будут точно следовать указаниям в ней. Однако найти обновления им будет гораздо проще. 

Для быстрого анализа нужных данных в карте используют следующие теги: 

• <url> — контейнер с тегами по конкретному адресу;
• <lastmod> — говорит о последних изменениях;
• <loc> — указывает на url страницы.

 

Структура каждого файла состоит из нескольких тегов. В начале ставится тег <urlset>. В конце — закрывающий </urlset>. Внутри тега urlset размещается тег url. 

Url — это контейнер, внутри которого находятся теги, касающиеся конкретного адреса страницы. Loc — и есть этот адрес. Выглядит это так: 

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>

   <url>

      <loc>http://www.example.com/</loc>

      <lastmod>2023-02-15</lastmod>

      <changefreq>monthly</changefreq>

      <priority>0.8</priority>

   </url>

</urlset>

<loc>, <url> и <urlset> — обязательные теги для каждой sitemap. Есть и необязательные, например  <priority>. Он используется для того, чтобы пометить наиболее важные для сканирования страницы.

Есть и другие специальные теги. Например, о частоте изменений сообщает тег <changefreq>.

Один из наиболее частых вопросов — в каком формате создавать карту сайта. Все зависит от наполнения ресурса и количества опубликованных данных.

Лучшее решение — сгенерировать и HTML, и XML sitemap. Это упростит как работу поисковых роботов, так и навигацию по сайту. 

Каким сайтам требуется sitemap

Карта сайта особенно необходима следующим ресурсам: 

• Новым сайтам. Наличие sitemap поможет быстрее попасть в результаты поиска по ключевым запросам. 
• Ресурсам с десятками разделов. Например, онлайн-магазинам или онлайн-энциклопедиям лучше создать карту и тем самым облегчить пользователям и роботам поиск контента.
• Сайтам без перелинковки. Отсутствие внешних ссылок усложняет задачу для роботов: трудно найти не только нужный контент, но и сам ресурс. 
• Сайтам с мультимедиа. Например, новостным ресурсам с картинками, видео и аудио sitemap поможет продвигать контент в поисковой выдаче. 
• Сайтам с постоянно обновляющимся контентом. 

HTML-карта — must have для сайтов с нарушенной иерархией и разрозненными разделами. Ресурсам с продуманной навигацией и логичной структурой достаточно создать XML-карту для поисковых роботов. 

Лендингам sitemap не требуется — пользователи могут справиться самостоятельно без оглавления. То же самое касается сайтов-визиток. 

Как создать карту сайта

Сгенерировать HTML-sitemap можно:

Вручную. Однако это сложно и трудозатратно. Sitemap должна постоянно меняться при добавлении информации или дополнении разделов. Придется каждый раз обновлять файлы. Плюс потребуется опыт работы с HTML.

Автоматически с помощью онлайн-сервисов. Можно найти как бесплатные, так и более продвинутые инструменты. Например в сервисе mysitemapgenerator есть как бесплатный тариф, так и платная подписка.

Можно использовать Octopus, Web-технологии и другие сервисы. С помощью данных инструментов карту сайта создаст даже новичок.

Создать карту сайта можно в простом генераторе

В случае с XML sitemap ситуация такая же. Можно создать ее самостоятельно, но этот вариант займет немало времени и не подойдет новичкам: требуются определенные знания. 

Другой вариант — воспользоваться специальными сервисами. Есть как бесплатные инструменты, так и программы с платной подпиской. Например, сервис Sitemap Generator позволяет создать карту сайта даже без регистрации. Чтобы сгенерировать sitemap, нужно просто заполнить нужные данные.

Чтобы создать XML sitemap в сервисе Sitemap Generator, нужно добавить адрес сайта, данные о частоте изменений, а также выбрать количество страниц для сканирования

Еще один способ — воспользоваться CMS-плагинами. Есть варианты с разным набором функций. Например, для WordPress используют Yoast SEO и XML Sitemaps. 

Чего не стоит добавлять в карту сайта

При создании sitemap следует учитывать, что она влияет на поисковую выдачу, поэтому некоторые страницы вносить туда не рекомендуется: 

• Технические файлы со служебной информацией. 
• Устаревшие страницы.
• Удаленные страницы 404. Также не стоит добавлять защищенные паролем данные с кодом 401.
• «Мусор». Дубли и прочую бесполезную для поисковика информацию. 

Главные мысли:

Что такое карта сайта в формате XML? И как использовать один для SEO [Видео]

Вы уже подписаны на наш канал на YouTube?!

Расшифровка: если вы пират, пытающийся найти сундук с сокровищами, разве карта, на которой указано, где именно находится сокровище, не облегчит вам жизнь? Ну, в основном это то, что XML-карта сайта делает для сканеров поисковых систем — и облегчает им поиск и индексацию страниц на вашем сайте. В этом видео я расскажу о том, что такое XML-карта сайта, как создать карту сайта и как отправить ее через Google Search Console. Оставайтесь с нами, чтобы продолжать учиться.

Итак, во-первых, что такое XML-карта сайта?

Поисковые системы полагаются на ботов, называемых поисковыми роботами, которые выходят во Всемирную паутину для поиска страниц в Интернете. Хотя они делают это довольно быстро, может пройти некоторое время, прежде чем они найдут конкретную страницу на вашем веб-сайте из-за огромного количества контента, доступного в Интернете. Вот где XML-карта сайта пригодится! XML-карта сайта — это файл на вашем веб-сайте, который сообщает поисковым роботам, что вы хотите, чтобы они просмотрели на вашем сайте. Это выглядит примерно так: В этом примере с sitemaps.org вы видите карту сайта с одной ссылкой.

Карта сайта состоит из трех обязательных частей. Первый — это , который содержит все URL-адреса в карте сайта. Следующая обязательная часть — это тег , который является контейнером для всей информации, связанной с отдельными URL-адресами. Теперь мы переходим к индивидуальной информации URL.

Внутри тега URL находится тег местоположения (), куда вы поместите URL-адрес, на который хотите направить сканеры. Другие элементы не требуются поисковым системам, но все же очень полезны. Тег последней модификации () сообщает вам, когда файл был изменен в последний раз. Тег частоты изменений () говорит, как часто вы обновляете свои страницы, а тег приоритета () сообщает сканерам, какие страницы на вашем сайте более важны. Вот пример карты сайта от компании GLAD, занимающейся хранением продуктов и мусорными мешками. Вот еще один пример XML-карты сайта от New Yorker. Здесь вы увидите все типичные элементы карты сайта, о которых я говорил ранее, такие как теги , , и .

Что такое карта сайта и как она влияет на SEO?

Карта сайта — это план вашего сайта. Это файл, содержащий информацию о страницах, видео и других файлах на вашем сайте и взаимосвязях между ними.

Файлы Sitemap могут оказать положительное влияние на вашу поисковую оптимизацию, поскольку вы можете использовать файлы Sitemap для отправки своего веб-сайта в Google и другие поисковые системы. Вы даже можете создавать XML-карты сайта специально для изображений на вашем сайте. Хотя сейчас мы сосредоточены на XML-картах сайта, HTML-карты сайта — очень полезный инструмент SEO. Обычно вы можете найти ссылку на карту сайта в формате HTML в нижнем колонтитуле веб-сайта. Здесь вы видите пример карты сайта в формате HTML. Карта сайта в формате HTML предназначена для людей и поисковых роботов и позволяет поисковым роботам легко находить и индексировать ссылки на вашем сайте.

XML-карта сайта предназначена для поисковых роботов и помогает им находить новые страницы для индексации. XML-карта сайта SEO вступает в игру, поскольку сканирование и индексация страниц на вашем сайте является важной частью того, как поисковые системы определяют, где ваш сайт будет ранжироваться. Таким образом, наличие XML-карты сайта может дать толчок вашему SEO.

Ищете универсальный инструмент SEO-аудита? Вы нашли это.

SEO Checker предоставляет данные по ключевым показателям, чтобы дать вам:

• Полную оценку SEO
• Уровень содержания
• Анализ скорости сайта
• и более.

Введите действительный URL-адрес (например, webfx.com, www.webfx.com)

Как создать XML-карту сайта для своего веб-сайта?

При создании XML-карты сайта вам необходимо включить ссылки на все страницы, которые поисковые роботы должны сканировать. Если вы не хотите, чтобы страница сканировалась, вы не должны помещать ее в карту сайта XML. Однако это не помешает поисковым роботам найти его.

Вы должны включить страницы, которые вы не хотите сканировать, в файл robots.txt. Посмотрите наш пост в блоге о robots.txt после этого видео, если вы хотите узнать больше. Отличный инструмент для создания карты сайта для вашего сайта — XML-Sitemaps.com. Если на вашем сайте 500 страниц или меньше, вы можете использовать этот инструмент бесплатно. Если вы используете систему управления контентом, такую ​​как WordPress, доступны плагины, которые создают и обновляют вашу XML-карту сайта для вас. Давайте поговорим о том, как загрузить XML-карту сайта.

Как отправить XML-карту сайта в Google Search Console?

Если у вас нет учетной записи Google Search Console, связанной с вашим веб-сайтом, вам необходимо сначала создать ее. Сделав это, вы найдете «Карты сайта» под заголовком «Индекс» на левой боковой панели консоли поиска Google. Нажмите «Карты сайта», и вы попадете на страницу, где вы можете добавить URL-адрес своей карты сайта.

Вставьте URL-адрес в поле с надписью «Добавить новую карту сайта» и нажмите «Отправить». Ваша карта сайта загружена в Google! Google не сразу начнет сканировать ваш сайт. Google может занять несколько дней или даже несколько недель, чтобы просканировать ваш сайт, но если вы просмотрите отчет о картах сайта, он расскажет вам, сколько URL-адресов Google нашел из вашей карты сайта и сканировал ли Google вашу карту сайта вообще. Важно поддерживать свою карту сайта, время от времени обновляя, какие страницы должны или не должны быть там. Но как только вы отправите карту сайта в консоль поиска Google, вы можете расслабиться и позволить сканеру Google сделать всю работу!

Ничего особенного, верно? Если вам понравилось это видео, посмотрите наш плейлист SEO, чтобы узнать все о поисковой оптимизации! И не забудьте подписаться на наш канал на YouTube и заглянуть в блог WebFX, чтобы посмотреть информативные видеоролики по широкому кругу тем цифрового маркетинга. Увидимся позже!

Руководство по использованию файлов Sitemap в формате XML

Дэн Ниска

M Опубликовано 2 года назад

t 6 мин чтения

 Техническое SEO

Вероятно, это один из наиболее простых технических элементов SEO. Карты сайта в формате XML часто понимают неправильно. Чтобы лучше понять XML-карты сайта и способы их эффективного использования, полезно знать, что они собой представляют, а что нет.

Что такое XML-карты сайта?

В своей простейшей форме карта сайта служит дорожной картой для поисковых систем, позволяющей обнаруживать наиболее важный контент вашего веб-сайта и получать дополнительную информацию об общей структуре вашего веб-сайта. Помимо предоставления поисковым системам списка URL-адресов, карты сайта могут помочь поисковым системам находить новый контент или контент, расположенный глубоко в архитектуре веб-сайта, что помогает веб-сайтам с плохой внутренней структурой ссылок.

Распространенные мифы о XML-картах сайта:

1. Карта сайта — это не список страниц вашего сайта. Нет необходимости включать каждую страницу в карту сайта. Большинство веб-сайтов содержат конфиденциальный контент, такой как информация для инвесторов, или контент, который не обеспечивает удобного взаимодействия с пользователем при поиске, например страницы входа или учетной записи, а также контент, расположенный за платным доступом, или страницы, возвращающие коды ответов, отличные от 200. Это примеры страниц, которые не должны быть доступны для поисковых систем и могут быть исключены из карты сайта.
2. Файлы Sitemap не нужны, если мой сайт хорошо организован. Хотя хорошая инфраструктура всегда важна, карта сайта в формате XML предназначена для того, чтобы служить индикатором наиболее важного контента, который вы хотите просканировать и рассмотреть для индексации. Если у вас есть сайт корпоративного уровня, полагаться только на вашу инфраструктуру, вероятно, не самый безопасный способ обеспечить сканирование и индексацию. Настройка вашей карты сайта для отображения ваших самых важных страниц поможет поисковым системам понять, что вы считаете своим наиболее важным контентом. Поскольку поисковые системы работают на краулинговых бюджетах, такой подход может оказаться выгодным для крупных сайтов. Если на вашем веб-сайте более 50 000 URL-адресов важного контента, может оказаться правильным создание индекса карты сайта, содержащего несколько карт сайта.
3. Файлы Sitemap сообщают Google, что индексировать. XML-карта сайта не гарантирует, что страница будет проиндексирована, только то, что она будет рассмотрена для индексации.

Теперь, когда мы знаем о мифах и о том, чем не являются файлы Sitemap, как мы можем использовать их для органического улучшения нашего сайта?

Использование XML-карт сайта в ваших интересах

Игнорировать теги «приоритет» и «частота изменений»:

Два популярных фрагмента разметки, встречающиеся в картах сайта XML, — это теги «приоритет» и «частота изменений». Многие веб-мастера будут использовать эту разметку, чтобы повысить эффективность сканирования и выделить приоритетный контент веб-сайта. Джон Мюллер из Google заявил, что Google игнорирует эти два сигнала. Однако он указал, что использование разметки lastmod используется при анализе Google карты сайта. Сосредоточившись на этом теге и убедившись, что вы включаете правильные URL-адреса, вы сможете обеспечить эффективное сканирование вашей карты сайта и оказать наибольшее влияние.

Повысьте шансы на индексацию контента

Сделайте свою карту сайта доступной для поисковых систем:

Важным первым шагом к тому, чтобы ваш самый важный контент был обнаружен, является изучение того, как создать карту сайта и поместить ее в корень. каталог вашего сервера.

https://www.example.com/sitemap.xml 

Затем обязательно укажите ссылку на XML-карту сайта в файле robots.txt. Этот файл является одним из первых мест, которые бот поисковой системы посещает, когда попадает на веб-сайт. Там он найдет указания о том, какой контент следует сканировать, а какой следует избегать. Добавляя ссылку на карту сайта, вы помогаете поисковым системам обнаруживать и сканировать ваш контент.

Последний шаг — физически отправить карту сайта в Google Search Console и Bing Webmaster Tools. Согласно форуму веб-мастеров Google, они не проверяют вашу карту сайта каждый раз, когда она обновляется, а только в первый раз, когда замечают ее. После этого они будут проверять вашу карту сайта только тогда, когда узнают, что она изменилась. Это можно сделать с помощью инструмента карты сайта Google Search Console и с помощью функции «ping», чтобы попросить Google просканировать карту вашего сайта, отправив HTTP-запрос GET:

http://www.google.com/ping?sitemap= 

Например:

http://www.google.com/ping?sitemap=https://example.com/sitemap.xml 

Включайте только действительные URL-адреса:

Крайне важно, чтобы ваша карта сайта ссылалась на индексируемые URL-адреса и возвращала ответ 200 OK. код. Веб-мастера, SEO-специалисты или команды разработчиков должны регулярно проверять карту сайта своего веб-сайта, чтобы удалить страницы, возвращающие ошибки 404, коды ответа 300 и ошибки сервера уровня 500. Это можно сделать вручную, просканировав карту сайта или используя отчет Google Search Console в формате XML Sitemap для выявления недействительных URL-адресов. Помните, что поисковые системы работают на краулинговом бюджете, поэтому каждый неиндексируемый URL увеличивает вероятность того, что действительный не будет просканирован.

Используйте согласованные, квалифицированные URL-адреса:

Согласованность важна для правильно отформатированной XML-карты сайта. Обязательно используйте согласованные протоколы. Если ваш веб-сайт является безопасным (использует HTTPS), убедитесь, что карта сайта и все URL-адреса используют безопасный протокол. В противном случае ваша карта сайта будет содержать перенаправления, которые могут повлиять на эффективность сканирования и индексации.

Используйте согласованные поддомены. Поскольку карта сайта в формате XML дает представление об архитектуре и организации веб-сайта, каждый поддомен должен иметь собственную карту сайта. Это также поможет сделать ваши карты сайта максимально сжатыми.

Включить уникальные URL-адреса:

Обязательно включать только канонические версии URL-адресов. URL-адреса, содержащие параметры или идентификаторы сеансов, могут считаться повторяющимися и должны быть исключены. В противном случае могут пострадать эффективность сканирования и общая индексация. При проведении регулярных аудитов карты сайта обязательно ищите любые неканонические URL-адреса и удаляйте их. Опять же, использование отчета карты сайта Google Search Console может помочь вам легко определить неканонические URL-адреса, и регулярная проверка этого отчета является хорошей практикой. Помимо использования инструментов Google в Search Console, использование инструментов аудита сайта BrightEdge ContentIQ может помочь оптимизаторам и веб-мастерам выявлять неканонические URL-адреса и страницы, возвращающие коды ответов, отличные от 200, для дальнейшего аудита ваших XML-карт сайта.

Не включать небуквенно-цифровые символы:

Карта сайта должна быть в кодировке UTF-8. URL-адреса должны использовать escape-коды сущностей для таких символов, как амперсанд (&), одинарные кавычки (‘), двойные кавычки («), меньше (<) и больше (>). Кроме того, URL-адреса должны содержать только символы ASCII.

Ограничение размера карты сайта:

Размер карты сайта XML может быстро выйти из-под контроля, особенно для крупных веб-сайтов, таких как сайты электронной коммерции. Когда карта сайта становится слишком большой, это может негативно сказаться на числе URL-адресов, которые сканируются и индексируются, и может способствовать зависанию вашего веб-сервера, если ему нужно обслуживать большие файлы. Чтобы избежать этого, XML-карты сайта должны содержать не более 50 000 URL-адресов и/или не превышать 50 МБ. Это означает, что более крупным сайтам может потребоваться использовать несколько карт сайта в файле индекса карты сайта.

Для больших файлов Sitemap разбиение разделов контента на отдельные файлы Sitemap может помочь упорядочить содержимое и избежать раздувания карты сайта. Создание отдельных карт сайта для видео, изображений и блогов может быть хорошей идеей.

Используйте инструменты для создания XML-карты сайта:

Существует множество инструментов, которые могут помочь в создании XML-карты сайта. Многие CMS имеют параметры создания динамической карты сайта, которые вы можете использовать для управления тем, какой контент публикуется в вашем файле карты сайта.