Xml sitemaps: SEO Tools for Google, Bing and other Search Engines — A few small but useful SEO tools for those webmasters interested to optimize their websites for Search Engines

06.12.2019 alexxlab

Содержание

sitemaps.org — Протокол

Перейти к:
Определения XML-тегов
Маскирование символов
Использование файлов индекса Sitemap
Другие форматы файла Sitemap
Местоположение файла Sitemap
Проверка файла Sitemap
Расширение протокола Sitemaps
Уведомления для сканеров поисковых систем

В этом документе приведено описание XML-схемы протокола Sitemap.

Формат протокола Sitemap состоит из XML-тегов. Для всех значений данных в файле Sitemap должно использоваться маскирование. В файле необходимо использовать кодировку UTF-8.

Sitemap должен:

В начале поставьте открывающий тег <urlset>, а в конце поставьте закрывающий тег </urlset>.
Укажите область имен (стандарт протокола) в теге <urlset>.
Включите запись <url> для каждого URL-адреса как родительский тег XML.
Включите дочернюю запись <loc> для каждого родительского тега <url>.

Все теги необязательны. Поддержка необязательных тегов может отличаться в зависимости от поискового сервера. Чтобы получить более подробную информацию, обратитесь к документации поискового сервера.

Также все URL-адреса в файле Sitemap должны быть с одного узла, например www.example.com или store.example.com. Дополнительные сведения см. в разделе Расположение файла Sitemap

Пример XML-файла Sitemap

Ниже приведен пример файла Sitemap, в котором содержится только один URL-адрес и использованы все необязательные теги. Необязательные теги выделены курсивом.



<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <url>

      <loc>http://www.example.com/</loc>

      <lastmod>2005-01-01</lastmod>

      <changefreq>monthly</changefreq>

      <priority>0.8</priority>

   </url>

</urlset>

См. также пример с несколькими URL-адресами.

Определения XML-тегов

Ниже описаны доступные XML-теги.

Атрибут		Описание
`<urlset>`	обязательный	Инкапсулирует этот файл и указывает стандарт текущего протокола.
`<url>`	обязательный	Родительский тег для каждой записи URL-адреса. Остальные теги являются дочерними для этого тега.
`<loc>`	обязательный	URL-адрес страницы. Этот URL-адрес должен начинаться с префикса (например, HTTP) и заканчиваться косой чертой, если Ваш веб-сервер требует этого. Длина этого значения не должна превышать 2048 символов.
`<lastmod>`	необязательно	Дата последнего изменения файла. Эта дата должна быть в формате W3C Datetime. Этот формат позволяет при необходимости опустить сегмент времени и использовать формат ГГГГ-ММ-ДД. Обратите внимание, что этот тег не имеет отношения к заголовку «If-Modified-Since (304)», который может вернуть сервер, поэтому поисковые системы могут по-разному использовать информацию из этих двух источников.
`<changefreq>`	необязательно	Вероятная частота изменения этой страницы. Это значение предоставляет общую информацию для поисковых систем и может не соответствовать точно частоте сканирования этой страницы. Допустимые значения: always hourly daily weekly monthly yearly never Значение»всегда» должно использоваться для описания документов, которые изменяются при каждом доступе к этим документам. Значение «никогда» должно использоваться для описания архивных URL-адресов. Имейте в виду, что значение для этого тега рассматривается как подсказка, а не как команда. Несмотря на то, что сканеры поисковой системы учитывают эту информацию при принятии решений, они могут сканировать страницы с пометкой «ежечасно» менее часто, чем указано, а страницы с пометкой «ежегодно» – более часто, чем указано. Сканеры могут периодически сканировать страницы с пометкой «никогда», чтобы отслеживать неожиданные изменения на этих страницах.
`<priority>`	необязательно	Приоритетность URL относительно других URL на Вашем сайте. Допустимый диапазон значений — от 0,0 до 1,0. Это значение не влияет на процедуру сравнения Ваших страниц со страницами на других сайтах — оно только позволяет указать поисковым системам, какие страницы, по Вашему мнению, более важны для сканеров. Приоритет страницы по умолчанию — 0,5. Следует учитывать, что приоритет, который Вы назначили странице, не влияет на положение Ваших URL на страницах результатов той или иной поисковой системы. Поисковые системы используют эту информацию при обработке URL, которые относятся к одному и тому же сайту, поэтому можно использовать этот тег для увеличения вероятности присутствия в поисковом индексе Ваших самых важных страниц. Кроме того, следует учитывать, что назначение высокого приоритета всем URL на Вашем сайте не имеет смысла. Поскольку приоритетность – величина относительная, этот параметр используется для того, чтобы определить очередность обработки URL в пределах сайта.

К началу

Маскирование символов

В файле Sitemap должна использоваться кодировка UTF-8 (обычно ее можно выбрать при сохранении данного файла). В XML-файлах для всех значений данных (включая URL-адреса) должно использоваться маскирование символов, перечисленных ниже в таблице.

Символ		Маскирование
Амперсанд	&	`&`
Одинарные кавычки	‘	`'`
Двойные кавычки	«	`"`
Больше	>	`>`
Меньше		`<`

Кроме того, для всех URL (включая URL из вашего файла Sitemap) должны использоваться маскирование и кодировка для удобочитаемости веб-сервером, на котором они размещаются. Однако, если для создания своих URL Вы используете какой-либо вид скрипта, инструментального средства или журнала (любой способ кроме ввода их вручную), то маскировка и кодировка применяются автоматически. Убедитесь в том, что все URL-адреса соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и XML-стандарту.

Ниже приведен пример URL-адреса, в котором используется символ, отличный от ASCI (ü), а также символ, для которого необходимо маскирование (&):

http://www.example.com/ümlat.html&q=name

Ниже этот же URL-адрес приведен в кодировке ISO-8859-1 (для размещения на сервере, который использует эту кодировку) с маскированием:

http://www. primer.ru/%FCmlat.html&q=name

Ниже этот же URL-адрес приведен в кодировке UTF-8 (для размещения на сервере, который использует эту кодировку) и с использованием маскирования:

http://www.example.com/%C3%BCmlat.html&q=name

Ниже приведен тот же URL-адрес, но с использованием маскирования:

http://www.example.com/%C3%BCmlat.html&amp;q=name

Пример XML-файла Sitemap

В следующем примере показан файл Sitemap в XML-формате. Sitemap в этом примере содержит небольшое число URL-адресов, каждый из которых использует разное сочетание необязательных параметров.



<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www. sitemaps.org/schemas/sitemap/0.9">

   <url>

      <loc>http://www.example.com/</loc>

      <lastmod>2005-01-01</lastmod>

      <changefreq>monthly</changefreq>

      <priority>0.8</priority>

   </url>

   <url>

      <loc>http://www.example.com/catalog?item=12&amp;desc=vacation_hawaii</loc>

      <changefreq>weekly</changefreq>

   </url>

   <url>

      <loc>http://www.example.com/catalog?item=73&amp;desc=vacation_new_zealand</loc>

      <lastmod>2004-12-23</lastmod>

      <changefreq>weekly</changefreq>

   </url>

   <url>

      <loc>http://www.example.com/catalog?item=74&amp;desc=vacation_newfoundland</loc>

      <lastmod>2004-12-23T18:00:15+00:00</lastmod>

      <priority>0. 3</priority>

   </url>

   <url>

      <loc>http://www.example.com/catalog?item=83&amp;desc=vacation_usa</loc>

      <lastmod>2004-11-23</lastmod>

   </url>

</urlset>

К началу

Использование файлов индекса Sitemap (для создания группы из нескольких файлов Sitemap)

Можно предоставить несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 50 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала. Однако размер файла sitemap без сжатия не должен превышать 50 МБ. Если необходимо перечислить более 50000 URL-адресов, следует создать несколько файлов Sitemap.

Если требуется передать несколько файлов Sitemap, необходимо перечислить каждый из этих файлов в файле индекса Sitemap. В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap. Размер этого файла не должен превышать 50 МБ (52 428 800 байт) и может быть сжат. У вас может быть несколько файлов Sitemap. Формат XML-файла индекса Sitemap очень похож на формат XML-файла Sitemap.

Файл индекса Sitemap должен:

В начале поставьте открывающий тег <sitemapindex>, а затем поставьте закрывающий тег </sitemapindex>.
Добавьте запись <sitemap> для каждого файла Sitemap как родительский XML-тег.
Включите дочернюю запись <loc> для каждого родительского тега <sitemap>.

Необязательный тег <lastmod> также доступен для файлов индекса Sitemap.

Примечание. Файл индекса Sitemap может указывать только файлы Sitemap, которые находятся на том же сайте, что и файл индекса Sitemap. Например, файл индекса http://www.vashsait.ru/sitemap_index.xml может включать файлы Sitemap, размещенные на сайте http://www.vashsait.ru, но не на сайте http://www.primer.ru или http://vashkhost.vashsait.ru. Для файла индекса Sitemap, как и для файлов Sitemap, необходимо использовать кодировку UTF-8.

Пример индекса XML Sitemap

В следующем примере показан файл индекса Sitemap, который содержит два файла Sitemaps.



<?xml version="1.0" encoding="UTF-8"?>

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <sitemap>

      <loc>http://www.example.com/sitemap1.xml.gz</loc>

      <lastmod>2004-10-01T18:23:17+00:00</lastmod>

   </sitemap>

   <sitemap>

      <loc>http://www.example.com/sitemap2.xml.gz</loc>

      <lastmod>2005-01-01</lastmod>

   </sitemap>

</sitemapindex>

Примечание: для URL-адресов Sitemap, как и для всех значений в XML-файлах, должно использоваться маскирование .

Определения XML-тегов индекса Sitemap

Атрибут		Описание
`<sitemapindex>`	обязательный	Инкапсулирует информацию о всех файлах Sitemap в этом файле.
`<sitemap>`	обязательный	Инкапсулирует информацию об отдельном файле Sitemap.
`<loc>`	обязательный	Указывает местоположение файла Sitemap. Этим местоположением может быть файл Sitemap, файл Atom, файл RSS или простой текстовый файл.
`<lastmod>`	необязательно	Указывает время изменения соответствующего файла Sitemap. Не соответствует времени изменения ни одной из страниц в этом файле Sitemap. Значение тега «lastmod» должно быть представлено в формате W3C Datetime. Предоставляя отметку времени последнего изменения, Вы позволяете сканерам поисковой системы извлекать только часть файлов Sitemap в индексе, то есть сканер может извлекать только те файлы Sitemap, которые были изменены после определенной даты. Этот механизм частичного извлечения файлов Sitemap позволяет быстро обнаруживать новые URL на сайтах больших размеров.

К началу

Другие форматы файла Sitemap

Протокол Sitemap дает возможность обеспечить поисковые системы подробной информацией о страницах, и мы рекомендуем его использовать, поскольку при этом можно указать дополнительные сведения о страницах сайта, а не только их URL. Помимо протокола XML мы также поддерживаем каналы RSS и текстовые файлы, которые предоставляют более ограниченную информацию.

Канал синдикации

Вы можете предоставить канал RSS 2. 0, Atom 0.3 или 1.0. Как правило, этот формат используется только в том случае, если на сайте уже есть канал синдикации. Обратите внимание, что в этом случае поисковые системы, возможно, не получат информацию обо всех URL на вашем сайте, поскольку данный канал предоставляет информацию только по последним URL. Однако поисковые системы могут использовать эту информацию, чтобы обнаружить другие страницы сайта, переходя по ссылкам на страницах канала в процессе обычного сканирования. Убедитесь, что канал расположен в каталоге самого высокого уровня, который должен сканироваться поисковой системой. Поисковые системы извлекают информацию из канала следующим образом.

поле <link> – указывает URL
поле даты изменения (поле <pubDate> для каналов RSS и дата <обновления> для каналов Atom) – указывает, когда каждый URL был изменен в последний раз. Использовать поле даты изменения необязательно.

Текстовый файл

Вы можете предоставить простой текстовый файл, содержащий один URL в строке. Этот текстовый файл должен соответствовать следующим требованиям.

В этом текстовом файле в каждой строке должен быть только один URL. Эти URL не могут содержать новые внедренные строки.
Необходимо указать URL полностью, включая префикс http.
Каждый текстовый файл может содержать не более 50 000 URL, и его размер не должен превышать 50 МБ (52 428 800 байт). Если сайт включает более 50000 URL, можно разделить этот список на несколько текстовых файлов и передать каждый файл отдельно.
Для этого текстового файла необходимо использовать кодировку UTF-8. Ее можно задать при сохранении файла (например, в программе «Блокнот» она указана в меню «Кодировка» диалогового окна «Сохранить как»).
Этот текстовый файл не должен включать никаких других данных, кроме списка URL.
Этот текстовый файл не должен содержать данных заголовка или нижнего колонтитула.
При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала.
Этому текстовому файлу можно присвоить любое имя. Убедитесь, что ваши URL-адреса соответствуют стандарту RFC-3986 для URI-адресов и стандарту RFC-3987 для файлов IRI.
Загрузите этот текстовый файл в каталог самого высокого уровня, который должен сканироваться поисковой системой, и убедитесь, что в файл не внесены адреса URL, находящиеся в каталоге более высокого уровня.

Ниже приведен пример строк текстового файла.

http://www.example.com/catalog?item=1


http://www.example.com/catalog?item=11

К началу

Местоположение файла Sitemap

Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Файл Sitemap, расположенный в каталоге http://primer.ru/catalog/sitemap.xml, может включать любые URL-адреса, начинающиеся с http://primer.ru/catalog/, но не должен включать URL-адреса, начинающиеся с http://primer.ru/images/.

Если у Вас есть разрешение на изменение файла http://primer.org/path/sitemap.xml, можно предположить, что у Вас также имеется разрешение на предоставление информации для URL с префиксом http://primer. org/path/. Примеры допустимых URL в http://primer.ru/catalog/sitemap.xml включают:



http://example.com/catalog/show?item=23

http://example.com/catalog/show?item=233&user=3453

К недопустимым URL-адресам в файле http://primer.ru/catalog/sitemap.xml относятся следующие:



http://example.com/image/show?item=23

http://example.com/image/show?item=233&user=3453

https://example.com/catalog/page1.html

Это значит, что все URL-адреса, перечисленные в файле Sitemap, должны использовать один и тот же протокол (в данном случае — HTTP) и должны быть размещены на том же хосте, что и файл Sitemap. Например, если файл Sitemap расположен по адресу http://www.primer.ru/sitemap. xml, в нем могут быть указаны URL-адреса из субдомена http://subdomen.primer.ru.

URL-адреса, которые считаются недопустимыми, исключаются из дальнейшего рассмотрения. Настоятельно рекомендуется поместить файл Sitemap в корневой каталог Вашего веб-сервера. Например, если адрес Вашего сервера — primer.ru, Ваш файл индекса Sitemap должен быть размещен по адресу http://primer.ru/sitemap.xml. Возможно, в некоторых случаях нужно будет создать различные файлы Sitemap для различных путей на Вашем сайте (например, если полномочия доступа в Вашей организации установлены таким образом, что доступ с правом записи к различным каталогам предоставляется отдельно).

Если при передаче файла Sitemap используется путь, содержащий номер порта, необходимо включить этот номер порта в путь в каждом URL, перечисленном в файле Sitemap. Например, если Ваш файл Sitemap находится в http://www.primer.ru:100/sitemap.xml, то каждый URL, перечисленный в файле Sitemap, должен начинаться с http://www.primer.ru:100.

Файлы Sitemap и перекрестная отправка

Чтобы отправить файлы Sitemap на несколько узлов с одного, необходимо «подтвердить» владение узлом(-ами) для которого URL-адреса отправляются в файле Sitemap. Ниже приведен пример. Допустим, необходимо отправить файлы Sitemap на 3 узла:



www.host1.com с файлом Sitemap sitemap-host1.xml

www.host2.com с файлом Sitemap sitemap-host2.xml

www.host3.com с файлом Sitemap sitemap-host3.xml

Более того, необходимо разместить все три файла Sitemap на одном узле: www. sitemaphost.com. Таким образом, URL-адреса Sitemaps будут следующими:



http://www.sitemaphost.com/sitemap-host1.xml

http://www.sitemaphost.com/sitemap-host2.xml

http://www.sitemaphost.com/sitemap-host3.xml

По умолчанию это приведет к ошибке «перекрестная отправка», так как была произведена попытка отправить URL-адреса для узла www.host1.com через файл Sitemap, который расположен на узле www.sitemaphost.com (то же самое и для двух других узлов). Первый способ избежать этой ошибки — это доказать свое владение (например право изменять файлы) узлом www.host1.com. Это можно сделать, изменив файл robots.txt на узле www.host1.com, чтобы указать на файл Sitemap на узле www.sitemaphost.com.

В этом примере файл robots. txt на узле http://www.host1.com/robots.txt содержал бы строку «Sitemap: http://www.sitemaphost.com/sitemap-host1.xml». Изменив файл robots.txt на узле www.host1.com с указанием на файл Sitemap на узле www.sitemaphost.com, вы косвенно доказали, что являетесь владельцем узла www.host1.com. Другими словами, кто бы не управлял файлом robots.txt на узле www.host1.com, он доверяет файлу Sitemap на узле http://www.sitemaphost.com/sitemap-host1.xml на предмет содержания URL-адресов для узла www.host1.com. Эту же процедуру можно повторить для двух других узлов.

Теперь можно отправлять файлы Sitemap на узел www.sitemaphost.com.

Если в файле robots.txt указан определенный узел, например http://www.host1.com/robots.txt, это указывает на файл Sitemap или файл индекса Sitemap на другом узле. Скорее всего это означает, что для каждого конечного файла Sitemap, например http://www.sitemaphost.com/sitemap-host1.xml, все URL-адреса принадлежат узлу, который на них указывает. Это происходит потому, что, как было указано ранее, ожидается, что файл Sitemap будет содержать URL-адреса только с одного узла.

К началу

Проверка файла Sitemap

Для определения элементов и атрибутов, которые могут появляться в Вашем файле Sitemap, используются следующие XML-схемы. Эту схему можно загрузить с помощью приведенных ниже ссылок.

Для файлов Sitemap: http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd
Для файлов индекса Sitemap: http://www. sitemaps.org/schemas/sitemap/0.9/siteindex.xsd

Ряд инструментов может помочь при проверке структуры файла Sitemap на основе этой схемы. Вы можете найти список инструментов для работы с XML-файлами в каждом из следующих местоположений:

http://www.w3.org/XML/Schema#Tools
http://www.xml.com/pub/a/2000/12/13/schematools.html

Для проверки Вашего файла Sitemap или файла индекса Sitemap по этой схеме в XML-файл нужно добавить дополнительные заголовки, как показано ниже.

Sitemap:



<?xml version='1.0' encoding='UTF-8'?>

<urlset xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0. 9/sitemap.xsd"

         xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <url>

      ...

   </url>

</urlset>

Файл индекса Sitemap:



<?xml version='1.0' encoding='UTF-8'?>

<sitemapindex xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd"

         xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <sitemap>

      ...

   </sitemap>

</sitemapindex>

К началу

Расширение протокола Sitemaps

Протокол Sitemap можно расширить с помощью Вашего собственного пространства имен. Просто укажите это пространство имен в корневом элементе. Например:



<?xml version='1.0' encoding='UTF-8'?>

<urlset xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"

         xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

         xmlns:example="http://www.example.com/schemas/example_schema"> <!-- namespace extension -->

   <url>

      <example:example_tag>

         ...

      </example:example_tag>

      ...

   </url>

</urlset>

К началу

Уведомления для сканеров поисковых систем

После того как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении этого файла поисковым системам, поддерживающим этот протокол. Это можно сделать следующим образом.

Затем поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.

Передача файла Sitemap с помощью интерфейса поисковой системы

Чтобы отправить файл Sitemap напрямую в поисковую систему, которая предоставляет возможность получать информацию о статусе и ошибках обработки, обратитесь к документации поисковой системы.

Как указать местоположение файла Sitemap в файле robots.txt

Можно указать местоположение файла Sitemap, используя файл robots.txt. Для этого просто добавьте следующую строку:

Sitemap: http://www. example.com/sitemap.xml

Эта инструкция не зависит от строки агента пользователя, поэтому неважно, где она размещается в файле. При наличии файла индекса Sitemap можно включить местоположение только этого файла. Перечислять каждый отдельный файл Sitemap, указанный в файле индекса, не нужно.

Можно указать несколько файлов Sitemap для каждого файла robots.txt.

Sitemap: http://www.example.com/sitemap-host1.xml

Sitemap: http://www.example.com/sitemap-host2.xml

Передача файла Sitemap с помощью запроса HTTP

Чтобы отправить файл Sitemap с помощью HTTP-запроса (замените <searchengine_URL>на URL, указанный поисковой системой), создайте запрос для следующего URL-адреса.

<searchengine_URL>/ping?sitemap=sitemap_url

Например, если файл Sitemap находится в архивном файле http://www.primer.ru/sitemap.gz, URL-адрес будет следующим:

<searchengine_URL>/ping?sitemap=http://www.example.com/sitemap.gz

Добавьте кодировку URL для всех символов после /ping?sitemap=:

<searchengine_URL>/ping?sitemap=http%3A%2F%2Fwww.vashsait.com%2Fsitemap.gz

Можно отправить http-запрос, используя «wget», «curl» или другой механизм по выбору. Успешный запрос возвратит код отклика HTTP 200; если получен другой отклик, необходимо повторно передать запрос. Код отклика HTTP 200 указывает только на то, что поисковая система получила Ваш файл Sitemap, но это не значит, что сам файл Sitemap или содержащиеся в нем URL допустимы. Самый простой способ — создать автоматическое задание для регулярного создания и передачи файлов Sitemap.
Примечание. Предоставляя файл индекса Sitemap, необходимо инициировать только один http-запрос, который включает местоположение файла индекса Sitemap; отправлять отдельные запросы для каждого файла Sitemap, указанного в этом индексе, не нужно.

К началу

Как исключить содержание

Протокол Sitemaps предоставляет поисковым системам информацию о содержании, которое необходимо включить в индекс. Чтобы сообщить поисковым системам о содержании, которое не следует включать в индекс, используйте файл robots.txt или метатег robots. Более подробную информацию о том, как исключить содержание из поисковых систем, см. на странице robotstxt.org.

К началу

Последнее обновление: 21 ноября 2016 г.

Как создать XML-карту сайта (и отправить ее в Google)

Так же, как вам может быть сложно найти новую дорогу без карты, Google может быть сложно найти все страницы на вашем сайте без карты сайта.

К счастью, можно быстро и легко создать карту сайта в XML-формате и отправить ее в Google.

Изучив основы, мы подробно рассмотрим, как это сделать.

(Уже знаете все основы? Щелкните здесь, чтобы сразу перейти к созданию файла Sitemap.)

Что такое карта сайта (файл Sitemap)?

Карта сайта (файл Sitemap) — это XML-файл, в котором перечислен весь важный контент вашего сайта. Все страницы или файлы, предназначенные для ранжирования в поисковиках, должны быть указаны в карте сайта.

Интересный факт

В картах сайта нельзя перечислять больше 50 000 ссылок, а их размер не должен превышать 50 МБ. Если содержимое файла Sitemap превышает один или несколько этих показателей, придется разбить его между несколькими картами.

Как выглядит sitemap.xml?

Sitemap.xml создается для поисковиков, а не людей. Он может выглядеть немного пугающе, если вы видите его впервые.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
	<url>
		<loc>https://ahrefs.com/</loc>
		<lastmod>2019-08-21T16:12:20+03:00</lastmod>
	</url>
	<url>
		<loc>https://ahrefs.com.com/blog/</loc>
		<lastmod>2019-07-31T07:56:12+03:00</lastmod>
	</url>
</urlset>

Давайте разберемся.

Объявление XML

<?xml version="1.0" encoding="UTF-8"?>

Эта строка сообщает поисковикам, что он имеет дело с XML-файлом. Здесь также указывается версия XML и используемая кодировка. Для карты сайта следует указать версию 1.0 и кодировку UTF‑8 (UTF‑8 использовать обязательно).

URL set

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

Это хранилище всех URL-адресов в карте сайта. Эта строка также сообщает краулерам, какой стандарт протокола используется. Большинство карт указывают стандарт Sitemap 0.90, поддерживаемый Google, Yahoo и Microsoft.

URL

<url>
<loc>https://ahrefs.com/</loc>
<lastmod>2019-08-21T16:12:20+03:00</lastmod>
</url>

Это родительский тег для каждой записи URL-адреса. Вы должны указать расположение URL-адреса во вложенном теге <loc>. Что особенно важно, необходимо использовать абсолютные URL-адреса, не относительными и каноническими.

Несмотря на то, что это единственный обязательный тег, у него могут быть дополнительные свойства:

<lastmod> — указывает дату последнего изменения файла. Она должна быть в формате W3C Datetime. Например, если вы обновили публикацию 25 сентября 2019 года, в атрибуте будет указано значение 2019-09-25. Дополнительно можно еще указать время.
<priority> — указывает приоритет URL-адреса относительно всех остальных URL-адресов на сайте. Значение указывается в диапазоне от 0.0 до 1.0. Чем больше значение, тем выше приоритет.
<changefreq> — указывает, как часто страница может меняться. Задача этого свойства — сообщить поисковикам о том, как часто им может понадобиться повторно сканировать URL-адреса. Допустимые значения: always (всегда), hourly (каждый час), daily (ежедневно), weekly (еженедельно), monthly (ежемесячно), yearly (ежегодно) и never (никогда).

Ни один из этих дополнительных тегов не особо важен для SEO.

Гэри Илш из Google утверждает, что они в основном игнорируют значение тега <lastmod>, поскольку в большинстве случаев “вебмастера совершенно не стараются следить за его точностью”. Это и неудивительно, ведь большинство генераторов карт сайтов устанавливают значение этого тега для всех страниц по текущей дате, а не по дате последнего изменения файла.

Тег <priority> в Google, по их словам, игнорируется, потому что это просто “лишний шум”.

Относительно тега <changefreq> Джон Мюллер говорит так: “Приоритет и изменение частоты на самом деле больше не играют такой большой роли, когда речь идет о карте сайта” .

Зачем вам нужна карта сайта?

Google обнаруживает новый контент, сканируя веб-страницы. Когда он сканирует страницу, то обращает внимание и на внутренние, и на внешние ссылки на эту страницу. Если обнаруженный URL-адрес не содержится в их поисковом индексе, они могут спарсить по нему контент и проиндексировать его, если это целесообразно.

Но таким образом Google не сможет найти весь контент. Если на страницу нет ссылок с других уже известных ему страниц, он ее вряд ли найдет ее.

Вот тут-то и вступает в игру карта сайта.

Карта сайта сообщает Google (и другим поисковикам), где найти наиболее важные страницы сайта, чтобы они могли их просканировать и проиндексировать. Это важно, потому что поисковики не могут ранжировать контент, предварительно не проиндексировав.

Как создать карту сайта

Некоторые CMS сгенерируют карту сайта для вас. Она будет обновляться автоматически, когда вы будете добавлять или убирать страницы и посты на вашем сайте. Если ваша CMS этого не делает, скорее всего вы можете установить для нее соответствующий плагин, который это умеет.

Создание карты сайта в WordPress

Хоть на WordPress и работает 35,5% всех сайтов, эта CMS сама не генерирует карту сайта. Чтобы создать ее, вам понадобится плагин наподобие Yoast SEO.

Чтобы установить Yoast SEO, перейдите в консоль WordPress.

Выберите пункт Плагины > Добавить новый.

Найдите “Yoast SEO”.

Нажмите кнопку “Установить” возле первого полученного результата, а затем кнопку “Активировать”.

Перейдите в раздел SEO > Общие > Возможности и убедитесь, что “XML-карта сайта” включена.

Теперь вы сможете увидеть файл sitemap (или индекса sitemap) по адресу yourdomain.com/sitemap.xml или yourdomain.com/sitemap_index.xml.

Примечание.

Если у вас WordPress установлен в подпапке или на субдомене, ваша карта сайта будет находиться там же. Например, карта сайта нашего блога доступна по ahrefs.com/blog/sitemap_index.xml.

СОВЕТ

Если вы хотите четко указать, какие типы контента (страницы тегов, категорий и т. д.) включить или исключить из вашей карты сайта, перейдите в раздел настроек “Отображение в поисковой выдаче”.

Вы также можете исключить отдельные посты или страницы в редакторе с помощью поля “Дополнительно”.

ВАЖНО. Исключайте из карты сайта только те страницы, которые не должны отображаться в результатах поиска.

Подробнее см. в нашем руководстве по SEO для WordPress.

Создание карты сайта в Wix

Wix автоматически создает для вас карту сайта. Она располагается по адресу yourwixsite.com/sitemap.xml.

К сожалению, у вас практически нет возможностей контролировать, какие страницы включаются в карту сайта. Если вы хотите исключить страницу, перейдите на вкладку настройки “SEO (Google)” на нужной странице и отключите параметр “Show this page in search results” (Отображать эту страницу в результатах поиска).

Отображать эту страницу в результатах поиска

Стоит отметить, что таким образом на страницу добавляется мета-тег noindex, который исключает ее из показа в результатах поиска.

Примечание.

Если вы добавите каноникал на другой URL-адрес в Wix, то неканонический URL-адрес не будет удален из карты сайта. Хоть это и не повлияет на большинство пользователей, включение неканонических страниц в файле sitemap — не лучшая практика, а также неоднозначный сигнал для Google.

Создание карты сайта в Squarespace

Squarespace также создает для вас карту сайта автоматически. Обычно ее можно найти по адресу yoursquarespacesite. com/sitemap.xml.

Ручное редактирование карты сайта в Squarespace невозможно, но вы можете исключить (используя тег noindex) страницы из выдачи поисковиков на вкладке “SEO”.

Скрыть страницу в результатах поиска

Такие страницы будут также исключены из вашей карты сайта.

Создание карты сайта в Shopify

Shopify генерирует для вас карту сайта автоматически. Ее можно найти по адресу yourstore.com/sitemap.xml.

К сожалению, легкого способа исключить страницу из индекса в Shopify не существует. Вам придется напрямую редактировать файлы .liquid.

Создание карты сайта без CMS

Если на вашем сайте около 300 страниц или менее, установите бесплатный краулер Screaming Frog.

После установки откройте раздел Mode > Spider.

Вставьте URL-адрес главной страницы в поле с подписью “Enter URL to spider”.

Нажмите кнопку “Start”.

Примечание.

Убедитесь, что используете каноническую (главную) версию стартовой страницы.

Если вы этого не сделаете, Screaming Frog просканирует только один URL-адрес.

Когда сканирование завершится, обратите внимание на нижний правый угол.

Найдите похожую строку:

Если указанное число не превышает 499, перейдите в раздел Sitemaps > XML sitemap.

Поскольку для Google теги <lastmod>, <changefreq> и <priority> являются несущественными, мы рекомендуем не включать их в файл sitemap.xml.

Нажмите “Next” (Далее) и сохраните файл sitemap на компьютере. Готово.

Если в строке указано значение “500 из 500”, то нет смысла экспортировать файл sitemap. Почему? Потому что вы достигли лимита сканирования для вашего сайта, а это значит, что в экспортированном файле sitemap может не быть сотен страниц, что делает его непригодным для использования.

Один из способов решить эту проблему — подобрать другой бесплатный генератор карты сайта. Их очень много.

К сожалению, большинство таких генераторов ненадежны.

Мы протестировали некоторые из наиболее популярных генераторов и обнаружили, что многие из них включают в карту сайта неканонические URL-адреса, неиндексируемые страницы и редиректы. Для SEO это плохо.

Генератор	Включает канонизированные URL?	Включает noindexed URL?	Включает редиректы?
xml-sitemaps.com	Да ❌	Нет ✅	Нет ✅
web-site-map.com	Да ❌	Нет ✅	Нет ✅
xmlsitemapgenerator.org	Да ❌	Нет ✅	Нет ✅
smallseotools.com/xml-sitemap-generator	Да ❌	Да ❌	Да ❌
freesitemapgenerator.com	Да ❌	Да ❌	Да ❌
duplichecker.com/xml-sitemap-generator.php	Да ❌	Да ❌	Да ❌
xsitemap.com	Да ❌	Да ❌	Да ❌

Где же найти решение?

Если Screaming Frog не смог просканировать весь ваш сайт, просканируйте его с помощью инструмента Аудит Сайта Ahrefs.

Примечание.

Подтвердите, что это ваш сайт, чтобы сканирование прошло быстрее. Вот как это сделать.

Как только сканирование завершится, перейдите в Page Explorer и добавьте следующие фильтры.

Нажмите Export > Current table view.

Откройте экспортированный CSV-файл, а затем скопируйте и вставьте все URL-адреса из столбца URL в этот инструмент.

Нажмите кнопку “Add to queue” (Добавить в очередь), а затем “Export queue as sitemap.xml” (Экспортировать список в файл sitemap.xml).

Полученный файл будет готовой картой вашего сайта.

Как отправить карту сайта в Google

Для начала вам нужно узнать, где находится карта сайта.

Если вы используете плагин, скорее всего правильный URL-адрес карты будет domain.com/sitemap.xml.

Если вы делаете это вручную, назовите вашу карту сайта sitemap.xml и загрузите ее в корневой каталог вашего веб-сайта. После этого карта сайта станет доступна по адресу domain. com/sitemap.xml.

Примечание.

Вы можете выбрать любое имя для карты сайта, но наилучшей практикой будет придерживаться названия sitemap.xml. Если у вас несколько карт, можно использовать простую схему именования, например, sitemap_1.xml, sitemap_2.xml.

Выберите Google Search Console > Файлы Sitemap > Добавить URL-адрес файла Sitemap, а затем нажмите кнопку “Отправить”

Готово.

СОВЕТ

Хорошей практикой является добавление URL-адресов файлов sitemap в файл robots.txt.

Вы можете найти этот файл в корневом каталоге вашего веб-сервера. Чтобы добавить URL-адрес файла sitemap, откройте файл robots.txt и вставьте следующую строку:

Sitemap: https://www.yourdomain.com/sitemap.xml

URL-адрес из примера необходимо заменить на URL-адрес вашей карты сайта.

Если у вас несколько карт, добавьте такую строку для каждой из них.

Sitemap: https://www.asos.com/sitemap_1.xml

Sitemap: https://www.asos.com/sitemap_2.xml

Исправление основных ошибок веб-сайта, которые влияют на карту сайта

Google Search Console сообщает вам о большинстве технических ошибок, относящихся к карте сайта.

Например, в этом предупреждении сообщается, что один из отправленных URL-адресов заблокирован в robots.txt:

Вы можете больше узнать об этих проблемах и способах их решения здесь.

Однако существуют проблемы, о которых Google вам не сообщит.

Ниже приведены две наиболее распространенные такие проблемы, а также способы их выявления и устранения.

Бесполезные страницы низкого качества в вашей карте сайта

Каждая страница в вашей карте сайта должна быть индексируемой и канонической.

К сожалению, это не означает, что все эти страницы высокого качества. Если у вас много контента, скорее всего в вашей карте найдется несколько страниц низкого качества.

Например, эти две страницы в интернет-мазагине:

Ни одна из них не несет ценности для пользователя, но все же они находятся в карте этого сайта, и Google проиндексировал обе из них.

Чтобы найти эти страницы, перейдите в раздел Site Audit (Аудит сайта) > Duplicate content

Ищите кластеры дублированных или частично дублированных (в большую сторону) страниц без каноникалов. Они представлены оранжевыми квадратиками. Щелкните по одному из них, чтобы увидеть все страницы из этой группы.

Проверьте эти страницы, чтобы понять, представляют ли они какую-либо ценность.

Держать на сайте страницы низкого качества плохо по трем причинам:

Они впустую расходуют краулинговый бюджет. Заставлять Google терять время и ресурсы, сканируя бесполезные страницы низкого качества — не лучшая идея. Он бы мог посвятить это время сканированию более важного контента. (Во избежание недоразумений: Google утверждает, что краулинговый бюджет — это не “что-то, о чем большинству издателей стоит беспокоиться”.)
Они “крадут” авторитетность ссылки у более важных страниц. Существует явная корреляция между авторитетностью страниц и их позициями в выдаче. Внутренние ссылки на страницы низкого качества снижают авторитетность, которая могла бы перетекать на более важные страницы. (Что примечательно, когда мы удалили почти ⅓ постов из блога Ahrefs, мы заметили увеличение трафика, а не его снижение. )
Они приводят к плохому взаимодействию с пользователем. Никакой пользы при посещении этих страниц пользователи не получают, и они могут сразу уйти, если решат, что ваш сайт низкого качества или вообще заброшен.

Подводя итог, лучший план действий — это удалить страницы низкого качества с вашего сайта и, следовательно, из карты сайта. Если вы это сделаете, стоит помнить, что нужно также удалить все внутренние ссылки на эти страницы. Если вы об этом забудете, то вместо одной проблемы (низкокачественные страницы) вы приобретете другую (битые ссылки).

Помимо дубликатов и неполных дубликатов, вы можете поискать страницы с бесполезным контентом.

Просто проверьте отчет “On-Page” в инструменте “Аудит сайта” для страниц с предупреждением о малом количестве слов (Low word count).

Страницы, исключенные из карты сайта по ошибке

Если вы использовали любые из указанных ранее методов генерации карты сайта, то в нее не попадут страницы с тегами noindex или canonical (не ссылающиеся на себя).

Это хорошо. Не стоит включать неканонические URL-адреса или неиндексируемые страницы в карту сайта.

Таким образом, если у вас на сайте есть некорректные теги noindex, страницы могут быть исключены по ошибке.

Чтобы проверить веб-сайт на наличие таких ошибок, воспользуйтесь отчетом “Indexability” (Индексируемость) в инструменте “Аудит сайта”. Обратите внимание на предупреждения “Noindex page” (Неиндексируемая страница), указывающие на все неиндексируемые страницы.

Большая их часть, скорее всего, будет исключена из индекса специально, однако этот список стоит перепроверить. Обычно некорректные теги noindex легко заметить, поскольку они будут касаться целого подраздела вашего сайта.

Если вы видите страницы, которые все же должны быть проиндексированы, удалите тег noindex со страницы и добавьте ее в вашу карту. Если вы используете CMS или плагин, добавление должно произойти автоматически.

ПРОФЕССИОНАЛЬНЫЙ СОВЕТ

Стоит проверить сайт на некорректные каноникалы и редиректы. Чтобы это сделать, перейдите в Page Explorer и используйте такие фильтры:

Проверка некорректных каноникалов.

Проверка некорректных редиректов.

Удалите некорректно указанные каноникалы и редиректы, затем добавьте затронутые страницы в вашу карту сайта.

Вопросы и ответы

Вот несколько ответов на часто задаваемые вопросы о картах сайта. Сообщите нас, если у вас появился вопрос, на который в этом разделе нет ответа, и мы добавим его.

Нужна ли карта сайта для страниц AMP?

Нет.

@Kfowler325 No need for sitemaps for AMP pages — the rel=amphtml link is enough for us.
— 🍌 John 🍌 (@JohnMu) 13 October 2016

Для AMP-страниц карта сайта не нужна — ссылки rel=amphtml будет достаточно.

Как создать карту сайта для проекта электронной коммерции?

Карта для сайта электронной коммерции создается так же, как и для любого другого. Однако, в таких проектах стоит уделить особое внимание проверке страниц на дубликаты или неполные дубликаты, поскольку они часто проскальзывают сквозь пальцы в больших количествах из-за фасетной навигации.

Заключение

Создание карты сайта это вам не бином Ньютона, особенно если вы используете плагин, который все делает вместо вас. Не так уж сложно и создать карту с нуля — просто просканируйте сайт и отформатируйте список URL-адресов.

Важно помнить, что Google не должен индексировать страницы в вашей карте сайта, а также то, что карта сайта никак не взаимосвязана с ранжированием.

Если вы хотите ранжироваться выше в Google, прочтите этот пост.

Остались вопросы? Напишите мне в комментариях или в Twitter.

Translation: Olesia Korobka, SEO in Fajela.

полное руководство по использованию — Devaka SEO Блог

24.3К просмотров

Файл sitemap.xml — это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.

В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

Некоторые разделы недоступны через навигационное меню.
Имеется множество изолированных страниц или плохо связанных между собой.
Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

Sitemap. xml является текстовым файлом формата XML. Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже (см. подробней).
Адреса в sitemap.xml должны быть абсолютными.
Максимальная длина URL — 2048 символов (1024 символа для Яндекса).
Спецсимволы в URL (типа амперсанда «&» или кавычек) должны маскироваться в HTML-сущности.
Указанные в карте страницы должны отдавать 200 http-код статуса.
Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt.

Также поисковиками поддерживается стандартный XML-протокол. Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://devaka.ru/</loc>
    <lastmod>2018-06-14</lastmod>
    <changefreq>daily</changefreq>
    <priority>0. 9</priority>
  </url>
</urlset>

XML-теги
urlset (обязательный) — указывает стандарт текущего протокола.
url (обязательный) — родительский тег для каждого URL-адреса.
loc (обязательный) — URL-адрес документа, должен быть абсолютным.
lastmod — дата последнего изменения документа в формате Datetime.
changefreq — частота изменения страницы (always, hourly, daily, weekly, monthly, yearly, never). Значение этого тега является рекомендацией поисковым системам, а не командой.
priority — приоритетность URL относительно других адресов (от 0 до 1) для очередности сканирования. Если не указывается, то по умолчанию равна 0.5.

XML карта для изображений

Некоторые оптимизаторы вставляют в sitemap.xml ссылки на изображения аналогично ссылкам на html-документы. Так можно делать, но лучше для Google использовать расширение стандартного протокола и вместе с урлами отправлять дополнительную информацию об изображениях. Создавать XML карты изображений полезно, если картинки необходимо сканировать и индексировать, и при этом, они напрямую не доступны боту (например, используется JavaScript).

Пример карты сайта, содержащей одну страницу и принадлежащие ей изображения

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
  <url>
    <loc>http://example.com/primer.html</loc>
    <image:image>
      <image:loc>http://example.com/kartinka.jpg</image:loc>
    </image:image>
    <image:image>
      <image:loc>http://example.com/photo.jpg</image:loc>
    <image:title>Вид на Балаклаву</image:title>
    <image:geo_location>Севастополь, Крым</image:geo_location>
    <image:license>http://creativecommons.org/licenses/by-nd/3. 0/legalcode</image:license>
    </image:image>
  </url>
</urlset>

XML-теги
image:image (обязательно) — информация об одном изображении. Максимум может использоваться 1000 изображений.
image:loc (обязательно) — путь к файлу изображения. Если используется CDN, то допустимо ссылаться на другой домен, если он подтвержден в панели для вебмастеров.
image:caption — подпись к изображению (может содержаться длинный текст).
image:title — название изображение (обычно короткий текст).
image:geo_location — место съемки.
image:license — URL лицензии изображения. Используется при расширенном поиске по картинкам.

Подробнее о файлах Sitemap для изображений:
https://support.google.com/webmasters/answer/178636

XML карта для видео

Подобно карте для изображений, Google также имеет расширение sitemap протокола для видео, где можно указывать подробную информацию о видео-контенте, влияющую на отображение в поиске по видео. Видео-сайтмап необходим, когда на сайте используются видео, которые хостятся локально, и когда индексация этих видео затруднена из-за используемых технологий. Если вы на сайте внедряете видео из YouTube, то video-sitemap здесь не нужен.

Подробнее о файлах Sitemap для видео:
https://developers.google.com/webmasters/videosearch/sitemaps

Файл Sitemap для новостей

При наличии на сайте новостного контента и участии в Google Новостях полезно использовать Sitemap для новостей, так Google будет быстрей находить ваши свежие материалы и индексировать все новостные статьи. В этом случае Sitemap должен содержать только адреса страниц, опубликованных за последние 2 дня и содержать не более 1000 урлов.

Подробнее о файлах Sitemap для новостей:
https://support.google.com/news/publisher-center/answer/74288

Использование нескольких карт

При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap. xml используются в случаях, когда:

На сайте используется несколько движков (CMS).
На сайте больше 50 000 страниц.
Необходимо настроить удобное отслеживание ошибок в разделах.

В последнем случае каждый большой раздел сайта имеет свой sitemap.xml и все они добавляются в панель для вебмастеров, где удобно наблюдать, в каком из разделов больше всего ошибок (см. раздел поиска ошибок в карте сайта).

Если у вас 2 и более сайтмапа, их необходимо объединить в индексный сайтмап, который выглядит также как обычный (за исключением наличия тегов sitemapindex и sitemap вместо urlset и url), имеет аналогичные ограничения и может ссылаться только на обычные XML карты (не на индексные).

Пример Sitemap Index:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>http://www.example.com/sitemap-blog.xml.gz</loc>
    <lastmod>2004-10-01T18:23:17+00:00</lastmod>
  </sitemap>
  <sitemap>
    <loc>http://www. example.com/sitemap-webinars.xml.gz</loc>
    <lastmod>2005-01-01</lastmod>
  </sitemap>
</sitemapindex>

sitemapindex (обязательный) — указывает стандарт текущего протокола.
sitemap (обязательный) — содержит информацию об отдельном sitemap.
loc (обязательный) — местоположение sitemap (в формате xml, txt или rss для Google).
lastmod — время изменения сайтмапа. Позволяет поисковикам быстро обнаруживать новые URL на сайтах больших размеров.

Как создать sitemap.xml

Методы создания XML Sitemap:

Внутренние средства CMS. Многие CMS уже поддерживают создание карты сайта. Чтобы это выяснить, почитайте документацию к вашей CMS, посмотрите пункты меню в администраторской панели или обратитесь в техподдержку движка. Загрузите на вашем сайте файл https://вашсайт.com/sitemap.xml, возможно он уже существует и динамически формируется.
Внешние плагины. Если в CMS нет функционала генерации карты сайта, и она поддерживает плагины, погуглите, какой из плагинов закрывает вопрос sitemap.xml для вашего движка и установите его. В некоторых случаях необходимо обратиться к программистам, чтобы они написали вам подобный плагин.
Отдельный скрипт на сайте. Зная протокол XML карты и технические ограничения, можно создать sitemap.xml самостоятельно, добавив скрипт генерации в CRON. Если вы не программист, используйте другие пункты этого списка.
Генераторы Sitemap. Существует множество генераторов sitemap.xml, которые сканируют ваш сайт и дают скачать готовую карту. Недостаток здесь в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап.
Парсеры. Десктопные программы, предназначенные для технического анализа сайта, обычно предоставляют возможность скачать sitemap.xml, сгенерированный на основе просканированных страниц. Работает аналогично генераторам sitemap, только запускается локально на своей машине.

Популярные онлайн-генераторы карты сайта

XML-Sitemaps.com

Позволяет получить sitemap.xml в несколько кликов. Поддерживает форматы XML, HTML, TXT и GZ. Удобно использовать для небольших сайтов (до 500 страниц).

XML Sitemap Generator

Похожий генератор, но имеет чуть больше настроек и позволяет создать карту до 2000 страниц бесплатно.

My Sitemap Generator

Имеет множество настроек, позволяет импортировать URL-адреса из CSV-файла. Бесплатно сканирует до 500 урлов.

Check Domains

Не имеет лимитов на количество страниц для сканирования. Но для больших сайтов процесс генерации может подвисать на несколько десятков минут.

Локальные программы для генерации XML Sitemap

G-Mapper Sitemap Generator

Бесплатная десктопная версия генератора карты сайта под Windows.

Screaming Frog SEO Spider

Гибкий инструмент генерации карты сайта с множеством настроек. Удобно, если вы уже пользуетесь скримин фрогом для других SEO-задач. После сканирования сайта используйте пункт меню Sitemaps -> Create XML Sitemap.

Netpeak Spider

Менее гибкое, но тоже удобное решение для быстрой генерации sitemap.xml. После сканирования сайта необходимо использовать пункт меню Инструменты -> Генерация Sitemap.

Создание Sitemap XML на WordPress

Yoast SEO
Помимо прочих функций, полезных для SEO, позволяет генерировать sitemap.xml.

Google XML Sitemaps
Простой плагин для генерации Sitemap на WordPress.

WP Sitemap Page
Еще один плагин для WordPress, если предыдущие не подошли.

Sitemap.xml должен обновляться сразу же, как на сайте появляются новые страницы. Однако, в случае, если на сайте страницы появляются часто и пачками, то Sitemap целесообразно генерировать примерно раз в час. Убедитесь, что в карту сайта не попадают дубли, несуществующие страницы или содержащие редирект. Например, страницы пагинации и сортировки в sitemap. xml включать не нужно. Идеальный sitemap состоит из страниц основных разделов и подразделов сайта и конечных узлов (статьи, карточки товара и пр).

Кириллические адреса в sitemap

Несмотря на то, что sitemap протокол позволяет использовать только ASCII символы в URL, Google и Яндекс поддерживают оба формата для кириллических адресов, кодированный и обычный. То же самое с IDN-доменами, можно использовать обычный формат и Punycode. Однако, для совместимости вашего sitemap.xml с различными поисковыми системами и сервисами, рекомендуется следовать протоколу, кириллические домены кодировать в Punycode-формат (используйте этот конвертер), и использовать маскирование для кириллических адресов страниц.

Вместо:
https://минобрнауки.рф/фото

Необходимо использовать:
https://xn--80abucjiibhv9a.xn--p1ai/%D1%84%D0%BE%D1%82%D0%BE

Sitemap мультиязычного и мультирегионального сайта

Если ваш сайт является мультиязычным или мультирегиональным, то Google поддерживает разметку hreflang непосредственно в sitemap. xml. Для этого в карте необходимо использовать дополнительные теги xhtml:link с указанием hreflang.

Пример. Сайт использует два языка: русский и украинский. В таком случае sitemap.xml для одной из страниц будет выглядеть следующим образом.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
           xmlns:xhtml="http://www.w3.org/1999/xhtml">
  <url>
    <loc>http://www.example.com/ru/</loc>
    <xhtml:link
      rel="alternate"
      hreflang="ru"
      href="http://www.example.com/ru/"
    />
    <xhtml:link
      rel="alternate"
      hreflang="uk"
      href="http://www.example.com/ua/"
    />
  </url>
  <url>
    <loc>http://www.example.com/ua/</loc>
    <xhtml:link
      rel="alternate"
      hreflang="ru"
      href="http://www.example.com/ru/"
    />
    <xhtml:link
      rel="alternate"
      hreflang="uk"
      href="http://www. example.com/ua/"
    />
  </url>
</urlset>

Как видите, каждый языковый или региональный URL должен быть представлен в отдельном теге url. Чем больше языков на сайте, тем больше будет разрастаться этот sitemap.

Если у сайта имеется множество поддоменов, то каждый поддомен, как отдельный сайт, должен содержать свой sitemap.xml. В этом один из недостатков поддоменной структуры сайта.

Поиск ошибок в карте сайта

При создании XML карты сайта вебмастерами часто допускаются следующие ошибки:

URL ведет на страницу, http-код статуса которой отличный от 200 (например, страницы не существует или она редиректит на другую страницу). Необходимо оставить в sitemap.xml только существующие страницы.
URL ведет на страницу, которая закрыта от индексации в файле robots.txt. Здесь необходимо разобраться, ошибка в robots.txt или в sitemap.xml.
URL ведет на страницу, которая закрыта тегом meta-robots noindex. Ссылки в карте сайта должны вести только на страницы, которые доступны к индексации.
Ошибки, касающиеся ограничений или несоответствию стандартному протоколу.

Самый простой способ проверки сайтмапа — использовать Screaming Frog в режиме списка (меню «Mode» — «List»). Загружаете sitemap и программа сама проверит все урлы, в отчетах будет видно, какие отдаются коды статусов и закрыты ли адреса от индексации.

Также можно использовать анализатор файлов Sitemap от Яндекса. Здесь полезно проверять свои карты перед тем, как добавить их в панель для вебмастеров. А после добавления карты в панель поисковые системы будут сообщать о наличии дополнительных ошибок уже после того, как просканируют урлы.

Рекомендуемый алгоритм проверки на ошибки:

Просканировать XML Sitemap с помощью Screaming Frog, избавиться от всех ошибок.
Протестировать карту сайта через инструмент Яндекса или в Google Search Console.
Добавить ссылку на карту в robots. txt и в панель для вебмастеров Яндекса и Google Search Console.
Периодически мониторить раздел в панели с XML картой.

Sitemap.xml при переходе сайта на HTTPS

При переходе сайта на HTTPS меняется главное зеркало и необходимо проверить, что у вас соблюдаются следующие правила:

Новый sitemap.xml содержит адреса с префиксом HTTPS.
Все старые сайтмапы удалены из панелей для вебмастеров и файла robots.txt прежней версии сайта.
Sitemap.xml на http-версии сайта редиректит 301 кодом статуса на новый sitemap.xml на https-версии.
На сайте настроен постраничный 301 редирект на новую версию.

Разница поддержки XML Sitemap в Google и Яндексе

Возможности	Google	Яндекс
Максимальный размер sitemap.xml	50 Мб	10 Мб
Максимальная длина URL	2048 симв.	1024 симв.
Поддержка Sitemap для изображений и видео	есть	нет
Новостной Sitemap	есть	нет
Использование кириллических урлов	можно	можно
Разметка языковых версий страниц	есть	нет
Поддержка RSS/Atom фидов	есть	нет

Если это руководство не дало ответ на ваш вопрос, задайте его в комментариях.

Полезные ссылки:

— Справка Google по использованию sitemap.xml
https://support.google.com/webmasters/answer/183668

— Аналогичная справка Яндекса
https://yandex.ru/support/webmaster/controlling-robot/sitemap.html

— Описание протокола
https://www. sitemaps.org/ru/protocol.html

подробное описание формата, примеры создания XML карты сайта

9818

16.10.2018 | Время чтения: 12 минут

Автор: Симагин Андрей

Многие из вас слышали про необходимость наличия у сайта карты Sitemap (он же «сайтмап»), однако не все до конца понимают важность его присутствия на сайте. В данной статье мы проведем обзор файла формата Sitemap.xml, а также опишем варианты его генерации для различных типов сайтов.

Структура статьи:

Для чего нужна карта сайта Sitemap.xml

Карта сайта Sitemap – это файл XML либо текстового формата (TXT), содержащий в себе все URL сайта (ссылки на страницы либо изображения) и предназначенный для сообщения поисковым роботам информации о новых страницах на вашем ресурсе. В результате обхода по всем URL в сайтмап, поисковая система перейдет по всем актуальным страницам вашего сайта.

Конечно, поисковые системы проиндексируют ваш сайт и без сайтмапа, и зачастую сделают это не менее качественно, однако в некоторых случаях у поисковиков могут возникнуть сложности с индексацией страниц. Основными причинами неиндексации могут быть такие факторы, как:

сайт имеет большую вложенность страниц (характерно для крупных веб-ресурсов)
сайт имеет страницы без навигационных ссылок (на страницы невозможно перейти по внутренней навигации сайта)
на сайте присутствуют динамические URL

Для подобных страниц из вышеописанных вариантов робот может не добраться никогда, так как в первом случае из-за глубокой вложенности он просто не дойдет до конечного URL, исчерпав краулинговые лимиты сайта, а во втором он физически их не увидит, так как не сможет на них перейти по ссылкам на сайте (например, это может быть вариант, когда ссылка есть, но проставлена при помощи JavaScript, CSS-стилем либо просто зашифрована, из-за чего в исходном коде страницы поисковый робот ее просто не увидит).

Однако, имея информацию о наличии файла Sitemap.xml, поисковый робот будет периодически его обходить и индексировать новые страницы сайта в нужном вам порядке, с необходимым приоритетом и именно по тем страницам, которые вам наиболее важны в данный момент.

Описание формата Sitemap

Sitemap может быть двух типов: текстового формата (TXT) и формата XML.

Текстовый формат представляет собой простой текстовый файл кодировки UTF-8 и содержащий в себе URL сайта в виде наборов строк (каждая ссылка с новой строки). Пример карты сайта текстового формата:

https://www.site.ru/page-1.html
https://www.site.ru/page-2.html

Формат XML является расширенным форматом текстового варианта и позволяет передавать поисковым ботам дополнительную информацию. Пример файла Sitemap.xml:

<?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
        <url>
            <loc>http://www.site.ru/</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>1.0</priority>
        </url>
        <url>
            <loc>http://www. site.ru/page-1.html</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.9</priority>
        </url>
        <url>
            <loc>http://www.site.ru/page-2.html</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.9</priority>
        </url>
        ...
        <url>
            <loc>http://www.site.ru/page-N.html</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.9</priority>
        </url>
    </urlset>

Описание элементов XML, на которые необходимо обратить внимание:

url (обязательный параметр) – содержит все сведения о конкретном URL
- loc (обязательный параметр) – URL страницы. Для URL с параметрами необходимо маскирование
- lastmod – дата и время последнего изменения страницы в формате Datetime. При необходимости допускается опустить сегмент времени и использовать формат ГГГГ-ММ-ДД
- changefreq – указание рекомендательной частоты изменения страницы. Может принимать значения: always, hourly, daily, weekly, monthly, yearly, never
- priority – значимость страницы относительно других URL сайта. Допустимый диапазон значений 0.0 до 1.0. Чем страница важнее, тем приоритет больше. У главной страницы приоритет всегда равен 1, по умолчанию приоритет 0.5

Примечание: стоит упомянуть, что содержимое карты сайта является лишь рекомендацией поисковым роботам по обходу страниц (если установить периодичность обхода страниц раз в неделю, то робот может их обходить гораздо чаще, и наоборот, если установить частоту обхода ежечасно, то это не значит, что поисковики будут индексировать страницу каждый час).

Прочие форматы XML карты сайта:

Файл Sitemap для изображений
- Отдельный сайтмап для изображений будет полезен, если изображения не доступны боту напрямую (например, если они загружаются с помощью JavaScript). Однако, зачастую, для этого можно использовать обычный Sitemap.xml и указывать в нем ссылки на изображения вместе с обычными URL. Подробнее о сайтмап для изображений в справке Google
Файл Sitemap для новостей
- Используется для быстрой индексации новостных материалов вашего сайта, при этом ваш ресурс должен быть включен в каталог Google Новости. Требования к Sitemap: должен содержать не более 1000 URL, должен содержать URL новостей, опубликованных за последние два дня. Подробнее о сайтмап для новостей в справке Google

Маскирование

Маскирование в Sitemap.xml используется для URL-адресов и предназначено для интерпретации обычных символов в их псевдокоды в формате HTML:

Амперсанд: & -> &
Одинарные кавычки: ‘ -> '
Двойные кавычки: » -> "
Больше: > -> >
Меньше: < -> <

Таким образом, всем привычный URL с параметрами и не маскированными спецсимволами по стандартам XML будет невалиден, пример:

Стандартный URL страницы (не валидный)

https://www. site.ru/index.php?page=news&date=22071981

Валидный URL в Sitemap с маскированием (символ «&» заменен на «&»)

<loc>https://www.site.ru/index.php?page=news&amp;date=22071981</loc>

Для символов в URL, отличных от ASCI, помимо & также необходимо применять маскирование. Пример для URL-адреса:

http://www.site.ru/контакты.html

Тот же URL-адрес с использованием маскирования, для размещения в Sitemap:

http://www.site.ru/%D0%BA%D0%BE%D0%BD%D1%82%D0%B0%D0%BA%D1%82%D1%8B.html

Разбиение Sitemap на составные части

У файла Sitemap.xml есть ограничение как на объем содержащихся в нем URL, так и на сам размер файла. В каждом файле Sitemap.xml должно содержаться не более 50 000 URL, а его объем не должен превышать 50 Мб для Google и 10 Мб для Яндекса (при необходимости файл можно сжать в формат «gzip», но, тем не менее, в распакованном виде он также не должен превышать размер в 50 мегабайт), поэтому при необходимости указания более 50 000 URL-адресов, следует создать несколько файлов Sitemap.

Таким образом, за счет возможности разбиения Sitemap на части, можно обойти все эти ограничения и спокойно генерировать Sitemap для десятков и сотен тысяч страниц.

Разбиение происходит путем создания основного индексного файла Sitemap.xml, содержащего ссылки на дочерние файлы, которые в свою очередь являются стандартными файлами Sitemap.xml и содержат список конечных URL вашего сайта. В основном индексном файле для указания ссылок на дочерние сайтмап используется все тот же тег <loc>, обрамленный тегом <sitemap>, и содержащий ссылки на дочерние Sitemap.xml (названия дочерних сайтмап можно указывать произвольно).

Пример индексного файла XML Sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.site.ru/sitemap-1.xml</loc>
      <lastmod>2018-09-25T21:38:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www. site.ru/sitemap-2.xml</loc>
      <lastmod>2018-09-21</lastmod>
   </sitemap>
</sitemapindex>

Формат дочерних файлов карт сайта XML-формата аналогичен стандартным Sitemap.xml.

Местоположение Sitemap.xml и его индексация

Стандартным вариантом размещения сайтмап является корень сайта, пример:

https://www.site.ru/sitemap.xml

При размещении «sitemap.xml» необходимо учитывать тот факт, что набор URL-адресов, которые можно включить в Sitemap определяется именно расположением на сайте, то есть при размещении карты сайта по адресу http://site.ru/news/sitemap.xml она может включать только URL-адреса, начинающиеся с http://site.ru/news/, но не должен включать адреса, начинающиеся с http://site.ru/pages/. Примеры допустимых URL для http://site.ru/news/sitemap.xml:

http://site.ru/news/25092018/
http://site.ru/news/news-all/

К недопустимым URL-адресам в файле http://site.ru/news/sitemap.xml относятся:

http://site. ru/pages/page-1/
http://site.ru/images/1x1.gif
http://site.ru/contacts/

Таким образом, во избежание проблем с некорректной индексацией, настоятельно рекомендуется размещать Sitemap.xml в корне сайта.

Индексация Sitemap

Поисковые роботы по умолчанию сканируют корневую директорию сайта, поэтому со временем они найдут ваш сайтмап и перейдут по всем его ссылкам.

Однако, для ускорения посещения файла Sitemap поисковыми ботами необходимо выполнить несколько шагов:

разместить ссылку на карту сайта в файле «robots.txt»
добавить ссылку на «sitemap.xml» в панели вебмастера Яндекс и Google

Ссылка на сайтмап в «robots.txt»

User-agent: *
...
Sitemap: https://site.ru/sitemap.xml

Добавление сайтмап в панели вебмастера Яндекс и Google

Использование кириллических адресов

Для корректной интерпретации URL различными поисковыми системами рекомендуется все кириллические URL кодировать в формат Punycode (бесплатный конвертер) и использовать маскирование для кириллических адресов страниц.

То есть, вместо адреса:

http://www.ёэлектроника.рф/каталог/лампы/

Необходимо использовать кодированный URL:

http://www.xn--80ajjhbcqhrt1jzb.xn--p1a/%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3/

Вопрос необходимости карты сайта

Бесспорно, что присутствие карты сайта желательно на любом сайте. Но, с одной стороны, в сайтмапе нет острой необходимости, так как со временем поисковый робот перейдет на ваш сайт и по ссылкам просканирует все доступные ему страницы. С другой стороны, для сайтов, у которых контент обновляется часто и которым важен порядок и приоритет обхода страниц (СМИ, новостные агентства, etc.), данный файл будет жизненно необходим, так как с помощью него они смогут указать поисковым роботам какие страницы индексировать в первую очередь, а какие после.

Поэтому, возникает справедливый вопрос: а так ли необходим Sitemap.xml конкретно для вашего сайта? Давайте разбираться.

Безусловно, данный файл будет актуален для сайтов объемом от 1000 страниц, а также для тех сайтов, объем страниц которых растет быстро и контент на которых нуждается в частой переиндексации, поэтому за счет данного файла поисковая система будет иметь под рукой всегда актуальный список страниц вашего сайта и с помощью него же будет своевременно индексировать все изменения. Таким образом, актуален данный файл для сайтов, контент на которых меняется часто и большими объемами (добавилось 50 страниц, удалилось 40, обновилось 175 и т.д.):

СМИ, новостные порталы
интернет-порталы
каталоги товаров, агрегаторы
интернет магазины
форумы, отзовики, сайты вопросов-ответов

Для подобных сайтов данный файл необходимо иметь в первую очередь, так как от него зависит актуальность представляемой информации в выдаче поисковых систем.

Пример индексации через сайтмап при добавлении на сайт большого числа страниц:

Примечание: файлы Sitemap в таком случае необходимо генерировать на стороне сервера. Генерация карты сайта онлайн при помощи сервисов либо программ для ПК бессмысленна за счет низкой скорости и трудоемкости работ по выкладыванию данных файл на сервер (для крупных порталов, каталогов и интернет-магазинов подобные файлы должны обновляться чуть ли не каждый час (например, обновление цен в интернет-магазине)).

Вторая категория сайтов, для которых также необходим данный файл – это сайты от 100 до 1000 страниц и представляющие услуги бизнеса, а также просто информационные странички:

сайты по продаже товаров и услуг
сайты компаний и представительств
блоги

На подобных сайтах обычно приток новых страниц происходит плавно, удаление страниц и разделов случается еще реже. Поэтому само собой подобные сайты должны иметь файлы Sitemap XML, однако в данном случае данный файл больше важен для первичной индексации сайта (чтобы за один обход файла поисковый робот узнал про все страницы сайта и оперативно их проиндексировал). Далее, новые страницы в виду их единичного добавления можно отсылать на переиндексацию даже через панель вебмастера Яндекса или Google и таким образом поддерживать актуальность страниц для поисковых систем. Файлы Sitemap для подобного рода сайтов можно генерировать специальными программами и сервисами, о которых будет написано ниже.

Третья категория сайтов – сайты с числом страниц до 100. К ним относятся:

лендинги (одностраничные сайты для продажи конкретного товара либо услуги)
промо-сайты (например, сайты коттеджных поселков)
сайты-визитки
домашние странички

Все эти сайты зачастую содержат небольшое число страниц о какой-то одной услуге, товаре, событии. Для подобного рода сайтов в наличии Sitemap нет какой-то жизненно важной необходимости. Так как контент на них обновляется достаточно редко и новые страницы добавляются с низкой интенсивностью, поисковые роботы такие сайты обходят не часто в виду малого числа страниц на них, поэтому для данных сайтов вполне подойдет как использование Sitemap.xml, так и его предшественника HTML карты сайта – это обычная HTML-страница стилизованная под дизайн сайта, на которой размещены все ссылки на внутренние страницы сайта в иерархическом виде (обычно в виде дерева). Таким образом, поисковый робот, посетив эту страницу, может обойти все страницы сайта и проиндексировать их либо обновить о них информацию. Пример такой страницы:

Примечание: на текущий момент создание подобных страниц перестало быть актуальным в виду перехода на формат XML, который не нужно создавать руками, а можно сгенерировать специальными программами либо сервисами (их примеры представлены ниже).

Таким образом, из всех вышеизложенных заключений можно сделать простой вывод, что чем больше объем страниц вашего сайта и чем чаще он обновляется, тем острее необходимость наличия на нем карты сайта Sitemap.xml, который в идеале должен генерироваться на сервере автоматически, без участия человека.

Важно!
Сайтмап должен включать в себя только актуальные страницы сайта необходимые для индексации и отдающие код ответа сервера 200. Все прочие служебные, технические либо страницы, запрещенные к индексации, не должны присутствовать в карте сайта.

Варианты генерации Sitemap.xml

Существует несколько методов генерации, перечислим их:

1. Генерация карты сайта при помощи онлайн-генератора (стоит учесть, что зачастую подобные генераторы платные)

В сети достаточно сервисов для генерации карты сайта, однако у них есть некоторые ограничения:

обычно в подобных сервисах бесплатно можно сгенерировать не более 500 страниц
для больших сайтов (от 5000 страниц) генерация может занять продолжительное время
генерация сайтмап для крупных порталов может и вовсе произойти с ошибкой из-за нехватки ресурсов сервера, на котором расположен данный сервис

Пример онлайн-генератора MySitemapGenerator.com:

Примечание: Недостаток данного метода состоит в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап и заливать на сервер.

2. Автоматическая генерация Sitemap.xml средствами CMS (например в Bitrix, WordPress, Opencart и прочих системах управления сайтом доступна такая функция)

Наиболее приоритетный вариант, который позволяет настроить частоту обновления Sitemap средствами системы управления сайтом и избавляет вебмастера от ручного размещений сайтмап на сайте.

Пример модуля генерации Sitemap.xml для CMS Opencart:

3. Генерация карты сайта при помощи программы для ПК

Данный вариант подойдет для сайтов небольших и средних размеров, контент на которых обновляется периодически.

Недостатки подобного метода:

после генерации сайтмап необходимо заливать его на сервер вручную
большинство подобных программ-краулеров для ПК платные

Пример генерации Sitemap.xml при помощи бесплатной программы SiteAnalyzer:

скачиваем дистрибутив программы
после запуска программы вводим URL сайта и запускаем сканирование
после сканирования в главном меню выбираем пункт Проекты -> Генерировать Sitemap

в результате получаем карту сайта (одним файлом либо из нескольких файлов, если число страниц превышает 50 000)

заливаем сайтмап в корень вашего сайта по FTP протоколу

4. Ручное создание сайтмап

Ручное создание возможно для сайтов с числом страниц до 10, однако для ускорения процесса проще воспользоваться любым онлайн-генератором либо программой для ПК.

Резюмируя все вышеописанное можно выделить основные моменты, на которые нужно обратить внимание при генерации карты сайта:

для ресурсов с часто обновляемым контентом карта сайта должна генерироваться на стороне сервера
sitemap.xml должен содержать только актуальные страницы сайта, отдающие код ответа сервера 200 и разрешенные к индексации
для качественной индексации ресурса карта сайта должна обновляться каждый раз при обновлении контента на сайте

На этом все!
Благодарю за внимание и до новых встреч! 🙂

Полезное

Сервисы для проверки корректности карты сайта:

Ссылки на описание Sitemap:

Оцените статью

4.9/5

7
Другие статьи:
Facebook
Вконтакте
Одноклассники
Twitter
Please enable JavaScript to view the comments powered by Disqus.
<< Назад
Построение карты сайта — плагин Google XML Sitemaps
29.01.2012 Ромчик
1
Доброго времени суток. В данном посте мы возвращаемся к нашему WordPress, точнее к ресурсу на WordPress. В прошлой статье мы рассмотрели создание карты сайта (sitemap.xml), его структуру и особенности. И как мы заметили, что создание карты сайта для поисковых систем достаточно трудоемкий процесс. Но этот процесс можно автоматизировать. И тут нам поможет плагин Google XML Sitemaps, который создаст карту нашего сайта (так называемый sitemap.xml файл) автоматически.
Далее мы и остановимся на изучении плагина Google XML Sitemaps. Рассмотрим установку и настройку данного плагина.
Скачать плагин Google XML Sitemaps можно на официальном сайте. Установка данного плагина проходит стандартно и не вызывает никаких сложностей.
А вот настройку плагина мы рассмотрим более подробно. И тут нам пригодятся знания, полученные из поста “Карта сайта — файл sitemap.xml”.
Для того, чтобы попасть в настройки Google XML Sitemaps перейдем в “Параметры”->”XML-Sitemap”
И мы попадем в окно настройки плагина Google XML Sitemaps, которое состоит из нескольких областей:
Базовые параметры, в которой располагаются основные настройки файла sitemap.xml.
Дополнительные страницы. В этой области Вы можете ввести страницы, которые не входят в Ваш ресурс.
Приоритет статьи, где Вы указывает приоритет статьи относительно других статей.
Расположение Вашего файла с картой сайта. В этой области Вы указываете путь до Вашего файла sitemap.xml.
Содержание карты сайта, где Вы можете указать что конкретно включать в карту сайта.
Excluded Items (Исключенные пункты). Тут Вы можете указать пункты, которые не надо помещать в карту сайта.
Изменить частоты. Позволяет установить предполагаемую частоту изменения для материалов Вашего ресурса.
Приоритеты. В данной области настроек плагина Google XML Sitemaps Вы можете выставить приоритеты для различных составляющих Вашего блога (поста, главной страницы, для категорий и т.п.)
Базовые параметры плагина Google XML Sitemaps.
В базовых параметрах мы можем изменить:
изменить название файла карты сайта
изменить название gz-архива для карты сайта
изменить режим построения карты сайта
разрешить сообщать различным поисковикам об изменениях в карте сайта
изменять количество статей в карте сайта, строить карту сайта в фоновом режиме
В области дополнительные страницы.
Тут мы указываем URL, которые должны быть включены в карту сайта, но они не относятся к нашему ресурсу.
Для данных URL мы можем указать непосредственно URL, приоритет, частоту изменения и дату изменения.
Область приоритет статьи.
Мы указываем по какому критерию в автоматическом режиме выбирать приоритет статьи.
Расположение Вашего файла с картой сайта.
В данной области мы можем задать путь, где находиться наш файл с картой сайта.
Содержание карты сайта.
В данной области мы можем выбрать какие URL из нашего ресурса Google XML Sitemaps должен включать в карту сайта.
Excluded Items (Исключенные пункты).
Тут мы можем отметить посты из каких категорий не добавлять в карту сайта.
Изменить частоты.
В данной области мы можем изменить предполагаемую частоту обновлений для различных типов материалов (для главной страницы, для поста, для статичных страниц, для категорий и т.д.)
Приоритеты.
Тут мы указываем Google XML Sitemaps какие выставлять приоритеты для материалов в карте сайта.
Для того, чтобы сохранить настройки данного плагина необходимо нажать “Обновить параметры”.
Или для того, чтобы вернуть все значения по умолчанию нажать “Вернуть исходные значения”.
В данной статье мы рассмотрели плагин Google XML Sitemaps. Его установку и настройку. Еще хотелось бы отметить, что все параметры данного плагина соответствуют формату файла sitemap.xml, описанного в “Карта сайта — файл sitemap.xml”. А на этом я завершаю данный пост. В следующих статьях мы рассмотрим такие плагины, как Syntax Highlighter Evolved — плагин для подсветки кода, как ContactForm7 — плагин для создания формы обратной связи. Так, что следите за обновлениями данного блога, подписавшись на RSS-рассылку.
Понравилась статья? Поделись с друзьями.
Что такое WordPress XML Sitemap и как ее настроить
Значение слова «Карта сайта» (Sitemap) изменилось за последнее десятилетие. Интернет-технологии постоянно развиваются, поэтому совершенно естественно, что со временем все меняется. Карты сайтов не являются исключением из этого правила.
Раньше Sitemap была просто страницей, содержащей ссылки на все другие страницы и ресурсы на вашем сайте. Этот вид карты сайта помогает людям ориентироваться на сайте, но это в настоящее время считается устаревшим. Причина в том, что карты сайтов больше не предназначены для людей. Теперь они нацелены на другую аудиторию-поисковые системы и поисковые боты.
Что означает это изменение на практике? Во-первых, sitemaps больше не создаются в формате HTML, а хранятся в виде XML-файла. Во-вторых, современные карты сайтов мало что значат для человеческого глаза, поскольку они отформатированы так, чтобы содержать URL-адреса и метаданные, полезные для ботов. Метаданные, сохраненные в карте сайта, являются:
Последнее изменение – когда страница была изменена в последний раз
Приоритет-какой приоритет поисковые системы должны предоставить странице (выраженный в процентах)
Частота-как часто страница будет меняться
Технические аспекты WordPress XML sitemap
Лимит
Существует максимум — 50.000 адресов в файле sitemap.
Количество
Вам не обязательно иметь только один файл sitemap. Вы можете иметь несколько карт сайта с одной главной картой сайта (которая будет картой сайта всех карт сайта). Это также может обеспечить обходной путь для максимального ограничения URL-адресов, поскольку у вас будет несколько карт сайта с 50k URL-адресами в качестве ограничения.
Читайте также: 5 SEO советов для WordPress, которые вы должны знать.
Как XML карта сайта приносит пользу вашему сайту WordPress
Карта сайта принесет пользу вашему сайту следующими способами:
Поисковые роботы будут сканировать ваш сайт гораздо быстрее, если у вас есть карта сайта.
Это позволит ботам определять приоритет обхода определенных страниц на основе метаданных.
Дополнительная информация будет взята из «Rich media content» – в случае, если вы используете много видео и изображений на своих страницах / сообщениях.
Нет никакого недостатка в добавлении карты сайта-худший сценарий заключается в том, что вы не увидите никаких улучшений, но, конечно, ничего плохого из этого не выйдет.
Карта сайта, однако, не гарантирует, что все элементы в ней будут просмотрены и проиндексированы. Например, Google требует хорошей внутренней структуры ссылок для индексации элемента. Там должны быть внутренние или внешние ссылки, указывающие на этот конкретный элемент на карте сайта.
Как создать карту сайта с помощью плагина?
Создание карты сайта с помощью Yoast SEO
Одним из самых популярных SEO плагинов для WordPress является Yoast SEO. Он имеет множество функций, и одной из них является генератор Sitemap.
Плагин обычно автоматически генерирует XML-карту сайта сразу после установки. Вы можете проверить, активна ли Карта сайта, перейдя на вкладку SEO -> Общие — > Возможности, а затем прокрутите вниз, чтобы найти функцию «XML Sitemaps» и включить ее. В случае возникновения ошибки с картой сайта, отключите и включите эту функцию, и карта будет автоматически генерироваться снова. Чтобы посмотреть на карту нажмите знак вопроса и перейдите по ссылке.
С момента выпуска версии 7.0, Yoast SEO авторы резко упростили настройки sitemap, или еще лучше, их не осталось. Вы можете включить и выключить функцию. Кроме того, можно настроить внешний вид поиска для определенных типов контента и решить, следует ли включать их в карту сайта или нет.
Многие пользователи приветствовали это изменение. Есть те, кто предпочитает иметь больше возможностей при настройке карты сайта.
Google XML Sitemap Generator
В отличие от Yoast SEO, Google XML Sitemap Generator дает больше контроля над настройками sitemap. Этот плагин позволяет пользователям задавать параметры частоты и приоритета наряду с настройками содержимого sitemap (что включать и что исключать).
Вы можете найти настройки плагина в разделе «Настройки — > Карта сайта XML». Все настройки плагина находятся на одной странице, что очень удобно.
Другие плагины, которые вы можете использовать:
All-In-One SEO Pack
The SEO Framework
Как отправить карту сайта в Google
Если вы еще не добавили свой сайт в Google Search console, сейчас самое подходящее время. Один из самых быстрых способов-добавить сайт, используя опцию «url prefix». Если ваш сайт использует как «HTTP», так и «HTTPS», вам придется добавить его дважды, один раз с префиксом HTTP и один раз с префиксом HTTPS. Этот метод может не подходить для веб-сайтов, которые имеют много поддоменов или доступны под разными URL-адресами, в зависимости от языка (например example.com/fr/, example.com/en), но если у вас есть сайт без сложной структуры URL, это самый простой способ.
Читайте также: Как перенести сайт WordPress с HTTP на HTTPS.

Введите URL-адрес вашего сайта (с префиксом https:// или http://), а затем вам нужно будет подтвердить право собственности. Консоль поиска Google создаст HTML-файл, который вам нужно будет скачать и загрузить в корневой каталог вашего сайта. После того, как вы загрузили файл, нажмите кнопку «Проверить». Вы получите следующее сообщение:
Затем перейдите в раздел «Sitemaps» и вы увидите форму «добавить новую карту сайта». Введите URL-адрес вашей карты сайта. Если вы используете Yoast SEO, карта находится по адресу yourdomain.com/sitemap_index.xml. если вы используете другой плагин, вам нужно будет ввести другой URL-адрес sitemap. Каждый плагин определяет свой собственный URL sitemap, который отображается в настройках плагина (в зависимости от плагина).
Вполне возможно, что вы увидите ошибку «не удалось извлечь» после добавления карты сайта. Многие пользователи сообщали об этой ошибке, и это, кажется, ошибка в самой консоли поиска. Новая консоль поиска фактически показывает «ожидание» как «не удалось получить». Это ошибка исчезнет после определенного периода, который может быть где-то между 24 часами и 24 днями.
Вывод
Как правило, SEO оптимизация — это серая зона с большим количеством препятствий. Независимо от того, что вы делаете, может случиться так, что Google не будет индексировать некоторые из ваших страниц и часто, на это не будет очевидной причины. Результат приходит методом проб и ошибок, особенно если вы новичок.
Что такое карта сайта XML и зачем она вам нужна? • Yoast
Мейке Хендрикс
Мейке Хендрикс (Meike Hendriks) — специалист по цифровому маркетингу в команде Yoast SEO. Она работает над SEO, SEA и CRO, чтобы постоянно улучшать Yoast.com.
Хорошая карта сайта в формате XML действует как дорожная карта вашего веб-сайта, которая ведет Google ко всем вашим важным страницам. Карты сайта в формате XML могут быть полезны для SEO, поскольку они позволяют Google быстро находить важные страницы вашего веб-сайта, даже если ваша внутренняя ссылка не идеальна.В этом посте объясняется, что это такое и как они помогают вам лучше ранжироваться.
Что такое карты сайта XML?
Вы хотите, чтобы Google сканировал все важные страницы вашего веб-сайта. Но иногда страницы заканчиваются без каких-либо внутренних ссылок, указывающих на них, что затрудняет их поиск. В XML-карте сайта перечислены важные страницы веб-сайта, что позволяет Google найти и сканировать их все, а также помогает понять структуру вашего веб-сайта:
XML-карта сайта Yoast. com
Выше представлена карта сайта Yoast.com в формате XML, созданная плагином Yoast SEO.Далее на этой странице мы объясним, как наш плагин помогает создавать лучшие XML-карты сайта. Если вы не используете наш плагин, ваша карта сайта может выглядеть немного иначе, но работать будет так же.
Как видите, XML-карта сайта Yoast.com показывает несколько «индексных» карт сайта: post-sitemap.xml , page-sitemap.xml , video-sitemap.xml и т. Д. Эта категоризация делает структуру сайта как можно яснее. Поэтому, если вы нажмете на одну из индексных карт сайта, вы увидите все URL-адреса в этой карте сайта.Например, если вы нажмете post-sitemap.xml , вы увидите все URL-адреса сообщений Yoast.com (нажмите на изображение, чтобы увеличить):
XML-карта сайта Yoast.com для публикации
Вы увидите дату в конце каждой строки. Это сообщает Google, когда каждый пост последний раз обновлялся, и помогает с SEO, потому что вы хотите, чтобы Google сканировал ваш обновленный контент как можно скорее. Когда в XML-карте сайта изменяется дата, Google знает, что нужно сканировать и индексировать новый контент.
Если у вас очень большой веб-сайт, иногда необходимо разделить карту сайта индекса.Одна XML-карта сайта ограничена 50 000 URL-адресов, поэтому, если на вашем веб-сайте более 50 000 сообщений, например, вам понадобятся два отдельных файла для URL-адресов сообщений, что позволит эффективно добавить вторую карту сайта для индекса. Плагин Yoast SEO устанавливает еще более низкий предел — 1.000 URL-адресов — чтобы ваша карта сайта загружалась как можно быстрее
Какие веб-сайты нуждаются в карте сайта XML?
В документации Google говорится, что карты сайта XML полезны для « действительно больших веб-сайтов» , для « веб-сайтов с большими архивами» , для « новых веб-сайтов с несколькими внешними ссылками на них» и для « веб-сайтов, которые используют расширенные медиа-контент ».
Хотя мы согласны с тем, что такие веб-сайты определенно выиграют от их наличия, в Yoast мы считаем, что карты сайта XML полезны для каждого веб-сайта. Каждому веб-сайту требуется, чтобы Google мог легко находить самые важные страницы и знать, когда они в последний раз обновлялись. Вот почему эта функция включена в плагин Yoast SEO.
Какие страницы должны быть в вашей XML-карте сайта?
Как вы решаете, какие страницы включать в XML-карту сайта? Всегда начинайте с размышлений о релевантности URL-адреса: когда посетитель переходит на конкретный URL-адрес, является ли это хорошим результатом? Вы хотите, чтобы посетители попадали на этот URL? Если нет, то, вероятно, не должно быть в этом.Однако, если вы действительно не хотите, чтобы этот URL отображался в результатах поиска, вам необходимо добавить тег «noindex, follow». Отсутствие его в карте сайта XML не означает, что Google не будет индексировать этот URL. Если Google может найти его по ссылкам, Google может проиндексировать URL.
Пример 1. Новый блог
Допустим, вы начинаете новый блог. Вам нужно, чтобы Google быстро находил новые сообщения, чтобы ваша целевая аудитория могла найти ваш блог в результатах поиска, поэтому рекомендуется с самого начала создать карту сайта в формате XML. Вы можете создать для них несколько первых постов и категорий, а также несколько тегов для начала. Но контента пока недостаточно для заполнения страниц обзора тегов, что делает их «тонким контентом», который не представляет ценности для посетителей — пока. В этом случае вы должны пока не включать URL-адреса тегов в карту сайта. Установите для страниц с тегами значение «noindex, follow», потому что вы не хотите, чтобы люди находили их в результатах поиска.
Пример 2: Мультимедиа и изображения
XML-карта сайта media или image также не нужна для большинства веб-сайтов.Это связано с тем, что ваши изображения, вероятно, используются на ваших страницах и в сообщениях, поэтому они уже будут включены в вашу карту сайта «сообщение» или «страница». Поэтому иметь отдельную карту сайта «медиа» или «изображение» было бы бессмысленно, и мы рекомендуем не использовать ее. Единственное исключение — изображения — это ваш основной бизнес. Фотографы, например, вероятно, захотят показать в Google отдельную карту сайта XML «медиа» или «изображение».
Как заставить Google найти вашу карту сайта
Если вы хотите, чтобы Google быстрее находил вашу XML-карту сайта, вам нужно добавить ее в свой аккаунт Google Search Console.В разделе «Карты сайта» вы сразу увидите, добавлен ли уже ваш XML-файл Sitemap. Если нет, вы можете добавить карту сайта вверху страницы:
XML-карта сайта Yoast.com добавлена в Google Search Console
Как видите, добавление карты сайта XML помогает проверить, все ли страницы в карте сайта проиндексированы Google. Если есть большая разница в «отправленных» и «проиндексированных» числах в конкретной карте сайта, мы рекомендуем изучить этот вопрос подробнее. Возможно, возникла ошибка, не позволяющая проиндексировать некоторые страницы.Другой вариант — вам может понадобиться больше ссылок, указывающих на контент, который еще не проиндексирован.
Yoast SEO и XML карты сайта
Из-за их ценности для SEO мы добавили возможность создавать ваши собственные XML-карты сайта в нашем плагине Yoast SEO. Они доступны как в бесплатной, так и в премиальной версии плагина.
Yoast SEO автоматически создает карту сайта в формате XML для вашего сайта. Нажмите «SEO» на боковой панели установки WordPress, а затем выберите вкладку «Features»:
На этом экране вы можете включить или отключить различные карты сайта XML для своего веб-сайта.Кроме того, вы можете нажать на вопросительный знак, чтобы развернуть информацию и увидеть больше возможностей, например, проверить карту сайта в браузере:
Вы можете исключить типы контента из XML-карты сайта на вкладке «Внешний вид в поиске». Если вы выберете «нет» в качестве ответа на «показывать X в результатах поиска?», То этот тип контента не будет включен в него.
Подробнее об исключении типов контента здесь.
Проверьте свою собственную карту сайта XML!
Теперь вы знаете, насколько важно иметь карту сайта в формате XML: она может помочь вашему сайту в SEO.Google может легко получить доступ к вашим наиболее важным страницам и сообщениям, если вы добавите к ним правильные URL-адреса. Google также сможет легко найти обновленный контент, чтобы они знали, когда URL-адрес нужно сканировать снова. Наконец, добавление XML-карты сайта в Google Search Console помогает Google быстро находить карту сайта и позволяет проверять наличие ошибок карты сайта.
А теперь проверьте свою собственную XML-карту сайта и убедитесь, что все делаете правильно!
Создайте и отправьте карту сайта | Центр поиска Google | Разработчики Google
На этой странице описывается, как создать карту сайта и сделать ее доступной для Google.Узнайте больше о файлах Sitemap здесь.
Решите, какие страницы вашего сайта следует сканировать Google, и определите каноническая версия каждую страницу.
Решите, какой формат карты сайта, который вы хотите использовать. Вы можете создать свою карту сайта вручную или выберите из ряда сторонние инструменты чтобы создать для вас карту сайта.
Сделайте свою карту сайта доступной для Google, добавив ее в свой роботы.txt или напрямую отправив его в Search Console.
Форматы файлов Sitemap
Google поддерживает несколько форматов файлов Sitemap, описанных здесь. Google ожидает стандартный протокол карты сайта во всех форматах. Google делает в настоящее время не используют атрибут в файлах Sitemap.
Все форматы ограничивают размер одной карты сайта 50 МБ (без сжатия) и 50 000 URL-адресов. Если у тебя есть файл большего размера или несколько URL-адресов, вам придется разбить свой список на несколько карт сайта.Вы можете при желании создать индекс карты сайта file (файл, указывающий на список карт сайта) и отправьте этот единственный индексный файл в Google. Вы можете отправить в Google несколько файлов Sitemap и / или файлов индекса Sitemap.
XML
Вот очень простая карта сайта в формате XML, которая включает расположение одного URL:
http: // www.example.com/foo.html 4 июня 2018 г.
Вы можете найти более сложные примеры и полную документацию на sitemaps.org.
Вы можете увидеть примеры карты сайта, которые указывают страницы на альтернативном языке и карты сайта для файлов новостей, изображений или видео.
RSS, mRSS и Atom 1.0
Если у вас есть блог с RSS или Atom-фидом, вы можете отправить URL-адрес фида в качестве карты сайта.Большинство программ для ведения блогов могут создавать ленту за вас, но следует понимать, что только эта лента предоставляет информацию о последних URL.
Google принимает каналы RSS 2.0 и Atom 1.0.
Вы можете использовать mRSS (медиа RSS) канал для предоставить Google подробные сведения о видеоконтенте на вашем сайте.
Текст
Если ваша карта сайта включает только URL-адреса веб-страниц, вы можете предоставить Google простой текст файл, содержащий по одному URL в каждой строке.Например:
http://www.example.com/file1.html http://www.example.com/file2.html
Рекомендации для текстовых файлов Sitemap:
Закодируйте файл, используя кодировку UTF-8.
Не помещайте в файл карты сайта ничего, кроме URL.
Вы можете назвать текстовый файл как хотите, при условии, что он имеет расширение . txt (для экземпляр, карта сайта.текст).
Сайты Google
Если вы использовали Сайты Google для создания и подтверждения сайта, Сайты Google автоматически сгенерировать для вас карту сайта. Вы не можете изменить карту сайта, но можете отправьте его в Google, если вы хотите прочитать данные отчета карты сайта. Обратите внимание, что ваша карта сайта может не отображаться правильно, если у вас более 1000 страниц в одном подкаталоге.
Если ваш сайт размещен на Google Sites, ваша карта сайта URL — http: // sites.google.com/site/ yoursitename / system / feeds / sitemap .
Если вы создали свой сайт с помощью Google Workspace, URL вашей карты сайта https://sites. google.com/ yourdomain / yoursitename / system / feeds / sitemap .
Расширения Sitemap для дополнительных типов мультимедиа
Google поддерживает расширенный синтаксис карты сайта для следующих типов мультимедиа.Используйте эти расширения для описывать видеофайлы, изображения и другой контент на вашем сайте, который сложно анализировать, чтобы улучшить индексация.
Общие правила карты сайта
Используйте согласованные, полностью определенные URL-адреса. Google будет сканировать ваши URL-адреса в точности так, как указано. Например, если ваш сайт находится по адресу https://www.example.com/ , не указывайте URL как https://example. com/ (отсутствует www ) или ./mypage.html (относительный URL).
Карта сайта может быть размещена в любом месте вашего сайта, но она влияет только на потомки родительского каталога . Поэтому карта сайта, размещенная в корне сайта может повлиять на все файлы на сайте, поэтому мы рекомендуем размещать ваши карты сайта.
Не включайте идентификаторы сеансов из URL-адресов в карту сайта, чтобы избежать дублирования сканирования эти URL-адреса.
Сообщите Google о версиях URL на других языках , используя аннотации hreflang.
Файлы Sitemap должны быть в кодировке UTF-8, и Соответствующие экранированные URL-адреса .
Разбейте большие карты сайта на более мелкие карты сайта: карта сайта может содержать до 50 000 URL-адреса и не должны превышать 50 МБ без сжатия. Использовать файл индекса карты сайта, чтобы перечислить все отдельные карты сайта и отправьте этот единственный файл в Google, а не отправляйте отдельные карты сайта.
Только список канонические URL-адреса в ваших файлах Sitemap.Если у вас две версии страницы, укажите в карте сайта только ту, которую вы предпочитают появляться в результатах поиска. Если у вас две версии вашего сайта (например, www и без www), решите, какой сайт вам больше нравится, поместите туда карту сайта и добавьте rel = canonical или перенаправляет на другой сайт.
Если у вас разные URL-адреса для мобильной и настольной версии страницы, мы рекомендую указывать только на одну версию в карте сайта.Однако вы хотите указать на оба URL-адреса, комментировать ваши URL-адреса для обозначения настольной и мобильной версии.
Используйте расширения карты сайта, чтобы указать дополнительных носителей типы , такие как видео, изображения и новости.
Если у вас есть альтернативные страницы для разных языков или регионов , вы можете использовать hreflang либо в карте сайта, либо в тегах html чтобы указать альтернативные URL-адреса.
Не буквенно-цифровые и нелатинские символы. Мы требуем, чтобы ваш файл карты сайта был в кодировке UTF-8 (обычно это можно сделать, когда вы сохраняете файл). Как и во всех файлах XML, любые значения данных (включая URL-адреса) должны использовать entity escape-коды для символов, перечисленных в таблице ниже. Карта сайта может содержать только ASCII символы; он не может содержать верхние символы ASCII или определенные управляющие коды или специальные такие символы, как * и {} . Если URL вашей карты сайта содержит эти символов, вы получите сообщение об ошибке при попытке добавить.
Персонаж Код побега
Амперсанд и и amp;
Одиночное предложение ' '
Двойные кавычки " & quot;
Больше > & gt;
Менее < & lt;
Кроме того, все URL-адреса (включая URL-адрес вашей карты сайта) должны быть закодированы для удобства чтения веб-сервер, на котором они расположены, с экранированием URL. Однако, если вы используете какой-либо вид скрипта, инструмента или файла журнала для генерации ваших URL-адресов (что угодно, кроме ввода их вручную), обычно это уже сделано за вас. Если вы отправляете карту сайта и получаете сообщение об ошибке что Google не может найти некоторые из ваших URL-адресов, убедитесь, что они следуют стандарт RFC-3986 для URI, RFC-3987 для IRI и Стандарт XML.
Вот пример URL-адреса, в котором используются символы, отличные от ASCII ( ü ), а также символ, требующий экранирования объекта ( и ):
http: // www.example.com/ümlat.html&q=name
Вот тот же URL в кодировке ISO-8859-1 (для хостинга на сервере, который использует эту кодировку) и экранированный URL:
http://www.example.com/%FCmlat.html&q=name
Вот тот же URL в кодировке UTF-8 (для размещения на сервере, который использует эту кодировку) и Экранированный URL:
http://www. example.com/%C3%BCmlat.html&q=name
Вот тот же URL, экранированный объект:
http: // www.example.com/%C3%BCmlat.html&q=name
Помните, что карты сайта - это , рекомендация для Google о том, какие страницы вы считаете важный; Google не обязуется сканировать каждый URL-адрес в карте сайта.
Google игнорирует значения и .
Google использует значение , если оно постоянно и проверяемо (для пример по сравнению с последней модификацией страницы) точно.
Положение URL-адреса в карте сайта не имеет значения; Google не сканирует URL-адреса в порядке, указанном в которые они появляются в вашей карте сайта.
Сделайте карту сайта доступной для Google (отправьте карту сайта в Google)
Google не проверяет карту сайта каждый раз при сканировании сайта; карта сайта проверяется только в первый раз, когда мы это замечаем, и только после этого, когда вы пингуете нас, чтобы сообщить нам, что это измененный. Вы должны предупреждать Google о карте сайта только тогда, когда она новая или обновленная; не отправлять или пингуйте неизмененные карты сайта несколько раз.
Есть несколько способов сделать вашу карту сайта доступной для Google:
Отправьте его в Google с помощью отчета о файлах Sitemap в Search Console.
Вставьте следующую строку в любом месте файла robots.txt , указав путь в вашу карту сайта:
Карта сайта: http: // example.ru / sitemap_location.xml
Используйте службу «ping», чтобы запросить у Google сканирование карты сайта. Отправьте HTTP-запрос GET, например это:
http://www.google.com/ping?sitemap= < complete_url_of_sitemap >
например:
http://www.google.com/ping?sitemap=https://example. com/sitemap.xml
Устранение неполадок с картами сайта
Увидеть руководство по устранению неполадок с картами сайта.
XML-файлов Sitemap: самый непонятый инструмент из набора инструментов SEO
За все годы консультирования по поисковой оптимизации я видел много клиентов с дикими неправильными представлениями о файлах Sitemap XML. Это, безусловно, мощный инструмент, но, как и любой другой электроинструмент, небольшое обучение и знание того, как работают все элементы, имеют большое значение.
Индексация
Вероятно, наиболее распространенное заблуждение состоит в том, что карта сайта XML помогает индексировать ваши страницы.Первое, что нам нужно прямо сказать: Google не индексирует ваши страницы только потому, что вы вежливо попросили. Google индексирует страницы, потому что (а) они их нашли и просканировали, и (б) они считают их достаточно хорошего качества, чтобы их можно было индексировать. Указание Google на страницу и просьба проиндексировать ее на самом деле не имеет никакого значения.
Сказав это, - это важно отметить, что, отправляя карту сайта XML в консоль поиска Google, вы даете Google ключ к тому, что вы считаете страницы в карте сайта XML качественными целевыми страницами поиска, достойными индексация.Но это всего лишь признак того, что страницы важны ... как ссылка на страницу из вашего главного меню.
Согласованность
Одна из наиболее частых ошибок, которые, как я вижу, совершают клиенты, - это отсутствие единообразия в сообщениях в Google о данной странице. Если вы заблокируете страницу в файле robots.txt, а затем включите ее в карту сайта XML, вас подразнят. «Вот, Google ... хорошая, сочная страница, которую действительно стоит проиндексировать», - говорится в карте сайта. Но затем ваш robots.txt забирает его.То же самое и с мета-роботами: не включайте страницу в XML-карту сайта, а затем устанавливайте мета-роботов «noindex, follow».
Пока я занимаюсь этим, позвольте мне кратко рассказать о мета-роботах: «noindex» означает, что страницу не индексировать. «Nofollow» не означает ничего на этой странице. Это означает, что "не переходите по ссылкам, исходящим с этой страницы", т. Е. Идите дальше и смывайте все эти ссылки в унитаз. Вероятно, есть какая-то неясная причина для установки мета-роботов "noindex, nofollow", но я не понимаю, что это может быть.Если вы хотите, чтобы Google индексировал страницу , а не , установите для мета-роботов значение «noindex, follow».
Хорошо, тараторить…
В общем, вы хотите, чтобы каждая страница вашего сайта попала в две группы:
Служебные страницы (полезны для пользователей, но не все, что вы ожидаете от них в качестве целевой страницы поиска)
Вкусное, качественное целевых страниц поиска
Все в ведре №1 должно быть заблокировано роботами.txt или заблокирован с помощью мета-роботов "noindex, follow", и должно быть , а не в карте сайта XML.
Все в корзине № 2 должно быть заблокировано , а не в robots.txt, если не имеют мета-роботов «noindex» и, вероятно, должны быть в XML-карте сайта.
(Изображение ведра, до того, как я их украсил, любезно предоставлено Историческим обществом Миннесоты на Flickr.)
Общее качество сайта
Похоже, что Google в какой-то мере измеряет общее качество сайта и использует этот показатель для всего сайта, чтобы повлиять на рейтинг - и я не говорю здесь о ссылочном весе.
Подумайте об этом с точки зрения Google. Допустим, у вас есть одна отличная страница с потрясающим контентом, который отвечает всем требованиям, от актуальности до Panda до взаимодействия с социальными сетями. Если Google видит ваш сайт как 1000 страниц с содержанием, из которых только 5–6 страниц похожи на эту одну отличную страницу ... ну, если Google отправит пользователя на одну из этих отличных страниц, каким будет пользовательский опыт, если они нажмут ссылку на этой странице и посетить что-нибудь еще на своем сайте? Скорее всего, они попадут на отстойную страницу. Это плохой UX. Зачем им отправлять пользователя на такой сайт?
Инженеры Google, безусловно, понимают, что на каждом сайте есть определенное количество «служебных» страниц, которые полезны для пользователей, но не обязательно страницы типа контента, которые должны быть целевыми страницами из поиска: страницы для обмена контентом с другими, ответа на комментарии, ведения журнала in, восстановление утерянного пароля и т. д.
Если ваша XML-карта сайта включает все эти страницы, что вы сообщаете Google? Более или менее, вы не имеете ни малейшего представления о том, что является хорошим контентом на вашем сайте, а что нет.
Вот картинку, которую вы хотите нарисовать для Google. Да, у нас есть сайт с 1000 страницами ... и вот 475 из этих 1000 страниц нашего отличного контента. Остальные можно игнорировать - это служебные страницы.
Теперь предположим, что Google сканирует эти 475 страниц и с учетом их показателей решает, что 175 из них имеют оценку «A», 200 - «B +», а 100 - «B» или «B-». Это довольно хороший общий средний показатель и, вероятно, указывает на довольно хороший сайт, на который можно направлять пользователей.
Сравните это с сайтом, который отправляет все 1000 страниц через карту сайта XML. Теперь Google просматривает 1000 страниц, которые, по вашему мнению, являются хорошим содержанием, и видит, что более 50% - это страницы типа D или F. В среднем ваш сайт довольно отстойный; Google, вероятно, не хочет отправлять пользователей на такой сайт.
Пух скрытый
Помните, Google будет использовать то, что вы отправляете в свою карту сайта XML, как ключ к пониманию того, что, вероятно, важно на вашем сайте. Но то, что этого нет в вашей XML-карте сайта, не обязательно означает, что Google проигнорирует эти страницы.У вас все еще может быть много тысяч страниц с едва достаточным содержанием и количеством ссылок для их индексации, но на самом деле этого не должно быть.
Важно создать сайт: выполните поиск, чтобы увидеть всех страниц, которые Google индексирует с вашего сайта, чтобы найти страницы, о которых вы забыли, и очистить их от той «средней оценки», которую Google собирается дать вашему сайту. установив мета-роботов "noindex, follow" (или заблокировав в robots.txt). Как правило, самые слабые страницы, попавшие в индекс, будут перечислены последними на сайте: поиск.
Noindex и robots.txt
Существует важное, но тонкое различие между использованием мета-роботов и использованием robots.txt для предотвращения индексации страницы. Использование мета-роботов «noindex, follow» позволяет ссылочному весу с на этой страницы переходить с на на страницы, на которые она ссылается. Если вы заблокируете страницу с помощью robots.txt, вы просто смываете ее в унитаз.
В приведенном выше примере я блокирую страницы, которые не являются настоящими страницами - они отслеживают скрипты - поэтому я не теряю ссылочный вес, поскольку эти страницы НЕ имеют заголовка со ссылками главного меню и т.
Думайте о странице как о странице «Свяжитесь с нами» или о странице Политики конфиденциальности, на которую, вероятно, ссылаются все страницы вашего сайта через главное меню или нижний колонтитул. Таким образом, на эти страницы идет масса ссылок; ты просто хочешь выбросить это? Или вы бы предпочли, чтобы этот ссылочный капитал поступал ко всему в вашем главном меню? Легко ответить на вопрос, не правда ли?
Управление пропускной способностью сканирования
Когда вы действительно захотите использовать robots.txt вместо этого? Возможно, если у вас возникли проблемы с пропускной способностью сканирования, а робот Googlebot тратит много времени на загрузку служебных страниц, только для того, чтобы обнаружить на них мета-роботов «noindex, следуйте» и вынужден выйти из него. Если у вас их так много, что робот Googlebot не может перейти к вашим важным страницам, возможно, вам придется заблокировать их через robots.txt.
Я видел, как ряд клиентов заметили улучшение рейтинга по всем направлениям за счет очистки своих XML-карт сайта и отказа от индексации служебных страниц:
Действительно ли у меня есть от 6000 до 20 000 страниц, которые нужно сканировать ежедневно? Или робот Googlebot ищет URL-адреса для ответа на комментарий или отправки по электронной почте?
К вашему сведению, если у вас есть основной набор страниц, контент которых регулярно меняется (например, страницы блога, новых продуктов или категорий продуктов), и у вас есть тонна страниц (например, страницы отдельных продуктов), где это могло бы быть хорошо, если Google проиндексировал их, но не за счет отказа от повторного сканирования и индексации основных страниц, вы можете отправить основные страницы в XML-карту сайта, чтобы дать Google понять, что вы считаете их более важными, чем те, которые не являются заблокированы, но отсутствуют в карте сайта.
Отладка проблемы индексации
Вот где карта сайта в формате XML действительно полезна для специалистов по поисковой оптимизации: когда вы отправляете в Google несколько страниц для индексации, и только некоторые из них действительно индексируются. Консоль поиска Google не сообщит вам , какие страниц они индексируют, а только общее количество, проиндексированное в каждой карте сайта XML.
Допустим, у вас сайт электронной коммерции, и у вас есть 100 000 страниц продуктов, 5 000 страниц категорий и 20 000 страниц подкатегорий.Вы отправляете XML-карту сайта 125 000 страниц и обнаруживаете, что Google индексирует 87 000 из них. Но какие 87 000?
Во-первых, страницы категорий и подкатегорий, вероятно, ВСЕ являются важными целями поиска для вас. Я бы создал category-sitemap.xml и subcategory-sitemap.xml и отправил бы их отдельно. Вы ожидаете увидеть здесь почти 100% индексацию - а если вы этого не получаете, то вы знаете, что вам нужно подумать о создании большего количества контента на них, увеличении количества ссылок на них или обоих. Вы можете обнаружить что-то вроде страниц категорий продуктов или подкатегорий, которые не индексируются, потому что на них есть только 1 продукт (или вообще нет). В этом случае вы, вероятно, захотите установить мета-роботов «noindex, подписывайтесь» на них и вытащить их из карты сайта XML.
Скорее всего, проблема кроется в некоторых из 100 000 страниц продукта - но в каких?
Начните с гипотезы и разделите страницы продукта на разные карты сайта XML, чтобы проверить эти гипотезы.Вы можете сделать несколько одновременно - нет ничего плохого в том, что URL-адрес существует в нескольких файлах Sitemap.
Вы можете начать с трех теорий:
Страницы, на которых нет изображения продукта, не индексируются
Страницы, содержащие менее 200 слов уникального описания, не индексируются
Страницы, на которых нет комментариев / отзывов, не индексируются
Создайте карту сайта XML со значимым количеством страниц, которые попадают в каждую из этих категорий. Необязательно, чтобы было всех страниц в этой категории - достаточно, чтобы размер выборки позволял сделать разумный вывод на основе индексации. Например, вы можете сделать по 100 страниц в каждой.
Ваша цель здесь состоит в том, чтобы использовать общий процент индексации любой данной карты сайта для определения атрибутов страниц, которые заставляют их индексироваться или не индексироваться.
Когда вы узнаете, в чем проблема, вы можете либо изменить содержимое страницы (или ссылки на страницы), либо не индексировать страницы.Например, у вас может быть 20 000 из 100 000 страниц продукта, где описание продукта состоит менее чем из 50 слов. Если это не очень популярные термины и вы получаете описания из фида производителя, вероятно, не стоит пытаться вручную написать дополнительные 200 слов описания для каждой из этих 20 000 страниц. Вы также можете настроить мета-роботов на «noindex, follow» для всех страниц, содержащих менее 50 слов описания продукта, поскольку Google все равно не будет их индексировать, и они просто снижают общий рейтинг качества вашего сайта. И не забудьте удалить их из карты сайта XML.
Карты сайта Dynamic XML
Теперь вы думаете: «Хорошо, Майкл. Но теперь мне нужно вручную синхронизировать мою XML-карту сайта с моими мета-роботами на всех моих 100 000 страницах», а это вряд ли произойдет.
Но делать это вручную не нужно. Карты сайта XML не обязательно должны быть статическими файлами. Фактически, им даже не нужно иметь расширение .XML, чтобы отправлять их в Google Search Console.
Вместо этого настройте логику правил, определяющую, будет ли страница включена в карту сайта XML или нет, и используйте ту же логику на самой странице, чтобы установить метаиндекс роботов или noindex. Таким образом, в тот момент, когда описание продукта из фида производителя обновляется производителем и увеличивается с 42 до 215 слов, эта страница на вашего сайта волшебным образом появляется в XML-карте сайта и устанавливает для своих мета-роботов значение «index, следить."
На моем туристическом сайте я делаю это для множества разных страниц. Я использую классический ASP для этих страниц, поэтому у меня есть такие карты сайта:
Когда эти карты сайта извлекаются, вместо визуализации HTML-страницы серверный код просто возвращает XML. Он выполняет итерацию по набору записей из одной из таблиц моей базы данных и выводит запись для каждой, которая соответствует определенным критериям.
Видео карты сайта
О, а что насчет этих надоедливых XML-файлов Sitemap для видео? Это , так что 2015. Wistia даже не беспокоится о их генерации; вы должны просто использовать JSON-LD и схему.org / VideoObject на самой странице.
Сводка
Будьте последовательны - если он заблокирован в robots.txt или мета-роботами noindex, то лучше не указывать его в вашей XML-карте сайта.
Используйте ваши XML-карты сайта в качестве инструментов для отслеживания для обнаружения и устранения проблем с индексацией, и разрешайте / запрашивайте у Google только те страницы, которые, как вы знаете, Google захочет проиндексировать.
Если у вас большой сайт, используйте динамические XML-карты сайта - не пытайтесь вручную синхронизировать все это между роботами.txt, мета-роботов и карты сайта XML.
Изображение кукурузного поля любезно предоставлено Робертом Наннелли на Flickr.
Как создать XML-карту сайта для повышения SEO за 20 минут (или меньше)
Когда дело доходит до SEO и маркетинга, мне нравятся быстрые и легкие победы.
Несмотря на то, что я привержен долгому пути ведения блога (более 10 лет и их количество), я бы предпочел нажать несколько кнопок и потянуть несколько рычагов, чтобы привлечь больше трафика.
Низкое усилие.Большие победы. Вот где мне нравится быть.
И, к счастью, есть некоторых методов SEO, которые обеспечивают высокую ценность при минимальных усилиях.
Я хочу поделиться с вами одним из таких приемов - создание карты сайта XML.
Теперь, прежде чем вы убежите после прочтения термина «карта сайта XML», позвольте мне сообщить вам хорошие новости.
Даже несмотря на то, что карта сайта в формате XML относится к «технической» стороне SEO, сделать ее несложно. И, на самом деле, это тоже не так уж и «технически».
Фактически, всего за несколько минут можно создать действительно хорошую карту сайта в формате XML.Вам не обязательно уметь программировать. Вам просто нужно знать, как нажимать.
Это бесплатно. Это просто. Это относительно просто, и это может улучшить ваше SEO.
Готовы попробовать?
Что такое XML Sitemap?
Что такое карта сайта XML?
Проще говоря, это список URL-адресов веб-сайта.
Вот почему он называется картой сайта . Показывает, как устроен веб-сайт и какие страницы он включает.
(«XML» означает «расширяемый язык разметки», способ отображения информации на веб-сайтах.)
Вот что такое XML-карта сайта , , но , почему вообще должен быть у вас? Какая цель?
Какова цель XML-файла Sitemap?
Поисковые системы используют сканеры для систематизации и индексации информации в сети.
Эти поисковые роботы могут читать любую информацию. Но карта сайта в формате XML упрощает поисковому роботу для просмотра содержимого вашего веб-сайта и его индексации.
Как только это произойдет, ваш сайт с большей вероятностью быстро повысит свой рейтинг.
По сути, карта сайта XML служит оглавлением для вашего веб-сайта, позволяя поисковому роботу получить самое необходимое и соответствующим образом проиндексировать ваш сайт.
Однако хорошо структурированная карта сайта может сделать даже больше.
Карты сайта
сообщают поисковым системам, когда страница была обновлена, частоту обновлений страницы, относительную важность страниц на веб-сайте, а также способы поиска и индексации контента, который может быть найден глубоко внутри структуры сайта.
Вот как информация выглядит в карте сайта:
Где страница находится на веб-сайте (ее URL): http://www.example.com/mypage
Время последнего изменения страницы: 2013-10-10
Как часто меняется страница: ежемесячно
Какой приоритет эта страница по отношению к другим страницам на сайте: 1
Эти функции важны, особенно с учетом количества неавторизованных распространений контента, которое происходит сегодня.
Если вы не используете карту сайта, ваш веб-сайт может рассматриваться как содержащий повторяющееся содержание, что не очень хорошо для SEO.
Что еще более важно, карта сайта - это быстрый способ быть проиндексированным Google.
С помощью карты сайта вы можете сказать Google: «Послушайте, это мой сайт, и вот страницы, которые я хочу, чтобы вы проиндексировали».
В течение нескольких минут (обычно) Google просканирует ваш сайт и проиндексирует его.
Каковы преимущества XML-файла Sitemap?
Если вам интересно: «Хм.Мне действительно нужна карта сайта? Должен ли я пойти на все эти проблемы? " Я хочу вас уговорить, да, сделайте это. Это займет всего несколько минут, и преимущества огромны.
Рассмотрите следующие преимущества карты сайта XML:
Он сообщает Google сканировать и индексировать ваш сайт.
Он сообщает Google , что сканировать на вашем веб-сайте.
XML-карта сайта сообщает Google, какая информация находится на вашем сайте.
XML-карта сайта сообщает Google, когда ваш контент был обновлен (что может привести к более благоприятному или «свежему» рейтингу).
Сообщает Google, как часто обновляется ваш контент и насколько это важно.
Карта сайта XML помогает вашему сайту мгновенно индексироваться для динамически генерируемых страниц.
Это поможет вам преодолеть ограничения веб-сайта со слабой внутренней связью.
Это помогает вашему сайту преодолеть проблему отсутствия сильного профиля внешних ссылок.
Помогает крупным сайтам получить лучшую и более организованную индексацию.
Карта сайта XML помогает Google более эффективно сканировать ваш сайт.
Он показывает Google все страницы вашего веб-сайта, даже если они глубоко укоренились в архитектуре и в противном случае не могли бы сканироваться так быстро.
Если вы готовы приступить к созданию собственной XML-карты сайта, мы выполним трехэтапный процесс:
Создайте карту сайта в формате XML.
Добавьте карту сайта XML на свой веб-сайт.
Отправьте карту сайта в формате XML в Google.
(я также покажу вам, как отправить файл Sitemap в Bing и Яндекс)
В оставшейся части статьи мы рассмотрим каждый из этих пунктов, а также один последний шаг - использование Ubersuggest для поиска потенциальных ошибок карты сайта.
Создание XML-карты сайта с помощью Screaming Frog (для любого веб-сайта)
Вы можете использовать Screaming Frog для создания XML-карты сайта для любого веб-сайта. Не имеет значения, какую CMS вы используете, какого размера веб-сайт или его возраст.
Фактически, вам даже не нужно владеть веб-сайтом или иметь доступ к нему для создания карты сайта.
Это связано с расходами? Screaming Frog, инструмент, который мы будем использовать, обеспечивает бесплатное сканирование до 500 страниц.Чтобы сканировать веб-сайты, размер которых превышает 500 страниц, вам необходимо приобрести лицензию Screaming Frog.
О кричащей лягушке
Если у вас еще нет Screaming Frog, вам необходимо сначала установить его. Вы можете сделать это здесь.
Screaming Frog - это мощная программа для настольных ПК, которая помогает в целом ряде мероприятий по поисковой оптимизации.
Базовая версия бесплатна. Полная версия (с покупкой лицензии) стоит 149 фунтов стерлингов в год (около 180 долларов США или 170 евро).
В этом разделе я расскажу, как создать карту сайта в формате XML для любого веб-сайта с помощью бесплатной версии Screaming Frog.
Сначала откройте Screaming Frog.
Затем введите свой URL-адрес в поле вверху.
Щелкните «Пуск».
В зависимости от размера вашего веб-сайта сканирование может занять от нескольких минут до нескольких часов.
Для такого сайта, как NeilPatel.com (более 6600 страниц), сканирование занимает некоторое время, но не слишком долго. Я работал над несколькими крупными сайтами электронной коммерции с миллионами URL-адресов. Их ползание занимает несколько часов.
Когда сайт завершит сканирование, в строке состояния отобразится «100».
Теперь нажмите «Карты сайта» в строке меню.
Щелкните «Создать XML-карту сайта».
Затем вам нужно выбрать, какие разделы вашего веб-сайта вы хотите включить в карту сайта XML.
На первый взгляд это может показаться запутанным, особенно если вы не знаете, что означает «Noindex» или «canonicalized».
Вот краткое описание каждого из них:
Включить страницы Noindex: Страницы Noindex содержат HTML-код в заголовке, сообщающий поисковым системам , а не , включать страницу в поисковый индекс.Если ваш разработчик установил для определенных страниц значение «Noindex», то, вероятно, на это есть веская причина. Если сомневаетесь, отметьте это поле , а не .
Включить Canonicalised : может быть несколько URL-адресов, указывающих на одну и ту же страницу содержимого. Если вы «включаете канонические», вы указываете инструменту сканирования, чтобы он включил варианты URL-адресов, указывающих на ту же страницу. Если есть сомнения, не устанавливайте этот флажок.
Включить URL-адреса с разбивкой на страницы : URL-адрес с разбивкой на страницы включает атрибуты rel = (rel = «prev» и «next») для навигации по серии контента на веб-сайте.Если вы не будете осторожны с этим, разбивка на страницы может быть немного опасной для SEO. Я рекомендую вам установить , а не .
Включить PDF-файлы : вы можете выбрать, хотите ли вы, чтобы PDF-файлы включались в вашу карту сайта XML. Google индексирует все виды контента, включая PDF-файлы. Я рекомендую вам – включить PDF-файлы в вашу карту сайта XML, если PDF-файлы на вашем веб-сайте важны и актуальны для пользователей, которые могут искать ваш контент.
Запомните эту основную идею.Карта сайта предназначена для SEO. Если вы хотите, чтобы кто-то нашел страницу на вашем веб-сайте, вы хотите включить ее в карту сайта.
Для своих целей я буду включать PDF-файлы.
Вкладки «Последнее изменение», «Приоритет» и «Частота изменения» имеют дело с датой и временем изменения страниц веб-сайта, а также с настройками <приоритет>.
Если вы не знакомы с этими настройками, оставьте их по умолчанию.
Я считаю, что включать изображения в карту сайта - это хорошая идея, поэтому я собираюсь добавить их в свою карту сайта.
Щелкните вкладку «Изображения».
Затем нажмите «Включить изображения». Третье поле («Включить только релевантные изображения с до 10 входящих ссылок») будет автоматически отмечено.
Затем нажмите «Далее».
Вам будет предложено сохранить карту сайта XML на вашем компьютере. Найдите хорошее место для его сохранения и нажмите «Сохранить».
Поздравляем! Вы создали карту сайта в формате XML!
Теперь вам нужно загрузить этот файл на свой веб-сайт через FTP. Возможно, вы уже знаете, как это сделать.
Если вы не знаете, как загрузить XML-карту сайта на свой веб-сайт, обратитесь к разработчику, чтобы определить, какой процесс вам следует выполнить для вашего конкретного сервера и / или CMS.
Но создание карты сайта - это только первый шаг. Карта сайта не означает ничего , если вы не отправите ее в поисковые системы.
Перейдите к разделу «Отправьте карту сайта XML в Google», чтобы узнать, как это сделать.
Создание XML-карты сайта с помощью Yoast (только WordPress)

Yoast - один из самых популярных плагинов SEO для WordPress. Yoast упрощает создание и отправку карты сайта в формате XML.
Я объясню, как это сделать, шаг за шагом, но сначала вот что вам нужно:
Вы должны использовать сайт WordPress.org.
У вас должен быть установлен плагин Yoast. (Это бесплатно.)
Ваш веб-сайт должен быть подключен к Google Search Console.
На большинстве веб-сайтов эти три функции уже есть. Если готовы, приступим.
Войдите в админку WordPress
Примечание. На скриншотах ниже мой администратор WordPress может немного отличаться от вашего.Это не должно мешать вам выполнять каждый шаг.
Что мы собираемся сделать в первую очередь, так это убедиться, что плагин Yoast готов создать для вас карту сайта. Для этого нам нужно включить расширенные настройки Yoast.
Нажмите на плагин Yoast
На нем есть значок «Y» и написано «SEO». Он должен располагаться на левой боковой панели.
Щелкните опцию «Dashboard».
На панели управления нажмите «Функции».
На вкладке «Возможности» найдите «XML-карты сайта» и убедитесь, что для него установлено значение «Вкл.».”
Теперь прокрутите вниз и нажмите «Сохранить изменения». \
Если вы хотите настроить карту сайта, узнайте, как это сделать. Например, вы можете исключить страницы, которые не являются общедоступными.
В целом, однако, карта сайта, которую генерирует Yoast, имеет тенденцию быть довольно надежной.
А теперь пора отправить это в Google.
Как отправить XML-карту сайта в Google
Пришло время сделать что-то ценное с вашей картой сайта - отправить ее в Google.
Для этого вам необходимо подключить Google Search Console к вашему сайту. Ознакомьтесь с этим руководством Google, чтобы узнать, как это сделать.
Сначала перейдите в Google Search Console и выберите свой веб-сайт.
На панели управления нажмите «Карты сайта».
Нажмите «Добавить новый файл Sitemap».
Введите URL-адрес, по которому вы сохранили карту сайта. Он должен заканчиваться на «.xml», поскольку это файл XML.
Нажмите «Отправить».
Затем используйте отчет о файлах Sitemap, чтобы убедиться в отсутствии ошибок.(Я также расскажу о другом методе ниже.)
Как только это будет выполнено, обо всем остальном позаботится Google. Ваша карта сайта позволяет Google быстро и без проблем проиндексировать ваш сайт, помогая повысить ваш рейтинг.
Как отправить XML-карту сайта в Bing и Яндекс
Google - крупнейшая поисковая система, но не единственная. Чтобы получить максимальную отдачу от вашей XML-карты сайта, я предлагаю отправить ее в Bing и Яндекс. Вот как:
Отправить карту сайта в Bing
Bing - это ответ Microsoft на Google.У него гораздо меньшая доля рынка (чуть более 6%). Однако более 900 миллионов уникальных пользователей посещают Bing в месяц. Отправить карту сайта в Bing очень просто, поэтому стоит потратить несколько минут, чтобы охватить их аудиторию.
Чтобы отправить карту сайта в Bing, войдите в свою панель управления в инструментах для веб-мастеров. Найдите виджет Sitemap и нажмите «Отправить Sitemap».
Введите URL-адрес вашего файла и нажмите «Отправить». Вот и все!
Отправить карту сайта в Яндекс
Яндекс - это российская версия Google.В России Яндекс занимает более 55% поискового рынка. Он также предоставляет услуги электронной почты, потоковой передачи музыки и онлайн-платежей. Как и в случае с Bing, отправка карты сайта занимает всего несколько минут, поэтому стоит приложить усилия, чтобы охватить более широкую аудиторию.
Вот как отправить карту сайта в Яндекс:
Перейдите на страницу файлов Sitemap и выберите свой сайт из списка.
Добавьте URL-адрес вашей карты сайта.
Щелкните добавить.
Загрузка карты сайта займет около двух недель.Вы захотите проверить еще раз и убедиться, что он загружен правильно; если там написано «ОК», тогда все готово. Если вы видите «Перенаправить», попробуйте загрузить файл еще раз.
Если вы видите сообщение «ошибка» или «не проиндексировано», вам необходимо устранить неполадки. Воспользуйтесь этим руководством от Яндекса, чтобы понять, что происходит.
Используйте Ubersuggest для проверки ошибок XML-файла Sitemap
Если вы выполните описанные выше действия, не должно иметь ошибок карты сайта . Но то, что вы не должны этого делать, не означает, что вы этого не сделаете.
Вот как вы можете использовать Ubersuggest для проверки ошибок карты сайта:
Шаг № 1: Введите имя своего домена и нажмите «Поиск».
Шаг № 2: Нажмите «Аудит сайта» на левой боковой панели.
Шаг № 3: Просмотрите результаты.
Чтобы найти проблемы с картой сайта, просмотрите данные, связанные с проверкой работоспособности, критическими ошибками, предупреждениями и рекомендациями.
Например, когда вы нажимаете «Критические ошибки», вы видите на моем веб-сайте следующее:
Нет проблем с моей картой сайта, но если бы они были, здесь вы можете найти дополнительную информацию. Помимо самих проблем, есть кнопка "Узнать больше", которая приведет вас к:
Затем вы можете следовать подсказкам, чтобы получить дополнительные инструкции по исправлению ошибки.
Используйте Ubersuggest для регулярной проверки состояния вашей карты сайта. Выполнение этого один или два раза в месяц отнимет у вас всего несколько минут, но это может иметь большое значение для улучшения SEO вашего сайта.
Заключение
Многие владельцы малого бизнеса и веб-предприниматели пугаются, когда слышат термин «XML-карта сайта.”
Звучит жаргонно и похоже на код. Если вы не фанат SEO или компьютерный компьютер, как вы поймете, как создать и отправить карту сайта в формате XML?
Как оказалось, это не так уж и сложно.
Создание карты сайта с помощью таких программ, как Screaming Frog или Yoast, занимает десять минут или меньше.
Если вы ничего не знаете о файлах Sitemap и вам нужно пройти весь процесс в первый раз, нет проблем. Прохождение всего процесса от начала до конца может занять максимум двадцать минут.
Однако преимущества SEO будут огромными.
Если вы никогда не создавали карту сайта в формате XML для своего веб-сайта, мой совет прост: сделайте ее сегодня.
Затем проведите технический SEO-аудит, чтобы увидеть, какие еще проблемы могут скрываться на вашем сайте.
Вы можете это сделать. Я тебя прикрою.
Каков ваш опыт создания XML-карты сайта? Как это помогло SEO вашего сайта?
Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт
SEO - разблокируйте огромное количество SEO-трафика.Смотрите реальные результаты.
Контент-маркетинг - наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
Paid Media - эффективные платные стратегии с четким ROI.
Заказать звонок
Бесплатный генератор карты сайта - Sure Oak SEO
Наш бесплатный инструмент для создания XML-карты сайта
Чтобы Google мог быстро и легко идентифицировать все страницы вашего веб-сайта, вам необходимо создать карту сайта в формате XML для доступа Google и других поисковых систем. Вот почему мы создали лучший бесплатный онлайн-конструктор XML-карты сайта, который прост в использовании и генерирует предварительный просмотр ваших веб-страниц на вашем веб-сайте.
Чтобы использовать наш бесплатный онлайн-конструктор карты сайта, просто введите свое доменное имя и дождитесь, пока инструмент просканирует весь ваш сайт. По мере того как инструмент сканирует больше страниц на вашем веб-сайте, он будет создавать вашу карту сайта, добавляя URL-адреса в файл карты сайта, который он создает. Когда сканирование завершится, вы можете загрузить карту сайта и загрузить ее в Google Search Console для облегчения доступа Google.Он должен быть расположен в вашем домене по адресу: domain.com/sitemap.xml. Примечание. Если вы используете плагин Yoast, то Yoast может автоматически создать для вас карту сайта, которая часто находится по адресу: domain.com/sitemap_index.xml
.
Что такое карта сайта XML?
XML-карта сайта - это простой текстовый XML-файл, в котором перечислены все наиболее важные страницы вашего веб-сайта. Карты сайта в формате XML можно отправлять в Google, Bing и другие основные поисковые системы, чтобы облегчить им поиск, сканирование и индексирование вашего веб-сайта.Чем легче поисковые системы могут сканировать ваш сайт, тем больше вероятность того, что ваш рейтинг улучшится. Узнайте больше о том, как Google сканирует и индексирует ваш сайт здесь.
Подобно XML-файлам Sitemap, они являются HTML-файлами Sitemap, но они не выполняют одну и ту же функцию. Карты сайта XML специально используются поисковыми системами, тогда как карты сайта HTML могут использоваться поисковыми системами, но в первую очередь предназначены для помощи пользователям в навигации по вашему сайту.
Чтобы охватить это более подробно, XML-карта сайта - это не просто список URL-адресов вашего веб-сайта.Правильно отформатированная карта сайта в формате XML (чаще всего находится на yourdomain.com/sitemap.xml) дает поисковым системам расширенные инструкции относительно того, какие страницы были недавно изменены или, скорее всего, изменятся. Вы также можете редактировать карты сайта, чтобы они сообщали поисковым системам о приоритете этих страниц, также называемом их «приоритетом сканирования».
Один из способов сделать это - установить приоритет сканирования домашней страницы на 1.0 (максимум) и понизить приоритет для старых сообщений с устаревшим контентом.
Что можно и чего нельзя делать при создании XML-файла Sitemap
Ваш XML-файл карты сайта - это шлюз к внутренней работе вашего веб-сайта и один из файлов, на который в наибольшей степени полагаются поисковые системы.Следовательно, очень важно, чтобы вы снабжали эти поисковые системы нужной информацией через XML-карту сайта.
Существует ряд распространенных ошибок, с которыми могут столкнуться карты сайта, которые часто затрудняют сканирование ботов поисковых систем, что приводит к тому, что они проводят меньше времени на ваших более важных страницах. Некоторые из этих ошибок включают проблемы, такие как URL-адреса, которые перенаправляют на новые места назначения или следуют длинным цепочкам перенаправления, страницы параметров, которые были заблокированы в текстовом файле робота поисковой системы или в опциях обработки параметров, а также проблемы в консоли поиска Google.
Чтобы предотвратить эти проблемы, рекомендуется избегать включения URL-адресов, которые канонизированы для других областей веб-сайта, поскольку это запутает ботов и приведет к потере времени сканирования. Кроме того, удалите все случаи ошибки 4xx или незащищенных URL-адресов в защищенных доменах (HTTPS), а также устаревший контент. Наконец, не забудьте добавить все новые URL-адреса в XML-карту сайта и отправить их в индекс для более быстрого и удобного индексирования.
Разделите карты сайта
Если вы хотите предоставить поисковым системам первоклассное обслуживание, сделайте все возможное, чтобы они могли максимально легко и просто сканировать ваш сайт.В дополнение к шагам, описанным выше, мы также рекомендуем разделить ваши карты сайта на части, относящиеся к содержанию, такие как карта сайта для видео, изображение, сообщения в блогах и списки конкретных продуктов.
Это значительно упрощает обнаружение и организацию этих страниц поисковыми системами, тем самым способствуя более расширенному сканированию и улучшенной организации для веб-мастеров при добавлении дополнительных URL-адресов.
Технические: теги, которые мы используем
При создании карты сайта можно использовать несколько тегов.Мы тщательно продумали, какие теги включать и исключать.
LastMod : мы решили исключить этот тег, потому что, если вы постоянно вручную не обновляете карту сайта с помощью нашего инструмента и не загружаете ее повторно, вы неправильно сообщаете Google, что никогда не обновляете свои страницы. Мы избегаем этого, исключая тег.
ChangeFreq : Мы решили включить тег частоты изменений и установили для него значение «ежедневно» для каждой страницы, чтобы побудить Google продолжать возвращаться на ваш веб-сайт и искать обновления и улучшения.Однако в ходе нашего исследования мы узнали, что Google в любом случае может игнорировать этот тег.
Приоритет : мы решили исключить этот тег, потому что Google заявил, что игнорирует его: «Google в настоящее время не использует атрибут в файлах Sitemap».
Что такое XML-карта сайта? Как создать карту сайта в WordPress?
Вам интересно, что такое карта сайта XML и как добавить ее на свой сайт WordPress?
Карта сайта в формате XML помогает поисковым системам легко перемещаться по содержанию вашего веб-сайта. Он предоставляет им список всего вашего контента в машиночитаемом формате.
В этой статье мы объясним, что такое карта сайта XML, и как легко создать карту сайта в WordPress.
Что такое XML-карта сайта?
Карта сайта XML - это файл, в котором перечислено все содержимое вашего веб-сайта в формате XML, поэтому поисковые системы, такие как Google, могут легко обнаруживать и индексировать ваш контент.
Еще в начале 2000-х правительственные веб-сайты имели на своих главных страницах ссылку под названием «Карта сайта».Эта страница обычно содержит список всех страниц этого веб-сайта.
Хотя некоторые веб-сайты и сегодня имеют карты сайта в формате HTML, в целом использование карт сайта изменилось.
Сегодня карты сайта публикуются в формате XML вместо HTML, и их целевая аудитория - поисковые системы, а не люди.
По сути, карта сайта в формате XML - это способ для владельцев веб-сайтов сообщить поисковым системам обо всех страницах, существующих на их веб-сайтах.
Он также сообщает поисковым системам, какие ссылки на вашем сайте важнее других и как часто вы обновляете свой сайт.
Хотя карты сайта в формате XML не повышают рейтинг вашего сайта в поисковых системах, они позволяют поисковым системам лучше сканировать ваш сайт. Это означает, что они могут найти больше контента и начать показывать его в результатах поиска, что приведет к увеличению поискового трафика и повышению рейтинга SEO.
Зачем вам нужен XML-файл Sitemap?
Карты сайта чрезвычайно важны с точки зрения поисковой оптимизации (SEO).
Простое добавление карты не влияет на поисковый рейтинг.Однако, если на вашем сайте есть страница, которая не проиндексирована, то карта сайта предоставляет вам способ сообщить поисковым системам об этой странице.
Карты сайта
чрезвычайно полезны, когда вы впервые запускаете блог или создаете новый веб-сайт, потому что на большинстве новых веб-сайтов нет обратных ссылок. Это затрудняет поисковым системам обнаружение всего своего контента.
Вот почему поисковые системы, такие как Google и Bing, позволяют новым владельцам веб-сайтов отправлять карту сайта в свои инструменты для веб-мастеров. Это позволяет их роботам поисковых систем легко находить и индексировать ваш контент (подробнее об этом позже).
Карты сайта не менее важны и для уже существующих популярных веб-сайтов. Они позволяют вам выделить, какая часть ваших веб-сайтов более важна, какие части обновляются чаще и т. Д., Чтобы поисковые системы могли посещать и соответственно индексировать ваш контент.
При этом давайте посмотрим, как создать карту сайта XML в WordPress.
Как создать карту сайта в WordPress?
Есть несколько способов создать карту сайта XML в WordPress. Мы покажем вам три популярных метода создания XML-карты сайта в WordPress, и вы сможете выбрать тот, который лучше всего подходит для вас.
Метод 1. Как создать XML-карту сайта в WordPress без подключаемого модуля
Это очень простой метод с ограниченными возможностями.
До августа 2020 года в WordPress не было встроенных карт сайта. Однако в WordPress 5.5 они выпустили базовую функцию карты сайта XML.
Это позволяет автоматически создавать XML-карту сайта в WordPress без использования плагина. Вы можете просто добавить wp-sitemap.xml в конце вашего доменного имени, и WordPress покажет вам карту сайта XML по умолчанию.
Эта функция карты сайта XML была добавлена в WordPress, чтобы гарантировать, что любой новый веб-сайт WordPress не упустит преимущества SEO карты сайта XML.
Однако он не очень гибкий, и вы не можете легко контролировать, что добавлять или удалять из ваших XML-карт сайта.
К счастью, почти все лучшие плагины для SEO для WordPress имеют собственные функции карты сайта. Эти карты сайта лучше, и вы можете контролировать, какой контент удалить или исключить из карт сайта WordPress XML.
Метод 2. Создание XML-карты сайта в WordPress с использованием All in One SEO
Самый простой способ создать XML-карту сайта в WordPress - использовать плагин All in One SEO для WordPress.
Это лучший плагин WordPress для SEO на рынке, предлагающий вам полный набор инструментов для оптимизации ваших сообщений в блоге для SEO.
Во-первых, вам необходимо установить и активировать плагин All in One SEO. Для получения дополнительной информации см. Наше пошаговое руководство по установке плагина WordPress.
Примечание. Функция Sitemap также доступна в бесплатной версии AIOSEO. Однако для получения расширенных файлов Sitemap для новостей и видео вам понадобится версия Pro.
После активации перейдите на страницу All in One SEO »Карты сайта , чтобы просмотреть настройки карты сайта.
По умолчанию All in One SEO включает функцию Sitemap для вас и заменяет базовые карты сайта WordPress.
Вы можете нажать кнопку «Открыть карту сайта», чтобы просмотреть ее и посмотреть, как она выглядит.Вы также можете просмотреть карту сайта, добавив «sitemap.xml» к URL-адресу, например www.example.com/sitemap. xml.
Новичку ничего делать не нужно, настройки по умолчанию подходят для всех типов веб-сайтов, блогов и интернет-магазинов.
Однако вы можете настроить параметры карты сайта, чтобы управлять тем, что вы хотите включить в карту сайта XML.
Просто прокрутите вниз до раздела настроек Sitemap.
Этот раздел дает вам возможность управлять индексами карты сайта, включать или исключать типы сообщений, таксономии (категории и теги).Вы также можете включить карты сайта XML для архивов на основе даты и архивов авторов.
All in One SEO автоматически включает весь ваш контент WordPress в карты сайта XML. Однако что, если у вас есть отдельные страницы, такие как контактная форма, целевая страница или страницы магазина Shopify, которые не являются частью WordPress?
Ну, AIOSEO - единственный плагин, который позволяет добавлять внешние страницы в вашу карту сайта WordPress. Просто прокрутите до раздела Дополнительные страницы и включите его. Это покажет вам форму, в которой вы можете добавить любые настраиваемые страницы, которые хотите включить.
Вам просто нужно добавить URL-адрес страницы, которую вы хотите включить, а затем установить приоритет, где 0,0 - самый низкий, а 1,0 - самый высокий. Если вы не уверены, мы рекомендуем использовать 0,3.
Далее выберите частоту обновлений и дату последнего изменения страницы.
Вы можете нажать кнопку «Добавить», если вам нужно добавить больше страниц.
Не забудьте нажать кнопку «Сохранить изменения», чтобы сохранить свои настройки.
Исключение определенных сообщений / страниц из XML-файла Sitemap
All in One SEO позволяет исключить любую публикацию или страницу из ваших XML-файлов Sitemap.Вы можете сделать это, щелкнув раздел «Расширенные настройки» на странице All in One SEO »Карты сайта .
Вы также можете удалить сообщение или страницу из файлов Sitemap XML, сделав их запретными для индексации и подписки. Это запретит поисковым системам показывать этот контент в результатах поиска.
Просто отредактируйте сообщение или страницу, которые вы хотите исключить, и прокрутите вниз до поля настроек AIOSEO под редактором.
Отсюда вам нужно переключиться на вкладку «Дополнительно» и установить флажки рядом с параметрами «Без индекса» и «Без отслеживания».
Создание дополнительных файлов Sitemap
All in One SEO позволяет создавать дополнительные карты сайта, такие как карта сайта для видео или карта сайта для новостей.
Вы можете создать карту сайта для видео, если регулярно вставляете видео в сообщения или на страницы своего блога. Это позволяет поисковым системам отображать сообщения в результатах поиска и видео вместе с миниатюрами видео.
Вы также можете создать карту сайта для новостей, если у вас есть новостной веб-сайт и вы хотите отображаться в результатах поиска Новостей Google.
Просто перейдите на страницу All in One SEO »Карты сайта и переключитесь на вкладки Video Sitemap или News Sitemap, чтобы создать эти карты сайта.
В целом, AIOSEO - лучший плагин WordPress, потому что он дает вам всю гибкость и мощные функции по очень доступной цене.
Метод 3. Создание XML-карты сайта в WordPress с помощью Yoast SEO
Если вы используете Yoast SEO в качестве плагина WordPress SEO, он также автоматически включает для вас XML-карты сайта.
Во-первых, вам необходимо установить и активировать плагин Yoast SEO. Для получения дополнительной информации см. Наше пошаговое руководство по установке плагина WordPress.
После активации перейдите на страницу SEO »Общие и перейдите на вкладку« Возможности ». Отсюда вам нужно прокрутить вниз до опции «XML Sitemap» и убедиться, что она включена.
Затем нажмите кнопку «Сохранить изменения», чтобы сохранить изменения.
Чтобы убедиться, что Yoast SEO создал XML-карту сайта, вы можете щелкнуть значок вопросительного знака рядом с опцией XML Sitemap на странице.
После этого нажмите ссылку «Просмотреть XML-карту сайта», чтобы просмотреть свою текущую XML-карту сайта, созданную Yoast SEO.
Вы также можете найти свою карту сайта в формате XML, просто добавив sitemap_index.xml в конце адреса своего веб-сайта. Например:
https://www.example.com/sitemap_index.xml
Yoast SEO создает несколько карт сайта для разных типов контента. По умолчанию он создает карты сайта для сообщений, страниц, автора и категорий.
Как отправить XML-файл Sitemap в поисковые системы
Поисковые системы довольно умны при поиске карты сайта. Каждый раз, когда вы публикуете новый контент, в Google и Bing отправляется пинг, чтобы сообщить им об изменениях в вашей карте сайта.
Однако мы рекомендуем отправлять карту сайта вручную, чтобы поисковые системы могли ее найти.
Отправка XML-файла Sitemap в Google
Google Search Console - это бесплатный инструмент, предлагаемый Google, чтобы помочь владельцам веб-сайтов отслеживать и поддерживать присутствие своего сайта в результатах поиска Google.
Добавление карты сайта в Google Search Console помогает быстро находить ваш контент, даже если ваш сайт совсем новый.
Во-первых, вам необходимо посетить веб-сайт Google Search Console и зарегистрировать учетную запись.
После этого вам будет предложено выбрать тип недвижимости. Вы можете выбрать домен или префикс URL. Мы рекомендуем выбрать префикс URL, так как его проще настроить.
Введите URL-адрес своего веб-сайта и нажмите кнопку «Продолжить».
Далее вам будет предложено подтвердить право собственности на сайт.Вы увидите несколько методов для этого, мы рекомендуем использовать метод HTML-тега.
Просто скопируйте код с экрана и перейдите в админку вашего сайта WordPress.
Если вы используете AIOSEO, то для него предусмотрена простая проверка инструментами для веб-мастеров. Просто перейдите на страницу All in One SEO »Общие настройки , а затем щелкните вкладку Инструменты для веб-мастеров. После этого вы можете ввести туда код от Google.
Если вы не используете AIOSEO, вам необходимо установить и активировать плагин Insert Headers and Footers.Для получения дополнительной информации см. Наше пошаговое руководство по установке плагина WordPress.
После активации вам необходимо перейти на страницу Настройки »Вставить верхние и нижние колонтитулы и добавить код, который вы скопировали ранее, в поле« Сценарии в заголовке ».
Не забудьте нажать кнопку «Сохранить», чтобы сохранить изменения.
Теперь вернитесь на вкладку Google Search Console и нажмите кнопку «Подтвердить».
Google проверит наличие кода подтверждения на вашем сайте и затем добавит его в вашу учетную запись Google Search Console.
Примечание: Если проверка не удалась, обязательно очистите кеш и попробуйте еще раз.
Теперь, когда вы добавили свой веб-сайт, давайте также добавим карту сайта в формате XML.
На панели управления вашей учетной записи вам нужно нажать «Sitemaps» в левом столбце.
После этого вам необходимо добавить последнюю часть URL-адреса вашей карты сайта в раздел «Добавить новую карту сайта» и нажать кнопку «Отправить».
Теперь Google добавит URL вашей карты сайта в консоль поиска Google.
Google потребуется некоторое время, чтобы просканировать ваш сайт. Через некоторое время вы сможете увидеть основную статистику карты сайта.
Эта информация включает количество ссылок, найденных Google в вашей карте сайта, сколько из них проиндексировано, соотношение изображений к веб-страницам и многое другое.
Отправка XML-файла Sitemap в Bing
Подобно Google Search Console, Bing также предлагает инструменты Bing для веб-мастеров, которые помогают владельцам веб-сайтов отслеживать свои веб-сайты в поисковой системе Bing.
Чтобы добавить карту сайта в Bing, вам необходимо посетить веб-сайт Bing Webmaster Tools. Здесь вы увидите два варианта добавления своего сайта. Вы можете импортировать свой сайт из Google Search Console или добавить его вручную.
Если вы уже добавили свой сайт в Google Search Console, мы предлагаем импортировать его. Это экономит время, поскольку ваша карта сайта будет автоматически импортирована за вас.
Если вы решили добавить свой сайт вручную, вам необходимо ввести URL-адрес своего сайта, а затем подтвердить сайт.
Bing попросит вас подтвердить право собственности на ваш сайт и покажет вам несколько способов сделать это.
Мы рекомендуем использовать метод метатега. Просто скопируйте строку метатега со страницы и перейдите в админку WordPress.
Теперь установите и активируйте плагин Insert Headers and Footers на своем веб-сайте.
После активации вам необходимо перейти на страницу « Настройки» Вставить верхние и нижние колонтитулы и добавить код, который вы скопировали ранее, в поле «Сценарии в заголовке».
Не забудьте нажать кнопку «Сохранить», чтобы сохранить изменения.
Как использовать XML-файлы Sitemap для развития вашего сайта?
Теперь, когда вы отправили карту сайта XML в Google, давайте посмотрим, как использовать ее на своем веб-сайте.
Во-первых, вы должны иметь в виду, что XML-карта сайта не улучшает ваш поисковый рейтинг. Однако это помогает поисковым системам находить контент, регулировать скорость сканирования и улучшать видимость вашего сайта в поисковых системах.
Вам нужно следить за статистикой вашей карты сайта в Google Search Console. Он может показать вам ошибки сканирования и страницы, исключенные из охвата поиска.
Под диаграммами вы можете нажимать на таблицы, чтобы просмотреть фактические URL-адреса, исключенные или не проиндексированные Google.
Обычно Google может принять решение пропустить повторяющееся содержание, страницы без содержания или с очень небольшим содержанием, а также страницы, исключенные файлом robots.txt или метатегами вашего сайта.
Однако, если у вас необычно большое количество исключенных страниц, вы можете проверить настройки плагина SEO, чтобы убедиться, что вы не блокируете какой-либо контент.
Подробнее см. В нашем полном руководстве по Google Search Console для начинающих.
Мы надеемся, что эта статья помогла ответить на все ваши вопросы о XML-картах сайта и о том, как создать XML-карту сайта для вашего сайта WordPress. Вы также можете ознакомиться с нашим руководством о том, как быстро увеличить посещаемость вашего веб-сайта с помощью пошаговых советов и нашего сравнения лучших инструментов исследования ключевых слов для написания лучшего контента.
Если вам понравилась эта статья, то подпишитесь на наш канал YouTube для видеоуроков по WordPress.Вы также можете найти нас в Twitter и Facebook.
Как создать карту сайта в формате XML (и отправить ее в Google)
Так же, как трудно найти новый пункт назначения без карты, Google иногда бывает трудно найти все страницы вашего веб-сайта без карты сайта.
К счастью, создать и отправить карту сайта в формате XML в Google быстро и легко.
Ниже мы шаг за шагом рассмотрим, как это сделать.
Но сначала давайте рассмотрим несколько основ.
(Уже знаете основы? Нажмите, чтобы сразу перейти к созданию карты сайта.)
Карта сайта - это XML-файл, в котором перечислено все важное содержимое вашего веб-сайта. Любая страница или файл, которые вы хотите отображать в поисковых системах, должны быть в вашей карте сайта.
Интересный факт
В файлах Sitemap не может быть указано более 50 000 URL, и их размер не может превышать 50 МБ. Если ваша карта сайта превышает одно или несколько из этих значений, вам потребуется создать более одного.
Как выглядит XML-карта сайта?
XML-карты сайта создаются для поисковых систем, а не для людей.Они могут выглядеть немного устрашающе, если вы никогда их раньше не видели.
https://ahrefs.com/ 2019-08-21T16: 12: 20 + 03: 00 https://ahrefs.com.com/blog/ 2019-07-31T07: 56: 12 + 03: 00
Давайте разберемся с этим.
Объявление XML

Сообщает поисковым системам, что они читают файл XML. В нем также указывается версия XML и используемая кодировка символов. Для файлов Sitemap версия должна быть 1.0, а кодировка должна быть UTF ‑ 8.
Набор URL

Это контейнер для всех URL-адресов в карте сайта. Он также сообщает сканерам, какой стандарт протокола используется.В большинстве файлов Sitemap указан стандарт Sitemap 0.90, который, среди прочего, поддерживается Google, Yahoo !, Microsoft.
URL
https://ahrefs.com/ 2019-08-21T16: 12: 20 + 03: 00
Это родительский тег для каждого URL. Вы должны указать расположение URL-адреса во вложенном теге . Важно отметить, что это должны быть абсолютные, а не относительные канонические URL-адреса.
Хотя это единственный обязательный тег здесь, есть несколько дополнительных свойств:
: указывает дату последнего изменения файла.Это должно быть в формате даты и времени W3C. Например, если вы обновили сообщение 25 сентября 2019 г., атрибут будет иметь вид 2019-09-25. Вы также можете указать время, но это необязательно.
<приоритет> : Определяет приоритет URL-адреса по отношению ко всем остальным URL-адресам на сайте. Диапазон значений от 0,0 до 1,0. Выше важнее.
: Определяет, как часто страница может изменяться. Его задача - дать поисковым системам представление о том, как часто они могут захотеть повторно сканировать URL.Допустимые значения здесь: всегда , ежечасно , ежедневно , еженедельно , ежемесячно , ежегодно и никогда .
Ни один из этих необязательных тегов не важен для SEO.
Для , Гэри Ильес из Google заявляет, что они игнорируют его в большинстве случаев, так как «веб-мастера делают ужасную работу, чтобы обеспечить точность». Поскольку большинство генераторов карты сайта устанавливают для всех страниц текущую дату, а не дату последнего изменения файла, легко понять, почему.
Для Google заявляет, что они игнорируют этот тег, потому что это просто «мешочек шума».
Для Джон Мюллер говорит: «Приоритет и частота изменений на самом деле больше не играют такой большой роли для файлов Sitemap».
Google обнаруживает новое содержание, сканируя Интернет. Когда они сканируют страницу, они обращают внимание как на внутренние, так и на внешние ссылки на странице. Если обнаруженный URL-адрес отсутствует в их поисковом индексе, они могут проанализировать его содержимое и при необходимости проиндексировать.
Но Google не может найти весь контент таким образом. Если на веб-страницу нет ссылок с других известных страниц, они ее не найдут.
Здесь на помощь приходят карты сайта.
Карты сайта сообщают Google (и другим поисковым системам), где найти наиболее важные страницы вашего веб-сайта, чтобы они могли их сканировать и индексировать.
Это важно, потому что поисковые системы не могут ранжировать ваш контент без его предварительной индексации.
Некоторые CMS генерируют для вас карту сайта. Они автоматически обновляются, когда вы добавляете или удаляете страницы и сообщения со своего сайта.Если ваша CMS не делает этого, то обычно есть плагин, который это делает.
Создание карты сайта в WordPress
Несмотря на то, что WordPress поддерживает 34,5% веб-сайтов, он не создает карту сайта для вас. Чтобы создать его, вам нужно использовать такой плагин, как Yoast SEO.
Чтобы установить Yoast SEO, войдите в свою панель управления WordPress.
Перейдите к Plugins> Add New .
Искать «Yoast SEO.»
Нажмите «Установить сейчас» для первого результата, затем «Активировать.”
Перейдите на SEO> Общие> Функции . Убедитесь, что переключатель «XML-карты сайта» включен.
Теперь вы должны увидеть свою карту сайта (или индекс карты сайта) либо в yourdomain.com/sitemap.xml, либо в yourdomain.com/sitemap_index.xml.
Примечание.
Если ваша установка WordPress находится в подпапке или субдомене, то ваша карта сайта находится по этому пути. Например, карта сайта для нашего блога доступна по адресу ahrefs.com/blog/sitemap_index.xml.
СОВЕТ
Если вы хотите специально включить или исключить определенные типы контента (страницы тегов, страницы категорий и т. Д.)) из карты сайта, перейдите в настройки «Внешний вид в поиске».
Вы также можете исключить отдельные сообщения или страницы из мета-поля «Дополнительно» в редакторе.
ВАЖНО. Исключите из файла Sitemap только те страницы, которые не должны отображаться в результатах поиска.
Узнайте больше в нашем руководстве по WordPress SEO.
Создание карты сайта в Wix
Wix автоматически создает карту сайта для вас. Вы можете найти это на yourwixsite.com/sitemap.xml .
К сожалению, у вас нет особого контроля над страницами, которые включены и не включаются в вашу карту сайта. Если вы хотите исключить страницу, перейдите на вкладку настроек «SEO (Google)» для этой страницы и отключите параметр «Показывать эту страницу в результатах поиска».
Обратите внимание, что это также добавляет на страницу метатег noindex, который исключает его отображение в результатах поиска.
Примечание.
Если вы канонизируете URL-адрес в Wix, он не будет удален из вашей карты сайта. Хотя это, вероятно, не повлияет на большинство пользователей, имейте в виду, что включение канонизированных страниц в карту сайта - не лучшая практика и может посылать неоднозначные сигналы в Google.
Создание карты сайта в Squarespace
Squarespace также автоматически создает карту сайта. Обычно вы можете найти его yoursquarespacesite.com/sitemap.xml .
Невозможно вручную отредактировать карту сайта в Squarespace, хотя вы можете исключить страницы (noindex) из поисковых систем на вкладке «SEO».
Это также исключит страницу из вашей карты сайта.
Создание карты сайта в Shopify
Shopify автоматически генерирует карту сайта для вас.Найдите его на yourstore.com/sitemap.xml .
К сожалению, нет простого способа запретить индексирование страницы в Shopify. Вы должны редактировать код непосредственно в файлах .liquid.
Создание карты сайта без CMS
Если вы считаете, что на вашем сайте менее ~ 300 страниц, установите бесплатную версию Screaming Frog.
После установки перейдите в Mode> Spider .
Вставьте URL своей домашней страницы в поле с надписью «Введите URL для паука».
Нажмите «Старт.”
Примечание.
Убедитесь, что вы используете каноническую (основную) версию вашей домашней страницы. Если вы этого не сделаете, Screaming Frog просканирует только один URL.
Когда сканирование завершится, посмотрите в нижний правый угол.
Это будет примерно так:
Если число 499 или меньше, перейдите в Sitemaps> XML sitemap .
Поскольку Google не уделяет особого внимания , и , мы рекомендуем исключить их из файла карты сайта.
Нажмите «Далее» и сохраните карту сайта на свой компьютер. Выполнено.
Если число показывает «500 из 500», то нет смысла экспортировать карту сайта. Почему? Потому что это означает, что вы достигли предела сканирования до того, как он просканировал все страницы вашего сайта. В результате в экспортированной карте сайта могут отсутствовать сотни страниц, что делает ее бесполезной.
Один из способов решения этой проблемы - поиск бесплатного создателя карты сайта. Их очень много.
К сожалению, большинство из них ненадежны.
Мы протестировали некоторые из самых популярных генераторов и обнаружили, что некоторые из них включают неканонические URL-адреса, неиндексированные страницы и перенаправления. Это плохая практика SEO.
Нет ✅
Генератор Включает ли канонизированные URL-адреса? Включает в себя неиндексированные URL? Включает перенаправления?
xml-sitemaps.com Да ❌ Нет ✅ Нет ✅
web-site-map.com Да ❌
xmlsitemapgenerator.org Да ❌ Нет ✅ Нет ✅
smallseotools.com/xml-sitemap-generator Да ❌ Да ❌ Да ❌
Да ❌ Да ❌
duplichecker.com/xml-sitemap-generator.php Да ❌ Да ❌ Да ❌
xsitemap.com Да Да ❌
Итак, какое решение?
Если Screaming Frog не удалось просканировать весь ваш сайт, просканируйте ваш сайт с помощью Ahrefs Site Audit.

Примечание.
Подтвердите свой сайт для более быстрого сканирования. Вот как.
После завершения сканирования перейдите в проводник страниц и добавьте эти фильтры.
Hit Export > Текущее представление таблицы .
Откройте файл CSV, затем скопируйте и вставьте все URL-адреса из столбца URL-адресов в этот инструмент.
Нажмите «Добавить в очередь», затем «Экспортировать очередь как sitemap.xml».
Этот файл - ваша завершенная карта сайта.
Как отправить карту сайта в Google
Для начала вам нужно знать, где находится ваша карта сайта.
Если вы используете плагин, скорее всего, это будет URL domain.com/sitemap.xml .
Если вы делаете это вручную, назовите карту сайта как-нибудь вроде sitemap.xml, а затем загрузите ее в корневую папку своего веб-сайта. После этого вы сможете получить доступ к карте сайта по адресу domain.com/sitemap.xml.
Примечание.
Вы можете выбрать любое имя для своей карты сайта, но рекомендуется придерживаться карты сайта.xml. Если у вас несколько карт сайта, вы можете выбрать простую схему именования, например sitemap_1.xml, sitemap_2.xml.
Перейдите в Google Search Console> Карты сайта> вставьте в местоположение карты сайта> нажмите «Отправить».
Вот и все. Выполнено.
СОВЕТ
Также рекомендуется добавить URL-адреса карты сайта в файл robots.txt.
Вы можете найти этот файл в корневом каталоге вашего веб-сервера. Чтобы добавить карту сайта, откройте файл и вставьте эту строку:
Карта сайта: https: // www.yourdomain.com/sitemap.xml
Вам необходимо заменить URL-адрес примера местоположением вашей карты сайта.
Если у вас несколько карт сайта, просто добавьте несколько строк.
Карта сайта: https://www.asos.com/sitemap_1.xml Карта сайта: https://www.asos.com/sitemap_2.xml
Исправление распространенных ошибок веб-сайтов, влияющих на вашу карту сайта
Консоль поиска Google сообщает вам о большинстве технических ошибок, связанных с вашей картой сайта.
Например, вот предупреждение о том, что один из отправленных нами URL-адресов заблокирован роботами.txt:
Подробнее об этих проблемах и способах их решения можно узнать здесь.
Тем не менее, есть некоторые проблемы, о которых Google не сообщает вам.
Ниже приведены несколько наиболее распространенных из них, а также способы их поиска и устранения.
Бесполезные некачественные страницы в вашей карте сайта
Каждая страница в вашей карте сайта теперь должна быть индексируемой и канонической.
К сожалению, это не означает, что все эти страницы имеют высокое качество. Если у вас много контента, некоторые некачественные страницы, вероятно, попали в вашу карту сайта.
Например, взгляните на эти две страницы на сайте электронной коммерции:
Ни одна из них не представляет ценности для поисковиков, но они все еще находятся в карте сайта этого сайта, и Google проиндексировал обе страницы.
Чтобы найти эти страницы, перейдите в Аудит сайта> Дублированное содержимое.
Найдите скопления повторяющихся и почти дублированных страниц без канонических символов. Это оранжевые квадраты. Щелкните одну, чтобы просмотреть все страницы в группе.
Просмотрите страницы и посмотрите, имеют ли они какое-либо значение.
Плохо иметь на сайте страницы низкого качества по трем причинам:
Они тратят краулинговый бюджет . Заставлять Google тратить время и ресурсы на сканирование бесполезных некачественных страниц - не лучший вариант. Вместо этого они могли бы тратить это время на сканирование более важного контента. (Для справки, Google заявляет, что краулинговый бюджет - это «не то, о чем большинство издателей должно беспокоиться».)
Они «крадут» авторитет ссылок с более важных страниц. Между авторитетом страниц и их рейтингом существует явная корреляция.Внутренние ссылки на некачественные страницы служат только для ослабления авторитета, который может перетекать на более важные страницы. (Интересно, что когда мы удалили почти сообщений из блога Ahrefs, мы увидели увеличение трафика, а не уменьшение.)
Они приводят к ухудшению взаимодействия с пользователем. Нет никакой ценности для посетителей, попадающих на эти страницы. Посетителей раздражает кликать по ним, и они могут в конечном итоге отскочить, если посчитают ваш сайт некачественным и запущенным.
В общем, лучший способ действий - удалить некачественные материалы с вашего веб-сайта, а затем и с карты сайта.Если вы делаете это, не забудьте удалить все внутренние ссылки на эти страницы. В противном случае вы замените одну проблему (некачественные страницы) на другую (неработающие ссылки).
Помимо дубликатов и почти дубликатов, вы также можете искать страницы с тонким содержанием.
Просто проверьте отчет «На странице» в Site Audit, чтобы найти страницы с предупреждением «Мало слов».
Страницы, случайно исключенные из вашей карты сайта
Если вы использовали какой-либо из рекомендованных выше методов для создания карты сайта, страницы с noindex или каноническими тегами (не ссылающимися на себя) не будут включены.
Это хорошо. Не следует включать в карту сайта канонизированные URL-адреса или неиндексированные страницы.
Тем не менее, если у вас есть ложные теги noindex на вашем сайте, страницы могут быть исключены случайно.
Чтобы проверить наличие ошибок, перейдите к отчету «Индексируемость» в Site Audit и щелкните предупреждение «Страница Noindex». Это показывает все неиндексированные страницы.
Большинство из них, скорее всего, не будут индексироваться намеренно, но стоит просмотреть список, чтобы еще раз проверить. Обычно мошеннические теги noindex легко обнаружить, поскольку они присутствуют во всем подразделе вашего сайта.
Если вы видите какие-либо страницы, которые не следует индексировать, удалите со страницы мошеннический тег noindex и добавьте его в карту сайта. Если вы используете CMS или плагин, это должно происходить автоматически.
PRO TIP
Также стоит проверить наличие ложных канонических ссылок и переадресации. Для этого перейдите в проводник данных и добавьте эти фильтры:
Проверка на ложные канонические файлы.
Проверка на мошеннические перенаправления.
Удалите все ложные канонические ссылки и перенаправления, затем добавьте затронутые страницы в свою карту сайта.
Часто задаваемые вопросы
Вот несколько ответов на часто задаваемые вопросы о картах сайта. Сообщите нам, если у вас есть вопрос, на который нет ответа в этом разделе, и мы добавим его.
Вам нужна карта сайта для AMP-страниц?
Нет.
@ Kfowler325 Нет необходимости в файлах Sitemap для AMP-страниц - нам достаточно ссылки rel = amphtml. - 🍌 John 🍌 (@JohnMu) 13 октября 2016 г.
Как создать карту сайта для веб-сайта электронной коммерции?
Вы создаете карту сайта для веб-сайта электронной коммерции так же, как и для любого другого сайта.Тем не менее, стоит проверять наличие повторяющихся и почти повторяющихся страниц на сайтах электронной коммерции, поскольку они часто проскальзывают через сеть в большом количестве благодаря радостям многогранной навигации.
Заключительные мысли
Создание карты сайта - это не ракетостроение, особенно если вы используете плагин, который делает за вас тяжелую работу. Создать его с нуля тоже несложно - просто просканируйте свой сайт и отформатируйте полученные списки URL-адресов.