Карта сайта xml: Sitemap.xml или карта сайта — руководство для новичков

Правильная карта сайта ускоряет индексацию в 3,14 раз

Карта сайта (sitemap) — это html страница сайта или специальный xml файл, в котором отражены ссылки на все важные страницы сайта. Чтобы понять, что такое карта сайта, достаточно представить книжное оглавление и сразу же станет ясно, зачем нужна карта сайта. Карта сайта помогает посетителю, будь это человек или поисковый робот, быстро найти любую страницу сайта, совершая минимальное число переходов. На простых, небольших сайтах все страницы могут быть доступны через 1-2 клика от главной страницы, но что делать, если сайт большой и структура его непроста? Подобный сайт будет неудобен не только посетителям, но и неочевиден для поисковых систем.

Какие бывают карты сайта

Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы сайта проиндексируются пройдут многие месяцы. Значит, необходимо создать карту сайта, на которой будут все ссылки на все страницы сайта сразу, чтобы робот не тратил время на переходы по уровням вложенности, верно? И да и нет. Ответ зависит от того зачем делается карта и какой она будет. Давайте рассмотри, какие бывают карты сайта.

Карта сайта HTML Sitemap

Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.

Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.

Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.

HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.

Карта сайта XML Sitemap

XML карта сайта — это файл формата xml, вида sitemap.xml, который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта, который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок. Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.

Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.

Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.

Пример файла карты сайта sitemap.xml

Правильный sitemap.xml должен иметь кодировку UTF8. Содержимое файла карты сайта sitemap.xml выглядит следующим образом:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
  <loc>http://mysite.ru/</loc>
  <lastmod>2014-09-18T18:54:13+04:00</lastmod>
  <changefreq>always</changefreq>
  <priority>1.0</priority>
 </url>
 <url>
  <loc>http://mysite.ru/category/</loc>
  <lastmod>2014-09-18T18:57:09+04:00</lastmod>
  <changefreq>hourly</changefreq>
  <priority>0.8</priority>
 </url>
 <url>
  <loc>http://mysite.ru/page/</loc>
  <lastmod>2014-09-18T18:59:37+04:00</lastmod>
  <changefreq>daily</changefreq>
  <priority>0.6</priority>
 </url>
</urlset>

Где используются следующие обязательные теги:

• <urlset> — родительский тег, в него заключаются все url-адреса;
• <url> — тег, в котором указываются сведения о конкретном url-адресе;
• <loc> — в данном теге указывается непосредственно url.

Далее, следуют необязательные теги:

• <lastmod> — этот тег заключает в себе дату последнего изменения страницы;
• <changefreq> — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;
• <priority> — указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.

Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <sitemap>
  <loc>http://mysite.ru/sitemaps/sitemap01.xml</loc>
  <lastmod>2014-09-18T18:54:13+04:00</lastmod>
 </sitemap>
 <sitemap>
  <loc>http://mysite.ru/sitemaps/sitemap02.xml</loc>
  <lastmod>2014-09-18T18:54:13+04:00</lastmod>
 </sitemap>
</sitemapindex>

Здесь используются уже знакомые нам теги <loc> и <lastmod>, а так же обязательные теги:

• <sitemapindex> — родительский тег, в который заключаются адреса всех карт сайта;
• <sitemap> — тег, в котором заключается параметры для каждой карты сайта.

Пример файла карты сайта sitemap.txt

Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:

1. http://mysite.ru/
2. http://mysite.ru/page/
3. http://mysite.ru/page1/

Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.

Как создать карту сайта

Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта. Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.

Как уже было написано выше — файл карты сайта размещается в корне сайта. Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта, провести анализ карты сайта на корректность, соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.

Второй способ указать поисковым системам на расположение файла карты сайта — это директива Sitemap файла robots.txt.

Указание ссылки на карту сайта в robots.txt:

Sitemap: http://mysite.ru/sitemap.xml

В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.

Основные способы создания карты сайта

1. Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
2. Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Напрмер xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
3. Скачать программу-генератор карты сайта. Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
4. Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс).
5. Создание карты сайта вручную.

Карта сайта — один из важнейших инструментов SEO оптимизации сайта. Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.

Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.

Что такое sitemap.xml и чем карта сайта помогает в продвижении

В прошлый раз я рассказывал про файл robots.txt, а в этой статье я поведаю о его хорошем друге, файле sitemap.xml. Файл sitemap называют картой сайта – она помогает ориентироваться поисковым роботам среди папок и документов вашего ресурса.

А как выглядит sitemap.xml, мы сейчас подробно разберем.

Предназначение sitemap.xml

Существует еще и HTML-карта сайта, но она нужна пользователям ресурса, а не роботам. Поскольку данный формат устарел, говорить о нем мы не будем. Просто знайте, что есть еще и HTML-карта, но ее путайте ее с файлом sitemap.xml.

В каких случаях нужна карта сайта

• сайтам без хлебных крошек (навигационных цепочек),
• сайтам с большим количеством страниц,
• сайтам, на которых есть страницы с глубокой вложенностью, например, «Главная/Каталог/Видео» или «Фото/Видеокамеры/Экшн-камеры/GoPro/GoPro 7».

Если у робота перед глазами будет карта, он без проблем доберется до GoPro 7, а также до других мелких аксессуаров. 

Требования к файлу

Яндекс рекомендует создавать карту сайта в XML-формате. Также поддерживается и формат TXT. В txt-формате карта сайта сообщает только адреса. Она выглядит следующим образом:

https://www.example.com/page1.html

https://www.example.com/page2.html

Но я прислушаюсь к рекомендациям Яндекса и создам файл в формате XML.

В формате XML вы можете указать роботу:

• адрес страницы,
• дату последнего обновления,
• частоту изменения страницы,
• приоритет страницы.

Пример файла в формате XML:

<?xml version="1.0" encoding="UTF-8"?>

    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 

        <url>

            <loc>http://www.example.com/page1.html</loc>

            <lastmod>2005-01-01</lastmod>

            <changefreq>monthly</changefreq>

            <priority>0.8</priority>

        </url>

        ...

    </urlset>

Кодировка файла должна быть UTF-8. Файл не должен превышать 50 мегабайт и содержать более 50000 страниц. Файлов может быть несколько.

Как sitemap.xml влияет на SEO

Я уже говорил, в каких случаях необходима карта сайта. Но что если у вас небольшой сайт, страниц на 20, с хлебными крошками и неглубокой вложенностью? Если вы не создадите файл, то после добавления сайта в Google Search Console и Яндекс.Вебмастер вы увидите ошибку, что данного файла не хватает. Из-за этой ошибки поисковики могут пессимизировать ваш сайт. Как мы знаем, чем меньше ошибок на сайте, тем он успешнее в продвижении. Не стоит дразнить поисковики.

Создаем карту сайта быстро и бесплатно

В создании карты сайта нет никаких сложностей. Вбиваем в поисковой строке «сгенерировать сайтмап» и переходим в любой онлайн-генератор. Например, MySiteMapGenerator.

Вбиваем адрес сайта и переходим к созданию файла. Вводим капчу и ожидаем. До 500 страниц – создание бесплатно.

Затем скачиваем файл, переименовываем его в sitemap.xml и закидываем в корень сайта. Осталось только сообщить поисковикам, что на вашем сайте появилась карта.

Сообщаем поисковикам, что на сайте есть sitemap.xml

В Яндекс.Вебмастере переходим в «Индексирование – Файлы Sitemap» и добавляем ссылку. Если вы добавили сайтмап в корень сайта, то ваша ссылка будет похожа на мою:

То же самое делаем в Google Search Console.

Хочу добавить, что существуют плагины для CMS, которые позволяют один раз создать данный файл и навсегда о нем забыть. Установив такие плагины, вам не придется время от времени обновлять карту сайта, потому что это будет происходить автоматически. 

Файл sitemap.xml – важная часть оптимизации сайта. Главное, не путать поисковых роботов, закрывая страницу в robots.txt и в то же время прося ее проиндексировать в sitemap.xml. Следите за актуальностью своей карты, и тогда ваш сайт будет ждать успех в продвижении.

что такое sitemap.xml и как ей пользоваться — БЛОГ ADVENTUM

Попробуем разобраться, как пользоваться XML-картами.

Когда вы загружаете XML-карту, вы подсказываете поисковикам информацию о страницах вашего сайта. XML-карта добавляется в Google Search Console или Яндекс.Вебмастер.

XML-карта делает индексацию сайта разумнее, но поисковики относятся к ней как к подсказке, а не руководству к действию.

Помимо XML-карты есть еще два способа работы с индексацией, которые дополняют XML-карту:

Файл robots.txt. Это обычный текстовый файл. Создайте и положите его в корневую папку вашего сайта. Robots.txt запрещает или разрешает поисковикам индексировать разделы сайта или отдельные страницы. Принцип работы хорошо объяснили в Яндексе:

Мета-тег robots. Тег помогает понять поисковикам, можно ли индексировать именно эту страницу и переходить по ссылкам, которые она содержит.

Мета-тег прописывается в шапку страницы и имеет четыре значения:

• Index – можно индексировать
• Noindex – нельзя индексировать
• Follow – можно переходить по ссылкам на странице
• Nofollow – нельзя переходить по ссылкам

Значение можно использовать в паре:

Значения не чувствительны к регистру и их можно комбинировать.

Нельзя одновременно добавлять страницу в XML-карту и robots.txt: так вы отправите поисковик индексировать запрещенную к индексации страницу. Если не хотите индексировать отдельную страницу, пропишите “noindex,follow”. Если вы прописали “noindex,follow”, не добавляйте такую страницу в XML-карту.

Принцип оценки сайта неизвестен: алгоритмы ранжирования постоянно меняются. Яндекс и Гугл дают общие советы:

• Думать о пользователях, а не поисковиках. Дизайн и контент должны быть удобны человеку.
• Привлекать людей только по тем запросам, на которые сайт дает ответы.
• Не накручивать рейтинг искусственно.

• Обслуживающие страницы (utility pages).
• Целевые страницы (landing pages).

Обслуживающие страницы упрощают работу с сайтом, но сами по себе посетителю не нужны. Чаще это элементы интерфейса и страницы без уникального контента. Запретите поисковикам индексировать вспомогательные страницы: запретите индексацию в robots.txt или пропишите мета-тег “noindex,follow”. Не указывайте их в XML-карте.

Целевые страницы. Это страницы, которые посетитель ищет целенаправленно: каталог товаров, тематические статьи и т. д. Не блокируйте их в robots.txt или мета-тегом “noindex”. Обязательно укажите их в XML-карте.

Допустим, есть сайт на 1000 страниц, 10 из которых — целевые. Если поисковик отправит посетителя на одну из 10 страниц, то скорее всего посетитель уйдет на одну из 990 страниц, где нет полезной информации. Посетитель уйдет с сайта и не решит проблему. Зачем поисковику отправлять посетителя на такой сайт?

Теперь представим, что целевых и обслуживающих страниц на сайте поровну:

• 500 целевых страниц
• 500 вспомогательных страниц

Страницы, которые вы укажете в XML-карте, поисковики расценят как целевые. Могут сложиться две ситуации:

Поисковик с радостью продвинет сайт в выдаче, ведь для него сайт состоит из 500 полезных страниц. 500 вспомогательных страниц не участвуют в индексации и не сказываются на качестве сайта.

Поисковик не захочет продвигать такой сайт. Он по-прежнему хорошо оценит целевые страницы, но качество сайта пострадает: обслуживающие страницы поисковик расценит как целевые. Поскольку обслуживающие страницы не несут пользу, поисковик оценит их на «тройки» и «двойки».  Качество сайта пострадает, его позиция в выдаче будет ниже.

Страницы, которые не указаны в XML-карте, все равно могут индексироваться, поэтому может повториться вторая ситуация.

Чтобы увидеть индексируемые страницы, вбейте в Яндексе или Гугле «site:search». Вы быстро найдете вспомогательные страницы: как правило они идут в конце выдачи. Если таких страниц немного, заблокируйте их мета-тегом «noindex,follow» или в robots.txt.

Пример использования site:search 

А вот выявленная страница, которая не несет пользы для посетителя:

Используйте Robots.txt, чтобы запретить индексацию целых разделов. Поисковики ничего не будут там индексировать или переходить по ссылкам. Страницы заблокированного раздела не передают свой вес другим страницам и не показываются в поисковой выдаче.

Здесь блокируются страницы, которые являются скриптами: мы не хотим, чтобы такие страницы передавали ссылочный вес другим сайтам и индексировались как целевые страницы.

Можно прописать «disallow: /scripts/», тогда все скрипты в папке «scripts» не будут индексироваться.

Чтобы отдельные страницы не индексировались, но передавали вес, пропишите мета-роботов “noindex,follow”.

Страница «Свяжитесь с нами» — обслуживающая страница, но у нее большой ссылочный вес: на нее часто кликают. Поскольку это обслуживающая страница, мы не хотим ее индексировать, но хотим, чтобы она передавала свой вес другим разделам сайта. Чтобы запретить индексацию и не потерять ссылочный вес, мы прописываем для этой страницы “noindex,follow”.

Есть тонкость: не используйте robots.txt для того, чтобы спрятать личную информацию пользователей. На эту информацию могут вести посторонние ссылки, и информация будет высвечена в поисковой выдаче. Пропишите мета-тег “noindex,follow” в шапке страницы.

Если сайт большой, поисковики могут постоянно его индексировать. Это может повлиять на скорость работы сайта.

Если вы хотите в первую очередь проиндексировать часто обновляющиеся разделы, блог или продуктовые категории, укажите их в XML-карте. Так вы подскажете поисковику, что считаете эти страницы более приоритетными. Поисковик проиндексирует их в первую очередь, а оставшиеся целевые страницы проиндексирует позже.

В этом примере в XML-карте перечислено 2698 страниц, но Гугл проиндексировал только 1155.

Google Search Console покажет число проиндексированных страниц, но не сами страницы.

Допустим, у вас электронный магазин на 125 000 страниц. Все страницы целевые и делятся на 3 категории:

• 100 000 продуктовых страниц
• 20 000 подкатегорий товара
• 5 000 страниц категорий товара

Вы отправляете XML-карту на 125 000 страниц, но поисковик индексирует только 87 000 страниц. Как найти непроиндексированные страницы?

Создайте отдельные XML-карты для каждой категории страниц. Можно даже создать XML-карты для подкатегорий (XML-карта для 5 000 товаров — XML-карта для 4000 пылесосов и XML-карта для 1000 компьютеров). Добавьте одни и те же продуктовые страницы в разные XML-карты — ничего страшного не будет.

Так вы получите индексацию, близкую к 100%. Если индексация далека от 100%, нужно проработать сами страницы: добавить описание, увеличить вес ссылок. Вы можете обнаружить, что есть товарные категории без товара. Для таких категорий лучше прописать “noindex,follow” (не индексировать страницу, но переходить по ссылкам в ней) и убрать из XML-карты.

Чтобы выявить проблему, создайте XML-карту по каждой товарной категории, но с небольшой выборкой — 100 страниц в каждой категории достаточно.

Проблемы могут быть такими:

• Страницы без картинок не индексируются поисковиком
• Страницы со слишком коротким описанием (менее 200 слов уникального описания) не индексируются
• Страницы без комментариев не индексируются

Ваша цель — обнаружить проблемные элементы, которые мешают индексации. Используйте общий процент индексации каждой XML-карты для обнаружения проблемных элементов.

Допустим, страницы не индексируются из-за описания: всего 100 000 страниц, и одна пятая часть, 20 000 страниц, содержит слишком короткое описание. Расширьте описание или запретите индексацию через “noindex,follow”. Если страницы не привлекают много трафика, а описание вы берете с сайта производителя, то не тратьте время на описание для всех 20 000 страниц. Уберите их из индексации: поисковик все равно их не проиндексирует, а они только ухудшат качество сайта. Не забудьте исключить эти страницы из XML-карты.

Если у вас сайт на 100 000 страниц, как постоянно отслеживать: надо ли добавить или исключить страницу из XML-карты?

XML-карты не обязаны быть статичными файлами или иметь расширения .xml. Используйте автоматический генератор XML-карт.

В генераторе вы можете задать правила, по которым страница попадет в XML-карту или ей присвоится “noindex,follow”. Возвращаясь к нашему примеру: как только вы увеличите описание с 50 слов до 200, страница автоматически попадет в XML-карту и ей присвоится уже “index,follow”.

У Яндекса есть инструкция, как это сделать. Если у вас много видеоматериалов и вы используете собственный плеер, вам следует проиндексироваться.

1. Пользуйтесь XML-картами. Они помогают поисковикам лучше понять структуру вашего сайта.
2. Делайте сайт для людей, а не поисковиков. Продумайте дизайн, создавайте актуальный контент.
3. Аккуратно работайте с robots.txt и мета-тегами robots. Не отправляйте поисковик на заблокированные страницы.
4. Поймите, какие страницы целевые, а какие — вспомогательные. Целевые индексируйте, вспомогательные закрывайте в robots.txt или посредством “noindex,follow”.
5. Используйте в поисковике «site:search», чтобы увидеть все индексируемые страницы. Выявите вспомогательные страницы, добавьте их в robots.txt или пропишите “noindex,follow”.
6. Создавайте несколько XML-карт, чтобы выявить проблемы с индексацией.
7. Используйте XML-генераторы для создания динамичных XML-карт.
8. Используйте XML-карты для видео.

Желаем успехов!

По материалам moz.com

что такое xml и html карта сайта

Картой сайта (sitemap) — это список ссылок страниц веб-ресурса, предназначенный для пользователей или поисковых роботов. В sitemap не обязательно включаются все страницы сайта, например, могут исключаться различные непродвигаемые, вспомогательные страницы — страница обратной связи, регистрации на сайте, подтверждения заказов.

Типы карт сайта

HTML карта сайта

Карта в таком формате публикуется на сайте, как и любая другая страница. Ссылку на нее, как правило, размещают в верхней части шапки или в футере. Такая карта предназначается для посетителей сайта и по структуре представляет собой обычную страницу, сверстанную посредством HTML. Рекомендуется делать понятную структуру списка со ссылками. Т. е. пользователь должен видеть, какие разделы существуют на сайте, какие подразделы в них входят. Обычно это делают посредством форматирования (отступов, вариации шрифтов и др.). По своей смысловой нагрузке это аналог содержания, которое публикуется в книгах. Ссылки указываются в карте сайта в иерархическом порядке, включая разделы, подразделы, публикации и др.

Функции sitemap.html

Упрощение навигации. Быстрый переход на нужную страницу не всегда возможен из-за сложной многоуровневой структуры веб-ресурса, неправильной организации меню, плохой ориентации пользователя на сайте и других причин. Наличие единого списка всех страниц дает возможность быстрого поиска нужного раздела. Пользователь легче находит искомое, а это повышает его лояльность к сайту, увеличивает время пребывания и число внутренних переходов. Все это полезно для продвижения, поскольку поисковики учитывают поведенческие факторы. Для коммерческих ресурсов удержание пользователя нередко имеет прямую связь с прибылью.

Повышение дружелюбности интерфейса. Наличие карты сайта является своего рода хорошим тоном при разработке навигационной системы и грамотной организации веб-ресурса. Это свидетельствует о том, что владелец заботится об удобстве пользователя, стремится создать максимально дружелюбный интерфейс.

Перелинковка страниц. Имея отдельную карту сайта, вы обеспечиваете минимум по одной внутренней ссылке на все разделы. Сама sitemap является непродвигаемой, а определенный вес другим страницам она передает.

XML карта сайта

Данный вид карты сайта предназначается для поисковых систем. Она существует в виде XML-файла, который находится в корне сайта. Доступность этой карты прописана в robots.txt. Важно указать ссылку на XML-карту в панели вебмастеров. Рекомендуется указывать не более 50 тысяч ссылок в XML-карте, но для интернет-магазинов зачастую требуется гораздо больше. В этом случае создается несколько XML-файлов. Размер XML не должен превышать 10 Мб.

Особенности XML

XML-карта должна содержать:

• адрес страницы сайта;
• дату ее последнего обновления;
• частоту обновления;
• значимость страницы – робот поочередно загружает страницы с учетом значения коэффициента от 0.0 до 1.0.

Поисковики анализируют карту сайта и заходят сначала на важные и/или обновленные страницы, что способствует улучшению индексации.

Поисковые роботы переходят по внутренним ссылкам, постепенно индексируя страницы, которые находят. Но это не означает, что они посетят все разделы и публикации, имеющиеся на сайте. Поиск может прерваться из-за плохой внутренней перелинковки и прочих факторов, придется ждать, пока робот снова зайдет на ваш веб-ресурс. Наличие ссылок на все страницы на отдельной sitemap улучшает и ускоряет индексацию, что полезно для продвижения.

Способы создания карты сайта

Плагины. Многие CMS имеют специальные плагины, которые позволяют автоматически формировать карты обоих форматов. Использование данного способа удобно тем, что существует большой спектр полезных настроек.

Программное обеспечение. В Сети есть платные и бесплатные программы, позволяющие сгенерировать карту сайта, например SiteMap Generator, GSiteCrawler и пр. Обычно они рассчитаны на создание XML-версий. Преимущество заключается в простоте, недостаток – в необходимости постоянной перегенерации после обновления.

Онлайн-создание. Для онлайн-генерации карт сайта существуют такие сервисы как www.xml-sitemaps.com, www.freesitemapgenerator.com, https://gensitemap.ru/, https://www.mysitemapgenerator.com/ и многие другие. Как и программы, они бывают платными и бесплатными, могут иметь определенные ограничения (например, по количеству ссылок) и обычно рассчитаны на XML.

Ручное создание. Если сайт небольшой и обновляется не очень часто, можно создать и опубликовать карту сайта вручную. Для этого необходимо владеть хотя бы минимальными навыками HTML- и XML-верстки.

Какую карту сайта создавать

На качественном веб-ресурсе должны быть оба типа карт сайта, поскольку каждый из них по своему влияет на индексирование сайта.

Файлы Sitemap — Вебмастер. Справка

С помощью Sitemap можно сообщить Яндексу об актуальной структуре сайта. Подробнее о формате и требованиях см. разделе Использование файла Sitemap.

Укажите на Sitemap специальной директивой в файле robots.txt или на странице Файлы Sitemap Яндекс.Вебмастера:

1. Загрузить Sitemap
2. Обновить Sitemap
3. Удалить Sitemap
4. Вопросы и ответы

1. Перейдите на страницу Файлы Sitemap.

2. Выберите из списка сайт.

3. В поле впишите URL, по которому доступен файл. Например, https://example.com/sitemap.xml.

4. Нажмите кнопку Добавить.

После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap, обрабатывается роботом отдельно.

После загрузки напротив каждого файла вы увидите один из статусов:

Если вы изменили добавленный в Яндекс.Вебмастер файл Sitemap, его не надо удалять и загружать снова — робот регулярно проверяет файл на обновления и ошибки.

Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap, можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.

1. Выберите нужный сайт из списка.

2. Напротив нужного файла нажмите значок .

Как организовать Sitemap для большого сайта

Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.

Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap, которые часто обновляются.

Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице .

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap.

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap, при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

• Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap.

• Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

• Доступ к Sitemap запрещен в файле robots.txt, при обращении к Sitemap сервер возвращает HTTP-код, отличный от 200. Проверьте доступность файла для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.

Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.

Файл Sitemap находится в статусе «Документ не содержит текст»

Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.

Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»

Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что файл закрыт от индексирования — как правило, запрет прописан в HTTP-заголовке X-Robots-Tag. Директива запрещает файлу появляться в результатах поиска, но не влияет на обработку содержимого Sitemap. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.

Sitemap не обрабатывается

Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:

• Что Sitemap относится именно к тому сайту, для которого вы добавляете его в Вебмастер. Убедитесь, что адрес сайта совпадает: протокол (HTTP/HTTPS), наличие или отсутствие префикса www.

  
  
  
• Ответ сервера при запросе Sitemap. Если доступ к Sitemap запрещен в файле robots.txt или при обращении к нему возвращается HTTP-код, отличный от 200, файл не будет обработан роботом. Если при проверке отображается статус «Запрещен метатегом noindex», это не говорит об ошибке. Метатег noindex запрещает включение файла в поисковую базу, но не мешает роботу обрабатывать его содержимое.
• Корректность файла с помощью инструмента Анализ файлов Sitemap. Устраните ошибки, если они обнаружены.

Карта сайта sitemap.xml и .html: как создать

Что такое карта сайта?

Карта сайта — отдельная страница либо файл, где перечислены все разделы, подразделы, статьи. Напоминает каталог, в котором зафиксированы все страницы сайта со ссылками на эти самые статьи. Если сайт статичный, с небольшим количеством страниц и малой вложенностью, проблем с индексацией не возникнет. Можно обойтись и без карты.

А вот если у нас крупный интернет-магазин, где вложенность категорий может достигать пяти, важно помочь поисковым ботам разобраться в структуре и упростить процесс индексации.

Для чего нужна карта сайта? XML или HTML: какая карта лучше?

Раньше карта сайта в формате html использовалась для посетителей, чтобы облегчить им поиск нужной информации. В настоящее время в первую очередь она нужна для поисковых ботов, чтобы сообщить им о структуре сайта и упростить индексацию ресурса, если невозможно создать отдельную xml-карту.

Если структура сайта построена правильно, сайт удобен с точки зрения юзабилити, простые пользователи, как правило, не будут использовать html-карту для навигации. Все страницы, товары, статьи из блога и т.д. должны быть доступны из меню либо через поиск. Посетитель должен за несколько кликов сам находить нужную страницу, не используя для этого отдельную карту.

Основные разделы меню сайта важно вынести в подвал. Это упростит навигацию для обычных пользователей и ускорит индексацию сайта. Поисковый бот с главной страницы получит ссылки на основные разделы меню и проиндексирует их в первую очередь.

В идеальном случае пользователь должен за пару кликов попасть на любую страницу сайта. Структура вложенности должна быть понятна как для пользователей, так и для поисковых ботов. Не используйте большую вложенность страниц. Рекомендуемый параметр вложенности 3-4. Если вложенность сайта больше, есть шанс что страницы будут индексироваться очень долго, а живые пользователи на них так никогда и не попадут.

Для облегчения навигации рекомендуем установить на сайт хлебные крошки с микроразметкой. Поисковые боты видят, как связаны страницы между собой, что облегчает понимание общей структуры сайта.

Если сомневаетесь, удобно ли пользоваться вашим сайтом — пишите нам, дадим пару рекомендаций бесплатно 🙂

Карта сайта в формате xml необходима для поисковых систем — чтобы поисковый робот увидел все ссылки, которые есть на сайте и быстрее индексировал ресурс. Бот видит структуру сайта, вложенность, конкретные адреса страниц и изображений. Все это упрощает индексацию.

С помощью файла Sitemap вы можете сообщить Яндексу, Google и другим поисковикам какие страницы вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно.

Формат xml разберем позднее, сначала попробуем разобраться с форматом html.

Карта сайта HTML: 6 рекомендаций для вебмастеров

1. Размещайте её на отдельной странице, попасть на которую можно из главного меню. То есть ссылка на карту сайта должна быть видна с любой страницы сайта.
2. Структура карты должна отражать иерархию страниц сайта: в структуре должно чётко прослеживаться, где основные разделы, а где подразделы.
3. Не перегружайте карту сайта излишними картинками, лучше вообще обойтись без них.
4. Не забудьте проставить ссылки с пунктов карты на внутренние страницы сайта, чтобы поисковый бот либо посетитель смог мгновенно перейти в нужный ему раздел.
5. Следите за актуальностью карты сайта. Если из структуры удаляются какие-то страницы или, наоборот, добавляются новые, не забудьте отразить это в карте. Если это возможно, карту сайта следует сделать автообновляемой.
6. На одной странице лучше размещать до 100 ссылок, так боту будет проще индексировать страницу.

Соблюдайте эти 6 правил, и карта сайта станет отличным навигатором для поисковых ботов и посетителей.

Карта сайта sitemap.xml: зачем нужна и как ее создать для своего сайта.

Карта сайта XML – это файл, размещенный в корневой директории сайта с информацией для поисковых систем (таких как Яндекс, Google, Rambler, Bing и других) о страницах вашего сайта. Этот файл нужен, чтобы поисковым системам было легче индексировать ваш сайт.

Как работает sitemap.xml?

Заходя на сайт, поисковый робот, прежде всего, читает инструкции в файле robots.txt о том, как следует индексировать сайт. И если в нём указать, что есть карта сайта sitemap.xml, то робот перейдет по указанному адресу, где перечислены URL-адреса всех страниц сайта.

Перед созданием xml карты следует подумать, какие адреса можно передавать поисковым ботам, а какие нет. В карте не стоит размещать адреса служебных страниц: вход в админ. панель сайта, страницу поиска, страницы фильтрации, регистрации, авторизации.

Если страница создана, но контент на ней отсутствует, лучше пока не указывать ее в карте сайта.

В карте сайта допускается размещение не более 50 000 ссылок. Если страниц больше, xml карту следует разбить на несколько частей.

XML файл карты должен содержать кодировку UTF-8. Сама карта выглядит следующим образом:

Для передачи информации поисковым ботам используются следующие элементы:

• Обязательный элемент содержит адрес страницы.
• Lastmod ата последнего изменения страницы. Передает информацию боту, когда страница была изменена. Если после последнего обхода значение не изменилось, бот не будет тратить время на повторный обход страницы.
• Changefreq — частота изменения страницы. Допустимые значения: always, hourly, daily, weekly, monthly, yearly, never.
• Priority — приоритете страницы для бота. Бот загружает страницы согласно приоритету от 0.0 до 1.0. Значение не дает преимуществ при ранжировании страниц в поисковой выдаче. Это позволяет указать поисковой системе, какие страницы, по вашему мнению, более важные для индексации, а какие менее. Например, если на главной странице сайта ежедневно обновляются новости, превью статей и т.п, рекомендуем установить значение 1.0.

Содержимое карты сайта является только рекомендацией для поискового бота. Параметры индексации могут игнорироваться поисковой системой. Не забывайте об этом.

Очень важно следить за актуальностью карты сайта. Если это технически возможно, карта сайта должна быть автоматически обновляемой. Если такой возможности нет, не забывайте вручную добавлять все новые страницы сайта. Иначе весь смысл карты сайта теряется. Бот не будет знать о появлении новых страниц на сайте, что существенно замедлит индексацию в поисковиках. Трафик на такие страницы будет расти очень медленно.

После создания адрес карты сайта следует сообщить поисковому боту. Адрес указываем в файле robots.txt, директива sitemap.

Пример:

User-agent: Yandex
Allow: /
Sitemap: http://mysite.ru/my_sitemaps.xml

Вот так карта сайта sitemap.XML облегчит работу поисковику и обеспечит качественную индексацию вашему сайту.

В большинстве современных систем управления сайтом xml карта формируются стандартными инструментами CMS.

В Bitrix карта сайта настраивается в разделе Сервисы — Поисковая оптимизация — Настройки sitemap.xml

В Настройках следует задать протокол для адресов страниц — http/https. Если на сайте настроено SSL-шифрование, обязательно выбираем https — адреса страниц в карте сайта должны соответствовать основному протоколу.

Далее в разделе Файлы выбираем блоки, которые должны быть проиндексированы и размещены в XML карте. Исключаем все служебные страницы.

Вкладка Инфоблоки отвечает за разделы инфоблоков, доступных для индексации. Если в инфоблоке часто появляются новые страницы, используйте опцию Автогенерации. Карта сайта будет автоматически обновляться при размещении новой страницы в разделе.

В OpenCart переходим в раздел Каналы продвижения — Google Sitemap. После активации модуля карта сайта будет создана автоматически. По умолчанию карту будет автообновляемой. Как правило, дополнительных настроек не требуется.

Для WordPress рекомендуем использовать плагин Google XML Sitemaps, либо Yoast SEO, All in WP SEO. Установите плагин обычным способом, используя функцию Плагины — Добавить новый.

После установки плагина переходим в Настройки — XML-Sitemap.

Оптимальные настройки Google XML Sitemaps для WordPress выглядят следующим образом:

В Joomla чаще всего используются плагины Xmap, OSMap, JL Sitemap. Большинству простых небольших сайтов подойдёт бесплатная версия OSMap.

После установки компонента он появится в основном меню сайта в разделе «Компоненты». Переходим во вкладку Компоненты>>>OSMap и на карте сайта Default кликаем на значок в столбце «Edit Links». Плагин OSMap просканирует ваш сайт и создаст карту. Посмотреть можно через ссылки столбца «Sitemap Links», на той же вкладке.

Если используется нестандартная CMS, либо нет возможности подключения плагинов, рекомендуем использовать сторонние сервисы для создания карты сайта.

Как создать карту на xml-sitemaps.com:

1. Копируем адрес сайта в поле:

2. После завершения сканирования переходим сюда:

3. Нажимаем скачать карту сайта.

Перед тем как загрузить файл на сервер рекомендуем проверить и удалить все ненужные для индексации страницы. Редактировать xml карту можно с помощью Блокнота.

Нажимаем правовой кнопкой на скаченный файл с картой Открыть с помощью — Блокнот.

Создание карты с помощью программы ComparseR:

1. Запускаем сканирование сайта. Программа проанализирует сайт, найдет все страницы и покажет их в специальном окне.

2. После завершения сканирования переходим в пункт Sitemap — Создать Sitemap.xml

После чего полученный файл sitemap.xml загружаем на сервер в корень сайта.

Размещение карты сайта в вебмастерах Яндекс и Google

После создания файла с картой сайта его важно загрузить в Вебмастер.

В Яндекс.Вебмастере переходим в раздел Индексирование — Файлы Sitemap, указываем адрес карты сайта, нажимаем «Добавить». Для обработки файла потребуется некоторое время.

После индексации рекомендую проверить файл на ошибки.

В Google Search Console раздел Индекс — Файлы Sitemap, указываем адрес карты сайта, нажимаем «Добавить». Боту потребуется какое-то время на сканироание файла.

После успешной обработки файла будет доступна статистика индексации по каждой странице.

Можно отследить количество страниц в индексе, количество исключенных страниц и причины отклонения:

Если возникнут сложности, пишите нам, создадим и разместим XML карту для любого сайта.

Оптимизация Sitemap.xml для нужд SEO. Основные ошибки в xml-картах

XML карта сайта (sitemap.xml) — это файл в формате XML, в котором перечислены URL-адреса сайта, которые нужно сканировать и индексировать поисковыми системами.

Наличие xml-карт многие годы является отличной SEO практикой. Действительно, наличие качественных карт необходимо для того, чтобы поисковые системы сканировали и индексировали нужные страницы. Тем не менее, несмотря на повсеместное использование XML-карт сайта, их точное назначение не всегда полностью понимается оптимизаторами. И все еще существует некоторая путаница в отношении «идеальной» настройки карты сайта для оптимального сканирования и индексации.

1.Требования к xml-карте сайта

Если основное предназначение robots.txt – это запрет индексации, то xml-карта сайта sitemap.xml выполняет прямо противоположные задачи. Она отвечает за ускорение и полноту индексации сайта.

1.1.Основы создания XML-карт сайта

Нет необходимости подробно перечислять основы генерации XML-карт сайта, поскольку они уже неоднократно освещались в литературе. Я просто резюмирую здесь самое главное:

1. XML-карты сайта должны соответствовать официальному протоколу, иначе поисковые системы не примут файл за действительный и проигнорируют его.
2. Они должны содержать только индексируемые, канонические URL-адреса сайта, которые вы планируете для индексации.
3. Можно отправить свою карту сайта в Google, Yandex и Bing непосредственно через Google Search Console и вебмастера поисковых систем, а также сослаться на неё в robots.txt сайта.
4. Поисковая консоль Google и Инструменты для веб-мастеров сообщат об URL-адресах, включенных в XML-карты сайта, о том, проиндексированы они и есть ли с ними какие-либо ошибки или предупреждения.
5. Существуют отдельные типы XML-карты сайта для веб-страниц, изображений, видео и новостных статей.

В этой статье мы сосредоточимся в основном на XML-файлах Sitemap для стандартных веб-страниц.

Общее число sitemap.xml на сайте не должно превышать 500 (ранее было 1000), при этом число записей в каждом не должно превышать 50 000 URL. Если необходимо перечислить более 50 000 URL-адресов, следует создать несколько файлов Sitemap.

Карту сайта можно сжать gzip архиватором для уменьшения его размера. Но объем каждого сайтмапа в развернутом (разархивированном) виде не должен превышать 50 мегабайт (ранее было 10).

Карта сайта не обязательно должна быть в виде xml файла. Протокол допускает генерацию карты в виде синдикации (RSS или Atom) либо в виде простого текстового файла с построчным перечислением URL. Но такие «карты сайта» либо не включают в себя все URL сайта (в случае с синдикацией), либо не несут дополнительную важную информацию (дата и время модификации контента страниц), собственно ради которой и используют в SEO карты сайта.

Предоставляя отметку времени последнего изменения <lastmod>, вы позволяете сканерам поисковой системы извлекать только часть файлов Sitemap в индексе, то есть сканер может извлекать только те файлы (страницы) сайта, которые были изменены после определенной даты. Этот механизм частичного извлечения файлов из Sitemap.xml позволяет быстро обнаруживать новые URL на сайтах больших размеров. Кроме того это позволяет снизить нагрузку как на сервер, так и на краулер поисковой системы.

1.2. Атрибуты Sitemap

XML-карты поддерживают несколько атрибутов для каждого URL. Вот три основных атрибута:

• Дата последнего изменения (< lastmod >).
• Приоритет страницы от 0,0 до 1,0 (< priority >).
• Частота изменения содержимого URL-адреса (< changefreq >).

Многие XML-карты будут иметь все эти три атрибута, определенных для каждого URL, указанного в карте сайта. Однако большинство поисковых систем, включая Google, обращают внимание только на один из этих атрибутов: дату модификации < lastmod >. Если URL-адрес имеет дату < lastmod >, более позднюю, чем дата сканирования поисковой системой, это явный признак необходимости повторного сканирования URL.

Рекомендуется проверять наличие и точность атрибута и автоматически обновлять его при значительном изменении страницы на сайте. Большинство генераторов XML-карты сайта, например плагин Yoast SEO для WordPress, обеспечивают автоматическое обновление атрибута < lastmod > в XML-карте сайта при изменении страницы.

Два других атрибута: < priority > и < changefreq > считаются слишком «шумными», чтобы их можно было использовать в качестве правильных сигналов. Часто они устанавливаются так, чтобы попытаться обманом заставить поисковые системы сканировать страницы чаще чем необходимо, поэтому они игнорируются большинством поисковых роботов.

Рекомендуется полностью исключить эти атрибуты. Это уменьшит размер файла карты и упростит устранение неполадок с ней.

1.3. Сочетание карты сайта с robots.txt и мета-тегами robots

Инструкции sitemap.xml, robots.txt и метатегов robots при правильном их использовании должны дополнять друг друга. Существуют три важнейших правила взаимодействия этих инструкций:

• sitemap.xml, robots.txt и метатеги robots не должны противоречить друг другу;
• все страницы, исключенные (заблокированные) в robots.txt и метатегами robots, должны быть исключены также из sitemap.xml;
• все индексируемые страницы, разрешенные в robots.txt, должны содержаться в sitemap.xml

Есть и исключения из этих трех правил. Например, оптимизаторы старой школы советуют добавлять в файл sitemap.xml только  не проиндексированные или изменившиеся страницы. При этом страницы, уже попавшие в индекс, следует удалять из xml-карты.

Применять этот способ или нет — на усмотрение оптимизатора. Думается, при сравнительно небольших размерах сайта и наличии поля lastmod, никакой нужды в таких вот изысках нет.

2. Оптимизация Sitemap.xml

В документации Google по XML- Sitemap говорится, что файл Sitemap не может содержать более 50 000 URL-адресов и не должен превышать 50 МБ в несжатом виде. Если на сайте более 50 000 URL-адресов, необходимо разбить их на отдельные карты сайта и отправить так называемый индекс карты сайта — XML-карту сайта в которой перечислены другие XML-карты.

2.1. По размеру карты сайта

Для крупных веб-сайтов с сотнями тысяч или миллионами страниц, обеспечение сканирования и индексации Google всех URL-адресов, представленных в XML-файлах Sitemap, является довольно сложной задачей. Использование в каждой карте сайта 50 000 URL-адресов иногда приводит к неполному сканированию и индексированию, при этом лишь незначительная часть отправленных URL добавляется в индекс Google.

В результате исследований было обнаружено, что ограничение размеров Sitemap до 10 000 URL приводит к более полному индексированию. Предполагается, что меньшие списки URL-адресов легче обработать и сканировать для Google.

В результате предлагается крупным сайтам использовать XML-карты меньшего размера, но при этом не следует слишком «мельчить». Я видел, как некоторые сайты — миллионники ограничивают XML-карту сайта 1000 URL-адресами, при этом они получают тысячи отдельных файлов карты сайта.

Это тоже вызывает сложности, так как Google Search Console в своих отчетах показывает только 1000 файлов Sitemap, следовательно, если у вас более 1000 отдельных XML-карт, вы не сможете получить полную оценку их производительности с точки зрения индексации из GSC.

Представляется, что лучше всего ограничить файлы 10 000 записями URL. Это отличный компромисс, который обеспечивает более полное сканирование и индексацию, чем карта с 50 000 адресами, при этом не создаются ограничения для отчетов в Google Search Console.

Максимум 10 000 URL на карту сайта XML кажется хорошим промежуточным звеном между индексацией и отчетностью. Впервые это исследовал NICK EUBANKS и получил отличные результаты.

2.2. По типу контента

При проведении SEO-аудитов и анализе проблем индексации, XML-карты являются крайне полезным подспорьем. Однако, если все URL-адреса сайта просто собраны вместе в XML-Sitemap, независимо от типа контента, устранение проблем затрудняется.

Отличный способ сделать XML-карты более полезными — разделить их по типу контента, чтобы для разных типов страниц существовали разные файлы XML-карты сайта.

Например, на коммерческом сайте — магазине могут быть разные файлы карты для страниц со статическим контентом (о компании, условия использования, контакты и пр.) и страниц категорий и подкатегорий, а так же страниц продуктов.

Или, например, можно сделать отдельные файлы XML-карты для каждой категории продуктов, чтобы было возможно быстро оценить индексацию отдельных категорий.

Новостным сайтам можно создавать отдельные карты для категорий (разделов) новостей и отдельно статей в них. Так мы сможем убедиться, что Google проиндексировал каждую страницу раздела на сайте (это важно для обнаружения новых статей), в то время как достичь 100% индексации для всех отдельных статей на новостном сайте крайне сложно.

Указание статей в отдельных XML-файлах от страниц разделов поможет более эффективно устранять потенциальные проблемы и получить более точные данные об эффективности индексации обоих типов страниц.

Не забывайте, что СМИ должны иметь отдельную XML-карту для свежих новостей, в которую добавляют статьи, опубликованные за последние 48 часов.

2.3. По актуальности

Еще одним интересным подходом в оптимизации карт сайтов является консолидация URL по актуальности.

Например, все старые и не обновляемые URL мы можем собрать в отдельных картах сайта, таких как sitemap-1.xml, sitemap-2.xml, sitemap-3.xml и т.д. А все новые или обновленные статьи мы добавляем в отдельную карту, например sitemap-new.xml. Как только страница будет переиндексирована или спустя определенный промежуток времени (например 1 месяц), мы переносим URL в последний архивный sitemap, удаляя его из sitemap-new.xml.

Если какая то страница из архивных претерпела изменения, то мы удаляем её из, например, sitemap-2.xml и переносим в sitemap-new.xml, где она будет дожидаться либо переиндексации, либо определенный срок (тот же месяц) и опять будет перенесена в последнюю «архивную» карту сайта.

Таким образом, постоянной перезагрузки будет требовать только 1 карта сайта — sitemap-new.xml. Это позволяет экономить бюджет сканирования, при этом мы можем добиться крайне быстрой и полной индексации материалов сайта.

Все приведенные выше способы оптимизации можно комбинировать и модифицировать.

3. Основные проблемы с xml-картами сайтов

3.1. Мифы о сайтмапах

Распространенным заблуждением о XML-картах является уверенность в том, что они могут заменить сканирование роботом сайта. Якобы, при наличии хорошей XML-карты сайта сам сайт не обязательно должен быть полностью просканированным. В конце концов, рассуждают товарищи, что URL-адреса необходимые для сканирования перечислены в XML-карте, поэтому на сайте не обязательно должны быть ссылки на URL-адреса для сканирования. Это неверно.

Основным механизмом, с помощью которого поисковые системы обнаруживают контент, является сканирование сайта роботом. Поэтому у сайта должна быть хорошая структура внутренних ссылок, которая позволит сканерам найти все важные страницы с минимальным количеством кликов.

Что более важно, именно ссылки позволяют получить страницам PageRank (вернее InRank), без которого контент сайта не будет ранжироваться в результатах поиска.

XML- карты не заменяют внутренние ссылки. Ссылки в них не передают вес и не гарантируют индексацию и ранжирование контента. Карты являются дополнительным сигналом для поисковых систем. Они не предназначены для подмены правильной структуры сайта.

Вы должны убедиться, что сайт полностью просканирован и все URL, перечисленные в XML-карте сайта, можно обнаружить используя навигацию сайта.

Если URL указан в карте сайта, но не имеет открытых входящих ссылок, указывающих на него, маловероятно, что поисковые системы просканируют этот URL-адрес и скорее всего он абсолютно не будет ранжироваться в выдаче.

3.2. Частые ошибки в sitemap.xml

Занимаясь техническими аудитами сайтов, я очень редко вижу по настоящему правильные, безошибочные карты сайтов. Подавляющее большинство карт сайтов имеет многочисленные проблемы, среди которых наиболее часто встречаются следующие:

1. Устаревшие XML-карты сайта — т.е. несоответствие страницам сайта. Эта проблема возникает, когда сайтмап генерируется не динамически, а эпизодически, запуском какой то службы в CMS, а то и сторонними сервисами. При этом возникает масса мертвых страниц, отдающих 404 ошибку (это если страницу физически удалили или перенесли в другое место, сменили адрес URL). Кроме того, новые страницы индексируются значительно медленнее, ибо не находятся в sitemap.xml.
2. URL-адреса не в файле Sitemap. Эта ошибка очень часто обусловлена предыдущей. При этом ряд страниц сайта не попадают в карту. Это может быть сделано и специально (когда владелец не желает включать в карту ненужные или малоценные страницы). В большинстве случаев необходимо обновить XML Sitemap, чтобы добавить в карту эти страницы.
3. Включение в карты сайта неканонических, не индексируемых страниц. В картах сайта должны находится только страницы, открытые для индексации, отдающие код 200. Неканонические страницы, страницы закрытые для индексации в robots.txt или мета-тегами robots, переадресации, страницы генерирующие 404 код, 503 код и прочие — не должны находится в рабочей карте сайта.
4. Неверная структура sitemap.xml. Эта ошибка возникает, как правило, на «самописных» CMS или при использовании неверных плагинов к популярной CMS. При этом генерируется файл sitemap.xml с нарушением структуры, описанной протоколом.
5. Отсутствие или неверная работа с датой изменения записи. С точки зрения протокола — это не ошибка, так как поле lastmod не является обязательным. С точки зрения SEO и поисковых систем, отсутствие правильного значения в этом поле (совпадающее с непосредственным изменением контента) — полностью нивелирует значимость всего файла sitemap.xml. Как было сказано выше, ПС будут переиндексировать те страницы, поле lastmod которых изменилось.Что произойдет, если это поле меняется одновременно у всех записей (страниц) сайта. То есть дата модификации одинакова у всех файлов сайта. Скорее всего, ПС не будут обращать внимание на sitemap и сайт будет переиндексироваться обычным способом, при этом глубоко расположенные страницы либо не переиндексируются вовсе, либо будут переиндексироваться очень долго.Итак, Необходимо или вовсе не использовать поле lastmod (что плохо), либо ставить дату последнего значимого изменения страницы, например, когда поменялась цена или товар закончился или изменилось описание.
6. Логические ошибки, вызваны нарушением трех правил о сочетании robots.txt и sitemap.xml. В этом случае можно наблюдать постоянное попадание страницы в индекс и немедленный вылет оттуда. Однако, это не будет наблюдаться при наличии метатега noindex и записи в Sitemap.xml. В этом случае краулер (робот, паук ПС), зашедший на страницу индексировать её не будет.
7. Наличие Orphan page («осиротевших страниц»). Это такие страницы, на которые стоит ссылка из sitemap, но нет ни одной прямой ссылки с любой из страниц сайта. Либо страница, на которой стоят ссылки на «утерянную страницу» была закрыта от индексации либо она не является канонической. Часто это связано с тем, что страницы были удалены «логически» (например в WordPress помещены в корзину), а не физически. Это так же наблюдается на сайтах, где доступ к карточкам товаров сделано на скриптах и фильтрах способом, который не позволяет проиндексировать результаты работ этих скриптов. Возможны и иные причины возникновения таких страниц-сирот. Все это снижает доверие поисковых систем к сайту и является негативным сигналом ранжирования.
8. Страница одновременно расположена в нескольких файлах Sitemap Это не обязательно является ошибкой, но обычно каждый URL-адрес должен быть расположен только в одном XML-файле Sitemap.

Согласно протокола, после изменения сайтмапа, можно перепинговать поисковые системы. Для этого нужно создать запрос следующего вида:

<searchengine_URL>/ping?sitemap=sitemap_url

Обязательно добавляйте сайтмапы в вебмастера и проверяйте их на серьезные ошибки.

Показать x в результатах поиска? • Yoast

Эдвин — специалист по стратегическому контенту. Прежде чем присоединиться к Yoast, он провел годы, оттачивая свое мастерство в ведущем журнале по веб-дизайну Нидерландов.

Прежде чем поисковая система сможет оценить страницу или сообщение, она должна проиндексировать их. Сканер должен обнаружить фрагмент контента, прежде чем он сможет оценить, является ли он ценным дополнением к его индексу. Один из способов обнаружения страниц сканерами — сканирование карт сайта в формате XML.После того, как страница проиндексирована, поисковая система может ранжировать часть контента, если она лучше всего соответствует поисковому запросу пользователя. Yoast SEO позволяет легко определить, что следует индексировать.

Показать x в результатах поиска?

Определение того, что должны индексировать сканеры, а что нет, обычно бывает трудным для понимания и легко ошибиться. Вы не будете первым, кто неосознанно установил для всего типа сообщения значение noindex, что сделало бы его недоступным для поисковых систем. Мы долго и усердно думали об этом и значительно упростили для вас этот процесс.Теперь все сводится к тому, чтобы задать вам простой вопрос: Вы хотите, чтобы x отображался в поисковых системах ?

Вы можете найти отдельные настройки, позволяющие сделать ваш контент доступным для индексации, в соответствующих частях Yoast SEO. Вы можете найти настройки для сообщений и страниц в части «Типы контента» на вкладке «Внешний вид в поиске». Таксономии, такие как категории и теги, можно найти на вкладке «Таксономии».

Например, сказав Да на вопрос «Показывать сообщения в результатах поиска» в настройках сообщений, вы убедитесь, что ваши сообщения будут отображаться в XML-карте сайта и, следовательно, в результатах поиска.

Если вы хотите что-то исключить, вы можете переключить этот переключатель на Нет, и таксономия или тип сообщения не будут отображаться в XML-карте сайта. Из-за этого он не будет отображаться в результатах поиска. Каждый раз, когда вы устанавливаете что-то здесь, чтобы оно не отображалось в поисковых системах, оно не будет индексироваться и будет сохранено в XML-карте сайта.

Подробнее: Почему Google неправильно индексирует мой контент? »

Исключить отдельные сообщения

Если вы действительно не хотите, чтобы конкретный URL отображался в результатах поиска, вам нужно добавить noindex , следуйте тегу . Если исключить его из карты сайта XML, это не означает, что Google не проиндексирует этот URL автоматически. Если Google может найти его по ссылкам, Google может проиндексировать URL.

Вы также можете исключить отдельные сообщения из XML-карт сайта из мета-поля Yoast SEO в редакторе сообщений.Перейдите на вкладку «Дополнительно» и выберите «Нет» в ответ на вопрос «Разрешить поисковым системам показывать это сообщение в результатах поиска?».

Просмотр XML-карты сайта

Вы всегда должны проверять свою карту сайта, чтобы увидеть, отображается ли контент, который вы хотите включить, в карту сайта XML. Пока вы там, вам также следует проверить, не отображается ли в нем контент, который вы хотите исключить из карты сайта.

Вы можете найти свою XML-карту сайта, выбрав Общие> Возможности> XML-карты сайта>? (нажмите на вопросительный знак).

Мы устранили много путаницы, связанной с индексированием контента и XML-карт сайта, упростив вещи. Но, что самое главное, теперь стало намного проще определять, что должно, а что не должно появляться в результатах поиска.

Подробнее о XML-файлах Sitemap

XML — это своего рода карта сокровищ для роботов поисковых систем. Они сканируют их, чтобы обнаружить новый или обновленный контент на вашем сайте. Каждый сайт получает выгоду от карты сайта.Ваш рейтинг не вырастет, если вы его добавите, но это поможет сканерам намного легче находить ваш контент. Если вам нужна дополнительная информация об использовании файлов Sitemap в формате XML на вашем сайте, у нас есть для вас дополнительная литература:

Продолжайте читать: Что такое карта сайта XML и зачем она вам нужна? »

Читайте дальше: Смысл и бессмыслица XML-карты сайта »

Продолжайте читать: полезные сведения о XML-карте сайта для разработчиков »

Станьте профессионалом Yoast SEO

Смысл и бессмыслица XML-карт сайта • Yoast

Михиэль был одним из наших первых сотрудников и раньше был партнером Yoast.Начните оптимизацию своего сайта с его статей!

Факт: если ваш веб-сайт настроен правильно, вам вообще не понадобится XML-карта сайта. Вам не нужно использовать , чтобы думать о XML-файлах Sitemap вашей категории или о включении изображений в XML-карту сайта вашего сообщения. Но почему мы продолжаем говорить о них, как о самом важном для SEO? Это почти ежедневная тема нашей поддержки. Возможно, это потому, что это удобный список всех страниц вашего веб-сайта.Имеет смысл, что Google может сканировать все страницы вашего веб-сайта, если вы разместите их на одной странице, верно?

Google почти человек

В последние годы мы много говорили о том, чтобы Google стал, так сказать, более «человечным». Google неплохо умеет имитировать поведение пользователя на веб-сайте и использует эти знания в своих методах ранжирования. Если ваш веб-сайт удобен для пользователя и дает пользователям ответы, которые они искали в Google, скорее всего, ваш веб-сайт будет хорошо отображаться на страницах результатов поиска.

Структура — это карта сайта на вашем сайте

В процессе настройки вашего веб-сайта вы должны посмотреть на ключевые слова, которые вы хотите адресовать, и преобразовать их в правильную структуру сайта. Используя, например, инструмент внутренних ссылок в нашем плагине Yoast SEO, вы можете создавать структурированные ссылки на все страницы вашего сайта. Это просто означает, что Google может переходить по всем ссылкам и находить все страницы. Это означает, что вы создали на своем веб-сайте отличную инфраструктуру для поисковых систем.

Но почему в таком случае я должен использовать карты сайта XML?

Sitemap, как HTML, так и XML, пригодятся, если честно говоря, структура вашего сайта и структура внутренних ссылок не так хороши. Когда вы имеете дело с огромным беспорядочным наследством предыдущего владельца, годами написания (более или менее неструктурированного) контента или если вы просто не задумывались о внутренних ссылках, ваша XML-карта сайта, вероятно, спасет вам жизнь.

Помимо указания Google на всех вашего контента, карты сайта XML могут также оптимизировать сканирование вашего веб-сайта ботом поисковой системы.Карты сайта XML должны включать дату последнего изменения. Эта дата немедленно сообщит поисковой системе, какие страницы следует сканировать, а какие не изменились с момента последнего сканирования и могут быть исключены из этого сканирования. Это огромное преимущество использования карт сайта XML.

Анализ карты сайта XML

В разделе Sitemap в Google Search Console вы можете найти ошибки в своих файлах Sitemap. Страницы, на которые есть ссылки, но не работают. В справочной документации Google Search Console есть огромный список возможных ошибок.

Кроме того, важно проанализировать типы имеющихся у вас XML-файлов Sitemap. Вы можете найти их в Google Search Console и в разделе SEO ›XML Sitemaps нашего плагина. В WordPress карты сайта создаются для типов записей и таксономий, и иногда для всего этого вам просто не нужна карта сайта XML. Наши специалисты по поисковой оптимизации сталкиваются с веб-сайтами, на которых есть карты сайта в формате XML для типов фильтров (например, в интернет-магазинах) или для размеров и тому подобного. Если эти «страницы» не имеют смысла для пользователя, во что бы то ни стало, исключите этот тип контента из результатов поиска в нашем плагине Yoast SEO.Обслуживайте только важные карты сайта.

Есть причина, по которой Google включил раздел карты сайта XML в Google Search Console. Google любит знать каждую страницу вашего сайта. Они хотят видеть все, чтобы увидеть, содержит ли это интересная информация, чтобы отвечать на поисковые запросы их пользователей. Ваша карта сайта в формате XML — это как дорожная карта для всех различных POI на вашем сайте, для всех туристических достопримечательностей. И да, одни интереснее других. В прошлом году карты сайта XML, обслуживаемые нашим плагином, содержали процент приоритета.Активные пользователи нашего плагина иногда запрашивали возможность изменить этот процент, но мы так и не дошли до этого. Мы решили полностью удалить процент, поскольку он просто не работал должным образом — со стороны Google. Это еще больше подчеркивает, что это просто список страниц . Тем не менее, удобный список.

Должен ли каждый веб-сайт иметь карту сайта в формате XML?

Возможно, я уже ответил на этот вопрос. Да , я думаю, что на каждом веб-сайте должна быть карта сайта в формате XML.Или несколько карт сайта XML, чтобы предоставить множество ссылок в лучшем формате. Это способ убедиться, что поисковые системы находят каждую страницу вашего сайта, независимо от того, насколько беспорядок вы делаете на своем сайте. Но вам действительно стоит приложить все усилия, чтобы сделать эту XML-карту сайта дополнительным , а не необходимым .

Если возможность сканирования вашего веб-сайта зависит от вашей XML-карты сайта, у вас есть гораздо более серьезная проблема. Я действительно так думаю. Надеюсь, вы все еще можете вернуться к чертежной доске и потратить немного денег на хороший тренинг по исследованию ключевых слов.Реструктуризация сайта. Используйте наш внутренний инструмент для создания ссылок при повторном переходе по наиболее посещаемым страницам и вставьте правильные ссылки. А затем, когда большая часть ваших страниц будет доступна через сам веб-сайт, положитесь на эту приятную, удобную XML-карту сайта, которая обслужит Google любые забытые остатки и поможет вам еще больше оптимизировать сканирование вашего веб-сайта.

Подробнее: Учебник по WordPress SEO: полное руководство по повышению рейтинга »

XML Sitemap: полное справочное руководство

XML Sitemap вкратце

XML-карта сайта — это специальный документ, в котором перечислены все страницы веб-сайта, чтобы предоставить поисковым системам обзор всего доступного содержания.

Настоятельно рекомендуется внедрить XML-карту сайта, особенно на крупных веб-сайтах (более 500 страниц).

При внедрении XML Sitemap придерживайтесь следующих рекомендаций:

• Поддерживайте актуальность XML-файла Sitemap в соответствии с содержанием своего веб-сайта.
• Убедитесь, что он чистый: должны быть включены только индексируемые страницы.
• Ссылка на XML-файл Sitemap из файла robots.txt.
• Не указывайте более 50 000 URL в одном файле Sitemap XML.
• Убедитесь, что размер (несжатого) файла не превышает 50 МБ.
• Не зацикливайтесь на свойствах lastmod, priority и changefreq.

Что такое XML-карта сайта?

XML-карта сайта — это специальный документ, в котором перечислены все страницы веб-сайта, предназначенный для поисковых систем. Сравните это с телефонной книгой: она сообщает поисковой системе, какой контент доступен и как до него добраться. Кроме того, может быть предоставлена ​​некоторая дополнительная информация, например, когда контент был обновлен в последний раз и какова относительная важность контента.

  


 https://www.contentkingapp.com/ 
 2017-06-14T19: 55: 25 + 02: 00 


 https://www.contentkingapp.com/blog/ 
 2016-06-24T10: 23: 20 + 02: 00 

  

  
 https://www.contentkingapp.com/ 
 2017-06-14T19: 55: 25 + 02: 00 
  

  Карта сайта: http://www.example.com/alternativelocation/alternativefilename.xml  

  

<карта сайта>
 http: // www.example.com/sitemap1.xml.gz 
 2004-10-01T18: 23: 17 + 00: 00 

<карта сайта>
 http://www.example.com/sitemap2.xml.gz 
 1 января 2005 г. 

  

  <карта сайта>
 http://www.example.com/sitemap1.xml.gz 
 2004-10-01T18: 23: 17 + 00: 00 
  

  Карта сайта: http://www.example.com/alternativelocation/alternativefilename.xml  

  

   
       https://www.example.com 
       06.10.2017 
       еженедельно 
       0,9 
      
      
   
  

  
<карта сайта>
 https://www.example.com/sitemap1.gz 
 31 декабря 2017 г. 
<карта сайта>
 https://www.example.com/sitemap2.gz 
 01.10.2017 
  

  

    
         http://www.example.com/sample-page 
        <изображение: изображение>
            <изображение: loc> http: // www.example.com/image.jpg 
        
        <изображение: изображение>
             http://www.exampe.com/image2.jpg