Как создать sitemap xml – Создание sitemap xml, правильный сайтмап для Яндекса и Google

HTML, XML, TXT, как создать, добавить в Яндекс и Google вебмастер

Sitemap (карта сайта) – это файл формата XML, расположенный в корне сервера, или HTML-документ, где содержатся ссылки на важные для SEO продвижения сайта страницы, которые следует проиндексировать поисковым системам.

Для чего нужна?

Карту сайта можно сравнить с оглавлением в книге, содержащим перечень всех важнейших разделов. На сайте это такой каталог, где указаны ссылки на главные разделы и страницы веб-ресурса. В целом же в сайтмап находится следующая информация:

• список URL-адресов страниц сайта в иерархическом порядке;
• формат появившегося на сайте контента: текст, видео, картинки;
• сведения о видео и изображениях, необходимые роботам для их внесения в базу данных и формирования поисковой выдачи;
• информация о приоритетности страницы;
• данные о внесении последних изменений документов и регулярности их обновлений;
• сведения про другие версии веб-страницы.

Sitemap помогает посетителям и особенно роботам поисковиков быстро определять расположение всех самых необходимых для индексации страниц, а также их важность по отношению к другим документам, частоту и время последнего изменения, при этом делать как можно меньше «лишних» переходов. Sitemap помогает системе индексировать ресурс более эффективно.

Да, на мелких сайтах к любому документу можно перейти всего в пару кликов, но вот крупные содержат по несколько тысяч страниц и структура их куда сложнее. Без Sitemap на таких ресурсах будет сложно и посетителям, и поисковым ботам.

Исходя из вышеописанного можно выделить три основных ситуации, в ходе которых возникают проблемы с индексацией ресурса и нужен сайтмап:

1. огромное число страниц;
2. сложная структура ресурса;
3. отсутствие внешних либо внутренних бэклинков на важные для индексации страницы.

На заметку. Применение карты сайта не дает стопроцентной гарантии того, что все указанные здесь страницы попадут в индекс поисковиков. Она лишь дает рекомендации краулерам для более рационального сканирования документов.

Виды карт

Любой поисковик вносит страницы сайта в индекс постепенно, начиная с главной страницы и заканчивая документами с глубокой вложенностью это зависит какой краулинговый бюджет имеет сайт.

Чтобы ускорить индексацию веб-сайта необходимо создать файл Sitemap. Он делится на несколько видов в зависимости от того, с какой именно целью вы его создаете.

HTML

Представляет собой страницу, где находятся ссылки на статьи и разделы ресурса. HTML карта создана для живых посетителей и меньше подходит роботам, помогая нам с вами быстрее находить интересующие разделы.

У данного документа есть рекомендуемый лимит на количество доступных к размещению ссылок. Если их будет больше положенного, то в луч

webmasterie.ru

Как создать и настроить sitemap.xml сайта для Google и Яндекс?

Alexey Chernitsyn

Небольшое замечание к пункту 1

«Должна быть доступна по адресу site.com/sitemap.xml, где site.com — ваш домен. «

нет, не должна.
Ее можно разместить ГДЕ УГОДНО НА САЙТЕ. У поисковиков (лично я) не встречал жестких требований на этот счет.

Часто для защиты от ботов конкурентов (которые парсят изменения на сайте: контент, цены) карту сайта размещают в другом месте, а не в корне.
Понятно, что нынешние технологии ботов позволяют уже не распознавать такой парсинг и такая игра в прятки — это зачастую паранойя. Но факт — карта сайта может быть засунута не только в корень и ничего это плохого не сделает:
— в Я.Вебмастере — вы добавляете для робота карту из любого места
— в Google Search Console — аналогично — из любого места сайта.

Примечание:
да, в robots.txt желательно добавлять указание на расположение sitemap.xml. Но делать это также не обязательно. Обязательным там остается только указание на хост
Host: www.site.com
или
Host: site.com

Буду благодарен, если приведете ссылки на источник, если я не прав.

Evgeniya

Алекcей, спасибо за Ваш комментарий! Вынуждена признать, что конкретно по этому вопросу пруфлинков не нашла, поэтому возможно Вы и правы.

НО с точки зрения опыта могу сказать, что все-таки быстрее и качественнее индексация сайта проходит именно тогда, когда сайтмап находится в корневом каталоге сайта и по привычному адресу /sitemap.xml.

И еще с точки зрения логики: всем известно, что поисковикам лучше работается с недлинными человекопонятными УРЛами первого уровня вложенности. Почему это не должно касаться и карты сайта?

Так что где угодно (вот прям ГДЕ УГОДНО) располагать карту сайта я НЕ рекомендую.

Alex Wise

Евгения, спасибо за статью!)

Когда-то мы реализовали в Netpeak Spider серьёзный валидатор XML-карты сайта по документации https://www.sitemaps.org/ru… → вы не пробовали?

Там можно и создать свою карту сайта (вы приводили примеры сервисов, но что может быть лучше, чем в SEO-краулере сделать генерацию Sitemap, заранее установив полностью все правила, которые вы хотите учитывать типа robots.txt, canonical, meta robots и т.д.?) по этой же документации 😉

1. Вот скрин валидатора → http://img.netpeaksoftware…. (тут справа вверху «какие ошибки были найдены»; а ниже я специально открыл блок, какие в принципе бывают ошибки).
2. Вот скрин генератора → http://img.netpeaksoftware…. (тут можно сгенерировать даже HTML-карту сайта, что есть далеко не во всех генераторах).

Вадим — Blogin.Top

Евгения, по поводу карты сайта я солидарен с Алексеем. У меня для нее есть отдельная страница, тогда зачем я буду еще дублировать ссылку для поискового робота в корне сайта? Какое этому есть пояснение?

Вы считаете, что поисковый робот ищет карту сайта только в файле robots.txt?

Evgeniya

Alex, спасибо, Нетпик Спайдер — это у нас вообще мастхэв, мы без него как без рук)) Активно пользуемся, особенно, когда проводим аудиты сайтов.

И да, этот инструмент — отличное дополнение к статье!

Однако, как я и писала, сторонние инструменты генерируют статическую карту сайта, необновляемую. Мы работаем со многими информационными порталами и интернет-магазинами, на которых инфа обновляется каждый (или почти каждый) день. Тут намного удобнее внутренние инструменты CMS, которые добавляют УРЛы в карту сайта автоматически, без необходимости повторной генерации карты.

Evgeniya

Вадим, как раз дублировать не нужно. Дубликатов на сайте мы наоборот всячески стараемся избегать и всем советуем:)

Вместо того, чтоб делать дубликат, просто настройте редирект с /sitemap.xml на ваш УРЛ карты. Страница редиректа не является дубликатом той страницы, на которую вы настраиваете редирект. Она вообще представляет собой буквально 4-5 строчек кода (думаю, Вы и без меня это знаете).

Суть в том, чтобы дать поисковому боту несколько путей найти сайтмап, ведь чем быстрее он ее обнаружит, тем быстрее проиндексирует.

Конечно, я НЕ считаю, что поисковый робот ищет карту сайта только в файле robots.txt, но с какого места он начинает индексировать сайт — науке достоверно неизвестно. Поэтому сеошники и добавляют карту и в robots.txt, и в панели вебмастеров, и в корне сайта располагают и даже иногда ставят ссылку на нее в футере (не поддерживаю последний метод).

Alex Wise

Спасибо за приятные слова! 😉

По поводу крупных проектов, где часто всё меняется – полностью согласен с вами, нужно либо готовыми инструментами пользоваться (если такие присутствуют в CMS), либо разрабатывать свои самописные, в зависимости от структуры сайта.

Вадим — Blogin.Top

Евгения, каждый из нас имеет свою точку зрения и об этом можно вести дискуссию до бесконечности 🙂

Я не SEOшник, я блогер, но с кухней SEO знаком не по наслышке. Чтобы привлечь поискового робота и помочь ему проиндексировать новый или уже существующий, но с новой картой проект, достаточно создать страницу карты сайта, разместить на нее ссылку в меню и скормить эту страницу в известных соцсетях. Вот и все дела. При условии. что публикации будут регулярно появляться в блоге или на сайте, робот будет их хавать с удовольствием и индексировать. Другие заморочки с картой сайта, считаю просто лишними и устаревшими. Сейчас поисковые системы совсем другие.

Еще в 2007 году, когда я создал свой первый блог на WordPress, этот совет по поводу размещения ссылки на карту сайта в файле robots.txt, тогда муссировали SEOшники. С тех пор прошло 10 лет, а воз и ныне там… А технологии сейчас развиваются высокими темпами, и то, что вчера было актуальным, сегодня уже устарело, я уже не говорю о рекомендациях десятилетней давности. Вы не подумайте, что я решил пристебаться именно к этому моменту. Просто информация и рекомендация относительно robots.txt и карты сайта уже давно древняя и не соответствует нынешней ситуации. не в духе времени.. или не в ногу со временем. Ведь за 10 лет поисковые системы в своем развитии сделал такой прогресс, что 2007 год теперь кажется на расстоянии нескольких световых лет. нельзя идти вперед и развиваться с повернутой назад головой.

Evgeniya

Да, Вадим, согласна, SEO — неточная наука. Вы блогер, а я SEOшник. Основываюсь на опыте работы с крупными информационными порталами, интернет-магазинами и блогами, конечно. Дискуссия и правда бессмысленна, поэтому не будем пререкаться 😉

Alexey Chernitsyn

Евгения, со мной «бороться» не нужно — я сам всегда размещаю сайтмап в корне. И не забываю прописывать в robots.txt, т.к. это рекомендовано Яндексом.

дело не в этом, я сам seo-оптимизатор, и просто часто встречал как появлялись «легенды» — нечто, что неподтверждалось пруфлинками и переростало в верования))

Просто решил Вас поправить. Не буду переубеждать, но место размещения карты сайта для поисковиков не существенно.
вы меня заинтриговали и я, пожалуй, задам этот вопрос Платону)) ну, чтобы уж не ссылаться на отсутствие такого в хелпах, а просто на ответ.
обязательно вам пришлю копию.

Лично я даже пару раз экспериментировал — на добавление в очередь индексации у Google — как было быстро, так и оставалось, у Яндекса — как было с задержкой на пару дней (может и раньше, кстати — зависит от очереди обработки) — так и осталось.
Так что просто решил вас поправить, чтобы у неопытных людей не создавалось излишней путаницы

А вот чем полезным готов с вами поделиться — это обнаруженный «нюанс» индексации сайта и добавления его в поиск у Яндекса. Это интереснейший пример из моей практики и пока я такого в описаниях ни у кого не видел))
Делюсь:
— просели позиции по нескольким маржинальным категориям товаров. стало неясно откуда ноги растут:
* в поиске они есть
* а на своих «положенных» местах в ТОП 5 — исчезли…ушли за 20-е места…

— на сайте клиента было обнаружено, что система автогенерации sitemap.xml заглючила и туда не добавились URL этих категорий
и поэтому (в Яндексе)
трам-там-там- барабанная дробь
эти категории ушли из борьбы за поисковую выдачу в ТОП 10.
При этом в поиске эти категории были видны (url:site.com/categoria1)
После исправления бага с автогенерацией sitemap.xml — все вернулось «на круги своя» ))

Прекрасный и абсолютно неоднозначный вывод:
если вы боретесь за выдачу в ТОП10 в Яндексе по любому из поисковых запросов, то НАЛИЧИЕ sitemap.xml обязательно. Т.к. это является фактором включения страницы в борьбу за первые места.

Но а в остальном повторюсь — размещение файла sitemap.xml — абсолютно несущественно — информацию о нем поисковый робот почти всегда «больше любит» получать из ЛК (Search Console или Я.Вебмастер).

AlexBrtn

Чтобы привлечь поискового робота и помочь ему проиндексировать новый или уже существующий, но с новой картой проект, достаточно создать страницу карты сайта, разместить на нее ссылку в меню и скормить эту страницу в известных соцсетях.

Отправить быстро можно так http://google.com/ping?site… на карту.
И у гугла карта сайта первична та что в вебмастере прописана вами, а не в robots.

Вадим — Blogin.Top

Вы знаете. все эти телодвижения с пропиской в вебмастере Гугла, да и Яндекса, не что иное, как привязка не вашего проекта, а вас на уровне подсознания к этим поисковикам. Ведь они то коммерческие проекты, вот и делаются эти ловушки, а потом затягивают так, что люди начинают покупать рекламу в Директе и Адсенсе, вместо того, чтобы эти деньги потратить на классного SEOшника.

Если вообще забить на эти аки вебмастера в Гугле и Яндексе, то ровным счетом ничего не измениться ни в лучшую, ни в худшую сторону. Поисковый робот и без этих телодвижений найдет контент и проиндексирует. Я давно уже не прописываю свои проекты ни в одном из вебмастеров, не вижу в этом надобности, вообще в упор не вижу. Это обычная бюрократия.. с подтверждением сайтов метатегами или другим способом.. а что это дает, лишний трафик, моральное удовлетворение?…. Ничего!

AlexBrtn

Вы сейчас глупость написали. При чём тут директ и адсенс? Там вы управляете полностью индексацией. Маленький пример: страница при индексации ответила 502-й и др. и не проиндексировалась, от куда вы будете это знать? А так бы знали, кинули на переиндекс не ждя недели когда бот вернётся к ней. …В прочем если вы за столько времени не поняли для чего это, то нет смысла объяснять.

Вадим — Blogin.Top

Просто мне надоедает таким вот знатокам пояснять «глупости», а точнее, простые вещи, котрые вместе с букварем скурили первоклассники. Я выше писал, что достаточно скормить любую страницу в соцсети и все. Тчк. И робот схавает в ту же секунду. Что здесь не так? Вы же сами процитировали эту часть моего комментария.

Даже, если страница с актуальным материалом ушла в глубь блога/сайта, то ее периодически нужно расшаривать в соцсетях, а не в поисковиках. Для таких целей для блоговых движков не глупые люди плагины создали, работу которых можно настроить по графику, чтобы поисковики не забывали за ушедшие в глубь блога посты.

А если вы по каждому пустяку привыкли стучаться к поисковикам, то я здесь ничем вам помочь не могу 🙂

Людмила Васильева

Спасибо большое! Очень полезная статья, все искала решения, как обойти неудобство при частом обновлении сайта, или когда сайт наполняется разными людьми в разное время.

Yulia Trots

Есть рекомендации по поводу расположения сайтмапа на сайте https://www.sitemaps.org/ru…
«Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Файл Sitemap, расположенный в каталоге http://primer.ru/catalog/si…, может включать любые URL-адреса, начинающиеся с http://primer.ru/catalog/, но не должен включать URL-адреса, начинающиеся с http://primer.ru/images/.»
Вот почему, его рекомендуют размещать в корневом каталоге.

Alexey Chernitsyn

Юлия, спасибо!

Правда, спасибо. Признаюсь, видимо, я не уделил должного времени на вычитывания официального протокола формата sitemap.xml.
И сейчас, даже нашел ниже указанной вами фразу, которая еще более внятно это поясняет:
«URL-адреса, которые считаются недопустимыми, исключаются из дальнейшего рассмотрения.

Настоятельно рекомендуется поместить файл Sitemap в корневой каталог Вашего веб-сервера.
Например, если адрес Вашего сервера — primer.ru, Ваш файл индекса Sitemap должен
быть размещен по адресу http://primer.ru/sitemap.xml. Возможно, в некоторых случаях
нужно будет создать различные файлы Sitemap для различных путей на Вашем сайте (например,
если полномочия доступа в Вашей организации установлены таким образом, что доступ
с правом записи к различным каталогам предоставляется отдельно).»

serpstat.com

Как создать карту сайта sitemap xml

Sitemap – это файл, помогающий посетителям или поисковому роботу ориентироваться в сетевом ресурсе. Существует два варианта создания карты сайта: в формате XML и HTML. Первый веб-мастеры генерируют для поисковых роботов, вторые чаще всего формируют вручную для пользователей сайта. HTML-карта – это обычная веб-страница с URL-адресами контента, собранными в определенной иерархии. XML-карта – это тоже каталог сетевых адресов страниц сайта, только сформированный с использованием специальной разметки, удобной для поисковых систем.

Карта в формате XML

В официальных справочниках сервисов Google и «Яндекс» можно найти много полезной информации по созданию, обновлению и публикации карты сайта. Там же есть данные по структуре файлов sitemap.xml. Эта статья содержит только самые важные и полезные для обычного пользователя данные.

Основные задачи файла:

1. Предоставление сетевых адресов всех страниц сайта в удобной для быстрого просмотра форме.

2. Информирование о типе опубликованного контента, например текст, мультимедийные данные.

3. Передача информации о частоте и времени последнего обновления контента, приоритетности, альтернативных версиях страниц.

Карта сайта может содержать различную информацию, способствующую быстрой и правильной индексации в поисковых системах нужных страниц сетевого ресурса.

Важность присутствия карты на сайте

Для поисковой оптимизации наличие карты сайта является обязательным фактом. Любая помощь поисковой системе в просмотре и анализе содержимого сетевого ресурса оказывает положительное влияние на ранжирование контента. Так считают оптимизаторы и веб-мастеры. Сразу после завершения работы над сайтом они создают файл sitemap.xml и показывают его поисковикам.

Для поисковых систем отсутствие такого файла не играет существенной роли. Роботы – самостоятельное программное обеспечение, не нуждающееся в дополнительных указаниях. Они сами найдут все необходимое без специально созданных страниц со ссылками. Если добавить сайт в панель веб-мастера «Яндекса» или Google без предоставления ссылки на карту сайта, то сервис определит проблему как рекомендованную, а не критичную или фатальную.

Основные причины создания карты:

1. Наличие страниц, не имеющих входящих ссылок из меню или контента сайта.

2. Сетевой ресурс имеет сложную структуру и большое количество страниц с разнообразным содержимым.

3. Регулярное обновление сайта.

4. На сайте есть иерархия страниц по важности.

Карта сайта позволяет ускорить индексацию содержимого и упростить процесс предоставления новых данных о сайте поисковой системе.

Создание и подключение

Получить файл можно разными вариантами, включая ручное составление списка всех адресов страниц. Конечно, чаще всего прибегают к различным средствам автоматизации. Например, используют серверное или обычное программное обеспечение. Для создания и регулярного обновления карты сетевого ресурса в автоматическом режиме проще всего использовать возможности CMS. Если система управления содержимым не имеет встроенного инструмента, то находят и устанавливают дополнительный модуль. За время существования поискового индекса было разработано множество программ и дополнений под любые требования пользователя и поисковых систем.

Использование онлайн-генераторов:

1. Найдите в сети подходящий сервис.

2. Укажите адрес сетевого ресурса.

3. Запустите программное обеспечение в работу нажатием соответствующей кнопки.

4. Робот сервиса обойдет страницы сайта и сформирует карту адресов.

По завершении работы сервис выдаст пользователю ссылку на скачивание sitemap.xml. Скачайте файл и загрузите в корневую директорию сайта. Недостатком способа является получение статичной карты. После добавления новых страниц придется вручную повторять вышеуказанную операцию, удалять устаревший файл и загружать актуальную версию.

Использование инструментов CMS на примере WordPress

1. Устанавливаем и активируем подходящий плагин, например Google XML Sitemaps.

2. Заходим на страницу настроек и разрешаем: уведомлять поисковую систему об обновлении карты, добавить адрес расположения sitemap.xml в файл robots.txt, автоматически сжимать данные по мере необходимости.

3. В разделе «Приоритет статьи» запрещаем использовать автоматический расчет приоритета страниц, если для вас важно иметь возможность самостоятельно изменить их приоритетность.

4. Переходим к настройке содержимого карты и отмечаем галками необходимые пункты. В подразделе «Другие опции» разрешаем сервису установить дату последнего обновления карты.

5. В следующем разделе сервис предлагает изменить периодичность проверки файла на наличие новых ссылок и любых других изменений. Можно установить любые значения, так как поисковики обычно сами решают, когда выполнить очередной обход.

6. Далее переходим в раздел «Приоритеты», который позволяет установить важность страниц путем выбора нужного значения из выпадающего списка. Установленные значения также могут быть проигнорированы поисковыми роботами, поэтому можно их оставить так, как есть.

7. Сохраняем изменения.

Плагин автоматически создаст файл и поместит его в нужную директорию. С этого момента веб-мастер может забыть о существовании sitemap.xml, так как сервис возьмет поддержку актуального состояния файла на себя. Осталось только указать поисковику адрес расположения новой карты сайта. Делают это через панель управления веб-мастера в соответствующей поисковой системе.

Создание карты вручную

Информация дается с целью ознакомления со структурой текстового файла, сохраненного в формате xml и используемого в качестве карты сайта. Создавать вручную такие объемные файлы нецелесообразно, так как современное программное обеспечение очень качественно и быстро справляется с поставленной задачей.

Особенности тестового файла

Для создания карты сайта вручную можно воспользоваться блокнотом или любым другим текстовым редактором. Данные записывают в файл, используя специальные символы и коды XLM-разметки. После того как закончите вписывать все ссылки и указания для поисковой системы, файл нужно сохранить с расширением xml.

Пример кода карты сайта:

1. Стандартный заголовок, сообщающий о версии используемого кода и кодировке символов: .

2. Указание стандарта протокола: .

3. Перечисление адресов страниц сайта с указанием различных параметров: точный адрес страницы/дата последнего изменения контентачастота обновлениязначение приоритетности.

4. Закрытие файла тегом: .

Теги urlset, url, loc являются обязательными, остальные можно использовать по желанию. Многие оптимизаторы не ограничиваются созданием общей карты сайты. Дополнительно делают карту изображений, отдельную для видео, новостей сайта и других разделов. Такие карты позволяют передать поисковой системе информацию, которая недоступна обычным путем ввиду особенностей внедрения контента в страницу, например посредством скриптов.

Несколько sitemap.xml

Потребность в использовании нескольких карт сайта возникает в случае одновременного применения разных систем управления содержимым, необходимости добавления больше 50 тыс. страниц на сайт, обеспечения удобных условий для отслеживания возникающих ошибок в огромном количестве разных разделов и по другим причинам.

Все созданные карты нужно объединить в одну. То есть создать текстовый файл и записать в него все карты, используя специальные теги.

Код общего sitemap:

1. Стандартный заголовок: .

2. Стандарт протокола: . Вместо тега urlset нужно использовать sitemapindex.

3. Перечисление всех карт сайтов с указанием необходимых параметров: адрес расположения картыдата внесения последних изменений в файл.

4. Перечисляем все карты и закрываем код тегом .

Таким образом объединяют только обычные XML-карты, которые отдельно не индексируются. Для отдельной индексации нескольких sitemap их необходимо добавить в индекс через панель веб-мастера, указав поисковой системе точный путь к файлу каждой карты.

Передаем адрес карты сайта поисковой системе

Чтобы поисковый робот Google смог найти вашу карту, нужно зайти в Google Search Console, выбрать раздел «Файлы Sitemap», ввести в соответствующее поле сетевой адрес файла и нажать на кнопку «Отправить». Через некоторое время программное обеспечение сервиса проверит наличие файла по указанному адресу. Если карта сайта будет обнаружена, робот проанализирует содержимое и покажет пользователю результат проведенной работы. При обнаружении ошибок составит подробный отчет по каждой с добавлением рекомендаций по устранению всех проблем. Если погрешностей нет, в статусе карты сайта появится надпись: «Успешно».

Чтобы передать адрес sitemap.xml поисковой системе «Яндекс», нужно войти в панель веб-мастера, в разделе «Индексирование» найти подраздел «Файлы Sitemap», ввести в форму путь к файлу и нажать на кнопку «Добавить». Узнать об ошибках можно в разделе «Диагностика».

Ограничения и особенности

Создавая и добавляя карту сайта, пользователь повышает шансы на быстрое и регулярное индексирование всех страниц сетевого ресурса. Существенно снижается вероятность потери контента для поиска. Робот обойдет все адреса, прописанные в файле, учтет все замечания веб-мастера, проиндексирует доступный материал. Чтобы карта сайта работала должным образом, при ее создании пользователь должен учесть несколько ограничений.

Требования к sitemap.xml:

1. Файл не должен содержать более 50 тыс. адресов страниц.

2. Размер файла должен быть меньше или равным 10 Мбайт.

Владельцы популярных и больших сетевых ресурсов нашли несколько способов решения проблем, связанных с этими ограничениями. Если ваш сайт требует наличия карты, которая не вписывается в установленные рамки, воспользуйтесь вариантом из нижеследующего списка.

Варианты решения проблемы наличия ограничений:

1. Сократите количество ссылок, убрав из файла адреса страниц, имеющих очень низкий приоритет. Оставьте важные ссылки и адреса страниц, которые доступны поисковому роботу только через карту сайта.

2. Создайте несколько файлов sitemap и передайте их адреса поисковым системам.

3. Если проблема в размере, воспользуйтесь архиватором для сжатия данных.

Карта сайта для посетителей

Sitemap для пользователей существенно отличается от карты для поискового робота. Это обычная страница сайта с множеством ссылок с анкорами, описанием контента, навигационными и дизайнерскими элементами. Пользовательскую карту сайта создают с целью ускорения поиска информации в пределах сетевого ресурса.

Ее создают в обычном текстовом или специальном редакторе для подготовки HTML-страниц и сохраняют в файле с любым именем и расширением html. Готовый документ можно расположить в любой директории. Сообщать поисковой системе о наличии пользовательской карты не нужно. В процессе индексации сайта поисковый робот найдет ее и проиндексирует все ссылки.

Особенности создания карты HTML:

1. Используйте форматирование. Выделяйте заголовки, подзаголовки, делайте списки, пометки, выделяйте текст цветом. Картой должно быть удобно и приятно пользоваться, она не должна быть обычной страницей со множеством ссылок, не информирующих пользователя о контенте, на который ведут.

2. Продумайте структуру и добавьте к каждой ссылке краткое описание. Это упростит пользовательский поиск информации и сделает карту качественной для поисковых систем. Они плохо воспринимают материал со ссылками без текстового или мультимедийного сопровождения.

3. Добавляйте к ссылкам анкоры. Они будут информировать посетителя о результатах перехода по ним. Такие ссылки способны оказать положительное влияние на траст сетевого ресурса, так поисковики лучше воспринимают линки с анкорами.

После создания пользовательской карты сохраните ее в доступном месте и сделайте на нее заметную ссылку. В отличие от поисковика посетители не станут сканировать весь сайт в поисках удобной навигационной страницы. Поэтому расположите ссылку на видном месте, например в главном меню, выделите ее рамкой, цветом, измените размер шрифта. Чем заметнее она будет, тем лучше. В противном случае усилия, потраченные на ее создание, не принесут пользы.

www.rookee.ru

в чем разница и как создать [руководство]

Карта сайта представляет собой страницу sitemap.html (для посетителей, помогает упростить навигацию и найти любую страницу на большом сайте) или файл sitemap.xml (для поисковых систем), содержащие подробный список всех страниц веб-сайта.

Сайтмап позволяет сократить количество переходов при поиске нужной страницы на любом, даже самом большом сайте. Грамотно настроенная карта сайта способна повысить индексацию страниц веб-сайта.

Какие возможности дает карта сайта?

Поисковики способны просканировать все адреса сайта самостоятельно, но создание карты сайта поможет им узнать, как это лучше сделать.

Сайтмап позволяет:

• найти новые страницы на ресурсе и проиндексировать их;
• расставить приоритетность страниц;
• отследить свежие изменения на индексируемых страницах;
• запомнить частоту обновления индексируемых страниц.

Какие бывают карты сайта?

В общем случае существует два варианта сайтмапа — это веб-страница sitemap.html и файл sitemap.xml. Рассмотрим их поподробнее.

Что такое Sitemap.html?

Это статическая HTML страница, где перечислены ссылки на все основные страницы сайта. Такой формат сайтмапа ориентирован на посетителей сайта и позволяет в 1 клик перейти на любую из страниц.

Sitemap.html имеет структуру дерева с развернутыми разделами.

Ссылка на статическую карту сайта зачастую расположена в футере.

Пример ссылки на карту сайта на Tripadvisor.ru

У сайтов с очень сложной структурой HTML карта сайта может состоять из страниц с дополнительным уровнем вложенности.
Пример — карта сайта TripAdvisor.

Пример сложной HTML карты сайта Tripadvisor — уровень 1Пример сложной HTML карты сайта Tripadvisor — уровень 2

Что такое sitemap.xml?

Это файл, лежащий в корневой директории сайта, который читается всеми существующими поисковиками. Его роль — показать поисковым системам все адреса страниц, которые нужно проиндексировать; когда они появились или обновились; с какой регулярностью перепроверять страницы на обновление.

Пример файла — https://livepage.pro/sitemap.xml

Один файл sitemap.xml может включать в себя до 50 000 ссылок. При большем количестве ссылок таких файлов будет несколько. Дополнительные преимущества — возможность указать частоту обновления страниц и приоритет индексации. Правильная кодировка файла sitemap.xml должна быть UTF-8, а его размер ограничен 10 Мб.
Приведем пример карты сайта в формате.xml:

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>
 <url>
  <loc>http://mysite.ru/</loc>
  <lastmod>2017-09-18T18:54:13+04:00</lastmod>
  <changefreq>always</changefreq>
  <priority>1.0</priority>
  </url>
  <url>
   <loc>http://mysite.ru/category/</loc>
   <lastmod>2017-09-18T18:57:09+04:00</lastmod>
   <changefreq>hourly</changefreq>
   <priority>0.8</priority>
   </url>
   <url>
    <loc>http://mysite.ru/page/</loc>
    <lastmod>2017-09-18T18:59:37+04:00</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.6</priority>
   </url>
  </urlset>

Как создать карту сайта?

Существует ряд методов создать sitemap для вашего ресурса:

• Статически вручную. Этот способ подойдет продвинутым пользователям, которые имеют навык работы с основными тегами, а веб-сайт состоит из небольшого количества страниц.
• Через генератор карты сайта. Если вы не хотите выполнять кропотливую и нудную работу по генерации карты сайта вручную, к вашим услугам — программа для создания карты сайта. Есть платные и бесплатные варианты: GSiteCrawler, Google Webmaster Tools Sitemap Generator, SiteMap Generator и множество других.
• Плагин для CMS или средствами движка. Еще один хороший способ сгенерировать sitemap. Масса преимуществ в виде гибкой настройки под нужные параметры и максимума возможных адресов, а также серьезная экономия времени. Кроме того, при внесении изменений на страницу или создании новых страниц карта сайта будет обновляться автоматически, в отличие от сайтмапа, созданного другим способом. Для каждой системы существует свой плагин:
  • для CMS WordPress разработаны seo-плагины с функцией создания сайтмапа;
  • для Joomla существует Xmap;
  • DLE — имеется встроенный модуль.

Полезный нюанс!

Если исключить из карты сайта страницы, которые не несут коммерческой или информационной пользы (например, какие-нибудь страницы, не являющиеся посадочными, какие-то вспомогательные, транзитные), то поисковой робот будет тратить меньше своих ресурсов на переобход сайта.

А так как ресурс ограничен, становится больше вероятность, что робот обойдет нужные нам страницы. Создавая sitemap через плагин, можно сразу исключить оттуда определенные типы страниц. Их потом можно добавить, если понадобится. Актуально для больших сайтов.

Как часто должна обновляться карта сайта?

Единого норматива по количеству обновлений нет. Все зависит от частоты создания новых страниц ресурса, изменения адресов или контента и связей уже существующих страниц.

При этом стоит помнить, что данные, указанные в карте сайта, поисковый робот воспринимает как рекомендательные: если установить частоту обновлений, к примеру, раз в год, робот будет приходить чаще, а если раз в час — робот не станет индексировать страницу так часто.

Как правильно указать ссылку на sitemap.xml в robots.txt

Для начала, xml карта сайта должна быть создана и загружена на сервер, и потом можно добавить указание о наличии файла.

Чтобы это сделать, пропишите в robots.txt следующую строку:

Sitemap: {url-файла-sitemap},
где {url-файла-sitemap} — это полный URL вашего сайтмапа.

В итоге, robots.txt приобретет такой вид:

User-Agent: *
Sitemap: httр://mysite.com/sitemap.xml.

Частые ошибки в карте сайта

Самые распространенные ошибки:

• битые ссылки;
• редиректы;
• некорректные даты публикации или обновления контента.

Ошибки не будут иметь критического влияния на отношение поисковых систем к вашему сайту. Однако их устранение позволит направить высвободившиеся ресурсы поискового робота на переобход важных страниц.

Как проверить корректность карты сайта

Чтобы проверить корректность карты сайта, разработаны многочисленные онлайн-сервисы, которые сделают это за вас автоматически и укажут на все допущенные ошибки: валидности файла, указание на url с другого домена, превышение размера файла, проведут онлайн-диагностику индексации. Такие программы бесплатны и работают со всеми крупными поисковиками (Google, Yandex, Yahoo).

Для проверки корректности необходимо открыть страницу сервиса, загрузить xml-файл или ввести в поле соответствующий URL и нажать на кнопку проверки. Если программа обнаружит ошибки, она подскажет, какие адреса дают некорректный ответ.

Протестируйте sitemap.xml в Яндекс * — https://webmaster.yandex.ru/tools/sitemap/
Протестируйте с помощью сервиса Pixel Plus — https://webmaster.yandex.ru/tools/sitemap/
Англоязычный сервис — https://sitemapkoala.com/

* — для теста в Яндекс, необходимо добавить сайт в Яндекс Вебмастер.

Итого

Карта сайта — удобный инструмент, призванный упростить передачу структуры основных страниц как посетителю так и поисковой системе.

Без нее можно обойтись. Поисковик и так рано или поздно доберется до большинства веб-страниц, но с сайтмапом переобход или индесация новых страниц будут более эффективными.

livepage.pro

Как создать sitemap.xml для wordpress?

Глупо надеяться, что сайт самостоятельно займет позиции в топе поисковиков. Для этого нужно создать благоприятные условия!

Сегодня, я хочу рассказать, по-настоящему о важной настройке, которая занимает 2 место среди технических ошибок сайтов. Но прежде, чем переходить чтению статьи дальше, убедитесь, что у вас правильно создан robots.txt – кстати, это ошибка занимает почетное 3-е место.

Исследование проведено командой Ingate Development

Что такое карта сайта (sitemap)?

Карта сайта – это xml файл, содержащий ссылки страниц, которые необходимо проиндексировать поисковым роботам.

Поисковые роботы заходят на web ресурс только на ограниченное, очень короткое время, а поэтому логично, чтобы они индексировали только нужные страницы.

Конечно, рано или поздно они, скорее всего, найдут и проиндексируют важные страницы, но все дело в скорости! За это время ваш контент могут украсть, так как первоисточником считается сайт, текст на котором проиндексирован первым. Поэтому наша задача максимально облегчить работу роботов. Ведь до некоторых страниц они могут не доходить долгое время или вовсе их не найти, а с файлом sitemap этого не произойдет!

Как сделать sitemap для wordpress?

Можно создать sitemap.xml с помощью онлайн генераторов,  но зачем, если для большинства CMS есть готовые решения.

WordPress не исключение, плагин Yoast Seo имеет встроенную функцию создания sitemap, который автоматически обновляется при создании новых статей. Если у вас еще не установлен seo плагин, то это будет отличным решением.

Не знаете, как устанавливать плагины – прочитайте статью Как установить плагин wordpress?

После установки заходим во вкладку Общие, раздел Возможности и включаем XML карта сайта. После чего создастся сайтмап для всех страниц и разделов.

В настройках есть возможность исключить разделы и запретить отдельным страницам индексироваться, то есть они будут исключены из карты сайта.

Например, во вкладке Отображение в поисковой выдаче, раздел Архивы, можно исключить архивы авторов и по дате, тем самым избежав дублей.

А в настройках плагина при создании статьи можно разрешить или запретить показ статьи в результатах поиска. Карта sitemap автоматически подстроиться под ваш выбор.

А вообще настройка Yoast Seo – это тема для отдельной статьи! Плагин охватывает широкий спектр Seo настроек, которые необходимы при продвижении сайта.

Как добавить файл sitemap в Яндекс и Google вебмастер?

Хотя адрес сайтмап прописывается в robots.txt и поисковые роботы со временем его найдут, советую самостоятельно сообщить о ней поисковым гигантам.

Яндекс Вебмастер

Заходим в свой аккаунт, раскрываем вкладку Индексирование и кликаем на выделенный ниже раздел.

Вводим адрес, после чего нажимаем кнопку добавить.

Добавление/проверка файла sitemap Google

Заходим в Search Console – Гугл Вебмастер, вкладка Сканирование, раздел выделенный на картинке ниже:

В правом верхнем углу нажимаем добавление/проверка файла, после чего вставляем адрес расположения и кликаем отправить.

Надеюсь, мне удалось помочь понять важность и настроить sitemap.xml для вашего интернет проекта.

Для тех, у кого еще остались вопросы – Добро пожаловать в комментарии! Постараюсь разобраться и помочь в решении вашей проблемы.

guidecomputer.ru

полное руководство по использованию — Devaka SEO Блог

Файл sitemap.xml — это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.

В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

• Некоторые разделы недоступны через навигационное меню.
• Имеется множество изолированных страниц или плохо связанных между собой.
• Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
• Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

• Sitemap.xml является текстовым файлом формата XML. Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
• Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
• Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
• Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже (см. подробней).
• Адреса в sitemap.xml должны быть абсолютными.
• Максимальная длина URL — 2048 символов (1024 символа для Яндекса).
• Спецсимволы в URL (типа амперсанда «&» или кавычек) должны маскироваться в HTML-сущности.
• Указанные в карте страницы должны отдавать 200 http-код статуса.
• Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
• Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt.

Также поисковиками поддерживается стандартный XML-протокол. Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://devaka.ru/</loc>
    <lastmod>2018-06-14</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.9</priority>
  </url>
</urlset>

XML-теги
urlset (обязательный) — указывает стандарт текущего протокола.
url (обязательный) — родительский тег для каждого URL-адреса.
loc (обязательный) — URL-адрес документа, должен быть абсолютным.
lastmod — дата последнего изменения документа в формате Datetime.
changefreq — частота изменения страницы (always, hourly, daily, weekly, monthly, yearly, never). Значение этого тега является рекомендацией поисковым системам, а не командой.
priority — приоритетность URL относительно других адресов (от 0 до 1) для очередности сканирования. Если не указывается, то по умолчанию равна 0.5.

XML карта для изображений

Некоторые оптимизаторы вставляют в sitemap.xml ссылки на изображения аналогично ссылкам на html-документы. Так можно делать, но лучше для Google использовать расширение стандартного протокола и вместе с урлами отправлять дополнительную информацию об изображениях. Создавать XML карты изображений полезно, если картинки необходимо сканировать и индексировать, и при этом, они напрямую не доступны боту (например, используется JavaScript).

Пример карты сайта, содержащей одну страницу и принадлежащие ей изображения

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
  <url>
    <loc>http://example.com/primer.html</loc>
    <image:image>
      <image:loc>http://example.com/kartinka.jpg</image:loc>
    </image:image>
    <image:image>
      <image:loc>http://example.com/photo.jpg</image:loc>
    <image:title>Вид на Балаклаву</image:title>
    <image:geo_location>Севастополь, Крым</image:geo_location>
    <image:license>http://creativecommons.org/licenses/by-nd/3.0/legalcode</image:license>
    </image:image>
  </url>
</urlset>

XML-теги
image:image (обязательно) — информация об одном изображении. Максимум может использоваться 1000 изображений.
image:loc (обязательно) — путь к файлу изображения. Если используется CDN, то допустимо ссылаться на другой домен, если он подтвержден в панели для вебмастеров.
image:caption — подпись к изображению (может содержаться длинный текст).
image:title — название изображение (обычно короткий текст).
image:geo_location — место съемки.
image:license — URL лицензии изображения. Используется при расширенном поиске по картинкам.

 

Подробнее о файлах Sitemap для изображений:
https://support.google.com/webmasters/answer/178636

XML карта для видео

Подобно карте для изображений, Google также имеет расширение sitemap протокола для видео, где можно указывать подробную информацию о видео-контенте, влияющую на отображение в поиске по видео. Видео-сайтмап необходим, когда на сайте используются видео, которые хостятся локально, и когда индексация этих видео затруднена из-за используемых технологий. Если вы на сайте внедряете видео из YouTube, то video-sitemap здесь не нужен.

Подробнее о файлах Sitemap для видео:
https://developers.google.com/webmasters/videosearch/sitemaps

Файл Sitemap для новостей

При наличии на сайте новостного контента и участии в Google Новостях полезно использовать Sitemap для новостей, так Google будет быстрей находить ваши свежие материалы и индексировать все новостные статьи. В этом случае Sitemap должен содержать только адреса страниц, опубликованных за последние 2 дня и содержать не более 1000 урлов.

Подробнее о файлах Sitemap для новостей:
https://support.google.com/news/publisher-center/answer/74288

Использование нескольких карт

При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:

• На сайте используется несколько движков (CMS).
• На сайте больше 50 000 страниц.
• Необходимо настроить удобное отслеживание ошибок в разделах.

В последнем случае каждый большой раздел сайта имеет свой sitemap.xml и все они добавляются в панель для вебмастеров, где удобно наблюдать, в каком из разделов больше всего ошибок (см. раздел поиска ошибок в карте сайта).

Если у вас 2 и более сайтмапа, их необходимо объединить в индексный сайтмап, который выглядит также как обычный (за исключением наличия тегов sitemapindex и sitemap вместо urlset и url), имеет аналогичные ограничения и может ссылаться только на обычные XML карты (не на индексные).

Пример Sitemap Index:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>http://www.example.com/sitemap-blog.xml.gz</loc>
    <lastmod>2004-10-01T18:23:17+00:00</lastmod>
  </sitemap>
  <sitemap>
    <loc>http://www.example.com/sitemap-webinars.xml.gz</loc>
    <lastmod>2005-01-01</lastmod>
  </sitemap>
</sitemapindex>

sitemapindex (обязательный) — указывает стандарт текущего протокола.
sitemap (обязательный) — содержит информацию об отдельном sitemap.
loc (обязательный) — местоположение sitemap (в формате xml, txt или rss для Google).
lastmod — время изменения сайтмапа. Позволяет поисковикам быстро обнаруживать новые URL на сайтах больших размеров.

Как создать sitemap.xml

Методы создания XML Sitemap:

• Внутренние средства CMS. Многие CMS уже поддерживают создание карты сайта. Чтобы это выяснить, почитайте документацию к вашей CMS, посмотрите пункты меню в администраторской панели или обратитесь в техподдержку движка. Загрузите на вашем сайте файл https://вашсайт.com/sitemap.xml, возможно он уже существует и динамически формируется.
• Внешние плагины. Если в CMS нет функционала генерации карты сайта, и она поддерживает плагины, погуглите, какой из плагинов закрывает вопрос sitemap.xml для вашего движка и установите его. В некоторых случаях необходимо обратиться к программистам, чтобы они написали вам подобный плагин.
• Отдельный скрипт на сайте. Зная протокол XML карты и технические ограничения, можно создать sitemap.xml самостоятельно, добавив скрипт генерации в CRON. Если вы не программист, используйте другие пункты этого списка.
• Генераторы Sitemap. Существует множество генераторов sitemap.xml, которые сканируют ваш сайт и дают скачать готовую карту. Недостаток здесь в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап.
• Парсеры. Десктопные программы, предназначенные для технического анализа сайта, обычно предоставляют возможность скачать sitemap.xml, сгенерированный на основе просканированных страниц. Работает аналогично генераторам sitemap, только запускается локально на своей машине.

Популярные онлайн-генераторы карты сайта

XML-Sitemaps.com

Позволяет получить sitemap.xml в несколько кликов. Поддерживает форматы XML, HTML, TXT и GZ. Удобно использовать для небольших сайтов (до 500 страниц).

XML Sitemap Generator

Похожий генератор, но имеет чуть больше настроек и позволяет создать карту до 2000 страниц бесплатно.

My Sitemap Generator

Имеет множество настроек, позволяет импортировать URL-адреса из CSV-файла. Бесплатно сканирует до 500 урлов.

Check Domains

Не имеет лимитов на количество страниц для сканирования. Но для больших сайтов процесс генерации может подвисать на несколько десятков минут.

Локальные программы для генерации XML Sitemap

G-Mapper Sitemap Generator

Бесплатная десктопная версия генератора карты сайта под Windows.

Screaming Frog SEO Spider

Гибкий инструмент генерации карты сайта с множеством настроек. Удобно, если вы уже пользуетесь скримин фрогом для других SEO-задач. После сканирования сайта используйте пункт меню Sitemaps -> Create XML Sitemap.

Netpeak Spider

Менее гибкое, но тоже удобное решение для быстрой генерации sitemap.xml. После сканирования сайта необходимо использовать пункт меню Инструменты -> Генерация Sitemap.

Создание Sitemap XML на WordPress

Yoast SEO
Помимо прочих функций, полезных для SEO, позволяет генерировать sitemap.xml.

Google XML Sitemaps
Простой плагин для генерации Sitemap на WordPress.

WP Sitemap Page
Еще один плагин для WordPress, если предыдущие не подошли.

Sitemap.xml должен обновляться сразу же, как на сайте появляются новые страницы. Однако, в случае, если на сайте страницы появляются часто и пачками, то Sitemap целесообразно генерировать примерно раз в час. Убедитесь, что в карту сайта не попадают дубли, несуществующие страницы или содержащие редирект. Например, страницы пагинации и сортировки в sitemap.xml включать не нужно. Идеальный sitemap состоит из страниц основных разделов и подразделов сайта и конечных узлов (статьи, карточки товара и пр).

Кириллические адреса в sitemap

Несмотря на то, что sitemap протокол позволяет использовать только ASCII символы в URL, Google и Яндекс поддерживают оба формата для кириллических адресов, кодированный и обычный. То же самое с IDN-доменами, можно использовать обычный формат и Punycode. Однако, для совместимости вашего sitemap.xml с различными поисковыми системами и сервисами, рекомендуется следовать протоколу, кириллические домены кодировать в Punycode-формат (используйте этот конвертер), и использовать маскирование для кириллических адресов страниц.

Вместо:
https://минобрнауки.рф/фото

Необходимо использовать:
https://xn--80abucjiibhv9a.xn--p1ai/%D1%84%D0%BE%D1%82%D0%BE

Sitemap мультиязычного и мультирегионального сайта

Если ваш сайт является мультиязычным или мультирегиональным, то Google поддерживает разметку hreflang непосредственно в sitemap.xml. Для этого в карте необходимо использовать дополнительные теги xhtml:link с указанием hreflang.

Пример. Сайт использует два языка: русский и украинский. В таком случае sitemap.xml для одной из страниц будет выглядеть следующим образом.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
           xmlns:xhtml="http://www.w3.org/1999/xhtml">
  <url>
    <loc>http://www.example.com/ru/</loc>
    <xhtml:link
      rel="alternate"
      hreflang="ru"
      href="http://www.example.com/ru/"
    />
    <xhtml:link
      rel="alternate"
      hreflang="uk"
      href="http://www.example.com/ua/"
    />
  </url>
  <url>
    <loc>http://www.example.com/ua/</loc>
    <xhtml:link
      rel="alternate"
      hreflang="ru"
      href="http://www.example.com/ru/"
    />
    <xhtml:link
      rel="alternate"
      hreflang="uk"
      href="http://www.example.com/ua/"
    />
  </url>
</urlset>

Как видите, каждый языковый или региональный URL должен быть представлен в отдельном теге url. Чем больше языков на сайте, тем больше будет разрастаться этот sitemap.

Если у сайта имеется множество поддоменов, то каждый поддомен, как отдельный сайт, должен содержать свой sitemap.xml. В этом один из недостатков поддоменной структуры сайта.

Поиск ошибок в карте сайта

При создании XML карты сайта вебмастерами часто допускаются следующие ошибки:

• URL ведет на страницу, http-код статуса которой отличный от 200 (например, страницы не существует или она редиректит на другую страницу). Необходимо оставить в sitemap.xml только существующие страницы.
• URL ведет на страницу, которая закрыта от индексации в файле robots.txt. Здесь необходимо разобраться, ошибка в robots.txt или в sitemap.xml.
• URL ведет на страницу, которая закрыта тегом meta-robots noindex. Ссылки в карте сайта должны вести только на страницы, которые доступны к индексации.
• Ошибки, касающиеся ограничений или несоответствию стандартному протоколу.

Самый простой способ проверки сайтмапа — использовать Screaming Frog в режиме списка (меню «Mode» — «List»). Загружаете sitemap и программа сама проверит все урлы, в отчетах будет видно, какие отдаются коды статусов и закрыты ли адреса от индексации.

Также можно использовать анализатор файлов Sitemap от Яндекса. Здесь полезно проверять свои карты перед тем, как добавить их в панель для вебмастеров. А после добавления карты в панель поисковые системы будут сообщать о наличии дополнительных ошибок уже после того, как просканируют урлы.

Рекомендуемый алгоритм проверки на ошибки:

• Просканировать XML Sitemap с помощью Screaming Frog, избавиться от всех ошибок.
• Протестировать карту сайта через инструмент Яндекса или в Google Search Console.
• Добавить ссылку на карту в robots.txt и в панель для вебмастеров Яндекса и Google Search Console.
• Периодически мониторить раздел в панели с XML картой.

Sitemap.xml при переходе сайта на HTTPS

При переходе сайта на HTTPS меняется главное зеркало и необходимо проверить, что у вас соблюдаются следующие правила:

• Новый sitemap.xml содержит адреса с префиксом HTTPS.
• Все старые сайтмапы удалены из панелей для вебмастеров и файла robots.txt прежней версии сайта.
• Sitemap.xml на http-версии сайта редиректит 301 кодом статуса на новый sitemap.xml на https-версии.
• На сайте настроен постраничный 301 редирект на новую версию.

Разница поддержки XML Sitemap в Google и Яндексе

Возможности	Google	Яндекс
Максимальный размер sitemap.xml	50 Мб	10 Мб
Максимальная длина URL	2048 симв.	1024 симв.
Поддержка Sitemap для изображений и видео	есть	нет
Новостной Sitemap	есть	нет
Использование кириллических урлов	можно	можно
Разметка языковых версий страниц	есть	нет
Поддержка RSS/Atom фидов	есть	нет

Если это руководство не дало ответ на ваш вопрос, задайте его в комментариях.

Полезные ссылки:

— Справка Google по использованию sitemap.xml
https://support.google.com/webmasters/answer/183668

— Аналогичная справка Яндекса
https://yandex.ru/support/webmaster/controlling-robot/sitemap.html

— Описание протокола
https://www.sitemaps.org/ru/protocol.html

devaka.ru

Как создать Sitemap.xml онлайн и вручную

Обычно, чтобы сделать sitemap.xml, применяют один из следующих вариантов: онлайн сервисы, модули CMS, специализированные программы или вручную. Ниже мы подробно рассмотрим каждый из инструментов.

Как создать sitemap онлайн

В интернете существует масса сервисов позволяющих составить sitemap для поисковых роботов. Вот наиболее популярные из них:

Данные сервисы прекрасно работают и выполняют свои функции. Однако, как правило, на них присутствует ограничение на количество учитываемых страниц (обычно 500 штук). Кроме того, если на сайте плохая навигация и до некоторых документов довольно трудно добраться посылкам, то, вероятнее всего, эти страницы не попадут в sitemap.xml.

Как сделать sitemap.xml с помощью дополнений CMS

У большинства популярных систем администрирования есть дополнения, которые позволяют им создавать sitemap в автоматическом или в ручном режиме. Это наиболее удобный способ работы с картой сайта для больших ресурсов, с постоянно публикуемыми новыми материалами. Как показывает практика, можно найти несколько подходящих дополнений, вам останется только выбрать наиболее соответствующее вашим целям.

Например, для WordPress таким плагином является Google XML Sitemaps, а для Joomla – компонент Xmap. Кроме того, на многих движках возможность создать файл sitemap присутствует в исходной комплектации (например, 1с-Битрикс или DataLife Engine).

Как сделать sitemap с помощью Xenu

Xenu – это один из наиболее востребованных программных продуктов, созданных для SEO-специалистов. Данная программа может не только создавать sitemap для сайта, она обладает массой полезных функций – проверка битых ссылок, выявление редиректов и многое другое.

• Запустите программу.

• Выберете File > Check URL…

  

• В появившемся поле вбейте адрес необходимого сайта.

  

• Чтобы сэкономить время нажмите «More options…» и уберите галочки везде кроме «Site Map».

  

• Нажмите ОК и дождитесь окончания проверки программы.

• После завершения задачи, Xenu предложит посмотреть результат в браузере. Теперь вы можете сделать sitemap.xml. Для этого выбираете File > Create Google Sitemap File…

  

• Выбираете имя и сохраняете.

Надо отметить, что Xenu является не единственной программой, которая дает возможность составить sitemap.

Как создать sitemap для сайта вручную

Наиболее трудозатратный, но в тоже время верный способ – вручную. Его применяют, когда другие варианты не подходят. Это может быть, например, при попадании слишком большого числа ненужных страниц в карту сайта, или сайт с плохой навигацией, не использующий CMS.

1. Необходимо собрать все страницы, которые надо включить в карту сайта.

2. Открываем Excel-файл и вставляем все URL-адреса в третий столбец.

3. В первый и второй столбец вставляете открывающие теги <url> и <loc>.

4. В четвертый и пятый столбцы вставляете аналогичные закрывающие теги – </loc> и </url> соответственно.

   

5. С помощью функции =сцепить() соединяем все пять столбцов.

6. Сделаем sitemap.xml при помощи любого текстового редактора, например, Notepad++.

7. При редактировании xml-файла добавляет открывающий и закрывающий теги <urlset> и </urlset>.

8. Между ними вставляем объединенный столбец из пункта 5.

9. Сохраняем.

После того, как сделаете sitemap.xml, обязательно проверьте получившийся файл. Это можно сделать с помощью сервиса в панели вебмастера Яндекс, который расположен по адресу webmaster.yandex.ru/sitemaptest.xml.

 

www.sembook.ru