Создать файл sitemap xml: Как создать карту сайта sitemap.xml

1. Ускорить процесс полной индексации.
   Поисковые роботы Google могут пропустить недавно созданные или измененные страницы, а Карта поможет в них ориентироваться.
2. Дать дополнительную информацию.
   В Карте указывают дополнительные рекомендации для робота: делают пометки о важности страницы, частоте и дате обновления.
3. Отобразить количество проиндексированных URL
   Сигналы из Sitemap нужны в том числе для отображения проиндексированных ссылок в Search Console.
4. Ускорить процесс пакетной деиндексации.
   Для этого создают временный файл Sitemap, в который включают страницы для удаления. Об этом рассказал Джон Мюллер, он рекомендует обязательно указать дату последнего изменения страниц, когда им был присвоен код ошибки 404 или атрибут noindex. Так Google будет знать, что необходимо заново просканировать содержимое сайта. Через несколько месяцев эту временную карту сайта можно будет убрать.

При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта — это рекомендации, важнее всего составить грамотную структуру сайта, в которой поисковый робот найдет все нужные страницы.

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна — бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.

Карта обязательно нужна сайтам с такими признаками:

• Проект создан недавно, у него мало внешних ссылок. В этом случае поисковому боту сложнее найти сайт.
• В структуре сайта много архивов веб-документов, не связанных между собой.
• У проекта большое количество страниц, разделов и подразделов;
• В структуре преобладают динамические страницы.
• На сайте есть мультимедийный контент. Бот сможет получить дополнительную информацию из Sitemap для показа в результатах поиска.

Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.

Базовые критерии создания файла Sitemap

У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.

Общие требования к Sitemap:

1. Количество URL-адресов в файле Sitemap не должно превышать 50 тысяч. Если их больше, необходимо создать несколько отдельных Карт сайта, которые прописывают в файле индекса Sitemap. По словам официального представителя Google, для этого достаточно создать несколько отдельных файлов Sitemap, не больше 50 тысяч ссылок каждая, а в сумме ссылок может быть больше лимита. После этого для нескольких Карт создают общий материнский файл Sitemap.
2. Максимальный размер файла – 50 Мб. Файл можно уменьшить при помощи сжатия gzip, но в несжатом виде он все равно должен быть меньше 50 Мб.
3. Файл Sitemap должен находиться на том же домене, что и веб-сайт, для которого он создан.
4. Можно использовать кодировку UTF-8, а также латинские буквы и цифры.
5. Ответом сервера на обращение к файлу Sitemap должен быть HTTP-статус с кодом 200 OK.
6. URL идентификаторы сессий не должны быть в Карте сайта.
7. Ссылки должны иметь одинаковый синтаксис.
8. В Карте указаны только канонические URL.
9. Карта не конфликтует с информацией в robots.txt — если в robots.txt какие-то страницы закрыты от индексации, то их не должно быть в Карте.

Подробнее о требованиях есть в Справке Google и на странице Помощи Яндекса.

Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google Джон Мюллер сказал, что очередность не имеет значения вообще, главное — поместить в Sitemap самые важные канонические ссылки.

Допустимые форматы Карты сайта

Особое требование предъявляется к формату файла Sitemap. Карту сайта можно создать в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. Яндекс указывает, что поиск не поддерживает передачу RSS и Atom-фидов с помощью Sitemap. Если ориентируетесь на разные поисковые системы, используйте формат XML. Правила создания файла описаны в стандарте.

Служебные теги Sitemap

Обязательные теги Карты сайта:

• — контейнер с указанием стандарта протокола;
• — родительский тег для каждой записи URL-адреса;
• — указание URL, начинается с префикса, к примеру, http или https.

Дополнительные теги:

• — частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
• — дата последнего обновления на странице;
• — указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang.

Пример Карты сайта в формате XML

Sitemap для PR-CY.ru, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

<!--?xml version="1.0" encoding="UTF-8"?-->
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.pr-cy.ru/</loc>
<lastmod>2016-03-21</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
</urlset>

Как создать и где разместить файл Sitemap?

При желании составить Карту сайта можно вручную, но это слишком трудозатратно и бессмысленно — Карта сайта должна быть динамической, если вы регулярно обновляете сайт — публикуете новые записи в блоге, развиваете интернет-магазин. Лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов и плагинов для CMS.

Сервисы для создания Sitemap

• XML-Sitemaps
  Сделает Карту для небольших сайтов до 500 страниц бесплатно и без регистрации, для обновляемого файла с большим количеством страниц нужно подключить PRO-аккаунт, которые дает много дополнительных преимуществ с анализом ссылок. Есть PHP-скрипт для установки на своем сервере.
• Генератор СайтРепорт
  Бесплатное онлайн-создание файла карты до 5000 страниц.

Работа онлайн-сервиса
• MySitemapGenerator
  Бесплатно составит карту до 500 страниц, 2,5 доллара стоит генерация файла до миллиона страниц и создание карты с неограниченным количеством ссылок и автоматическим обновлением по расписанию стоит 4 доллара в месяц.
• Xml Sitemap Generator
  Бесплатно генерирует HTML, RSS и Google XML-карты сайта. Есть онлайн-режим, плагин для WordPress и возможность скачать программу для Windows.
Онлайн-режим

CMS-плагины для создания Sitemap

WordPress: Xml Sitemap Generator, SEO Plugin Rank Math, YOAST SEO, All in One SEO Pack.

Joomla: демо и платная версия OSMap, демо и платная jSitemap, бесплатная JL Sitemap.

1С-Битрикс: в админпанели в разделе «Маркетинг» есть «Настройка sitemap.xml».

После того, как Карта сайта готова, файл необходимо определить в корневую директорию. В этом случае ссылка, указывающая поисковым системам путь к файлу Sitemap, может выглядеть так: http://www.pr-cy.ru/sitemap.xml

Добавление Карты сайта в поисковые системы

Чтобы о новом файле Sitemap быстрее узнали поисковые роботы, веб-мастеру необходимо внести изменения в файл robots.txt, прописав в нем особую директиву, указывающую точный маршрут к Карте сайта:

 Sitemap: http://www.pr-cy.ru/sitemap.xml

Готовый файл Sitemap нужно проверить на ошибки и добавить в Яндекс или Google при помощи Яндекс.Вебмастера или Google Search Console.

Как удалить старую Карту сайта

При реорганизации контента и создании новых Sitemap нужно удалить старую Карту сайта. ​В панели Вебмастера Google нет такой функции, но сотрудник Google Джон Мюллер советует присвоить ссылке на файл ошибку 404. Если ссылка на Sitemap XML отдает код ошибки 404, то со временем поисковик автоматически перестанет учитывать этот файл.

Наличие у сайта правильно составленной Карты — не гарантия того, что поисковик проиндексирует все страницы. Sitemap — подсказка для поисковых ботов о том, как лучше сканировать ресурс. Тем не менее, если вы управляете не лендингом и не сайтом из нескольких страниц, составьте файл для своего проекта.

Создание файла sitemap.xml, добавление sitemap.xml в Яндекс и Google для ускорения результатов продвижения сайтов.

Существует несколько способов и инструментов, позволяющих обеспечивать более быстрый приход поискового робота на нужные страницы, а значит ускорить и индексацию сайта. Одним из таких инструментов является составление карты сайта в формате xml.

Sitemap.xml — специальный файл, расположенный в одном из каталогов сайта и содержащий дополнительную информацию о страницах, которые необходимо проиндексировать поисковым роботам. При помощи sitemap.xml в поисковые системы передается список страниц, подлежащих индексации, частота обновления информации на них, а также приоритет, показывающий важность индексации каждой из страниц.

Особенно xml-карты сайта хорошо выручают при сайтах с большим количеством страниц, способствуют лучшей структуризации всех данных и дают возможность выделить важные для продвижения страницы.

Как создать sitemap.xml?

Для того чтобы создать sitemap.xml, достаточно вставить в соответствующее поле адрес главной страницы вашего сайта и нажать кнопку «Create Map»:

Нажимаем на «Create Map», и получаем таблицу, содержащую все страницы сайта, где можно с легкостью отметить страницы, которые необходимо включить в будущую карту сайта:

Напротив каждого адреса страницы, указано несколько основных параметров:

— дата последняя обновления страницы (по умолчанию дата создания sitemap.xml). Дату последнего изменения страницы можно с легкостью поменять на любую необходимую.

— частота обновления страницы, возможные варианты: всегда, каждый час, каждый день, каждую неделю, каждый месяц, каждый год и никогда. Для корректной индексации сайта рекомендуется использовать в качестве частоты обновления варианты: каждый день, каждую неделю или каждый месяц.

-приоритеты страницы (от 0 до 1). При помощи этого значения легко выделить, на какие страницы поисковому роботу обратить внимание в первую очередь. Как раз здесь и задаем где мы, к примеру, размещали новые тексты и хотим что бы поисковый робот, как можно скорее их увидел.

После внесения всех необходимых изменений и проставления приоритетов, нажимаем на кнопку «XML Sitemap» и получаем содержание нашей будущей карты сайта:

Далее копируем информацию в любой текстовый редактор, например «Блокнот», и сохраняем под именем «Sitemap.xml». Карта сайта готова к использованию.

Настройка sitemap.xml

Добавление sitemap.xml в Яндекс. Самостоятельно отправить информацию о xml-карте сайта можно через сервис Яндекс.Вебмастер. Для начала необходимо зарегистрировать там свой сайт, а после на странице Файлы Sitemap отправить информацию о месте расположения файла с картой:

В дальнейшем на этой странице будет отображаться список всех ваших карт.

Добавление sitemap.xml в Google. Для добавления информации о sitemap.xml необходимо, чтобы ваш сайт был добавлен в панель инструментов для вебмастеров от компании Google. После этого в разделе «Конфигурация сайт» необходимо перейти в раздел «Файлы Sitemap» и отправить абсолютный адрес нахождения файла карты сайта:

Добавление sitemap.xml в файл robots.txt. Кроме прямого добавления адреса расположения sitemap.xml поисковые системы Яндекс и Google понимают директиву Sitemap, которую рекомендуется прописать в файле robots. txt. В данной директиве прописывается абсолютный адрес нахождения файла sitemap.xml (по умолчанию корневой каталог сайта):

Таким образом, мы оповестим поисковые системы, что карта сайта присутствует и готова к использованию. Уже при следующем посещении поисковые роботы для индексации будут руководствоваться информацией, приписанной в файле sitemap.xml.

что это такое и как его правильно создавать

Краткое содержание статьи:

Работа robots.txt заключается в запрете индексации. А файл sitemap выполняет противоположные задачи.

Карта сайтмап отвечает за ускорение и полноту индексации интернет-ресурса. Она задаёт поисковой системе частоту, с которой возникает переиндексация страниц. Особенно важно правильно настроить файл «сайтмап» для сайтов, где часто обновляется контент. 

Для каких сайтов нужно создавать sitemap.xml?

Поисковые системы всегда читают информацию этого файла. Очень часто новая информация не доступна через навигацию, но она должна быть просканирована. В этом случае и создаётся текстовый документ «сайтмап».

Особенно файл важен для следующих сайтов:

1. Присутствует множество страниц и имеется вероятность, что робот начнёт их пропускать во время сканирования.
2. Разделы портала не имеют доступа через окно навигации.
3. На ресурсе имеются изолированные страницы, имеющие плохую связь между собой.
4. Владелец применяет технологии, которые поисковые системы проблематично анализируют — Ajax, Flash или Silverlight.

Техническая информация для создания файла sitemap.xml:

• файл не должен быть закрытым в robots.txt;
• применяется текстовый формат XML;
• может содержать не более 50 000 адресов, вес не должен превышать 50Мб;
• длина URL 2048 символов;
• разрешатся применять gzip-сжатие;
• нельзя создавать более 1000 сайтмапов;
• адреса в файле всегда абсолютные.

Приоритет страниц тоже указывается в этом разделе портала. Именно поэтому нельзя игнорировать настройки sitemap. Только грамотное использование тегов, позволяет сайту работать правильно.

Файл sitemap и его основные директивы

Текущий протокол задаёт команды для поисковых систем. Рассмотрим обязательные теги:

• urlset — считается главным, он подтверждает стандарт протокола;
• url — это родительский тег, после которого применяются дочерние. Его используют для каждого ввода URL;
• loc — абсолютный адрес, который всегда начинается с префикса (http или https).

Создать файл sitemap можно и с необязательными тегами:

• lastmod — атрибут отражает дату последнего обновления для определённого файла;
• changefreq — отражает частоту изменений страниц (always, hourly, daily, weekly, monthly, yearly, never). Значение «всегда» (always) ставится, если файл подвергается изменениям регулярно при входе на страницу. А «никогда» (never) характерно для архивных страничек ресурса. Роботы воспринимают этот директив в качестве рекомендации, а не как заданную команду;
• priority — приоритетность страницы. По умолчанию это 0,5, но можно установить свои значения — от 0 до 1,0. За счёт этой рекомендации роботы поисковых систем узнают, какие страницы следует проиндексировать в первую очередь.

Не нужно всем URL-адресам вашего сайта ставит высокие значения priority, так как величина является относительной. Роботам нужно просто подсказка в пределах одного сайта, с чего начать индексирование.

Пример составления сайтмап

Попробуем добавить sitemap для нашего сайта https://grand-seo.ru. Приступаем к работе:

<urlset>

<url>

<loc>https://grand-seo.ru/</loc>

<changefreq>monthly</changefreq>

</url>

<url>

<loc>https://grand-seo.ru/blog/</loc>

<changefreq>weekly</changefreq>

</url>

Небольшой отрезок карты даёт роботу понятные рекомендации. Поисковые системы понимают, что страница https://grand-seo.ru/ должна индексироваться раз в месяц, а https://grand-seo.ru/blog/ — каждую неделю.

Размещать XML-карту лучше всего в корневом каталоге портала. Ещё обязательно укажите ссылку на sitemap в robots.txt.

Как создать sitemap.xml

Существует несколько способов написания файла «сайтмап»:

1. Через Content Management System. Система управления сайтом уже содержит этот файл, нужно только его заполнить. Попробуйте загрузить страницу https://вашсайт.com/sitemap.xml, если её не существует, то обратитесь в службу поддержки.
2. Плагин sitemap можно загрузить с внешних ресурсов или попросить сделать его программистов именно для вашего движка.
3. Генераторы Sitemap. Они подробно анализируют сайт и создают документ, который можно скачать. Но его придется каждый раз обновлять при добавлении новых материалов на ресурс.
4. Зная программирование, можно сделать отдельный скрипт на сайте.

Если у вас возникли сложности при создании файла sitemap.xml, то следует обратиться к специалистам компании Grand-SEO. Уже более 10 лет наша фирма активно развивается, помогая вывести сайты различной направленности в ТОП поисковых систем.

Автоматизация sitemap.xml

Есть сайты, которые нуждаются в регулярной индексации — это новостные порталы и различные интернет-магазины. В этом случае сложно каждый раз поправлять файл «сайтмап» в ручном режиме. Необходимо автоматизировать sitemap, чтобы товары и новая информация не затерялась на сайте.

Для этого необходимо создать специальный модуль. Он свяжет базу данный сайта, инструкции robots.txt и файлы «сайтмап». При этом программа прописывается с учётом правил:

1. Файл sitemap должен быть уже созданным на сайте вручную, в нём уже прописаны все необходимые URL.
2. При добавлении новой страницы, система в автоматическом режиме прописывает дополнительную строчку в sitemap. xml с указанием этой страницы. В зависимости от типа последней указывается параметр частоты индексации и ее приоритет. Если страниц закрыта от индексации в robots.txt, она не прописывается в sitemap.xml.
3. При удалении страницы программа ищет строчку с указанием данной страницы в sitemap.xml. Если страница там есть, информация о ней удаляется.

Прописывая команды в протоколе «сайтмап», нельзя игнорировать robots.txt. Они не должны противоречить друг другу, иначе поисковые роботы их не смогут расшифровать. Если в robots.txt делаются исключения станиц, то их так же исключают из sitemap.

Проверить «сайтмап» на ошибки поможет программ Screaming Frog. Проходите регистрацию на сайте и загружаете в меню Mode — List свой файл. Система просканирует урлы и покажет, что открыто и скрыто для индексации.

Использование файла Sitemap — Вебмастер. Справка

Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.

Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.

1. В каких случаях нужен файл Sitemap
2. Поддерживаемые Яндексом форматы
3. Требования к файлу
4. Как создать файл и сообщить о нем Яндексу
5. Вопросы и ответы

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью и ссылок — переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:

• большое количество страниц;

• отдельные страницы без навигационных ссылок;

• глубокая вложенность.

Яндекс поддерживает протокол Sitemap. Чтобы передать информацию, используйте следующие элементы:

Тег	Обязательно	Описание
loc	Да	Адрес страницы.
lastmod	Нет	Дата последнего обновления страницы. Максимальный размер — 100 байтов.
changefreq	Нет	Частота изменения страницы. Максимальный размер — 100 байтов.
priority	Нет	Значимость страницы. Робот загружает страницы поочередно с учетом наличия и значения коэффициента от 0.0 до 1.0. Укажите коэффициент для тех URL, которые наиболее важны для сайта. Максимальный размер — 100 байтов.

Пример:

<?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
        <url>
            <loc>http://www.example.com/page1.html</loc>
            <lastmod>2005-01-01</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.8</priority>
        </url>
        ...
    </urlset>

Пример:

https://www.example.com/page1.html
https://www.example.com/page2.html

Также с помощью Sitemap вы можете передать информацию о локализованных страницах сайта и об изображениях (см. раздел Справки Яндекс.Картинок).

Чтобы передавать информацию о видео, в файле Sitemap укажите ссылки на XML-фиды (см. подробно в Справке Яндекс.Видео).

Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap.

• Используйте кодировку UTF-8. Кириллические URL робот Яндекса распознает как в закодированном виде, так и в оригинале.
• Максимальное количество ссылок — 50 000. Вы можете разделить Sitemap на несколько отдельных файлов и указать их в файле индекса Sitemap.

• Максимальный размер файла в несжатом виде — 50 МБ.

• Указывайте ссылки на страницы только того домена, на котором будет расположен файл.

• Разместите файл на том же домене, что и сайт, для которого он составлен.

• При обращении к файлу сервер должен возвращать HTTP-код 200.

1. Определите канонические URL для страниц, которые будут указаны в файле Sitemap. Это необходимо, если на сайте есть несколько страниц со схожей информацией.

2. Выберите формат и с помощью одного из сторонних ресурсов сформируйте файл.

3. Проверьте файл с помощью инструмента Анализ файлов Sitemap.
4. Укажите ссылку на файл в robots.txt или в разделе Файлы Sitemap Яндекс.Вебмастера.

При необходимости вы можете удалить информацию о Sitemap.

Как организовать Sitemap для большого сайта

Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.

Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap, которые часто обновляются.

Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице .

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap.

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap, при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

• Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap.

• Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

• Доступ к Sitemap запрещен в файле robots.txt, при обращении к Sitemap сервер возвращает HTTP-код, отличный от 200. Проверьте доступность файла для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.

Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.

Файл Sitemap находится в статусе «Документ не содержит текст»

Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.

Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»

Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что файл закрыт от индексирования — как правило, запрет прописан в HTTP-заголовке X-Robots-Tag. Директива запрещает файлу появляться в результатах поиска, но не влияет на обработку содержимого Sitemap. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.

Sitemap не обрабатывается

Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:

• Что Sitemap относится именно к тому сайту, для которого вы добавляете его в Вебмастер. Убедитесь, что адрес сайта совпадает: протокол (HTTP/HTTPS), наличие или отсутствие префикса www.

  
  
  
• Ответ сервера при запросе Sitemap. Если доступ к Sitemap запрещен в файле robots.txt или при обращении к нему возвращается HTTP-код, отличный от 200, файл не будет обработан роботом. Если при проверке отображается статус «Запрещен метатегом noindex», это не говорит об ошибке. Метатег noindex запрещает включение файла в поисковую базу, но не мешает роботу обрабатывать его содержимое.
• Корректность файла с помощью инструмента Анализ файлов Sitemap. Устраните ошибки, если они обнаружены.

битых ссылок — поиск и исправление мертвых ссылок на вашем веб-сайте

Управление ссылками — очень важная и абсолютно необходимая часть поддержки веб-сайта. Неработающие ссылки могут остановить роботов поисковых систем, фактически не позволяя им полностью проиндексировать веб-сайт.

Вы посещаете веб-сайт, который только что открыли. Информация, содержащаяся на страницах, — это именно то, что вам нужно для работы, которую вы пишете. Читая страницу, вы сталкиваетесь с примечанием, что очень важная информация — та, которая вам действительно нужна и сделает вашу статью очень содержательной — содержится на другой странице.Вы нажимаете на страницу, но ничего! Ссылка мертва, и у вас нет другого способа перейти на нужную страницу! Разочарование нарастает настолько, что вы решаете уйти с веб-сайта и поклясться никогда не возвращаться на этот разочаровывающий веб-сайт.

Это тот сценарий, который обычно вращается вокруг веб-сайта, который плохо управляется и где неработающие ссылки стали широко распространяться. Среди множества вредных привычек или ошибок, которые может совершать веб-сайт, неработающие ссылки — одна из самых серьезных.Неработающие ссылки влекут за собой столько негативных последствий, что ваш онлайн-бизнес или веб-сайт могут пошатнуться от его последствий, которые очень трудно исправить. Ботов поисковых систем останавливают битые ссылки, потому что они думают, что это конец строки. И, как ранее было показано в сценарии, посетители будут отключены веб-сайтом с мертвыми ссылками, потому что они будут думать, что информации нет, хотя на самом деле данные есть, но становятся недоступными из-за ошибки в коде.

Веб-сайт, заполненный неработающими ссылками, сильно страдает от испорченной репутации. Веб-сайт будет рассматриваться как непрофессиональный, и многие могут даже подумать, что это темная операция. То же самое и с владельцем веб-сайта, который может считаться человеком с сомнительной репутацией. Одно только это негативное воздействие на репутацию может иметь очень разрушительные последствия для бизнеса. И мы даже не учитываем многих посетителей, которые больше не будут посещать сайт, потому что были отключены по неработающим ссылкам.

Вебмастерам и владельцам сайтов следует регулярно и старательно проводить «чистку дома». Все ссылки должны быть активно проверены на наличие мертвых или битых гиперссылок. Это просто часть обычной уборки. Если вы всегда держите свой дом в чистоте, то и ваш веб-сайт должен быть таким же.

К сожалению, многие веб-мастера и владельцы веб-сайтов жалуются на поиск неработающих ссылок. Они утверждают, что проверка каждой ссылки занимает много времени, чтобы убедиться, что она работает или нет.С учетом множества обязанностей, которые приходится выполнять веб-мастерам и владельцам веб-сайтов, вполне понятно, что они не будут уделять первоочередное внимание проверке неработающих ссылок в своих списках дел.

К счастью, есть компании, которые также понимают, что проверка неработающих ссылок может быть довольно утомительной задачей, и разработали различные методы, чтобы упростить выполнение этой задачи и отнять меньше времени.

Например, xml-sitemaps.com запрограммировал автономный скрипт, который не только создает карты сайта, но и ищет неработающие ссылки на веб-сайте, а затем информирует веб-мастеров или владельцев веб-сайтов, какие это ссылки и с какими страницами они связаны.Такая автоматизация проверки неработающих ссылок — отличная экономия времени для веб-мастеров и владельцев сайтов.

Зачем вам нужен файл Sitemap и как его создать как профессионал

31 марта 2021 г. | Читать 23 мин.

Бродить по мощеным улочкам может показаться удивительным, но когда вам нужно добраться до определенного места, лучше найти его на карте и следовать советам по навигации. То же самое и с поисковыми роботами — большую часть времени они исследуют ваш сайт, естественно переходя по ссылкам.Проблема в том, что сканеры могут никогда не добраться до некоторых страниц таким образом: либо потому, что ваш веб-сайт слишком велик, либо потому, что на страницах нет ссылок, указывающих на них.

Вот почему существуют карты сайта. Чтобы не пропустить важные страницы, поисковые роботы иногда обращаются к карте сайта — это помогает им находить области веб-сайта, которые они никогда раньше не посещали.

То, что мы называем картой сайта

Карта сайта — это файл со списком всех страниц веб-сайта, о которых должны знать как сканеры, так и пользователи.Оно похоже на оглавление книги, за исключением того, что разделы представляют собой ссылки.

Существует 2 основных типа карт сайта: HTML и XML.

Карта сайта HTML — это веб-страница, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. Вот несколько хороших примеров карт сайта в формате HTML: DHL, Lufthansa, SmartFares.

Карта сайта в формате HTML предназначена в основном для людей, а не роботов, и помогает быстро перемещаться по основным разделам сайта.

Карта сайта XML — это файл XML (например, sitemap.xml), расположенный в корневой папке веб-сайта, в котором указываются ссылки, даты изменения страницы и другие параметры, важные для поисковых систем. Поскольку все параметры помечены специальными тегами, XML-файлы очень похожи на HTML-код веб-сайта:

В этом посте мы рассмотрим список преимуществ, которые XML-карта сайта может принести веб-сайту, поговорим о различных типах карты сайта и, наконец, выясним, как создать правильную карту сайта.

Каковы преимущества XML-карты сайта?

Если у вас большой веб-сайт или вы только начинаете новый проект, рекомендуется иметь карту сайта. В первом случае карта сайта поможет Google обнаружить некоторый глубоко укоренившийся контент. Между тем, с совершенно новым веб-сайтом, благодаря карте сайта, вы не будете ждать целую вечность, пока Google узнает, что ваш контент вообще существует.Но что, если ваш сайт не является ни большим, ни новым? Стоит ли вам все же подумать о карте сайта?

Согласно Google, вы всегда можете получить выгоду от добавления карты сайта на свой веб-сайт и никогда не будете наказаны за ее наличие. Кроме того, карта сайта может принести вам множество других ощутимых преимуществ:

• XML-карты сайта помогают поисковым системам понять, какие страницы вы хотели бы проиндексировать — добавляя URL-адрес в карту сайта, вы сигнализируете Google, что страница является качественной. Однако помните, что Google может проигнорировать ваш запрос — чтобы страница была проиндексирована, она должна соответствовать стандартам качества Google.
• Карта сайта может помочь вашему веб-сайту восстановиться, если его веб-страницы были поражены обновлением Google Panda (особенно полезно для крупных веб-сайтов).
• Файлы Sitemap помогают контролировать индексацию определенных страниц в Google Search Console.
• Вы можете сообщить Google о региональных версиях своих страниц, указав их в карте сайта вместе со специальными атрибутами hreflang. Это не единственный способ правильно организовать многоязычный веб-сайт, но некоторые веб-мастера считают, что это самый простой способ.
• Карта сайта в формате XML — это ваш юридический помощник в подтверждении ваших прав на контент, поскольку в ней указывается время публикации и обновления страницы.

Перед созданием карты сайта необходимо понять, сколько карт сайта вам нужно. Обычно достаточно одного. Тем не менее, есть ряд случаев, когда вам нужно создать несколько файлов Sitemap.

Разделение больших карт сайта

Поисковые системы будут сканировать только карту сайта с максимальным размером файла 50 МБ в несжатом виде и содержащую не более 50 000 URL-адресов .Google наложил такие ограничения не зря — они гарантируют, что ваш веб-сервер не будет перегружен при обслуживании очень больших файлов.

Также рекомендуется сжимать файлы карты сайта с помощью такого инструмента, как gzip для экономии полосы пропускания. Когда карта сайта сжимается, к имени файла добавляется расширение .gz, например. sitemap.xml.gz.

Итак, если у вас огромный веб-сайт и, следовательно, огромный файл карты сайта, вам придется разбить его на несколько более мелких.В противном случае вы получите ошибку размера файла Sitemap при отправке файла Sitemap в консоль поиска Google.

Несколько карт сайта для разных разделов веб-сайта

Также хорошей практикой для веб-сайтов электронной коммерции является распределение страниц веб-сайтов, принадлежащих к разным категориям, по нескольким картам сайта. Например, вы можете разделить страницы продукта, страницы категорий, сообщения блога, и т. Д. Это позволяет веб-мастерам заметить, есть ли у некоторых типов страниц проблемы с индексацией. Кроме того, поскольку страницы продуктов обновляются чаще, чем другие, при использовании нескольких карт сайта вам нужно будет обновить только одну карту сайта продукта, а не обновлять карту сайта для всего веб-сайта.

Наконец, использование файлов Sitemap меньшего размера для различных разделов веб-сайта также является хорошим техническим решением. Размер файла вашей карты сайта не может превышать 50 МБ, а количество перечисленных URL-адресов может быть меньше 50 000, но чем больше страниц вы перечисляете, тем больше ненужной нагрузки они создают на вашем веб-сервере. Это может привести к усеченным ответам или тайм-аутам и, следовательно, к ошибкам сканирования. Таким образом, используя файлы Sitemap меньшего размера, вы можете предотвратить такие проблемы.

Карты сайта для видео, изображений и новостей

Помимо карт сайта со списком URL-адресов веб-сайтов, Google позволяет создавать собственные карты сайта для изображений и видеоконтента, а также карты сайта для новостей.

Последний, очевидно, пригодится для новостных веб-сайтов — поскольку такие веб-сайты обрабатывают чувствительный ко времени контент, для Google очень важно как можно быстрее находить новостные статьи. Чтобы пользователи получали самую свежую информацию, Google разрешает включать только свежие статьи в карту сайта новостей — они должны быть опубликованы в течение последних двух дней . Кроме того, вы можете включить и не более 1000 статей в одну карту сайта для новостей, но, поскольку вы должны удалить из нее более старый контент, это не имеет большого значения.Последнее — и, вероятно, самое важное — условие — ваш веб-сайт должен быть зарегистрирован в Новостях Google .

Говоря о Image и Video Sitemap , они будут очень полезны для веб-сайтов, которые сильно зависят от медиа-контента, например стоковые фотографии, библиотеки или потоковые платформы. Карты сайта с изображениями увеличивают шансы веб-сайта на попадание в поисковые запросы изображений, а карта сайта для видео помогает Google ранжировать ваш видеоконтент.

Здесь вы можете предоставить Google дополнительную информацию о вашем носителе — например, вы можете указать заголовок и подпись изображения.Для видео вы можете указать его длину, рейтинг, пригодность для семейного просмотра и многое другое.

Тем не менее, большинству веб-сайтов не нужны отдельные карты сайта с изображениями и видео. Чтобы гарантировать, что Google поддерживает ваши важные изображения и видео, вы можете просто добавить их URL-адреса в свои обычные карты сайта.

Какие страницы включить в карту сайта?

Эта часть нашего ускоренного курса по картографированию чрезвычайно важна, поэтому прочтите внимательно!

Распространенное заблуждение состоит в том, что для помощи Google в сканировании и индексировании вашего сайта вам необходимо включить все страницы вашего сайта в карту сайта.На самом деле все наоборот. Google не нужно просматривать все мусорные страницы, которые могут быть на вашем сайте — вам нужно только сообщить ему о качественных, интересных страницах, которые, по вашему мнению, заслуживают высокого ранжирования. Включая некоторые страницы в карту сайта, вы просите Google сосредоточиться на них. Он может последовать вашему совету, а может и не последовать, но это уже другая история.

Как правило, все страницы, которые вы добавляете в карту сайта, должны быть 200 OK страниц, заполненными высококачественным контентом, который обслуживает пользователей. Это означает, что вам следует исключить все страницы, не соответствующие этим критериям, с учетом некоторых исключений.

4XX страниц в карте сайта XML

Коды ответов 4XX означают, что запрошенная страница не существует или имеет ограниченный доступ, поэтому в большинстве случаев вы не хотите включать такие страницы в свою карту сайта.

4xx, которых не должно быть в вашей карте сайта

404 — это удаленные страницы, поэтому, если такие страницы были удалены намеренно, держите их подальше от вашей карты сайта. То же самое касается программных страниц 404, которые были удалены, но по-прежнему возвращают 200-уровневый код состояния успеха.Обычно это страницы с небольшим содержанием или без содержания, перенаправления на домашнюю страницу или страницы 404, заблокированные файлом robots.txt. Мягкие ошибки 404 обычно не подходят для вашего SEO, поэтому потратьте некоторое время на исправление этой проблемы.

Не забудьте создать настраиваемую страницу 404, чтобы обеспечить удобство работы пользователей.

Еще один популярный код статуса 4xx — 401 — это означает, что Google «не авторизован» для доступа к странице. Обычно такие страницы предназначены для авторизованных пользователей, и вы не хотите, чтобы Google их индексировал. Следовательно, вам не нужны эти страницы в вашей карте сайта.

4xx вам может понадобиться в вашей карте сайта

В некоторых случаях вы действительно можете захотеть, чтобы Google сканировал и проиндексировал страницу 401. Например, бывает, что вы защищали паролем страницу в стадии разработки, а затем забыли снять ограничения, когда страница была запущена. Кроме того, иногда веб-мастера ограничивают доступ к определенным страницам, чтобы защитить их от плохих ботов или спамеров. В таких случаях вам необходимо включить поиск DNS, чтобы убедиться, что поисковый робот, обращающийся к вашей странице, является роботом Googlebot.

3XX страницы в карте сайта XML

3xx являются страницами перенаправления, и вы можете захотеть или не захотеть их в карте сайта в зависимости от типа перенаправления.

3xx, которого не должно быть в вашей карте сайта

Код ответа 301 означает, что страница была постоянно перенаправлена ​​на новый адрес, а исходная страница больше не существует. Следовательно, таких страниц не должно быть в вашей XML-карте сайта. Единственное, что нужно помнить в этом случае, — это включить целевой URL в карту сайта.

3xx, которые могут вам понадобиться в вашей карте сайта

302 страницы являются временно перенаправленными страницами. Например, такое перенаправление часто используется для A / B-тестирования — это когда часть пользователей отправляет на тест URL-адрес.В этом случае вы хотите, чтобы исходная страница оставалась проиндексированной, поэтому очевидно, что она должна оставаться в вашей карте сайта. С другой стороны, тестовая страница не должна индексироваться, потому что она будет практически дублировать исходную страницу. Итак, вам нужно пометить исходный URL как канонический и держать тестовый URL подальше от вашей карты сайта, как и все неканонические страницы.

5XX страниц в XML-карте сайта

Коды статуса 5XX означают, что на стороне вашего веб-сервера возникла проблема. Самый распространенный из кодов 5xx — это ошибка 503 Service Unavailable, в которой говорится, что сервер временно не работает.Это может произойти из-за того, что веб-сервер находился на техническом обслуживании или был перегружен.

Если ошибка была обнаружена только один раз, вам не о чем беспокоиться, поскольку это, вероятно, связано с плановым обслуживанием веб-сервера. Если, с другой стороны, проблема не исчезнет, ​​вам придется выяснить, что ее вызывает, и исправить ее как можно скорее. В противном случае Google может решить, что ваш веб-сайт плохо обслуживается.

Для страниц 5xx важно не добавлять их в карту сайта или нет, а решать проблему, чтобы убедиться, что страницы имеют код ответа 200 OK.

Неиндексируемые страницы

Каждый веб-сайт имеет ряд служебных страниц, которые важны для пользователей, но не для поисковых систем — страницы входа, страницы, доступные после входа в систему, страницы сортировки и фильтрации и т. Д. Обычной практикой является блокировка такие страницы с файлом robots.txt, чтобы Google не мог получить к ним доступ. Или можно позволить Google сканировать страницу, но ограничить ее индексирование специальными директивами ( noindex или все ).

Естественно, всех этих страниц не должно быть в вашей карте сайта.Если страница не может быть проиндексирована, но указана в вашей карте сайта, это не только сбивает Google с толку, но и расходует ваш краулинговый бюджет. То же самое и со страницами, заблокированными файлом robots.txt: Google не сможет их просканировать.

Если вы хотите, чтобы Google деиндексировал страницу и применил к ней тег noindex, не добавляйте эту страницу в файл robots.txt. Вы также можете сохранить его в своей карте сайта до того, как страница выпадет из индекса.

Также неплохо провести аудит вашего сайта, чтобы убедиться, что директива noindex и файл robots.txt используются правильно, и вы случайно не заблокировали не те страницы.

Вы можете легко найти все такие страницы с помощью инструмента аудита веб-сайтов SE Ranking. После запуска аудита вам нужно будет перейти в раздел Сканирование отчета о проблемах.

Нажав на количество соответствующих страниц, вы увидите полный список URL-адресов, помеченных как noindex или заблокированных файлом robots.txt, а также другие важные параметры, такие как количество внутренних ссылок, указывающих на страницу, все мета-адреса роботов. теги и теги x-robots, а также заголовок страницы.Вы также сразу увидите, включена ли эта страница в ваш файл Sitemap.

Если вы еще не являетесь пользователем рейтинга SE, вы можете бесплатно протестировать платформу в рамках 14-дневной пробной версии.

Неканонические страницы

Канонический тег используется для обозначения того, какая из двух или более похожих страниц является основной. Предполагается, что Google индексирует и ранжирует предпочтительную страницу и игнорирует повторяющиеся или почти повторяющиеся страницы. Похожие страницы, отмеченные каноническими тегами, могут иметь совершенно разные URL-адреса или похожие URL-адреса (например,грамм. URL-адреса, созданные в процессе сортировки и фильтрации, URL-адреса с тегами UTM и параметрами отслеживания).

Иногда канонические теги также используются для того, чтобы сделать страницу доступной через HTTP и HTTPS, а также как с префиксом www, так и без него. В этом случае основная версия страницы (например, вариант HTTPS без www) помечается с помощью rel = canonical. Однако большинство веб-сайтов в этом случае предпочитают переадресацию на стороне сервера, поскольку они более просты и гарантируют, что будет проиндексирован только предпочтительный вариант веб-сайта.

Канонические теги работают иначе, чем перенаправление, они больше похожи на рекомендации, чем на директивы, и Google может следовать им или игнорировать их. Вот почему наличие неканонических URL-адресов в карте сайта действительно сбивает с толку с точки зрения поисковых систем. Если страница не помечена как каноническая, это говорит Google, что вы не хотите, чтобы она индексировалась. В то же время вы добавляете страницу в карту сайта, побуждая Google проиндексировать страницу. В результате Google может проиндексировать все версии страниц, и вам придется иметь дело с каннибализацией ключевых слов.Или поисковая система может выбрать индексирование неканонического URL, что вам тоже не нужно.

Страницы, которые нужно держать подальше от вашей карты сайта

Теперь давайте быстро подведем итоги, какие страницы вы не должны включать в карту сайта:

• удаленные страницы 404 и программные 404 страницы, защищенные паролем страницы 401
• постоянно перенаправленные 301 страница
• неиндексируемых и неканонических страниц — в эту категорию входят страницы входа и страницы с разбивкой на страницы, страницы фильтрации и сортировки, страницы результатов поиска по сайту, URL-адреса на основе параметров или идентификаторов сеансов и т. Д.

Включая в карту сайта только высококачественные страницы, вы повышаете общее качество своего сайта в глазах Google, что должно положительно повлиять на ваш рейтинг.

XML-теги карты сайта и их настройки

Я уже упоминал, что наряду с URL-адресами веб-сайтов, карта сайта содержит различные теги, которые определяют параметры страницы. Вот отрывок из XML-карты сайта нашего блога, чтобы вы могли увидеть, как организованы теги.

Теперь давайте рассмотрим каждый из них, чтобы вы поняли, для какой цели служат теги и как их правильно использовать.

• — это обязательный элемент, который инкапсулирует карту сайта и указывает, какая версия стандарта протокола XML Sitemap используется (через атрибут xmlns). Стандарт протокола также называется пространством имен.
• — еще один обязательный элемент, который обозначает блок со всей информацией, относящейся к одному URL.
• — последний обязательный элемент, который указывает сам URL страницы. Все перечисленные URL-адреса должны быть полностью квалифицированными — содержать протокол сайта (HTTP или HTTPS), а также префикс www, если он включен в ваше доменное имя.
• определяет, как часто страница может изменяться.Вы можете установить этот параметр как всегда: ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно или никогда.
• устанавливает приоритет сканирования страницы (допустимые значения от 0,0 до 1,0)
• указывает при последнем обновлении содержимого страницы

Убедитесь, что вы используете тот же синтаксис при указании URL-адреса. Кроме того, файлы карты сайта должны быть в кодировке UTF-8.

Раньше Google обращался к тегам и , чтобы определить, какие страницы должны иметь приоритет при сканировании веб-сайтов.Поэтому веб-мастерам приходилось тщательно настраивать эти параметры для каждой страницы. Уже много лет этого не происходит. Джон Мюллер и Гэри Иллис подтвердили, что Google теперь игнорирует теги , а Гэри Иллис называет тег «мешком шума».

То же самое и с тегом — Джон Мюллер утверждал, что он также не принимается во внимание.

Единственный необязательный тег, который все еще учитывается, — это . Google может проконсультироваться с ним, если тег достаточно точен. Говоря точнее, Гэри Илес, вероятно, имел в виду, что тег должен обновляться только тогда, когда в контент были внесены некоторые существенные изменения.Если вы обновите тег, чтобы заставить Google думать, что ваш контент свежий, это не поможет.

При правильном использовании помогает Google понять, когда контент обновлялся в последний раз и нужно ли его повторно сканировать. Кроме того, тег помогает поисковой системе выяснить, кто был первоначальным издателем.

Статические и динамические карты сайта

К настоящему времени вы, возможно, задаетесь вопросом, сколько времени вам придется тратить на обновление карты сайта каждый раз, когда вы публикуете новую страницу или обновляете существующую.Поддержание актуальности карты сайта может оказаться непростой задачей, если вы решите создать статическую карту сайта . Хорошей новостью является то, что вы можете легко избежать всех хлопот, создав вместо этого динамическую карту сайта .

Этот вид карты сайта обновляется автоматически, когда вы вносите какие-либо изменения в свой сайт. Например, всякий раз, когда вы удаляете страницу, и она становится 404, эта страница будет удалена из карты сайта. Если вы отметите страницу как noindex или добавите ее в файл robots.txt, она также будет удалена из карты сайта.С другой стороны, всякий раз, когда вы создаете новую страницу и помечаете ее как каноническую, она сразу же добавляется в вашу карту сайта. Это действительно так просто — все, что вам нужно, это правильно настроить инструмент, который будет генерировать ваши динамические карты сайта.

Как создать карту сайта в формате XML?

Наконец, мы подошли к самой практической части нашего поста — давайте разберемся, как на самом деле можно создать карту сайта.

Самый простой способ — создать карту сайта на вашей CMS. Поскольку CMS содержит информацию обо всех страницах веб-сайта и всех внесенных вами корректировках, она может передавать все данные в динамическую карту сайта .

Некоторые CMS с самого начала имеют возможности создания карты сайта — это относится к Magento, Shopify, Wix и Squarespace. С другими популярными CMS, такими как WordPress, Joomla, Drupal или OpenCart, вам придется использовать специальные плагины.

В таблице выше я перечислил некоторые популярные плагины Sitemap для различных CMS. Выбирая одну для своего сайта, обратите внимание на набор функций плагина: оптимизированные для SEO решения позволят вам исключить 404, перенаправленные, noindex, канонические и другие неприемлемые страницы из вашей карты сайта.Кроме того, возможности настройки ума — вы хотите иметь возможность легко изменять список страниц, включенных в карту сайта.

Если ваш веб-сайт не основан на CMS, вы можете использовать один из специальных инструментов для создания карты сайта. На рынке доступно множество как бесплатных, так и платных опций, поэтому еще раз внимательно изучите возможности инструмента. Дело в том, что, хотя вы должны иметь возможность создавать настраиваемую динамическую карту сайта с помощью одного из платных генераторов, большинство бесплатных решений слишком просты и не имеют некоторых важных функций.Таким образом, у вас может получиться статическая карта сайта, в которой представлены все страницы вашего сайта, включая канонические, безиндексные и перенаправленные URL-адреса.

Поэтому, если использование одного из платных решений и функций CMS не подходит, я советую вам создать карту сайта с помощью инструмента аудита веб-сайтов SE Ranking. Всего за несколько минут инструмент создаст для вас статическую карту сайта на основе последнего сканирования веб-сайта. По умолчанию инструмент включает только 200 страниц в карту сайта, опуская 4xx, 3xx, noindex и другие страницы, которые вы обычно хотите исключить.

При создании карты сайта с помощью аудита веб-сайта учитывайте ограничения на сканирование — количество страниц на вашем веб-сайте должно превышать установленные вами ограничения. В противном случае некоторые важные страницы могут не быть включены в вашу карту сайта.

Наконец, если ни одно из готовых решений не работает для вашего сайта, вы можете создать собственную карту сайта. Конечно, для этого требуются некоторые навыки программирования, поэтому вам понадобится разработчик, который создаст для вас правильную динамическую карту сайта.

Как отправить карту сайта в Google

В зависимости от инструмента, который вы использовали для создания карты сайта, вам может потребоваться вручную добавить ее на свой сайт, или она может уже там быть — это может быть случай для динамических карт сайта, созданных с помощью CMS.Обычно, когда карта сайта автоматически добавляется на веб-сайт, она располагается по адресу yoursite.com/sitemap.xml.

Если вы использовали один из инструментов, сгенерировавших XML-файл карты сайта, вам придется вручную загрузить его в корневую папку вашего веб-сайта. Вы можете сделать это с помощью cPanel или через FTP-клиент, например Total Commander или FileZilla. Хорошей идеей будет проверить действительность карты сайта перед загрузкой, особенно если файл был создан вручную — используйте один из бесплатных инструментов, подобных этому, чтобы убедиться, что карта сайта работает так, как вы предполагаете.

Также рекомендуется добавить ссылку на карту сайта в файл Robots.txt — вы можете найти ее в корневом каталоге своего веб-сервера.

Как только действительная карта сайта появится на вашем веб-сайте, вы можете отправить ее в Google Search Console (GSC). Для этого перейдите к отчету о файлах Sitemap , нажмите Добавить новую карту сайта , введите URL-адрес своей карты сайта и нажмите кнопку «Отправить ».

Вскоре вы увидите, смог ли Google правильно обработать вашу карту сайта, в столбце «Статус». Если все прошло успешно, статус будет Успешно .Если карта сайта была проанализирована, но Google обнаружил некоторые ошибки, статус будет Имеются ошибки . Наконец, если Google не сможет сканировать вашу карту сайта, вы получите статус Не удалось получить статус .

Обязательно исправьте все ошибки карты сайта, чтобы статус вашей карты сайта был Успех . Я составил отдельное руководство с описанием распространенных ошибок файлов Sitemap, чтобы помочь вам в этом вопросе.

В той же таблице отчета Sitemap вы увидите количество обнаруженных URL-адресов — в идеале оно должно равняться общему количеству URL-адресов, добавленных в ваш файл Sitemap.

Наконец, щелкнув значок рядом с количеством обнаруженных URL, вы попадете в отчет Охват индекса , который поможет вам лучше понять, как Google сканирует и индексирует ваш сайт. Изучение отчета поможет вам удалить некоторые некачественные страницы из карты сайта и добавить страницы, которые вы могли пропустить.

Отправка нескольких файлов Sitemap в Google

Если вы решили, что вам нужно несколько файлов Sitemap, вы все равно можете отправить их все в Google одновременно.Для этого вам нужно будет перечислить все свои карты сайта в одном файле.

Файл называется индексом карты сайта, и он помогает Google легко находить все ваши карты сайта. Вы можете включить до 50 000 URL-адресов в один файл, и другое требование — это размер файла. Как вы уже догадались, он не должен превышать 50 МБ.

Получив файл, отправьте его в Google так же, как и обычный файл карты сайта.

В заключение

Поздравляем! Вы закончили наш ускоренный курс по SEO-картированию сайта.Следуйте рекомендациям по картированию сайтов, и у вас не возникнет проблем с поиском и сканированием всех качественных страниц вашего сайта Google. И если вы хотите получить максимальную отдачу от своей карты сайта, ознакомьтесь с этим руководством по ее полировке.

Просмотров публикации: 235

Светлана — контент-маркетолог и редактор SE Ranking. Ее интересы охватывают цифровой маркетинг, SEO и перевод. Она регулярно делится своим опытом в блоге SE Ranking и в различных маркетинговых СМИ.Светлана считает, что сложные понятия можно объяснить простыми словами, и любит создавать иммерсивные истории. Светлана проводит большую часть своих вечерних часов, изучая новые языки, планируя незабываемые поездки и гладя своего кота.

Как оптимизировать XML-файлы Sitemap: 13 передовых методов SEO

1. Используйте инструменты и плагины для автоматического создания карты сайта
2. Отправьте карту сайта в Google
3. Сделайте приоритетными высококачественные страницы в вашей карте сайта
4. Изолировать проблемы индексации
5. Включить только Канонические версии URL-адресов в вашем файле Sitemap
6. Используйте метатег роботов вместо роботов.txt по возможности
7. Создание динамических XML-файлов Sitemap для больших сайтов
8. Используйте XML-файлы Sitemap и RSS / Atom-каналы
9. Обновляйте время модификации только при внесении существенных изменений
10. Не включайте URL-адреса noindex в свою карту сайта
11. Дон Не слишком беспокоитесь о настройках приоритета
12. Не позволяйте вашей карте сайта стать слишком большой
13. Не создавайте карту сайта, если вам не нужно

Создание и обновление вашей XML-карты сайта является важной, но игнорируемой практикой SEO .

Карты сайта важны для ваших сайтов и поисковых систем.

Для поисковых систем карты сайта — это простой и понятный способ получить информацию о структуре и страницах вашего веб-сайта.

XML-карты сайта также предоставляют некоторые важные метаданные, например:

• Как часто обновляется каждая страница.
• Когда они в последний раз менялись.
• Насколько важны страницы по отношению друг к другу.

Однако есть определенные передовые методы использования карты сайта с максимальной выгодой.

Реклама

Продолжить чтение ниже

Готовы узнать, как оптимизировать карты сайта XML?

Ниже приведены 13 лучших практик, позволяющих получить максимальную отдачу от SEO за ваши деньги.

Создать карту сайта легко, если у вас есть подходящие инструменты, такие как программное обеспечение для аудита со встроенным генератором XML Sitemap или популярные плагины, такие как Google XML Sitemaps.

Фактически, веб-сайты WordPress, которые уже используют Yoast SEO, могут активировать XML Sitemaps прямо в плагине.

В качестве альтернативы вы можете вручную создать карту сайта, следуя структуре кода карты сайта XML.

Технически, ваша карта сайта даже не обязательно должна быть в формате XML — достаточно текстового файла с новой строкой, разделяющей каждый URL.

Однако вам нужно будет создать полную карту сайта XML, если вы хотите реализовать атрибут hreflang, поэтому гораздо проще просто позволить инструменту делать эту работу за вас.

Посетите официальные страницы Google и Bing для получения дополнительной информации о том, как вручную настроить карту сайта.

Реклама

Продолжить чтение ниже

2. Отправьте карту сайта в Google

Вы можете отправить карту сайта в Google из консоли поиска Google.

На панели управления нажмите Сканирование> Файлы Sitemap> Добавить тестовый файл Sitemap .

Проверьте свою карту сайта и просмотрите результаты, прежде чем нажать Отправить карту сайта , чтобы проверить наличие ошибок, которые могут помешать индексированию ключевых целевых страниц.

В идеале вы хотите, чтобы количество проиндексированных страниц было таким же, как и количество отправленных страниц.