Карта сайта как правильно сделать: Как создать карту сайта

как правильно сделать карту сайта?

Карта сайта, также именуемая Sitemap, – веб-страничка с размещенными на ней сведениями о структуре конкретного ресурса. Отдельным вопросом может стать необходимость в карте сайта, когда существует «подвал». Мы говорим – ДА, карта сайта нужна. И связано это с тем, что Sitemap несет функции путеводного инструмента как для людей, так и для поисковиков.

Sitemap ссылается на разделы с подразделами, а также просто страницы. Конечно, если Ваш портал включает всего 10 страниц, карту, возможно, и не надо создавать, в ее роли выступит стандартное меню. А вот когда речь идет о полноценном портале, на котором сотни или даже тысячи web-страниц, то смысл в карте огромный.

1 карта хорошо, а две – лучше!

Выше мы уже обозначили важность Sitemap для людей и поисковиков, поэтому многие современные порталы располагают двумя картами: XML и HTML.

XML применяется конкретно поисковиками. Миссия такой карты заключается в предоставлении поисковикам точных сведений о строении со всеми модификациями.

Благодаря наличию такой карты «пауки» достаточно быстро проводят индексацию добавляемых текстов, вносят контент в базу систем-поисковиков. А вот если у сайта-многостраничника нет Sitemap.xml, тогда многочисленные веб-странички просто не будут индексироваться месяцами либо даже годами.

Карта в виде HTML подходит для визуальной презентации структуры пользователям. От простоты и ясности этой карты зависит оперативность, с которой посетитель сайта найдет нужный ему раздел. Подготовка HTML-карты имеет значение тогда, когда надо наладить usability пространного internet-проекта, а разделы и подразделы нет возможности поместить в меню.

Некоторые «специалисты» задействуют в качестве инструмента для постановки ссылок внутри сайта карту HTML, но такое ее использование является грубейшей профессиональной ошибкой. Сейчас мы поясним, почему. Самое главное – HTML-карта не является полноценным Sitemap. Хорошо, если «паук» воспримет ее как страничку с более крупным числом ссылок внутри ресурса (внутренние ссылки).

А в худшем случае Вас ожидает пессимизация значения карты сайта, т.к. на ней очень много ссылок, хотя они и не сделаны внешними. Плюс, если робот-поисковик не посчитает Вашу карту спамом, он способен даже не принять во внимание ряд ссылок, а потому некоторые статьи не будут индексироваться.

Делаем XML-карту

Файл XML готовят 3-мя методами:

• Покупка генератора, чтобы он создал карту ресурса
• Использовать 1 из online-сервисов
• Создать файл самостоятельно

Лучше всего приобрести генератор. Тогда Вас не затруднит работа вручную, а, значит, Вы сможете рациональнее использовать часть своих рабочих часов. Минусом указанных генераторов считается то, что нужно покупать лицензию. Большинство данных программ продаются по Shareware, стоимость от 20ти до 30ти USD. Лучшие в продаже:

• SiteMap XML Dynamic SiteMap Generator
• WonderWebWare SiteMap Generatior
• Sitemapspal

Когда на сайте у Вас несколько сотен страниц, надо попробовать online-сервисы, предоставляющие услуги безвозмездно. Вам останется только обозначить адрес сайта, кликнуть «Загрузить», и вот уже у Вас – полноценная карта. Лучшие среди сервисов online:

• www.xml-sitemaps.com – до 500 стр.
• www.freesitemapgenerator.com – для порталов до 5000 стр.

Для тех, кто собирается делать Sitemap.xml самостоятельно, полезно почитать эту информацию. Вы должны знать данные теги:

• <url> – укажите информацию о конкретном урле
• <urlset> – тег, который может включать несколько урлов
• <loc> – применяется для указания урла
• <lastmod> – добавляется дата последнего изменения страниц
• <changefreq> – выявляет частоту изменения содержимого, задействуются атрибуты: always, hourly, daily, weekly, monthly, yearly, never
• <priority> – преподносит описание приоритета конкретной web-странички в соотношении с остальными (при цифрах от 0,1 считается низкий приоритет, до 1 – высокий)

Примечания:

• <url>, <urlset> и <loc> – обязательно
• <lastmod>, <changefreq> и <priority> – не обязательно указывать в файле Sitemap. xml

Когда карта создана, надо отправить ее на Ваш ресурс. Для этого сделанному файлу надо выдать имя Sitemap.xml, а позднее «залить» его в корневую директорию портала.

Для того чтобы «пауки» быстрее нашли карту, стоит применять функционалы «Инструменты для вебмастеров» (Google), «Яндекс-вебмастер» (Яндекс).

В 1-ом случае сначала авторизация в «Инструментах», затем – найти из перечня сайтов необходимый Вам, перейти к вкладке оптимизация/файлы Sitemap. Выйдет страничка, где потребуется нажать «Загрузить», выбрать file и подтвердить.

Для того чтобы возник новый файл в базе Яндекса, стоит авторизоваться в соответствующем функционале, опять же найти Ваш site, обратиться к настройке индексирования/файлам Sitemap, отметить путь к сделанному Вами файлу, кликнуть на «Добавить».

Советы

• Сегодня поисковики отмечают файлы Sitemap, которые обладают не более 50000 урлами. Учтите и размер самого файла. Он не должен зашкаливать за 10Мб. Google просит разбить карту на ряд files. Все это позволит не допустить серверных перегрузок.
• При подготовке ряда Sitemap их следует обозначить в файле индекса, создаваемым с подбором нижеперечисленных тегов: <sitemapindex> (родительский, ставится в начале file и его конце), <sitemap> (для каждого из файлов), <loc> (определяет местоположение всех файлов) и <lastmod> (тег не обязательный, но он демонстрирует даты выполненных ранее трансформаций файлов map).
• Урлы делать с префиксом www или же без такого префикса.
• Кодировка файлов Sitemap – UTF8.
• Sitemap.xml должна включать указание на пространство имен кодировки XML: xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″.

Карта для пользователей: правильно создаем

Если страничка – для пользователей, а не робота, имеет смысл, чтоб она оказалась удобной, легкой для восприятия, информативной, содержащей базовые сведения о структуре ресурса.

Многие карты такого формата обладают обыкновенной древовидной структурой, где разделы с подразделами выделяются разными стилями CSS и иногда графическими элементами.

Если Вам нужно сделать карту для внушительного портала с тысячами веб-страниц, тогда ссылки на них следует делать в виде вкладок. Это позволит Вам не обеспечить основного недостатка крупных карт – пространности. Т.к. эта map для «пауков» играет второстепенные роли, для того чтобы создать ее, Вы можете прибегнуть к Java-скрипту. Он помогает сильно увеличить функциональность данной страницы.

Студия Seora предлагает Вам воспользоваться услугами лучших специалистов, которые создадут нужные Вам карты сайта с учетом последних тенденций. Это значительно повысит индексируемость всех страниц Ваших ресурсов.

Как правильно создать карту сайта?

За последнее время о Sitemap было написано много статей и руководств, но, несмотря на огромное количество информации, ошибки всё ещё возникают. Поэтому мы решили собрать и систематизировать имеющиеся знания. 

В нашем руководстве вы узнаете, как создать файл карты сайта с помощью различных инструментов, какие URL-адреса он должен содержать и как его правильно оптимизировать.  Вы также узнаете, как добавить карту сайта в Google и Яндекс, а также узнаете, какие приемы следует использовать для точного отслеживания индексации вашего сайта

Что такое Sitemap?

Sitemap (карта сайта) — это файл, чаще всего созданный в формате XML, который содержит основную информацию, связанную с URL-адресами на данном сайте. Его основная задача — облегчить индексацию обширных страниц роботами поисковых систем. Наличие карты сайта положительно влияет на SEO каждой страницы. В этом случае даже сайты со слабой внутренней перелинковкой могут рассчитывать на то, что карта сайта станет существенным подспорьем для поисковой системы.

Помимо стандартной версии файла карты сайта, Google также интерпретирует версии с расширениями. К ним относятся: 

• файлы Sitemap для видео,
• графические файлы Sitemap,
• файлы Sitemap для Новостей Google

Всегда ли необходим файл Sitemap?

Насколько файл Sitemap необходим именно вашему сайту зависит от его профиля и UI (от того, насколько хорошо поисковые роботы могут обнаружить и проиндексировать его страницы).

• Если ваш сайт имеет небольшой размер и простую структуру, и вы корректно указали ссылки на все страницы через меню или внутренние ссылки на ваших страницах, то, вероятно, поисковые роботы смогут обнаружить и проиндексировать большую часть вашего сайта и без Sitemap.
• Однако, когда речь идет о крупных или сложных проектах, или если у вас есть специализированные файлы (например, видео, изображения, новости и другие типы контента), файл Sitemap может значительно облегчить процесс сканирования и индексации поисковыми роботами.

Таким образом, Sitemap будет полезен для сайтов, где:

• очень большое количество подстраниц – это касается в первую очередь интернет-магазинов с большой базой товаров, насчитывающей десятки тысяч наименований;
• нет внутренней перелинковки, она не подготовлена ​​должным образом или ссылки часто обновляются;
• очень часто добавляется новый контент, а существующий контент обновляется;
• большая вложенность (корневой каталог -> категория -> подкатегория и так далее).

Форматы Sitemap

Sitemap.xml

Это XML-документ, сохраненный в системе кодирования UTF-8. Самый распространенный и широко поддерживаемый формат. Его преимуществом является возможность включить дополнительную информацию об URL-адресах, изображениях, видео и документах на сайте. 

Однако, может быть неудобным для больших и сложных проектов, так как требует ручного создания и обновления файла.

RSS, mRSS и Atom 1.0

Удобный формат для динамически обновляемого контента: блоги или новостные сайты. Данные варианты структурированы аналогично картам сайта XML. Как правило, готовые CMS системы создают их автоматически. Минус в том, что они не содержат дополнительной информации об изображениях и сообщениях.

Текстовая карта сайта

Самый простой формат карты сайта. Он может отображать только URL-адреса HTML-страниц и других сканируемых страниц. Имя текстового файла может быть любым, но оно должно иметь расширение . txt (например, sitemap.txt).

Требования к карте сайта

Sitemap должен соответствовать нескольким основным требованиям:

• Размер файла не должен превышать 50 МБ после распаковки и 50 000 URL-адресов в карте сайта. Если размер карты сайта или количество URL-адресов в файле превышает вышеуказанные значения — вы должны создать несколько карт сайта и связать их вместе с помощью индекса карты сайта
• Хорошей практикой является ограничение в 30 000 адресов на файл — это позволяет роботам поисковых систем обрабатывать его быстрее.
• Имя файла карты сайта может быть любым, однако оно не должно содержать русские символы и пробелы.
• Каждая карта сайта должна быть закодирована в UTF-8.
• Файл карты должен содержать URL- адреса с правильным доменом и протоколом.
• Google рекомендует размещать файл в корне сайта.

Какие данные должны быть включены в sitemap.xml?

Поскольку файл XML содержит подробную информацию об URL-адресах веб-сайта, он должен иметь четко определенную, безошибочную структуру, чтобы быть эффективным.

Различные теги, определяющие структуру формата XML в случае с картой сайта делятся на обязательные и необязательные. Следующие теги являются обязательными:

• <urlset> — этот тег относится к текущему стандарту протокола и должен всегда появляться в начале карты сайта.
• <url> — родительский тег для каждой отдельной записи URL. Все остальные теги являются дочерними элементами этого тега.
• <loc> — этот тег указывает местоположение данного URL-адреса. Он должен начинаться с типа используемого протокола (http или https).

В дополнение к обязательным тегам, описанным выше, вы также можете использовать необязательные теги, такие как:

• <lastmod> — дата последнего изменения URL-адреса. Чтобы его можно было прочитать, он должен быть правильно написан, то есть в формате ГГГГ-ММ-ДД. Например, 2018-01-22 или 2020-07-04.
• <changefreq> — частота изменений, вносимых на страницу. Этот тег может принимать одно из семи значений: всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно или никогда. Стоит помнить, что роботы не рассматривают это как руководство, а только как подсказку. Таким образом, они могут сканировать страницы «никогда» и проверять страницы «ежечасно» каждые несколько дней, а не каждый час.
• <priority> — определяет приоритет URL по отношению к другим адресам на карте. Этот тег может принимать значения от 0.0 до 1.0. Обратите внимание, что это приоритет только в карте сайта, и он обеспечит более быстрое индексирование страниц с высоким приоритетом. На позиции в органической выдаче это абсолютно никак не влияет.

Какие URL не должны быть включены в карту сайта?

Следует избегать следующих URL-адресов:

• Адреса переадресации.
• Страницы с ошибками — например, с ошибками 4xx или 5xx.
• Адреса, заблокированные в robots.txt или с тегом noindex.
• Адреса, которые являются результатами поиска.

Карта сайта должна включать канонические URL-адреса , то есть URL-адреса, которые вы хотите проиндексировать.

Пример классической карты сайта

Обобщая ранее представленную информацию, представляем внешний вид примера карты сайта с двумя URL-адресами (subpage1 и subpage2) для сайта «http://www.example.com/»

<?xml version="1.0" encoding="UTF-8"?>
   <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
      <url>
          <loc>http://www.example.com/subpage1/</loc>
          <lastmod>2023-06-06</lastmod>
          <changefreq>monthly</changefreq>
          <priority>0.8</priority>
      </url>
      <url>
          <loc>http://www.example.com/subpage2/</loc>
          <lastmod>2023-06-06</lastmod>
          <changefreq>weekly</changefreq>
          <priority>0.  4</priority>
      </url>
   </urlset>

Сводная карта Sitemap-index.xml

Индекс карты сайта — это не что иное, как карта сайта, содержащая другие карты сайта. Используется для очень больших сайтов, где потенциальная карта сайта превысит 50 МБ — такие карты следует разделить на несколько более мелких и связать их с помощью индекса карты сайта.

Например, она может выглядеть следующим образом:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.site.ru/sitemap-1.xml</loc>
      <lastmod>2023-06-06</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.site.ru/sitemap-2.xml</loc>
      <lastmod>2023-06-06</lastmod>
   </sitemap>
</sitemapindex>

Карта сайта с файлами изображений и видео

Чтобы ваши файлы изображений были включены в поисковую систему изображений Google, вы должны увеличить свои шансы, создав специальную карту сайта, содержащую ссылки на файлы изображений.

 Хотя у поисковых роботов нет проблем с поиском и индексированием файлов изображений, такие настройки, как отложенная загрузка, могут усложнить им задачу. Создать карту из графических файлов очень просто:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
  <url>
    <loc>https://example.com/sample1.html</loc>
    <image:image>
      <image:loc>https://example.com/image.jpg</image:loc>
    </image:image>
    <image:image>
      <image:loc>https://example.com/photo.jpg</image:loc>
    </image:image>
  </url>
  <url>
    <loc>https://example.com/sample2.html</loc>
    <image:image>
      <image:loc>https://example.com/picture.jpg</image:loc>
    </image:image>
  </url>
</urlset>

Примечание. В старых картах файлов изображений все еще есть такие теги, как ≶image:caption>, <image:geo_location>, < image:title>, < image:license>. Они убраны из документации и нет необходимости назначать их каждому из графических файлов.

Карта сайта для статей в Новостях Google

Карта сайта с новостными статьями должна содержать ссылки на статьи не старше 2 дней. Для более старых статей удалите их из карты сайта.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:news="http://www.google.com/schemas/sitemap-news/0.9">
  <url>
    <loc>http://www.example.org/business/article55.html</loc>
    <news:news>
      <news:publication>
        <news:name>The Example Times</news:name>
        <news:language>en</news:language>
      </news:publication>
      <news:publication_date>2008-12-23</news:publication_date>
      <news:title>Companies A, B in Merger Talks</news:title>
    </news:news>
  </url>
</urlset>

Создание и генерация карты сайта

В зависимости от того, насколько большой у вас веб-сайт и какую систему управления контентом (CMS) вы используете, создание карты сайта может выполняться с использованием бесплатных инструментов (генераторов sitemap. xml) или встроенных/дополнительных инструментов/плагинов. Вы также можете сгенерировать его вручную, особенно если это небольшой сайт. 

Ручная подготовка XML-файла с картой сайта

Самый трудоемкий способ создания карты сайта — вручную подготовить XML-файл в соответствии с рекомендациями, представленными на сайте sitemaps.org. Этот метод используется для страниц с небольшим количеством URL-адресов, а также в ситуациях, когда сайт обновляется не очень часто.

Генерация файла карты сайта системой CMS

Некоторые системы CMS (например, WordPress) позволяют динамически генерировать карту сайта без необходимости использования дополнительных плагинов или модулей. Другие требуют помощи дополнительного программного обеспечения.

WordPress предлагает довольно много плагинов для улучшения встроенной функции карты сайта. Лучшие из них включают Yoast SEO или All in One SEO Tool.

Yoast SEO автоматически создает нам карту сайта, мы выбираем соответствующие настройки и решаем, какие ресурсы должны быть включены в нее.  Плагин очень интуитивно понятен и прост в использовании. Кроме того, в его базовой версии достаточно опций для большинства веб-мастеров.

Генераторы карты сайта

Если вы не можете использовать вышеуказанные методы, можно попробовать создать карту сайта самостоятельно, используя соответствующие генераторы.

В Интернете доступны генераторы карт сайта, в том числе в бесплатной версии. Сканер просматривает ссылки внутри домена и на основе собранного URL создает файл, готовый к размещению на сервере.

Ниже приведены примеры веб-сайтов, на которых можно создать карту сайта бесплатно:

• https://www.xml-sitemaps.com 
• https://www.mysitemapgenerator.com 
• https://www.seoptimer.com/sitemap-generator
• https://www.xml-sitemaps.com/validate-xml-sitemap.html
• https://seomator.com/sitemap-finder

Однако, онлайн-генераторы карты сайта в бесплатной версии имеют некоторые ограничения. В большинстве случаев это максимальное количество страниц, которые можно поместить в sitemap. xml, и оно составляет 500 URL-адресов. В платных версиях плагинов таких ограничений нет.

Вы также можете подготовить карту сайта во время сканирования сайта с помощью краулера Screaming Frog, который в бесплатной версии позволяет сканировать 500 ресурсов внутри сайта.

Инструкции по созданию карты сайта в инструменте Screaming Frog можно найти в их официальном руководстве

Примечание. Карты сайта, созданные вручную, не обновляются автоматически. Не забывайте обновлять их после добавления новых продуктов, записей или страниц.

Как добавить карту сайта в Google?

Для отслеживания статуса индексации URL-адресов, размещенных в карте сайта, вам нужно поделиться своей картой сайта с роботами поисковых систем. Это можно сделать несколькими способами:

1. Отправить карту сайта в Google можно с помощью инструмента Sitemaps в Google Search Console. После регистрации учетной записи в Google Search Console или входа в существующую, загрузите файл карты сайта или индекса карты сайта во вкладке: Индекс/Карты сайта.

2. Вы можете использовать Search Console API для отправки файла Sitemap алгоритмическим методом. Search Console API предоставляет возможность программного взаимодействия с инструментом Search Console от Google, что позволяет управлять вашими сайтами и получать данные о производительности поиска.
3. Выполнив запрос ping. Чтобы убедиться, что файл Sitemap доступен для робота Googlebot, вам потребуется отправить запрос GET на специальный URL. 
4. Это также можно сделать с помощью файла robots.txt, вставив туда путь к карте: 

Sitemap: http://www.example.com/sitemap.xml

Карта сайта для Яндекс

Принципиальных отличий в создании и размещении карты сайта в Яндекс и Google нет. Однако, может иметь место некоторая разница восприятия файла Sitemap со стороны этих поисковых систем. В то время как Google более прямолинеен в отношении карт сайта и имеет более оптимистичный подход, успешно индексируя страницы, соответствующие правильно созданной и размещенной карте сайта, с Яндексом ситуация может быть несколько иная.

Несмотря на правильно созданную карту сайта под Яндекс, индексация страниц может быть не такой, как вы ожидаете.

• Установите канонические URL для страниц, которые вы планируете указать в файле Sitemap. 
• Выберите формат карты сайта из двух поддерживаемых — XML или TXT. После этого воспользуйтесь одним из инструментов для создания файла.
• Чтобы убедиться, что файл составлен правильно и не содержит ошибок, рекомендуется воспользоваться инструментом «Анализ файлов Sitemap».
• Уведомите Яндекс о карте сайта одним из предложенных способов: добавить ссылку на карту сайта в файл в robots.txt или в разделе «Файлы Sitemap» в Яндекс Вебмастере. 

При необходимости обновления или удаления файла Sitemap, рекомендуется оперативно обновлять информацию в Яндекс Вебмастере и следить за актуальностью указанной ссылки.

После выполнения этих шагов ваша карта сайта будет создана и представлена Яндекс для индексации. 

Важно отметить, что и Яндекс, и Google периодически обновляют свои алгоритмы и рекомендации, поэтому следует ознакомиться с официальными источниками информации, чтобы быть в курсе последних требований поисковых систем при создании карты сайта.

1

Оценить:

Загрузка…

Что такое карта сайта? (Плюс почему и как его создать)

Карты дают нам много преимуществ. Например, карта сокровищ говорит нам, как разбогатеть. Топографические карты приятно трогать. Карта мира напоминает нам, что кошки правят.

 

 

Но вы можете немного меньше любить карты сайта. Их не очень легко понять, и, как я проверял, они не совсем веселые. Но они могут обеспечить путь к более высокому рейтингу и большему трафику веб-сайта 9.0012, если вы правильно поняли.

Итак, в этом посте я расскажу вам, что такое карта сайта, зачем она вам может понадобиться и как создать и отправить карту сайта в Google.

Содержание

• Что такое карта сайта?
• Преимущества карты сайта
• Вам нужна карта сайта?
• Типы карт сайта
• Как создать карту сайта

Карта сайта — это файл, в котором перечислены URL-адреса всех основных страниц вашего веб-сайта. Основная цель — помочь поисковым системам понять ваш сайт и с легкостью найти определенные страницы. Существуют также карты сайта, которые помогают пользователям перемещаться по вашему сайту, о чем мы поговорим позже.

Ниже приведен пример карты сайта.

⚠️ Предупреждение: это будет выглядеть пугающе, но к концу этого поста это уже не будет так страшно.

Источник изображения

Чтобы понять важность карт сайта в SEO, вы должны сначала понять, как работают поисковые системы. В частности, что означают термины «сканирование» и «индекс».

• У Google есть боты (или пауки), которые постоянно сканируют Интернет и веб-страницы инвентаря. Это ползает .
• Затем боты классифицируют и сохраняют каждую найденную страницу в гигантском индексе Google — это называется индексацией .
• Таким образом, когда вы выполняете поиск в Google, Google фактически не сканирует для вас всю сеть в режиме реального времени. Вместо этого он ищет в своем аккуратно организованном индексе, поэтому он может получить результаты за доли секунды.

Источник изображения

Все это означает, что если вашу страницу трудно сканировать, она может не попасть в индекс Google, а если ее нет в индексе Google, она не может отображаться в Google поиск. Здесь в игру вступают карты сайта.

⛳️ Проверьте статус своей карты сайта бесплатно!

Попробуйте нашу бесплатную версию Website Grader , чтобы получить мгновенный SEO-аудит, включая статус вашей карты сайта.

Преимущества карт сайта

Чем лучше Google может понять ваш сайт и чем проще его сканировать, тем эффективнее вы сможете ранжироваться по целевым ключевым словам и получать больше трафика на свой сайт. С учетом сказанного и приведенной выше информации, вот более глубокое погружение в преимущества наличия карты сайта:

Ускорьте сканирование и индексирование ваших страниц

Google не может сканировать весь Интернет каждый день. Вместо этого у него разные «графики» сканирования для разных веб-сайтов и типов контента, поэтому иногда Google может потребоваться несколько дней, недель или даже месяцев, чтобы обнаружить новые страницы на вашем сайте. Файлы Sitemap помогают Google быстрее обнаруживать и индексировать новые страницы.

Поддержание высокой эффективности страниц с высокой ценностью

Вы когда-нибудь обновляли страницу на своем сайте — возможно, чтобы обновить свой вечнозеленый контент — но не видели изменений, отраженных в поисковой выдаче? Это потому, что Google не сканировал страницу с момента вашего обновления. Благодаря более эффективному сканированию и индексированию вы можете гарантировать, что пользователи увидят самую актуальную версию наиболее ценных и/или часто изменяемых страниц.

Помогите поисковым роботам найти страницы-сироты

Боты Google часто находят страницы на вашем сайте так же, как это делают посетители — переходя по ссылкам на страницах, которые они сканируют (вот почему внутренние ссылки так важны). Страницы-сироты — это страницы на вашем сайте, на которые не указывают другие ссылки, что делает их труднодоступными для Google. Но с этими страницами в вашей карте сайта Google может легче найти и проиндексировать их.

Источник изображения

Помогите Google распознать дубликаты страниц

Существует несколько сценариев, когда бизнес-сайт будет иметь дублирующиеся или почти повторяющиеся страницы — например, на сайте электронной коммерции у вас могут быть дубликаты страниц продукта с разными цветами этого продукта. В этих случаях Google может не знать, какая версия страницы является основной, которую вы хотите ранжировать. С помощью карты сайта вы можете использовать канонические теги, чтобы показать Google, какая версия является основной, а какие — дубликатами.

Нужна ли карта сайта?

В общем, Google довольно хорошо справляется с поиском веб-страниц в Интернете самостоятельно, но карта сайта, как мы установили выше, может помочь улучшить SEO — для некоторых сайтов больше, чем для других. Согласно Google, вам нужна карта сайта, если:

• У вас большой сайт (более 500 страниц). Тысячи страниц означают больше шансов, что поисковые роботы Google пропустят новые или обновленные страницы.
• Отсутствует внутренняя ссылка. Ака много потерянных страниц.
• Ваш сайт новый или имеет мало обратных ссылок. Поскольку поисковые роботы обнаруживают страницы веб-сайтов, переходя по ссылкам с одного сайта на другой.
• У вас много мультимедиа. Изображения, видео или новостные страницы, которые вы хотите показывать в результатах поиска.

Типы карт сайта

Существует два типа карт сайта. Карты сайта HTML (язык разметки гипертекста, предназначенный для людей) и карты сайта XML (расширяемый язык разметки, предназначенный для ботов).

HTML-карты сайта

HTML-карта сайта — это фактическая страница веб-сайта, видимая посетителям, со списком интерактивных ссылок на все страницы вашего сайта. Это старый метод создания карты сайта, но он по-прежнему полезен, особенно для крупных веб-сайтов.

Google поощряет карты сайта в формате HTML, потому что иерархический список ссылок может помочь Google лучше понять, что наиболее важно, и соответствующим образом индексировать.

Вот пример HTML-карты сайта homedepot.com.

XML-карты сайта

XML-карта сайта — это текстовый файл, содержащий список URL-адресов вашего сайта. Обычно вы можете найти карту сайта любого сайта, перейдя по адресу: domainname.com/sitemap.xml, но вы можете изменить ее в целях защиты сайта. Но хотя вы можете видеть XML-карту сайта сайта, они не предназначены для навигации посетителей — только для поисковых систем.

Вот как выглядит наша XML-карта сайта.

XML-карты сайта позволяют использовать теги для предоставления информации об URL-адресах в них, например о дате последнего изменения. Вы также можете использовать расширения карты сайта для предоставления информации о видео, изображениях и содержании новостных статей.

Sitemaps.org предоставляет здесь полезный список определений тегов XML.

Другие типы карт сайта

Существуют и другие типы карт сайта, о которых следует знать:

• RSS-каналы: ) или канал Atom 1.0 в качестве URL-адреса карты сайта. Но важно отметить, что эти карты сайта будут предоставлять информацию только о последних URL-адресах.
• Текстовые карты сайта: Это самая простая карта сайта, подходящая для небольших веб-сайтов с меньшим количеством веб-страниц.

Как создать карту сайта

Процесс создания карты сайта на самом деле довольно прост благодаря доступным нам инструментам. По сути, вам нужно создать карту сайта, проверить ее на соответствие лучшим практикам, а затем отправить в Google. Вот как это сделать:

1. Используйте генератор карты сайта для создания карты сайта

Генераторы карты сайта — это плагины и программное обеспечение, которые предлагают процесс создания карты сайта без кода. Вот некоторые из лучших генераторов карты сайта на выбор:

• Yoast:  Это бесплатный плагин WordPress, который бесплатно создаст для вас карту сайта.
• WordPress 5.5: Если вы используете WordPress 5.5 или более позднюю версию, вам не нужны внешние плагины для создания карт сайта. Вот как проверить версию WordPress.
• XML-Sitemaps.com: Этот инструмент предлагает как платные, так и бесплатные пакеты. Все, что вам нужно, это вставить URL-адрес вашего сайта в поле поиска и нажать кнопку «Пуск».
• Кричащая лягушка: Создавайте карты сайта XML и XML с изображениями с расширенными настройками, такими как теги «последнее изменение».
• Slickplan: Визуальный планировщик карт сайта, как часть более крупного предложения по планированию веб-сайтов, который позволяет создавать текстовые, XML или векторные карты сайта. Он платный, но предлагает бесплатную 30-дневную пробную версию.
• Dynomapper: Еще один платный визуальный планировщик карт сайта, который также предлагает бесплатную пробную версию.

2. Следуйте рекомендациям по работе с картами сайта

Здесь Google предлагает обширные рекомендации по работе с картами сайта, но вот несколько простых рекомендаций для начала:

• Разбивайте большие карты сайта. Если у вас длинный список URL-адресов, разбейте карту сайта на несколько, а затем отправьте файл индекса карты сайта (что-то вроде карты сайта ваших карт сайта).
• Укажите только ваши канонические URL-адреса. Если у вас есть дубликаты или почти дубликаты страниц (как указано выше), укажите в карте сайта только основной URL-адрес, который вы хотите отображать в результатах поиска (каноническая версия). Для других версий используйте тег rel=canonical.
• Использовать кодировку UTF-8. Все файлы карты сайта могут содержать только символы ASCII, то есть цифры 0–9, английские буквы A–Z и только некоторые специальные символы. Такие символы, как амперсанд, кавычки или знаки «больше/меньше» необходимо заменить escape-кодами:
  
.
• Не уделяйте слишком много внимания тегам приоритета. Вы можете использовать теги приоритета в своей карте сайта, чтобы указать, какие страницы важны по отношению друг к другу (например, присваивая значения в диапазоне от 0,1 до 1,0), но это только предпочтения. В конце концов, Google будет сканировать и индексировать в соответствии со своими правилами.
• Никогда не перечисляйте URL-адреса NoIndex. Карта сайта предназначена для того, чтобы сообщить Google, какие URL-адреса с по сканировать и индексировать, а не какие из них игнорировать

3. Отправьте карту сайта в Google 

После создания карты сайта ее можно отправить в Google несколькими способами.

1. Консоль поиска Google. Вероятно, это самый простой способ отправить карту сайта. Как только вы окажетесь в Google Search Console, найдите карты сайта на панели слева:
   Затем добавьте URL-адрес вашей карты сайта и нажмите «Отправить». Очень просто.
2. Инструмент проверки связи. Вы можете отправить запрос прямо в браузере, введя следующее:
   

   https://www.google.com/ping?sitemap=https://yourwebsite.com/sitemap

3. Файл robots.txt: Вы также можете отправить карту сайта, вставив ссылку на карту сайта в файл robots.txt
4. WebSub. WebSub рекомендуется, если вы используете RSS-канал в качестве карты сайта.

X(ML) отмечает место

В завершение скажу, что Google не наказывает за отсутствие карты сайта, но есть преимущества, которые можно получить, если ваш веб-сайт соответствует всем требованиям. И в идеале это подходит только потому, что у вас большой сайт, а не потому, что вы не справились с созданием внутренних или обратных ссылок. Просто имейте в виду, что карта сайта — это не правило, которому Google должен подчиняться — это скорее набор настроек и рекомендаций, которые могут помочь ему в его усилиях по сканированию и индексированию.

Создание карты сайта бесплатно и не требует особых технических навыков, так что начните прямо сейчас!

Как оптимизировать XML-карты сайта: 13 передовых методов SEO

Создание и обновление XML-карты сайта является важной, но игнорируемой практикой SEO.

Файлы Sitemap важны для ваших сайтов и поисковых систем.

Для поисковых систем карты сайта — это простой и понятный способ получить информацию о структуре и страницах вашего веб-сайта.

XML-карты сайта также предоставляют некоторые важные метаданные, например:

• Как часто обновляется каждая страница.
• Когда они были изменены в последний раз.
• Насколько важны страницы по отношению друг к другу.

Однако существуют некоторые рекомендации по использованию карты сайта с максимальной выгодой.

Готовы узнать, как оптимизировать карты сайта XML?

Ниже приведены 13 лучших практик, позволяющих получить максимальную отдачу от SEO за вложенные деньги.

1. Используйте инструменты и плагины для автоматического создания карты сайта

Создать карту сайта легко, если у вас есть нужные инструменты, такие как программное обеспечение для аудита со встроенным генератором XML Sitemap или популярные плагины, такие как Google XML Sitemaps.

Фактически, веб-сайты WordPress, которые уже используют Yoast SEO, могут включать XML-карты сайта непосредственно в плагине.

Кроме того, вы можете вручную создать карту сайта, следуя структуре кода карты сайта XML.

Технически ваша карта сайта даже не обязательно должна быть в формате XML — будет достаточно текстового файла с новой строкой, разделяющей каждый URL-адрес.

Однако вам потребуется создать полную карту сайта в формате XML, если вы хотите внедрить атрибут hreflang, поэтому гораздо проще просто позволить инструменту сделать всю работу за вас.

Посетите официальные страницы Google и Bing для получения дополнительной информации о том, как вручную настроить карту сайта.

2. Отправьте карту сайта в Google

Вы можете отправить карту сайта в Google из консоли поиска Google.

На панели инструментов нажмите Сканирование > Карта сайта > Добавить тестовую карту сайта .

Проверьте свою карту сайта и просмотрите результаты, прежде чем нажимать Отправить карту сайта , чтобы проверить наличие ошибок, которые могут препятствовать индексации ключевых целевых страниц.

В идеале количество проиндексированных страниц должно совпадать с количеством отправленных страниц.

Обратите внимание, что отправка вашей карты сайта сообщает Google, какие страницы вы считаете высококачественными и достойными индексации, но не гарантирует , что они будут проиндексированы.

Вместо этого отправка карты сайта дает следующие преимущества:

• Помогите Google понять, как устроен ваш веб-сайт.
• Обнаружьте ошибки, которые вы можете исправить, чтобы обеспечить правильную индексацию ваших страниц.

3. Отдайте приоритет высококачественным страницам в карте сайта

Когда дело доходит до ранжирования, общее качество сайта является ключевым фактором.

Если ваша карта сайта направляет ботов на тысячи некачественных страниц, поисковые системы интерпретируют эти страницы как признак того, что ваш веб-сайт, вероятно, не тот, который люди захотят посетить, даже если страницы необходимы для вашего сайта, например страницы входа. .

Вместо этого попробуйте направить ботов на самые важные страницы вашего сайта.

В идеале это следующие страницы:

• Высокооптимизированные.
• Включить изображения и видео.
• Много уникального контента.
• Привлекайте пользователей с помощью комментариев и обзоров.

4. Изолируйте проблемы с индексацией

Консоль поиска Google может немного разочаровать, если она не индексирует все ваши страницы, потому что она не сообщает вам, какие страницы являются проблемными.

Например, если вы отправляете 20 000 страниц, и только 15 000 из них проиндексированы, вам не сообщат, какие 5000 «проблемных страниц» являются.

Это особенно актуально для крупных веб-сайтов электронной коммерции, которые имеют несколько страниц для очень похожих продуктов.

SEO-консультант Майкл Коттам написал полезное руководство по выявлению проблемных страниц.

Он рекомендует разделить страницы продуктов на разные XML-карты сайта и протестировать каждую из них.

Создайте карты сайта, которые будут подтверждать гипотезы, такие как «страницы, на которых нет изображений продуктов, не индексируются» или «страницы без уникальной копии не индексируются».

Когда вы изолируете основные проблемы, вы можете либо работать над их устранением, либо сделать эти страницы «неиндексируемыми», чтобы они не снижали общего качества вашего сайта.

В 2018 году консоль поиска Google была обновлена ​​с точки зрения охвата индекса.

В частности, теперь перечислены проблемные страницы и указаны причины, по которым Google не индексирует некоторые URL-адреса.

5. Включайте в карту сайта только канонические версии URL-адресов. Google, какая страница является «главной», которую она должна сканировать и индексировать.

Ботам будет легче обнаружить ключевые страницы, если вы не включите страницы с каноническими URL-адресами, указывающими на другие страницы.

6. По возможности используйте метатег robots вместо robots.txt

Если вы не хотите, чтобы страница индексировалась, обычно следует использовать метатег robots «noindex,follow».

Это предотвратит индексацию страницы Google, но сохранит ваш вес ссылок, и это особенно полезно для служебных страниц, которые важны для вашего сайта, но не должны отображаться в результатах поиска.

Единственный раз, когда вы хотите использовать robots.txt для блокировки страниц, это когда вы расходуете свой краулинговый бюджет.

Если вы заметили, что Google повторно сканирует и индексирует относительно неважные страницы (например, страницы отдельных продуктов) за счет основных страниц, вы можете использовать robots. txt.

7. Создавайте динамические XML-карты сайта для больших сайтов

Практически невозможно уследить за всеми вашими мета-роботами на огромных сайтах.

Вместо этого вам следует настроить правила, определяющие, когда страница будет включена в вашу XML-карту сайта и/или изменена с noindex на «index, follow».

Вы можете найти подробные инструкции о том, как именно создать динамическую карту сайта в формате XML, но, опять же, этот шаг значительно упрощается с помощью инструмента, который создает для вас динамические карты сайта.

8. Используйте XML-карты сайта и RSS/Atom-каналы

RSS/Atom-каналы уведомляют поисковые системы, когда вы обновляете страницу или добавляете свежий контент на свой веб-сайт.

Google рекомендует использовать обе карты сайта и RSS/Atom, чтобы помочь поисковым системам понять, какие страницы следует проиндексировать и обновить.

Включив в свои каналы RSS/Atom только недавно обновленный контент, вы облегчите поиск свежего контента как для поисковых систем, так и для посетителей.

9. Обновляйте время модификации только при внесении существенных изменений

Не пытайтесь обманом заставить поисковые системы переиндексировать страницы, обновляя время модификации без внесения каких-либо существенных изменений на страницу.

В прошлом я много говорил о потенциальных опасностях рискованного SEO.

Я не буду повторять здесь все свои доводы, но достаточно сказать, что Google может начать удалять ваши штампы даты, если они постоянно обновляются без предоставления нового значения.

10. Не включайте неиндексируемые URL-адреса в вашу карту сайта

Говоря о потраченном впустую краулинговом бюджете, если роботам поисковых систем не разрешено индексировать определенные страницы, то им нечего делать в вашей карте сайта.

Когда вы отправляете карту сайта, которая включает заблокированные и «неиндексируемые» страницы, вы одновременно сообщаете Google «очень важно, чтобы вы проиндексировали эту страницу» и «вам не разрешено индексировать эту страницу».

Отсутствие согласованности — распространенная ошибка.

11. Не беспокойтесь о приоритетных настройках

В некоторых файлах Sitemap есть столбец «Приоритет», который якобы сообщает поисковым системам, какие страницы являются наиболее важными.

Вопрос о том, работает ли эта функция на самом деле, уже давно обсуждается.

Еще в 2017 году Гэри Иллис из Google написал в Твиттере, что Googlebot игнорирует настройки приоритета при сканировании.

12. Не позволяйте вашей карте сайта становиться слишком большой

Чем меньше ваша карта сайта, тем меньше нагрузка на ваш сервер.

Google и Bing увеличили размер принимаемых файлов карты сайта с 10 МБ до 50 МБ и 50 000 URL-адресов на карту сайта.

Хотя для большинства сайтов этого более чем достаточно, некоторым веб-мастерам потребуется разделить свои страницы на две или более карты сайта.

Например, если вы управляете интернет-магазином с 200 000 страниц, вам потребуется создать пять отдельных карт сайта для обработки всего этого.