Директива host в файле robots txt: Создаем правильный файл robots.txt — настраиваем индексацию, директивы

User-agent: *
Allow: /

ваш_сайт.ru/robots.txt

# Указывает директивы для всех роботов одновременно
User-agent: *

# Указывает директивы для всех роботов Яндекса
User-agent: Yandex

# Указывает директивы для только основного индексирующего робота Яндекса
User-agent: YandexBot

# Указывает директивы для всех роботов Google
User-agent: Googlebot

# Будет использована всеми роботами Яндекса
User-agent: Yandex
Disallow: /*utm_

# Будет использована всеми роботами Google
User-agent: Googlebot
Disallow: /*utm_

# Будет использована всеми роботами кроме роботов Яндекса и Google
User-agent: *
Allow: /*utm_

User-agent: Yandex

Disallow: /*utm_

Allow: /*id=

User-agent: *

Disallow: /*utm_

Allow: /*id=

User-agent: Yandex
Disallow: /*utm_
Allow: /*id=

User-agent: *
Disallow: /*utm_
Allow: /*id=

User-agent: *
Allow: /blog/page
Disallow: /blog

User-agent: *
Disallow: /blog
Allow: /blog/page

User-agent: *
Allow: /
Disallow: /blog
Allow: /blog/page

User-agent: *
Disallow: # равнозначно Allow: /
Disallow: /blog
Allow: /blog/page

User-agent: *
Disallow: /

User-agent: Yandex
Disallow: /page

User-agent: Yandex
Disallow: /page*

User-agent: Googlebot
Disallow: /page$

User-agent: *
Disallow: /
Allow: /page

User-agent: *
Disallow:

User-agent: *
Allow: /

User-agent: *
Allow:

User-agent: *
Disallow: /

mysite.ru
mysite.com

mysite.ru
www.mysite.ru

User-agent: Yandex
Disallow: /page
Host: mysite.ru

User-agent: Yandex
Disallow: /page
Host: www.mysite.ru

User-agent: *
Disallow: /page
Sitemap: http://www.mysite.ru/sitemap.xml

Clean-param: parm1[&parm2&parm3&parm4&..&parmn] [Путь]

www.mysite.ru/page.html?&parm1=1&parm2=2&parm3=3

Clean-param: parm1&parm2&parm3 /page.html # только для page.html

Clean-param: parm1&parm2&parm3 / # для всех

User-agent: Yandex
Disallow: /page
Crawl-delay: 3

User-agent: *
# Комментарий может идти от начала строки
Disallow: /page # А может быть продолжением строки с директивой
# Роботы
# игнорируют
# комментарии
Host: www.mysite.ru

Директива host в файле robots.txt. Как сделать правильное имя сайта в результатах поиска.

Когда ваш сайт выдается в результатах поиска, у него есть определенное доменное имя, на которое ведет ссылка:

Например, здесь это webkyrs.info.

Что делать если поисковая система выбрала это доменное имя не правильно? Например, я хочу, чтобы поисковая система переносила меня не на webkyrs.info, а на www.webkyrs.info или наоборот.

Как этого добиться?

Кроме основной директивы Disallow, которая используется в файле robots.txt, мы можем использовать еще ряд дополнительных директив. Одной из них является директива host.

Именно эта директива может помочь решить проблему.

Основное ее назначение указать основной домен вашего сайта, среди зеркал, который будет для поисковой системы главным.

Практически у всех сайтов есть зеркала, например, мы можем обратиться к сайту:

site.ru

и точно также можно обратиться к нему же по адресу

www.site.ru

Это разные домены, но ведут они на один и тот же сайт. Это и есть те самые зеркала.

Чтобы поисковая система могла определиться, что здесь является главным, и какое доменное имя использовать в результатах поисковой выдачи, в файл robots.txt добавляют директиву host.

Например,

host: site.ru

Обратите внимание, что если ваш сайт работает на протоколе http, здесь его указывать нельзя.

host: http://site.ru – Это не правильная форма записи.

Но, если ваш сайт работает на протоколе https, то указывать его в директиве host обязательно:

host: https://site.ru – Это правильная форма записи.

Как правило, директива host указывается в самом конце файла robots.txt.

User-agent: *
 Disallow: /cgi-bin
 Host: www.site.ru

Таким образом, добавив всего одну строку кода в файл robots.txt, мы можем сообщить поисковой системе о главном зеркале сайта.

Еще мои уроки по основам SEO и поисковому продвижению здесь.

Robots.txt — Как создать правильный robots.txt

Файл robots.txt является одним из самых важных при оптимизации любого сайта. Его отсутствие может привести к высокой нагрузке на сайт со стороны поисковых роботов и медленной индексации и переиндексации, а неправильная настройка к тому, что сайт полностью пропадет из поиска или просто не будет проиндексирован. Следовательно, не будет искаться в Яндексе, Google и других поисковых системах. Давайте разберемся во всех нюансах правильной настройки robots.txt.

Для начала короткое видео, которое создаст общее представление о том, что такое файл robots.txt.

Как влияет robots.txt на индексацию сайта

Поисковые роботы будут индексировать ваш сайт независимо от наличия файла robots.txt. Если же такой файл существует, то роботы могут руководствоваться правилами, которые в этом файле прописываются. При этом некоторые роботы могут игнорировать те или иные правила, либо некоторые правила могут быть специфичными только для некоторых ботов. В частности, GoogleBot не использует директиву Host и Crawl-Delay, YandexNews с недавних пор стал игнорировать директиву Crawl-Delay, а YandexDirect и YandexVideoParser игнорируют более общие директивы в роботсе (но руководствуются теми, которые указаны специально для них).

Подробнее об исключениях:
Исключения Яндекса
Стандарт исключений для роботов (Википедия)

Максимальную нагрузку на сайт создают роботы, которые скачивают контент с вашего сайта. Следовательно, указывая, что именно индексировать, а что игнорировать, а также с какими временны́ми промежутками производить скачивание, вы можете, с одной стороны, значительно снизить нагрузку на сайт со стороны роботов, а с другой стороны, ускорить процесс скачивания, запретив обход ненужных страниц.

К таким ненужным страницам относятся скрипты ajax, json, отвечающие за всплывающие формы, баннеры, вывод каптчи и т.д., формы заказа и корзина со всеми шагами оформления покупки, функционал поиска, личный кабинет, админка.

Для большинства роботов также желательно отключить индексацию всех JS и CSS. Но для GoogleBot и Yandex такие файлы нужно оставить для индексирования, так как они используются поисковыми системами для анализа удобства сайта и его ранжирования (пруф Google, пруф Яндекс).

Директивы robots.txt

Директивы — это правила для роботов. Есть спецификация W3C от 30 января 1994 года и расширенный стандарт от 1996 года. Однако не все поисковые системы и роботы поддерживают те или иные директивы. В связи с этим для нас полезнее будет знать не стандарт, а то, как руководствуются теми или иными директивы основные роботы.

Давайте рассмотрим по порядку.

User-agent

Это самая главная директива, определяющая для каких роботов далее следуют правила.

Для всех роботов:
User-agent: *

Для конкретного бота:
User-agent: GoogleBot

Обратите внимание, что в robots.txt не важен регистр символов. Т.е. юзер-агент для гугла можно с таким же успехом записать соледующим образом:
user-agent: googlebot

Ниже приведена таблица основных юзер-агентов различных поисковых систем.

Бот	Функция
Google
Googlebot	основной индексирующий робот Google
Googlebot-News	Google Новости
Googlebot-Image	Google Картинки
Googlebot-Video	видео
Mediapartners-Google	Google AdSense, Google Mobile AdSense
Mediapartners	Google AdSense, Google Mobile AdSense
AdsBot-Google	проверка качества целевой страницы
AdsBot-Google-Mobile-Apps	Робот Google для приложений
Яндекс
YandexBot	основной индексирующий робот Яндекса
YandexImages	Яндекс.Картинки
YandexVideo	Яндекс.Видео
YandexMedia	мультимедийные данные
YandexBlogs	робот поиска по блогам
YandexAddurl	робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
YandexFavicons	робот, индексирующий пиктограммы сайтов (favicons)
YandexDirect	Яндекс.Директ
YandexMetrika	Яндекс.Метрика
YandexCatalog	Яндекс.Каталог
YandexNews	Яндекс.Новости
YandexImageResizer	робот мобильных сервисов
Bing
Bingbot	основной индексирующий робот Bing
Yahoo!
Slurp	основной индексирующий робот Yahoo!
Mail.Ru
Mail.Ru	основной индексирующий робот Mail.Ru
Rambler
StackRambler	Ранее основной индексирующий робот Rambler. Однако с 23.06.11 Rambler перестает поддерживать собственную поисковую систему и теперь использует на своих сервисах технологию Яндекса. Более не актуально.

Disallow и Allow

Disallow закрывает от индексирования страницы и разделы сайта.
Allow принудительно открывает для индексирования страницы и разделы сайта.

Но здесь не все так просто.

Во-первых, нужно знать дополнительные операторы и понимать, как они используются — это *, $ и #.

* — это любое количество символов, в том числе и их отсутствие. При этом в конце строки звездочку можно не ставить, подразумевается, что она там находится по умолчанию.
$ — показывает, что символ перед ним должен быть последним.
# — комментарий, все что после этого символа в строке роботом не учитывается.

Примеры использования:

Disallow: *?s=
Disallow: /category/$

Следующие ссылки будут закрыты от индексации:
http://site.ru/?s=
http://site.ru/?s=keyword
http://site.ru/page/?s=keyword
http://site.ru/category/

Следующие ссылки будут открыты для индексации:
http://site.ru/category/cat1/
http://site.ru/category-folder/

Во-вторых, нужно понимать, каким образом выполняются вложенные правила.
Помните, что порядок записи директив не важен. Наследование правил, что открыть или закрыть от индексации определяется по тому, какие директории указаны. Разберем на примере.

Allow: *.css
Disallow: /template/

http://site.ru/template/ — закрыто от индексирования
http://site.ru/template/style.css — закрыто от индексирования
http://site.ru/style.css — открыто для индексирования
http://site.ru/theme/style.css — открыто для индексирования

Если нужно, чтобы все файлы .css были открыты для индексирования придется это дополнительно прописать для каждой из закрытых папок. В нашем случае:

Allow: *.css
Allow: /template/*.css
Disallow: /template/

Повторюсь, порядок директив не важен.

Sitemap

Директива для указания пути к XML-файлу Sitemap. URL-адрес прописывается так же, как в адресной строке.

Например,

Sitemap: http://site.ru/sitemap.xml

Директива Sitemap указывается в любом месте файла robots.txt без привязки к конкретному user-agent. Можно указать несколько правил Sitemap.

Host

Директива для указания главного зеркала сайта (в большинстве случаев: с www или без www). Обратите внимание, что главное зеркало указывается БЕЗ http://, но С https://. Также если необходимо, то указывается порт.
Директива поддерживается только ботами Яндекса и Mail.Ru. Другими роботами, в частности GoogleBot, команда не будет учтена. Host прописывается только один раз!

Пример 1:
Host: site.ru

Пример 2:
Host: https://site.ru

Crawl-delay

Директива для установления интервала времени между скачиванием роботом страниц сайта. Поддерживается роботами Яндекса, Mail.Ru, Bing, Yahoo. Значение может устанавливаться в целых или дробных единицах (разделитель — точка), время в секундах.

Пример 1:
Crawl-delay: 3

Пример 2:
Crawl-delay: 0.5

Если сайт имеет небольшую нагрузку, то необходимости устанавливать такое правило нет. Однако если индексация страниц роботом приводит к тому, что сайт превышает лимиты или испытывает значительные нагрузки вплоть до перебоев работы сервера, то эта директива поможет снизить нагрузку.

Чем больше значение, тем меньше страниц робот загрузит за одну сессию. Оптимальное значение определяется индивидуально для каждого сайта. Лучше начинать с не очень больших значений — 0.1, 0.2, 0.5 — и постепенно их увеличивать. Для роботов поисковых систем, имеющих меньшее значение для результатов продвижения, таких как Mail.Ru, Bing и Yahoo можно изначально установить бо́льшие значения, чем для роботов Яндекса.

Clean-param

Это правило сообщает краулеру, что URL-адреса с указанными параметрами не нужно индексировать. Для правила указывается два аргумента: параметр и URL раздела. Директива поддерживается Яндексом.

Пример 1:

Clean-param: author_id http://site.ru/articles/

http://site.ru/articles/?author_id=267539 — индексироваться не будет

Пример 2:

Clean-param: author_id&sid http://site.ru/articles/

http://site.ru/articles/?author_id=267539&sid=0995823627 — индексироваться не будет

Яндекс также рекомендует использовать эту директиву для того, чтобы не учитывались UTM-метки и идентификаторы сессий. Пример:

Clean-Param: utm_source&utm_medium&utm_campaign

Другие параметры

В расширенной спецификации robots.txt можно найти еще параметры Request-rate и Visit-time. Однако они на данный момент не поддерживаются ведущими поисковыми системами.

Смысл директив:
Request-rate: 1/5 — загружать не более одной страницы за пять секунд
Visit-time: 0600-0845 — загружать страницы только в промежуток с 6 утра до 8:45 по Гринвичу.

Закрывающий robots.txt

Если вам нужно настроить, чтобы ваш сайт НЕ индексировался поисковыми роботами, то вам нужно прописать следующие директивы:

User-agent: *
Disallow: /

Проверьте, чтобы на тестовых площадках вашего сайта были прописаны эти директивы.

Правильная настройка robots.txt

Для России и стран СНГ, где доля Яндекса ощутима, следует прописывать директивы для всех роботов и отдельно для Яндекса и Google.

Чтобы правильно настроить robots.txt воспользуйтесь следующим алгоритмом:

1. Закройте от индексирования админку сайта
2. Закройте от индексирования личный кабинет, авторизацию, регистрацию
3. Закройте от индексирования корзину, формы заказа, данные по доставке и заказам
4. Закройте от индексирования ajax, json-скрипты
5. Закройте от индексирования папку cgi
6. Закройте от индексирования плагины, темы оформления, js, css для всех роботов, кроме Яндекса и Google
7. Закройте от индексирования функционал поиска
8. Закройте от индексирования служебные разделы, которые не несут никакой ценности для сайта в поиске (ошибка 404, список авторов)
9. Закройте от индексирования технические дубли страниц, а также страницы, на которых весь контент в том или ином виде продублирован с других страниц (календари, архивы, RSS)
10. Закройте от индексирования страницы с параметрами фильтров, сортировки, сравнения
11. Закройте от индексирования страницы с параметрами UTM-меток и сессий
12. Проверьте, что проиндексировано Яндексом и Google с помощью параметра «site:» (в поисковой строке наберите «site:site.ru»). Если в поиске присутствуют страницы, которые также нужно закрыть от индексации, добавьте их в robots.txt
13. Укажите Sitemap и Host
14. По необходимости пропишите Crawl-Delay и Clean-Param
15. Проверьте корректность robots.txt через инструменты Google и Яндекса (описано ниже)
16. Через 2 недели перепроверьте, появились ли в поисковой выдаче новые страницы, которые не должны индексироваться. В случае необходимости повторить выше перечисленные шаги.

Пример robots.txt

# Пример файла robots.txt для настройки гипотетического сайта https://site.ru
User-agent: *
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Disallow: *utm=
Crawl-Delay: 5

User-agent: GoogleBot
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Disallow: *utm=
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif

User-agent: Yandex
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
Clean-Param: utm_source&utm_medium&utm_campaign
Crawl-Delay: 0.5

Sitemap: https://site.ru/sitemap.xml
Host: https://site.ru

Как добавить и где находится robots.txt

После того как вы создали файл robots.txt, его необходимо разместить на вашем сайте по адресу site.ru/robots.txt — т.е. в корневом каталоге. Поисковый робот всегда обращается к файлу по URL /robots.txt

Как проверить robots.txt

Проверка robots.txt осуществляется по следующим ссылкам:

Типичные ошибки в robots.txt

В конце статьи приведу несколько типичных ошибок файла robots.txt

• robots.txt отсутствует
• в robots.txt сайт закрыт от индексирования (Disallow: /)
• в файле присутствуют лишь самые основные директивы, нет детальной проработки файла
• в файле не закрыты от индексирования страницы с UTM-метками и идентификаторами сессий
• в файле указаны только директивы
  Allow: *.css
  Allow: *.js
  Allow: *.png
  Allow: *.jpg
  Allow: *.gif
  при этом файлы css, js, png, jpg, gif закрыты другими директивами в ряде директорий
• директива Host прописана несколько раз
• в Host не указан протокол https
• путь к Sitemap указан неверно, либо указан неверный протокол или зеркало сайта

P.S.

Если у вас есть дополнения к статье или вопросы, пишите ниже в комментариях.
Если у вас сайт на CMS WordPress, вам будет полезна статья «Как настроить правильный robots.txt для WordPress».

P.S.2

Полезное видео от Яндекса (Внимание! Некоторые рекомендации подходят только для Яндекса).

Файл robots.txt объяснил и проиллюстрировал

«Используйте файл robots.txt на вашем веб-сервере.

— из руководства Google для веб-мастеров ¹

Что такое файл robots.txt?

• Файл robots.txt — это простой текстовый файл, размещаемый на вашем веб-сервере, который сообщает веб-сканерам, таким как Googlebot, следует ли им обращаться к файлу или нет.

Основные примеры robots.txt

Вот некоторые распространенные роботы.Настройки TXT (они будут объяснены подробно ниже).

Блок одной папки

User-agent: *
Disallow: / folder /

Блок один файл

User-agent: *
Disallow: /file.html

Почему вы должны узнать о robots.txt?

• Неправильное использование файла robots.txt может повредить ваш рейтинг
• Файл robots.txt контролирует, как пауки поисковых систем видят и взаимодействуют с вашими веб-страницами
• Этот файл упоминается в нескольких руководствах Google
• Этот файл и боты, с которыми они взаимодействуют, являются фундаментальной частью работы поисковых систем.

Подсказка: посмотреть, работают ли ваши роботы.TXT блокирует любые важные файлы, используемые Google, используйте инструмент рекомендаций Google.

Поисковая система пауков

Первое, на что паук поисковой системы, такой как Googlebot, смотрит при посещении страницы, это файл robots.txt.

Это происходит потому, что он хочет знать, есть ли у него разрешение на доступ к этой странице или файлу. Если в файле robots.txt указано, что он может войти, паук поисковой системы затем перейдет к файлам подкачки.

Если у вас есть инструкции для робота поисковой системы, вы должны сообщить ему эти инструкции.То, как вы это делаете, — это файл robots.txt. ²

Приоритеты для вашего сайта

Есть три важных вещи, которые должен сделать любой веб-мастер, когда дело доходит до файла robots.txt.

• Определите, есть ли у вас файл robots.txt
• Если у вас есть, убедитесь, что это не вредит вашему рейтингу или блокирует контент, который вы не хотите заблокировать
• Определите, нужен ли вам файл robots.txt

Определение наличия роботов.TXT

Вы можете войти на веб-сайт ниже, нажать кнопку «Перейти», и он обнаружит, есть ли на сайте файл robots.txt, и отобразит то, что в файле написано (он показывает результаты здесь на этой странице) .

Если вы не хотите использовать вышеуказанный инструмент, вы можете проверить это в любом браузере. Файл robots.txt всегда находится в одном и том же месте на любом веб-сайте, поэтому легко определить, есть ли у него такой сайт. Просто добавьте «/robots.txt» в конец имени домена, как показано ниже.

www.yourwebsite.com/robots.TXT

Если у вас есть файл, это ваш файл robots.txt. Вы либо найдете файл со словами в нем, либо найдете файл без слов, либо не найдете файл вообще.

Определите, блокирует ли ваш robots.txt важные файлы

Вы можете использовать инструмент рекомендаций Google, который предупредит вас, если вы блокируете определенные ресурсы страницы, которые необходимы Google для понимания ваших страниц.

Если у вас есть доступ и разрешение, вы можете использовать консоль поиска Google для проверки своих роботов.текстовый файл. Инструкции для этого можно найти здесь (инструмент не публичный — требуется логин) .

Чтобы полностью понять, что ваш файл robots.txt не блокирует ничего, что вы не хотите, чтобы он блокировал, вам нужно понять, что он говорит. Мы рассмотрим это ниже.

Вам нужен файл robots.txt?

Возможно, вам даже не нужен файл robots.txt на вашем сайте. На самом деле это часто бывает вам не нужно.

Причины, по которым вы хотите иметь роботов.текстовый файл:

• У вас есть контент, который вы хотите заблокировать в поисковых системах
• Вы используете платные ссылки или рекламные объявления, которые требуют специальных инструкций для роботов
• Вы хотите точно настроить доступ к вашему сайту от авторитетных роботов
• Вы разрабатываете живой сайт, но пока не хотите, чтобы поисковые системы его проиндексировали.
• Они помогают вам следовать некоторым рекомендациям Google в некоторых ситуациях.
• Вам необходимо выполнить некоторые или все вышеперечисленные действия, но у вас нет полного доступа к вашему веб-серверу и способам его настройки.

Каждая из вышеперечисленных ситуаций может контролироваться другими методами, кроме роботов.TXT-файл является хорошим центральным местом, чтобы заботиться о них, и большинство веб-мастеров имеют возможность и доступ, необходимые для создания и использования файла robots.txt.

Причины, по которым вы можете , а не , хотеть иметь файл robots.txt:

• Это просто и без ошибок
• У вас нет файлов, которые вы хотите или должны быть заблокированы поисковыми системами
• Вы не окажетесь ни в одной из ситуаций, перечисленных в приведенных выше причинах, чтобы иметь файл robots.txt

Можно не иметь роботов.текстовый файл.

Если у вас нет файла robots.txt, роботы поисковых систем, такие как Googlebot, будут иметь полный доступ к вашему сайту. Это нормальный и простой метод, который очень распространен.

Как сделать файл robots.txt

Если вы можете печатать или копировать и вставлять, вы также можете создать файл robots.txt.

Файл — это просто текстовый файл, что означает, что вы можете использовать блокнот или любой другой текстовый редактор для его создания. Вы также можете сделать их в редакторе кода. Вы даже можете скопировать и вставить их.

Вместо того, чтобы думать «я создаю файл robots.txt», просто подумайте: «Я пишу заметку», — это практически один и тот же процесс.

Что должен сказать robots.txt?

Это зависит от того, что вы хотите сделать.

Все инструкции robots.txt приводят к одному из следующих трех результатов

• Полное разрешение: весь контент может быть просканирован.
• Полный запрет: контент не может быть сканирован.
• Условное разрешение: директивы в роботах.TXT определяет способность сканировать определенный контент.

Давайте объясним каждый.

Полное разрешение — весь контент может быть просканирован

Большинство людей хотят, чтобы роботы посещали все на своем сайте. Если это так с вами, и вы хотите, чтобы робот индексировал Во всех частях вашего сайта есть три варианта, чтобы роботы знали, что они приветствуются.

1) Нет файла robots.txt

Если на вашем сайте нет роботов.TXT-файл, то это то, что происходит …

Робот, как Googlebot приходит в гости. Он ищет файл robots.txt. Он не находит его, потому что его там нет. Робот тогда чувствует свободно посещать все ваши веб-страницы и контент, потому что это то, что он запрограммирован делать в этой ситуации.

2) Создайте пустой файл и назовите его robots.txt

Если на вашем сайте есть файл robots.txt, в котором ничего нет, то это то, что происходит …

Робот, как Googlebot приходит в гости.Он ищет файл robots.txt. Он находит файл и читает его. Там нечего читать, поэтому Затем робот может свободно посещать все ваши веб-страницы и контент, потому что это то, для чего он запрограммирован в этой ситуации.

3) Создайте файл с именем robots.txt и напишите в нем следующие две строки …

Если на вашем сайте есть файл robots.txt с этими инструкциями, то вот что происходит …

Робот, как Googlebot приходит в гости. Это выглядит для роботов.текстовый файл. Он находит файл и читает его. Это читает первую строку. Затем это читает вторую строку. Затем робот может свободно посещать все ваши веб-страницы и контент, потому что именно это вы и сказали (я объясню ниже).

Полное запрещение — нельзя сканировать содержимое

Предупреждение. Это означает, что Google и другие поисковые системы не будут индексировать или отображать ваши веб-страницы.

Чтобы заблокировать всех известных пауков поисковых систем с вашего сайта, вы должны иметь эти инструкции в своих роботах.TXT:

Не рекомендуется делать это, так как это не приведет к индексации ни одной из ваших веб-страниц.

Инструкция robot.txt и их значение

Вот объяснение того, что означают разные слова в файле robots.txt

User-agent

Часть «Пользователь-агент» предназначена для указания направлений для конкретного робота, если это необходимо. Есть два способа использовать это в твой файл

Если вы хотите сказать всем роботам одно и то же, вы должны поставить «*» после «User-agent». Это будет выглядеть так…

В приведенной выше строке написано «эти указания относятся ко всем роботам».

Если вы хотите что-то сказать конкретному роботу (в этом примере Googlebot), это будет выглядеть так …

В приведенной выше строке написано «эти указания относятся только к Googlebot».

Запретить:

Часть «Disallow» предназначена для того, чтобы сообщить роботам, на какие папки они не должны смотреть. Это означает, что, например, если вы не хотите, чтобы поисковые системы индексировали фотографии на вашем сайте, вы можете поместить эти фотографии в одну папку и исключить ее.

Допустим, вы поместили все эти фотографии в папку с именем «photos». Теперь вы хотите сказать поисковым системам не индексировать эта папка.

Вот как должен выглядеть ваш файл robots.txt в этом сценарии:

User-agent: *
Disallow: / photos

Приведенные выше две строки текста в файле robots.txt не позволят роботам посещать папку с фотографиями. «Пользователь-агент *» Часть говорит: «Это относится ко всем роботам». Часть «Disallow: / photos» гласит: «Не посещайте и не индексируйте папку с моими фотографиями».

Googlebot конкретные инструкции

Робот, который Google использует для индексации своей поисковой системы, называется Googlebot. Он понимает несколько больше инструкций, чем другие роботы.

В дополнение к «User-name» и «Disallow» робот Googlebot также использует инструкцию «Разрешить».

Разрешить

Инструкции «Разрешить:» позволяют сообщать роботу, что можно просматривать файл в папке, которая была «запрещена» по другим инструкциям. Чтобы проиллюстрировать это, давайте возьмем приведенный выше пример того, как роботу не нужно посещать или индексировать ваши фотографии.Мы поместили все фотографии в одну папку с именем «photos» и создали файл robots.txt, который выглядел следующим образом …

User-agent: *
Disallow: / photos

Теперь предположим, что в этой папке была фотография mycar.jpg, которую вы хотите проиндексировать роботом Google. С разрешением: инструкция, мы можем сказать Googlebot сделать это, это будет выглядеть так …

Пользователь-агент: *
Запретить: / photos
Разрешить: /photos/mycar.jpg

Это скажет роботу Google, что он может посетить «mycar.jpg «в папке с фотографиями, хотя папка» фото «в противном случае не входит.

Тестирование файла robots.txt

Чтобы узнать, заблокирована ли отдельная страница файлом robots.txt, вы можете использовать этот технический инструмент SEO, который сообщит вам, блокируются ли важные для Google файлы, а также отобразить содержимое файла robots.txt.

Ключевые понятия

• Если вы используете файл robots.txt, убедитесь, что он используется правильно
• Неправильные роботы.TXT-файл может заблокировать робот Googlebot от индексации вашей страницы
• Убедитесь, что вы не блокируете страницы, которые нужны Google для ранжирования ваших страниц

Патрик Секстон

.

Your Robots.txt Руководство по началу работы

1. WooRank
2. SEO Руководства
3. Роботы и Вы: Руководство к Robots.txt

А роботы.TXT-файл — это простой текстовый файл, который указывает, должен ли сканер иметь или не должен обращаться к определенным папкам, подпапкам или страницам вместе с другой информацией о вашем сайте. В файле используется стандарт исключения роботов, протокол, установленный в 1994 году для веб-сайтов для связи со сканерами и другими ботами. Абсолютно необходимо использовать простой текстовый файл: создание файла robots.txt с использованием HTML или текстового процессора будет включать код, который сканеры поисковых систем будут игнорировать, если они не могут прочитать.

Как это работает?

Сканеры

— это инструменты, которые анализируют ваши веб-страницы и могут быть использованы для выявления проблем. WooRank’s Site Crawl делает это, чтобы помочь веб-мастерам находить и исправлять ошибки сканирования.

Когда владелец сайта хочет дать некоторые рекомендации сканерам, они помещают свой файл robots.txt в корневой каталог своего сайта, например, https://www.example.com/robots.txt. Боты, которые следуют этому протоколу, будут извлекать и читать файл, прежде чем загружать любой другой файл с сайта.Если на сайте нет файла robots.txt, сканер предположит, что веб-мастер не хочет давать какие-либо конкретные инструкции, и продолжит сканирование всего сайта.

Robots.txt состоит из двух основных частей: User-agent и директив.

User-Agent

User-agent — это имя адресуемого паука, в то время как директивные строки содержат инструкции для этого конкретного user-agent. Строка User-agent всегда идет перед строками директив в каждом наборе директив.Очень простой robots.txt выглядит так:

  Пользователь-агент: Googlebot
Disallow: /
  

Эти директивы предписывают пользовательскому агенту Googlebot, веб-сканеру Google, держаться подальше от всего сервера — он не будет сканировать ни одну страницу на сайте. Если вы хотите дать инструкции нескольким роботам, создайте набор пользовательских агентов и запретите директивы для каждого из них.

  Пользователь-агент: Googlebot
Disallow: /

Пользователь-агент: Bingbot
Disallow: /
  

Теперь и пользовательские агенты Google, и Bing знают, как обходить весь сайт.Если вы хотите установить одинаковое требование для всех роботов, вы можете использовать так называемый подстановочный знак, обозначенный звездочкой (*). Поэтому, если вы хотите разрешить всем роботам сканировать весь ваш сайт, ваш файл robots.txt должен выглядеть следующим образом:

  Пользователь-агент: *
Disallow:
  

Стоит отметить, что поисковые системы будут выбирать наиболее конкретные директивы агента пользователя, которые они смогут найти. Например, скажем, у вас есть четыре набора пользовательских агентов: один с использованием подстановочного знака (*), один для Googlebot, один для Googlebot-News и один для Bingbot, а ваш сайт посещает пользователь Googlebot-Images- агент.Этот бот будет следовать инструкциям для Googlebot, так как это самый специфический набор директив, применимых к нему.

Наиболее распространенными пользовательскими агентами поисковой системы являются:

User-Agent	Поисковая система	Поле
Baiduspider	Baidu	Генерал
baiduspider-image	Baidu	изображений
baiduspider-mobile	Baidu	Мобильный
baiduspider-news	Baidu	Новости
baiduspider-video	Baidu	Видео
Bingbot	Bing	Генерал
MSNBOT	Bing	Генерал
msnbot-media	Bing	изображений и видео
adidxbot	Bing	объявлений
Googlebot	Google	Генерал
Googlebot-Image	Google	изображений
Googlebot-Mobile	Google	Мобильный
Googlebot-News	Google	Новости
Googlebot-Video	Google	Видео
Mediapartners-Google	Google	AdSense
AdsBot-Google	Google	AdWords
глоток	Yahoo!	Генерал
яндекс	Яндекс	Генерал

Запретить

Вторая часть роботов.TXT — запретная линия. Эта директива сообщает паукам, какие страницы им запрещено сканировать. В каждом наборе директив может быть несколько запрещенных строк, но только один пользовательский агент.

Вам не нужно указывать какое-либо значение для директивы disallow; Боты будут интерпретировать пустое значение disallow, чтобы означать, что вы ничего не запрещаете, и получите доступ ко всему сайту. Как мы упоминали ранее, если вы хотите запретить доступ ко всему сайту боту (или всем ботам), используйте косую черту (/).

Вы можете получить детализацию с директивами disallow, указав конкретные страницы, каталоги, подкаталоги и типы файлов.Чтобы заблокировать сканеры с определенной страницы, используйте относительную ссылку этой страницы в строке запрета:

  Пользователь-агент: *
Disallow: /directory/page.html
  

Блокировать доступ ко всем каталогам таким же образом:

  Пользователь-агент: *
Disallow: / folder1 /
Disallow: / folder2 /
  

Вы также можете использовать robots.txt, чтобы запретить роботам сканировать определенные типы файлов, используя подстановочный знак и тип файла в строке запрета:

  Пользователь-агент: *
Disallow: / *.п.п.
Disallow: /images/*.jpg
Disallow: /duplicatecontent/copy*.html
  

Хотя протокол robots.txt технически не поддерживает использование подстановочных знаков, роботы поисковых систем могут распознавать и интерпретировать их. Таким образом, в приведенных выше директивах робот автоматически расширяет звездочку в соответствии с путем к имени файла. Например, он мог бы выяснить, что www.example.com/presentations/slideshow.ppt и www.example.com/images/example.jpg запрещены, пока www.example.com / Presentations / slideshowtranscript.html не является. Третий запрещает сканирование любого файла в каталоге / duplicatecontent /, который начинается с «copy» и заканчивается на «.html». Так что эти страницы заблокированы:

• /duplicatecontent/copy.html
• /duplicatecontent/copy1.html
• /duplicatecontent/copy2.html
• /duplicatecontent/copy.html?id=1234

Тем не менее, он не будет запрещать любые экземпляры «copy.html», хранящиеся в другом каталоге или подкаталоге.

Одна проблема, с которой вы можете столкнуться с файлом robots.txt, заключается в том, что некоторые URL-адреса содержат исключенные шаблоны в URL-адресах, которые мы на самом деле хотим сканировать. Из нашего более раннего примера Disallow: /images/*.jpg этот каталог может содержать файл с именем «description-of-.jpg.html». Эта страница не будет сканироваться, поскольку она соответствует шаблону исключения. Чтобы решить эту проблему, добавьте символ доллара ($), чтобы обозначить, что он представляет конец строки. Это скажет сканерам поисковых систем избегать только тех файлов, которые заканчиваются шаблоном исключения.Поэтому Disallow: /images/*.jpg$ блокирует только файлы, заканчивающиеся на «.jpg», в то же время разрешая файлы, которые содержат «.jpg» в заголовке.

Разрешить

Иногда вам может потребоваться исключить каждый файл в каталоге, кроме одного. Вы можете сделать это трудным способом, написав запрещающую строку для каждого файла, кроме того, который вы хотите сканировать. Или вы можете использовать директиву Allow. Он работает почти так же, как и следовало ожидать: добавьте строку «Разрешить» в группу директив для пользовательского агента:

  Пользователь-агент: *
Разрешить: / папка / подпапка / файл.HTML
Disallow: / папка / подпапка /
  

Подстановочные знаки и правила сопоставления с образцом работают для директивы Allow так же, как и для Disallow.

Нестандартные директивы

Есть несколько других директив, которые вы можете использовать в файле robots.txt, которые не являются общепризнанными поисковыми системами. Одним из них является директива Host. Это признано Яндексом, самой популярной поисковой системой в России, и работает как решение www. Однако, как кажется, Яндекс является единственной крупной поисковой системой, которая поддерживает директиву Host, мы не рекомендуем использовать ее.Лучший способ справиться с разрешением www — это использовать 301 редирект.

Еще одна директива, поддерживаемая некоторыми поисковыми системами, — это задержка сканирования. Он задает числовое значение, которое представляет количество секунд — линия задержки сканирования должна выглядеть как задержка сканирования: 15 . Он используется по-разному в Yahoo !, Bing и Yandex. Yahoo! и Bing использует это значение как время ожидания между действиями по сканированию, в то время как Яндекс будет использовать его как время ожидания для доступа к вашему сайту. Если у вас есть большой сайт, вы, вероятно, не хотите использовать эту директиву, поскольку она может серьезно ограничить число просматриваемых страниц.Однако, если вы не получаете почти никакого трафика от этих поисковых систем, вы можете использовать crawl-delay для экономии пропускной способности.

Вы также можете установить задержку сканирования для определенных пользовательских агентов. Например, вы можете обнаружить, что ваш сайт часто сканируется с помощью инструментов SEO, которые могут замедлить ваш сайт. Вы также можете заблокировать их все вместе, если не чувствуете, что они вам помогают.

Наконец, вы можете использовать свой файл robots.txt, чтобы сообщить поисковым системам, где найти вашу карту сайта, добавив строку Sitemap: в любом месте файла.Эта директива не зависит от пользовательского агента, поэтому боты смогут интерпретировать ее, куда бы вы ее ни поместили, но лучше поставить ее в конце, чтобы облегчить себе задачу. Создайте новую строку Sitemap для каждого имеющегося у вас файла Sitemap, включая ваши файлы изображений и видео, а также индексный файл Sitemap. Если вы предпочитаете, чтобы местоположение вашей карты сайта было недоступно для всех, вы можете предпочесть не указывать это и вместо этого отправлять карты сайта в поисковые системы напрямую.

Подробнее о том, как создать и оптимизировать карту сайта XML, можно узнать здесь.

Зачем вам нужен?

Если поиск, индексирование и ранжирование вашего сайта в результатах поисковой системы — это весь смысл SEO, зачем вам вообще исключать файлы на своем сайте? Есть несколько причин, по которым вы хотите заблокировать доступ ботов к разделам вашего сайта:

• У вас есть личные папки, подпапки или файлы на вашем сайте — просто помните, что любой может прочитать ваш файл robots.txt, поэтому выделение местоположения частного файла с помощью директивы disallow откроет его для всего мира.

• Блокируя менее важные страницы на вашем сайте, вы определяете приоритет бюджета сканирования ботов. Это означает, что они будут тратить больше времени на сканирование и индексацию ваших самых важных страниц.

• Если вы получаете много трафика от других сканеров, которые не являются поисковыми системами (например, инструменты SEO), сэкономьте пропускную способность, запретив их пользовательским агентам.

Вы также можете использовать robots.txt, чтобы поисковые системы не индексировали дублирующийся контент. Если вы используете параметры URL, которые приводят к тому, что на вашем сайте размещается один и тот же контент на нескольких страницах, используйте символы подстановки, чтобы исключить эти URL:

  Пользователь-агент: *
Disallow: / *?
  

Это предотвратит доступ сканеров к любым страницам с вопросительными знаками в URL-адресе, что часто приводит к добавлению параметров.Это особенно полезно для сайтов электронной коммерции, которые имеют множество параметров URL, что приводит к тонне дублированного контента из-за фильтрации и сортировки товаров.

Рекомендуется блокировать доступ к вашему сайту во время редизайна или миграции, о чем мы подробно говорили ранее. Заблокируйте доступ ко всему новому сайту, чтобы он не связывался с дублирующимся контентом, что в будущем будет препятствовать его ранжированию.

Распространенные проблемы с Robots.txt и как их исправить

Чтобы проверить, есть ли у вас проблемы с вашими роботами.TXT, откройте консоль поиска Google. Посмотрите в своем отчете «Статистика сканирования», чтобы убедиться, что количество просканированных страниц за день значительно сократилось; это может указывать на проблему с вашим файлом robots.txt.

Возможно, самая большая проблема с файлами robots.txt — это случайный запрет страниц, которые вы действительно хотите сканировать. Эту информацию можно найти в отчете об ошибках сканирования GSC. Проверьте страницы, которые возвращают код ответа 500. Этот код часто возвращается для страниц, заблокированных robots.txt.

Проверьте все URL-адреса, которые возвращают код ошибки 500 в соответствии с вашими директивами disallow в файле robots.txt.

Некоторые другие распространенные проблемы с файлами robots.txt:

• Случайное добавление косой черты в конце имени файла. Даже если ваш канонический URL-адрес может содержать косую черту, добавление этого в конец строки в файле robots.txt заставит ботов интерпретировать его как каталог, а не файл, блокируя каждую страницу в папке.Дважды проверьте ваши запрещенные линии на наличие косых черт, которых там быть не должно.

• Блокировка ресурсов, таких как коды CSS и JavaScript, с использованием robots.txt. Однако это повлияет на то, как поисковые системы увидят вашу страницу. Некоторое время назад Google заявил, что запрет CSS и Javascript будет считаться вашим SEO. Google может прочитать ваш код CSS и JS и использовать его, чтобы сделать выводы о вашем сайте. Когда он видит заблокированные ресурсы, подобные этой, он не может правильно отобразить вашу страницу, что удержит вас от рейтинга так высоко, как вы могли бы в противном случае.

• Использование более одной директивы User-agent на строку. Поисковые системы игнорируют директивы, включающие в себя более одного пользовательского агента в строке, что может привести к неправильному сканированию вашего сайта.

• Неправильная капитализация каталогов, подкаталогов и имен файлов. Хотя фактические директивы, используемые в robots.txt, не чувствительны к регистру, их значения. Так что поисковые системы видят Disallow: page.html , Disallow: Page.html и Disallow: страница.HTML в виде трех отдельных файлов. Если ваш файл robots.txt содержит директивы для «Page.html», но канонический URL-адрес указан строчными буквами, эта страница будет просканирована.

• Использование директивы noindex. Ни Google, ни Bing не поддерживают использование noindex в файлах robots.txt.

• Противоречие с вашей картой сайта в файле robots.txt. Скорее всего, это произойдет, если вы используете различные инструменты для создания файлов Sitemap и robots.txt. Противоречить себя перед поисковыми системами всегда плохая идея.К счастью, это довольно легко найти и исправить. Отправьте и сканируйте свою карту сайта через GSC. Он предоставит вам список ошибок, которые вы затем сможете проверить в файле robots.txt, чтобы узнать, исключили ли вы его там.

• Запрет страниц в вашем файле robots.txt, которые используют метатег noindex. Сканеры, заблокированные от доступа к странице, не смогут видеть тег noindex, который может привести к тому, что ваша страница появится в результатах поиска, если она связана с другой страницей.

Распространено также бороться с синтаксисом robots.txt, особенно если у вас мало технических знаний. Одно из решений заключается в том, чтобы кто-то, знакомый с протоколом роботов, просматривал ваш файл на предмет синтаксических ошибок. Другой, и, возможно, лучший вариант, это пойти прямо в Google для тестирования. Откройте тестер в консоли поиска Google, вставьте файл robots.txt и нажмите «Тест». Что действительно удобно, так это то, что он не только обнаружит ошибки в вашем файле, но вы также сможете увидеть, не разрешаете ли вы страницы, проиндексированные Google.

При создании или изменении файла robots.txt вы действительно должны тщательно протестировать его с помощью этого инструмента. Добавление файла robots.txt с ошибками, вероятно, серьезно повлияет на способность вашего сайта сканироваться и индексироваться, что может привести к тому, что он выйдет из рейтинга поиска. Вы можете даже заблокировать весь ваш сайт от появления в результатах поиска!

Правильно ли реализован ваш файл robots.txt? Проведите аудит своего сайта с помощью WooRank, чтобы убедиться, что вы оптимизированы по более чем 70 критериям, в том числе на странице, технические и местные факторы.

,

Управление файлами Robots.txt и Sitemap

• 03.06.2009
• 7 минут, чтобы прочитать

В этой статье

Руслан Якушев

Инструментарий поисковой оптимизации IIS включает в себя функцию Исключение роботов , которую можно использовать для управления контентом роботов.TXT-файл для вашего веб-сайта, включает в себя функцию Sitemap и Sitemap Indexes , которую вы можете использовать для управления картами сайта вашего сайта. В этом пошаговом руководстве объясняется, как и зачем использовать эти функции.

Фон

Сканеры

будут тратить ограниченное время и ресурсы на ваш веб-сайт. Поэтому важно сделать следующее:

1. Запретить сканерам индексировать контент, который не важен или не должен отображаться на страницах результатов поиска.
2. Направьте сканеры на контент, который вы считаете наиболее важным для индексации.

Для выполнения этих задач обычно используются два протокола: протокол исключения роботов и протокол Sitemaps.

Протокол исключения роботов используется, чтобы сообщить сканерам поисковых систем, какие URL-адреса НЕ следует запрашивать при сканировании веб-сайта. Инструкции по исключению помещаются в текстовый файл с именем Robots.txt, который находится в корне веб-сайта.Большинство сканеров поисковых систем обычно ищут этот файл и следуют инструкциям в нем.

Протокол Sitemaps используется для информирования сканеров поисковых систем об URL-адресах, доступных для сканирования на вашем веб-сайте. Кроме того, файлы Sitemap используются для предоставления некоторых дополнительных метаданных об URL-адресах сайта, таких как время последнего изменения, частота изменения, относительный приоритет и т. Д. Поисковые системы могут использовать эти метаданные при индексации вашего веб-сайта.

Предпосылки

1.Настройка веб-сайта или приложения

Для выполнения этого пошагового руководства вам потребуется веб-сайт IIS 7 или более поздней версии или веб-приложение, которым вы управляете. Если у вас его нет, вы можете установить его из галереи веб-приложений Microsoft. Для этого пошагового руководства мы будем использовать популярное приложение для ведения блогов DasBlog.

2. Анализ веб-сайта

Если у вас есть веб-сайт или веб-приложение, вы можете проанализировать его, чтобы понять, как типичная поисковая система будет сканировать его содержимое.Для этого выполните действия, описанные в статьях «Использование анализа сайта для сканирования веб-сайта» и «Использование отчетов анализа сайта». Когда вы будете проводить анализ, вы, вероятно, заметите, что у вас есть определенные URL-адреса, доступные поисковым системам для сканирования, но нет никакой реальной выгоды в том, что они сканируются или индексируются. Например, поисковые роботы не должны запрашивать страницы входа или страницы ресурсов. Такие URL-адреса должны быть скрыты от поисковых систем, добавляя их в роботов.текстовый файл.

Управление файлом Robots.txt

Можно использовать функцию исключения роботов IIS SEO Toolkit для создания файла Robots.txt, который сообщает поисковым системам, какие части веб-сайта не следует сканировать или индексировать. Следующие шаги описывают, как использовать этот инструмент.

1. Откройте консоль управления IIS, введя INETMGR в меню «Пуск».
2. Перейдите на свой веб-сайт с помощью дерева в левой части (например, веб-сайт по умолчанию).
3. Щелкните по значку Поисковая оптимизация в разделе «Управление»:
   
.
4. На главной странице SEO нажмите ссылку задачи « Добавить новое запрещающее правило » в разделе Исключение роботов .
   

Добавление правил запрета и разрешения

Диалоговое окно «Добавить запретить правила» откроется автоматически:

Протокол исключения роботов

использует директивы «Разрешить» и «Запретить» для информирования поисковых систем о путях URL, которые можно сканировать, и о тех, которые нельзя.Эти директивы могут быть указаны для всех поисковых систем или для конкретных пользовательских агентов, определенных HTTP-заголовком user-agent. В диалоговом окне «Добавить запретить правила» вы можете указать, к какому поисковому механизму поисковой системы будет применяться данная директива, введя пользовательский агент сканера в поле «Робот (пользовательский агент)».

Представление дерева пути URL-адреса используется для выбора того, какие URL-адреса следует запретить. При выборе путей URL можно выбрать один из нескольких вариантов с помощью раскрывающегося списка «Структура URL»:

• Физическое местоположение — вы можете выбрать пути из макета физической файловой системы вашего веб-сайта.
• Из Site Analysis (имя анализа) — вы можете выбрать пути из виртуальной структуры URL, которая была обнаружена при анализе сайта с помощью инструмента IIS Site Analysis.
• <Запустить новый анализ сайта ...> — вы можете запустить новый анализ сайта, чтобы получить структуру виртуального URL-адреса для вашего веб-сайта, а затем выбрать пути URL-адреса оттуда.

После выполнения шагов, описанных в разделе предварительных условий, вам будет доступен анализ сайта. Выберите анализ в раскрывающемся списке, а затем проверьте URL-адреса, которые необходимо скрыть от поисковых систем, используя флажки в представлении дерева «URL-пути»:

После выбора всех каталогов и файлов, которые необходимо запретить, нажмите ОК.Вы увидите новые запрещенные записи в главном представлении функции:

Кроме того, файл Robots.txt для сайта будет обновлен (или создан, если он не существует). Его содержание будет выглядеть примерно так:

  Пользователь-агент: *
Disallow: /EditConfig.aspx
Disallow: /EditService.asmx/
Disallow: / images /
Disallow: /Login.aspx
Disallow: / scripts /
Disallow: /SyndicationService.asmx/
  

Чтобы увидеть, как работает Robots.txt, вернитесь к функции анализа сайта и повторно запустите анализ для сайта.На странице «Сводка отчетов» в категории Ссылки выберите Ссылки, заблокированные Robots.txt . В этом отчете будут отображаться все ссылки, которые не были просканированы, поскольку они были запрещены только что созданным файлом Robots.txt.

Управление файлами Sitemap

Можно использовать функцию Sitemaps и Sitemap Indexes в IIS SEO Toolkit для создания файлов Sitemap на вашем веб-сайте, чтобы информировать поисковые системы о страницах, которые следует сканировать и индексировать.Для этого выполните следующие действия:

1. Откройте диспетчер IIS, введя INETMGR в меню Пуск .
2. Перейдите на свой веб-сайт, используя древовидное представление слева.
3. Щелкните по значку Поисковая оптимизация в разделе «Управление»:
   
.
4. На главной странице SEO щелкните ссылку задачи « Создать новую карту сайта » в разделе Sitemap и Sitemap Indexes .
   
5. Диалог Добавить файл Sitemap откроется автоматически.
   
6. Введите имя для файла карты сайта и нажмите ОК . Откроется диалоговое окно Добавить URL .

Добавление URL на карту сайта

Добавить URL диалог выглядит так:

Файл Sitemap в основном представляет собой простой XML-файл, в котором перечислены URL-адреса вместе с некоторыми метаданными, такими как частота изменений, дата последнего изменения и относительный приоритет. Вы используете диалог Добавить URL , чтобы добавить новые записи URL в файл Sitemap xml.Каждый URL-адрес в карте сайта должен иметь полный формат URI (т. Е. Он должен содержать префикс протокола и имя домена). Итак, первое, что вы должны указать, это домен, который будет использоваться для URL-адресов, которые вы собираетесь добавить в карту сайта.

Представление «Путь к URL-адресу» используется для выбора URL-адресов, которые необходимо добавить в карту сайта для индексации. Вы можете выбрать один из нескольких вариантов, используя раскрывающийся список «Структура URL»:

• Физическое местоположение — вы можете выбрать URL-адреса из макета физической файловой системы вашего веб-сайта.
• Из Site Analysis (имя анализа) — вы можете выбрать URL из виртуальной структуры URL, которая была обнаружена при анализе сайта с помощью инструмента Site Analysis.
• <Запустить новый анализ сайта ...> — вы можете запустить новый анализ сайта, чтобы получить структуру виртуального URL-адреса для вашего веб-сайта, а затем выбрать пути URL-адреса, которые вы хотите добавить для индексации.

После того, как вы выполните шаги в разделе предварительных условий, у вас будет доступный анализ сайта.Выберите его в раскрывающемся списке, а затем проверьте URL-адреса, которые необходимо добавить в карту сайта.

При необходимости измените параметры Изменить частоту , Дата последнего изменения и Приоритет , а затем нажмите ОК , чтобы добавить URL-адреса в карту сайта. Файл sitemap.xml будет обновлен (или создан, если он не существует), и его содержимое будет выглядеть следующим образом:

  
  
     Http: // MyBlog / 2009/03/11 / CongratulationsYouveInstalledDasBlogWithWebDeploy.ASPX 
     2009-06-03T16: 05: 02 
     еженедельно 
    <Приоритет> 0,5 
  
  
     Http: //myblog/2009/06/02/ASPNETAndURLRewriting.aspx 
     2009-06-03T16: 05: 01 
     еженедельно 
    <Приоритет> 0,5 
  

  

Добавление местоположения карты сайта в роботов.TXT-файл

Теперь, когда вы создали карту сайта, вам нужно сообщить поисковым системам, где она находится, чтобы они могли начать ее использовать. Самый простой способ сделать это — добавить URL-адрес местоположения карты сайта в файл Robots.txt.

В функции Sitemaps и Sitemap Indexes выберите только что созданную карту сайта и нажмите Добавить в Robots.txt на панели Действия :

Ваш файл Robots.txt будет выглядеть примерно так:

  Пользователь-агент: *
Disallow: / EditService.ASMX /
Disallow: / images /
Disallow: / scripts /
Disallow: /SyndicationService.asmx/
Disallow: /EditConfig.aspx
Disallow: /Login.aspx

Карта сайта: http: //myblog/sitemap.xml
  

Регистрация карт сайта в поисковых системах

Помимо добавления местоположения карты сайта в файл Robots.txt, рекомендуется отправлять URL-адрес местоположения карты сайта в основные поисковые системы. Это позволит вам получить полезный статус и статистику о вашем веб-сайте из инструментов веб-мастеров поисковой системы.

Резюме

В этом пошаговом руководстве вы узнали, как использовать функции исключения роботов и файлов Sitemap и индексов файлов Sitemap из набора IIS Search Engine Optimization Toolkit для управления файлами Robots.txt и файлами Sitemap на вашем веб-сайте. IIS Search Engine Optimization Toolkit предоставляет интегрированный набор инструментов, которые работают вместе, чтобы помочь вам создать и проверить правильность файлов Robots.txt и sitemap, прежде чем поисковые системы начнут их использовать.

,

Разрешить только один файл каталога в robots.txt?

Переполнение стека

1. Товары
2. Клиенты
3. Случаи использования

1. Переполнение стека Публичные вопросы и ответы
2. Команды Частные вопросы и ответы для вашей команды
3. предприятие Частные вопросы и ответы для вашего предприятия
4. работы Программирование и связанные с ним технические возможности карьерного роста
5. Талант Нанимать технический талант
6. реклама Связаться с разработчиками по всему миру

Загрузка…

2. Авторизоваться зарегистрироваться

.