Разное

Robots txt yandex: Директива User-agent — Вебмастер. Справка

03.07.2023

Using robots.txt — Webmaster. Help

Robots.txt is a text file that contains site indexing parameters for the search engine robots.

Yandex supports the Robots Exclusion Protocol with advanced features.

When crawling a site, the Yandex robot loads the robots.txt file. If the latest request to the file shows that a site page or section is prohibited, the robot won’t index them.

  1. Requirements to the robots.txt file
  2. Recommendations on the content of the file
  3. Using Cyrillic characters
  4. How do I create robots.txt?
  5. FAQ

Yandex robots correctly process robots.txt, if:

  • The file size doesn’t exceed 500 KB.

  • It is a TXT file named «robots», robots.txt.

  • The file is located in the root directory of the site.

  • The file is available for robots: the server that hosts the site responds with an HTTP code with the status 200 OK. Check the server response

If the file doesn’t meet the requirements, the site is considered open for indexing.

Yandex supports redirection from the robots.txt file located on one site to the file located on another site. In this case, the directives in the target file are taken into account. This redirect can be useful when moving the site.

Yandex supports the following directives:

DirectiveWhat it does
User-agent *Indicates the robot to which the rules listed in robots.txt apply.
Disallow
Prohibits indexing site sections or individual pages.
SitemapSpecifies the path to the Sitemap file that is posted on the site.
Clean-paramIndicates to the robot that the page URL contains parameters (like UTM tags) that should be ignored when indexing it.
Allow
Allows indexing site sections or individual pages.
Crawl-delay

Specifies the minimum interval (in seconds) for the search robot to wait after loading one page, before starting to load another.

We recommend using the crawl speed setting in Yandex.Webmaster instead of the directive.

* Mandatory directive.

You’ll most often need the Disallow, Sitemap, and Clean-param directives. Examples:

User-agent: * #specifies the robots that the directives are set for
Disallow: /bin/ # prohibits links from the Shopping Cart.
Disallow: /search/ #  prohibits page links of the search embedded on the website
Disallow: /admin/ # prohibits links from the admin panel
Sitemap: http://example.com/sitemap # specifies the path to the website's Sitemap file for the robot
Clean-param: ref /some_dir/get_book.
pl

Robots from other search engines and services may interpret the directives in a different way.

Note. The robot takes into account the case of substrings (file name or path, robot name) and ignores the case in the names of directives.

The use of the Cyrillic alphabet is not allowed in the robots.txt file and server HTTP headers.

For domain names, use Punycode. For page addresses, use the same encoding as that of the current site structure.

Example of the robots.txt file:

#Incorrect:
User-agent: Yandex
Disallow: /корзина
Sitemap: сайт.рф/sitemap.xml
#Correct:
User-agent: Yandex
Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
Sitemap: http://xn--80aswg.xn--p1ai/sitemap.xml
  1. In the text editor, create a file named robots.txt and add the directives you need in it.

  2. Check the file in Yandex.Webmaster.

  3. Place the file to your site’s root directory.

Sample file.

This file allows indexing of the entire site for all search engines.

The site or individual pages are prohibited in robots.txt, but are still in the search

As a rule, after you set a ban on indexing using any of the available methods, pages are excluded from the search results within two weeks. You can speed up this process.

The “Server responds with redirect to /robots.txt request” error occurs on the “Site diagnostics” page in Yandex.Webmaster.

For the robots.txt file to be taken into account by the robot, it must be located in the root directory of the site and respond with HTTP 200 code. The indexing robot doesn’t support the use of files hosted on other sites.

To check availability of the robots.txt file for the robot, check the server response.

If your robots.txt redirects to another robots.txt file (for example, when moving a site), Yandex takes into account the target robots. txt. Make sure that the correct directives are specified in this file. To check the file, add the target site in Yandex.Webmaster and verify your site management rights.

Настройка файла robots.txt — Виртуальный хостинг

robots.txt — это служебный файл с инструкциями для поисковых роботов, размещаемый в корневой директории сайта (/public_html/robots.txt). С его помощью можно запретить индексирование отдельных страниц (или всего сайта), ограничить доступ для определенных роботов, настроить частоту запросов роботов к сайту и др. Корректная настройка robots.txt позволит снизить нагрузку на сайт, создаваемую поисковыми роботами.

Формат robots.txt

  • Файл содержит набор правил (директив), каждое из которых записывается с новой строки в формате
    имя_директивы: значение (пробел после двоеточия необязателен, но допустим).
  • Каждый блок правил начинается с директивы User-agent.
  • Внутри блока правил не должно быть пустых строк.
  • Новый блок правил отделяется от предыдущего пустой строкой.
  • В файле можно использовать примечания, отделяя их знаком #.
  • Файл должен называться именно robots.txt; написание Robots.txt или ROBOTS.TXT будет ошибочным. 

Некоторые роботы могут игнорировать отдельные директивы. Например, GoogleBot не учитывает директивы Host и Crawl-Delay; YandexDirect игнорирует общие директивы (заданные как User-agent: *), но учитывает правила, заданные специально для него.

Проверить созданный robots.txt можно в вебмастер-сервисах Yandex или Google или в других подобных сервисах в сети.

Используемые директивы

User-agent

Все блоки правил начинаются с директивы User-agent, в которой указывается название робота, для которого задается правило. Запись вида User-agent: * означает, что правило задается для всех поисковых роботов.

Например, при следующей записи правило будет применено только к основному индексирующему боту Яндекса:

User-agent: YandexBot

Правило будет применено ко всем роботам Яндекса и Google:

User-agent: Yandex
User-agent: Googlebot

Правило будет применено вообще ко всем роботам:

User-agent: *

Disallow и Allow

Директивы используются, чтобы запретить и разрешить доступ к определенным разделам сайта.

Например, можно запретить индексацию всего сайта (Disallow: /), кроме определенного каталога (Allow: /catalog

):

User-agent: имя_бота
Disallow: /
Allow: /catalog

Запретить индексацию страниц, начинающихся с /catalog, но разрешить для страниц, начинающихся с /catalog/auto и /catalog/new:

User-agent: имя_бота
Disallow: /catalog
Allow: /catalog/auto
Allow: /catalog/new

В каждой строке указывается только одна директория. Для запрещения (или разрешения) доступа к нескольким каталогам, для каждого требуется отдельная запись.

С помощью Disallow можно ограничить доступ к сайту для нежелательных ботов, тем самым снизив создаваемую ими нагрузку. Например, чтобы запретить доступ ко всему сайту для MJ12bot и AhrefsBot — ботов сервиса majestic.com и ahrefs.com — используйте:

User-agent: MJ12bot
User-agent: AhrefsBot
Disallow: /

Аналогичным образом устанавливается блокировка и для других ботов (скажем, DotBot, SemrushBot и других).

Примечания:

  • Пустая директива Disallow: равнозначна Allow: /, то есть «не запрещать ничего».
  • В директивах может использоваться символ $ для обозначения точного соответствия указанному параметру. Например, запись Disallow: /catalog аналогична Disallow: /catalog * и запретит доступ ко всем страницам с
    /catalog
    (/catalog, /catalog1, /catalog-new, /catalog/clothes и др. ).
    Использование $ это изменит. Disallow: /catalog$ запретит доступ к /catalog, но разрешит /catalog1, /catalog-new, /catalog/clothes и др.

Sitemap

При использовании файла sitemap.xml для описания структуры сайта, можно указать путь к нему с помощью соответствующей директивы:

User-agent: *
Disallow:
Sitemap: https://mydomain.com/путь_к_файлу/mysitemap.xml

Можно перечислить несколько файлов Sitemap, каждый в отдельной строке.

Host

Директива используется для указания роботам Яндекса основного зеркала сайта и полезна, когда сайт доступен по нескольким доменам.

User-agent: Yandex
Disallow: /catalog1$
Host: https://mydomain.com

Примечания:

  • Директива Host может быть только одна; если в файле указано несколько, роботом будет учтена только первая.
  • Необходимо указывать протокол HTTPS, если он используется. Если вы используете HTTP, зеркало можно записать в виде mydomain.com
  • Для корректного прочтения директивы, ее нужно указывать в блоке правил User-agent после директив Disallow и Allow.

Crawl-delay

Директива устанавливает минимальный интервал в секундах между обращениями робота к сайту, что может быть полезно для снижения создаваемой роботами нагрузки. Чем выше указанное значение, тем меньше страниц робот загрузит за сессию.

Значения можно указывать целыми или дробными числами (разделитель — точка).

User-agent: Yandex
Disallow:
Crawl-delay: 0.5

Примечания:

  • Для корректного прочтения директивы, ее нужно указывать в блоке правил User-agent после директив Disallow и Allow.
  • Для Яндекса максимальное значение в Crawl-delay — 2. Более высокое значение можно установить инструментами Яндекс. Вебмастер.
  • Для Google-бота установить частоту обращений можено в панели вебмастера Search Console.

Clean-param

Директива используется для робота Яндекса. Она позволяет исключить из индексации страницы с динамическими параметрами в URL-адресах (это могут быть идентификаторы сессий, пользователей, рефереров), чтобы робот не индексировал одно и то же содержимое повторно, повышая тем самым нагрузку на сервер.

Например, на сайте есть страницы:

www.mydomain.ru/news.html?&parm1=1&parm2=2
www.mydomain.ru/news.html?&parm2=2&parm3=3

По факту по обоим адресам отдается одна и та же страница — www.mydomain.ru/news.html, при этом в URL присутствуют дополнительные динамические параметры.

Чтобы робот не индексировал каждую подобную страницу, можно использовать директиву:

User-agent: Yandex
Disallow:
Clean-param: parm1&parm2&parm3 /news.html

Через знак & указываются параметры, которые робот должен игнорировать. Далее указывается страница, для которой применяется данное правило

С более подробной информацией о настройке директивы Clean-param рекомендуем ознакомиться в справочнике Яндекса.

 

Заблокировать поисковый робот Яндекса Задавать вопрос

спросил

Изменено 6 лет, 2 месяца назад

Просмотрено 1к раз

Последние несколько дней наш сайт ведет себя очень странно, много тайм-аутов и т.д. Наконец-то я нашел причину, бот Яндекса сканирует около 10000 страниц в час! Мне нужно остановить это как можно скорее, я думаю, что это создает около 50-100 ГБ пропускной способности в день.

Заблокированные IP-адреса (через https://myip. ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html):

100.43.90.0/24, 37.9.115.0/24, 37.140.165.0/24, 77.88.22.0/25, 77.88.29.0/24, 77.88.31.0/24, 77.88.59.0/24, 84.201. 146,0/24, 84,201 .148.0/24, 84.201.149.0/24, 87.250.243.0/24, 87.250.253.0/24, 93.158.147.0/24, 93.158.148.0/24, 93.158.151.0/24, 93.158.1 53.0/32, 95.108.128.0 /24, 95.108.138.0/24, 95.108.150.0/23, 95.108.158.0/24, 95.108.156.0/24, 95.108.188.128/25, 95.108.234.0/24, 95.108.248.0/24, 100.43.80.0/24, 130.193.62.0/24, 141.8.153.0/24, 178.154.165.0/24, 178.154.166.128/25, 1 78.154.173.29, 178.154.200.158, 178.154.202.0/24, 178.154.205.0/24, 178.154.239.0/24, 178.154.243.0/24, 37.9.84.253, 199.21.99.99, 178.154.162.29, 178.15 4.203.251, 178.154.211.250, 95.108.246.252, 5.45. 254.0/24, 5.255.253.0/24, 37.140.141.0/24, 37.140.188.0/24, 100.43.81.0/24, 100.43.85.0/24, 100.43.91.0/24, 199.21.99.0/2 4

Мои robots.txt:

 User-agent: Яндекс
Запретить: /
Пользовательский агент: *
Запретить: . .. и т. д.
 

Но, по сообщению Cloudflare, он все еще ползает.

Что еще я могу сделать, чтобы остановить это?

  • web-crawlers
  • yandex

Прямо с сайта Яндекса

 User-Agent Mozilla/5.0 (совместимый; Яндекс...) строка идентифицирует роботов Яндекса. Роботы
может отправлять запросы GET (например, ЯндексБот/3.0) и HEAD (ЯндексВебмастер/2.0) к
сервер. Обратный просмотр DNS можно использовать для проверки подлинности роботов Яндекса. Более
информацию можно найти в разделе Как проверить принадлежность робота Яндексу
помощь веб-мастера.
Если у вас есть какие-либо вопросы о наших роботах, пожалуйста, свяжитесь с нашей службой поддержки:
[email protected]. Если у вас возникли технические проблемы с нашими роботами
рекомендуем прикрепить лог вашего сервера.
 

Вы можете написать их команде по электронной почте и попросить не сканировать ваш сервер и не блокировать правильный пользовательский агент. Если ваш сервер перегружен и не справляется с запросами робота на загрузку, вам следует использовать директиву Crawl-delay. Это позволит вам указать минимальное количество времени (в секундах) между загрузкой поисковым роботом одной страницы и запуском следующей.

Примеры:

 User-agent: Яндекс
Crawl-delay: 2 # задает 2-секундный тайм-аут
 

и

 Агент пользователя: *
Запретить: /поиск
Crawl-delay: 4.5 # указывает время ожидания 4,5 секунды.
 

2

Зарегистрируйтесь или войдите в систему

Зарегистрируйтесь с помощью Google

Зарегистрироваться через Facebook

Зарегистрируйтесь, используя электронную почту и пароль

Опубликовать как гость

Электронная почта

Требуется, но никогда не отображается

Опубликовать как гость

Электронная почта

Требуется, но не отображается

Нажимая «Опубликовать свой ответ», вы соглашаетесь с нашими условиями обслуживания, политикой конфиденциальности и политикой использования файлов cookie

.

robots.txt — Яндекс игнорирует Crawl-delay?

Пытаюсь взять под контроль бота Яндекса и близок к тому, чтобы его заблокировать.

После 2 месяцев корректировки robots.txt он все еще продолжает долбить мой сервер с нескольких IP-адресов.

 Агент пользователя: *
Задержка сканирования: 4
User-agent: Яндекс
Задержка сканирования: 6
 

За неделю средняя задержка составляет 7,6 секунды (секунды/количество строк access_log). Но все же каждый день бывают пики, когда он продолжает долбить по минутам, используя разные IP-адреса.

Вот и пример: 336 запросов страниц (не считая файлов/скриптов и т.д.) с 12 IP за 276 секунд (~1,2 сек)

 5.255.253.3 - - [27/Apr/2019:10:43:14 +0200] "ПОЛУЧАТЬ  …
5.255.253.3 - - [27/апр/2019:10:43:15 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:16 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:16 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:17 +0200] "ПОЛУЧИТЬ…
141. 8.132.29 - - [27/апр/2019:10:43:18 +0200] "ПОЛУЧИТЬ…
37.9.113.7 - - [27/апр/2019:10:43:18 +0200] "ПОЛУЧИТЬ…
37,9.113.156 - - [27/Апр/2019:10:43:18 +0200] "ПОЛУЧИТЬ…
141.8.132.26 - - [27/апр/2019:10:43:19 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:43:19 +0200] "ПОЛУЧИТЬ…
95.108.181.94 - - [27/апр/2019:10:43:19 +0200] "ПОЛУЧИТЬ…
87.250.224.50 - - [27/апр/2019:10:43:20 +0200] "ПОЛУЧИТЬ…
87.250.224.55 - - [27/апр/2019:10:43:21 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:22 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:23 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:24 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27 апреля 2019 г.:10:43:24 +0200] "ПОЛУЧИТЕ...
5.255.253.3 - - [27/апр/2019:10:43:25 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:28 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:28 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:29 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:31 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:43 +0200] "ПОЛУЧИТЬ…
5. 255.253.3 - - [27/апр/2019:10:43:44 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:45 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:46 +0200] "ПОЛУЧИТЬ…
141.8.132.29- - [27/апр/2019:10:43:47 +0200] "ПОЛУЧИТЕ…
5.255.253.3 - - [27/апр/2019:10:43:48 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:48 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:49 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:43:50 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:51 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:52 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:53 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:54 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:43:54 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27 апреля 2019 г.:10:43:55 +0200] "ПОЛУЧИТЕ...
5.255.253.3 - - [27/апр/2019:10:43:56 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:56 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:43:57 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:58 +0200] "ПОЛУЧИТЬ…
5. 255.253.3 - - [27/апр/2019:10:43:59 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:43:59 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:00 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:01 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:44:01 +0200] "ПОЛУЧИТЬ…
141.8.132.29- - [27/Апр/2019:10:44:02 +0200] "ПОЛУЧИТЕ…
5.255.253.3 - - [27/апр/2019:10:44:03 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:04 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:04 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:05 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:44:06 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:06 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:07 +0200] "ПОЛУЧИТЬ...
141.8.132.29 - - [27/апр/2019:10:44:08 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:10 +0200] "ПОЛУЧИТЬ…
141.8.132.29- - [27/Апр/2019:10:44:10 +0200] "ПОЛУЧИТЕ…
5.255.253.3 - - [27/апр/2019:10:44:10 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:11 +0200] "ПОЛУЧИТЬ…
141. 8.132.29 - - [27/апр/2019:10:44:12 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:44:12 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:14 +0200] "ПОЛУЧИТЬ...
141.8.132.29 - - [27/апр/2019:10:44:15 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:16 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:17 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:17 +0200] "ПОЛУЧИТЬ…
141.8.142.118 - - [27 апреля 2019 г.:10:44:18 +0200] "ПОЛУЧИТЕ...
5.255.253.3 - - [27/апр/2019:10:44:19 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:19 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:21 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:21 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:21 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:44:22 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:23 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:24 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:24 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г. :10:44:25 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:44:25 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:44:25 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:26 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:27 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:44:27 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:28 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:29 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:30 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:31 +0200] "ПОЛУЧИТЬ…
141.8.132.29- - [27/Апр/2019:10:44:32 +0200] "ПОЛУЧИТЕ…
5.255.253.3 - - [27/апр/2019:10:44:33 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:34 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:35 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:36 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:37 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:37 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:44:37 +0200] "ПОЛУЧИТЬ…
5.255. 253.3 - - [27/апр/2019:10:44:38 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27 апреля 2019 г.:10:44:38 +0200] "ПОЛУЧИТЕ...
213.180.203.61 - - [27/апр/2019:10:44:39 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:39 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:40 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:41 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:42 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:42 +0200] "ПОЛУЧИТЬ…
141.8.142.118 - - [27/апр/2019:10:44:42 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:43 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:44:43 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:44:44 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:44:45 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:46 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:47 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:48 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:49 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:50 +0200] "ПОЛУЧИТЬ. ..
141.8.132.29 - - [27/апр/2019:10:44:51 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:51 +0200] «ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:52 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:44:53 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:44:55 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:55 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:44:56 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:44:57 +0200] «ПОЛУЧИТЕ…
141.8.132.29 - - [27/апр/2019:10:44:59 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:00 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:00 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:02 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:03 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:45:05 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:45:05 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:05 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:07 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:07 +0200] "ПОЛУЧИТЬ…
141. 8.132.29 - - [27/апр/2019:10:45:07 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:08 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:45:09 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:10 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:10 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:45:11 +0200] "ПОЛУЧИТЕ...
5.255.253.3 - - [27/апр/2019:10:45:12 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:13 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:13 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:14 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:15 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:15 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:16 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:17 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:45:17 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:45:17 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:45:19 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:20 +0200] "ПОЛУЧИТЬ…
141. 8.132.29 - - [27/апр/2019:10:45:22 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:23 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:23 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:24 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:25 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:26 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:26 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:45:27 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:45:29 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:29 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:30 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:31 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:32 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:32 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:45:33 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:33 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:33 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27 апреля 2019 г. :10:45:34 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:45:35 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:36 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:37 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:37 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:39 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:45:39 +0200] "ПОЛУЧИТЬ…
87.250.224.119 - - [27/апр/2019:10:45:39 +0200] "ПОЛУЧИТЬ…
141.8.132.26 - - [27/апр/2019:10:45:40 +0200] "ПОЛУЧИТЬ…
141.8.142.118 - - [27/апр/2019:10:45:40 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27 апреля 2019 г.:10:45:40 +0200] "ПОЛУЧИТЕ...
87.250.224.119 - - [27/апр/2019:10:45:41 +0200] "ПОЛУЧИТЬ…
141.8.132.26 - - [27/апр/2019:10:45:41 +0200] "ПОЛУЧИТЬ…
141.8.142.118 - - [27/апр/2019:10:45:41 +0200] "ПОЛУЧИТЬ…
213.180.203.40 - - [27/апр/2019:10:45:42 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:43 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:44 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:44 +0200] "ПОЛУЧИТЬ…
213. 180.203.61 - - [27/апр/2019:10:45:45 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:46 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:45:48 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:45:49 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:49 +0200] "GET…" Mozilla/5.0 (iPhone; ЦП iPhone OS 8_1, как Mac OS X) AppleWebKit/600.1.4 (KHTML, как Gecko) Версия/8.0 Mobile/12B411 Safari/600.1.4 (совместимо; YandexMobileBot/3.0; +http://yandex.com/bots)"
141.8.132.29 - - [27/апр/2019:10:45:51 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:45:51 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:51 +0200] "ПОЛУЧИТЬ…
141.8.132.26 - - [27 апреля 2019 г.:10:45:52 +0200] "ПОЛУЧИТЕ...
141.8.142.118 - - [27/апр/2019:10:45:52 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:53 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:53 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:45:54 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:54 +0200] "ПОЛУЧИТЬ…
141. 8.132.29 - - [27/апр/2019:10:45:54 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:56 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:56 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:45:57 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27 апреля 2019 г.:10:45:57 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:45:59 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:45:59 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:02 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:02 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:03 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:05 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:05 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:06 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:07 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27 апреля 2019 г.:10:46:08 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:46:08 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:08 +0200] "ПОЛУЧИТЬ…
87.250.224.119 - - [27/апр/2019:10:46:09 +0200] "ПОЛУЧИТЬ…
141. 8.132.26 - - [27/апр/2019:10:46:09 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:10 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:10 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:10 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:12 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:13 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:46:14 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:46:15 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:17 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:17 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:18 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:19 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:20 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:22 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:22 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:24 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:46:24 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:46:24 +0200] "ПОЛУЧИТЬ…
141. 8.132.29 - - [27/апр/2019:10:46:25 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:27 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:27 +0200] "ПОЛУЧИТЬ...
141.8.132.29 - - [27/апр/2019:10:46:28 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:28 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:29 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:29 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:30 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:46:32 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:46:32 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:32 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:33 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:34 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:35 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:35 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:35 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:36 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:36 +0200] "ПОЛУЧИТЬ…
213. 180.203.61 - - [27 апреля 2019 г.:10:46:36 +0200] "ПОЛУЧИТЕ...
213.180.203.61 - - [27/апр/2019:10:46:37 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:38 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:38 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:39 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:40 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:41 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:42 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:43 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:44 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:46:46 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:46:48 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:48 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:48 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:50 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:50 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:50 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:51 +0200] "ПОЛУЧИТЬ…
5. 255.253.3 - - [27/апр/2019:10:46:52 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:52 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:46:53 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:46:53 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:54 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:55 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:55 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:55 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:46:56 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:56 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:46:56 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:46:58 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:46:59 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:47:01 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:02 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:03 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:04 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:05 +0200] "ПОЛУЧИТЬ…
5. 255.253.3 - - [27/апр/2019:10:47:06 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:07 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:08 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:10 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:47:11 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:47:11 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:12 +0200] «ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:47:13 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:13 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:14 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:15 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:15 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:16 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:17 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27 апреля 2019 г.:10:47:18 +0200] "ПОЛУЧИТЕ...
141.8.132.29 - - [27/апр/2019:10:47:19 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:19 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:20 +0200] "ПОЛУЧИТЬ…
141. 8.132.29 - - [27/апр/2019:10:47:20 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:47:21 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:22 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:22 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:47:23 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:23 +0200] "ПОЛУЧИТЬ…
141.8.132.29- - [27/Апр/2019:10:47:23 +0200] "ПОЛУЧИТЕ…
87.250.224.119 - - [27/апр/2019:10:47:24 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:26 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:27 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:27 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:28 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:28 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:47:29 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:29 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27 апреля 2019 г.:10:47:30 +0200] "ПОЛУЧИТЕ...
5.255.253.3 - - [27/апр/2019:10:47:31 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:33 +0200] "ПОЛУЧИТЬ…
5. 255.253.3 - - [27/апр/2019:10:47:34 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:34 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:35 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:36 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27/апр/2019:10:47:37 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:37 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:37 +0200] "ПОЛУЧИТЬ…
213.180.203.61 - - [27 апреля 2019 г.:10:47:38 +0200] "ПОЛУЧИТЕ...
5.255.253.3 - - [27/апр/2019:10:47:39 +0200] "ПОЛУЧИТЬ…
141.8.132.29 - - [27/апр/2019:10:47:39 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:48 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:50 +0200] "ПОЛУЧИТЬ…
5.255.253.3 - - [27/апр/2019:10:47:50 +0200] "ПОЛУЧИТЬ…
 

Это всего лишь выдержка из 40-минутного «посещения» с 1547 запросами страниц с 18 IP-адресов (~1,57 с).

Когда боты Google и Bing активны одновременно, я получаю высокую загрузку ЦП.

Значит яндекс игнорирует мою правило Crawl-delay ? Как я могу заставить его не забивать сервер, как указано выше?

  • robots.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *