Разное

Yadirectfetcher: Имперские боты: индексация от Яндекс

22.08.2023

nginx apache redirect seo — FRYAHA.RU


Поставили задачку сеошники, сделать на nginx apache redirect seo для ботов.
Имеется два домена.
Домен 0 (dom0.local) нужно перенаправлять пользователей на домен 1, а ботов поисковых систем оставлять не тронутыми на домене 0.
Домен 1 (dom1.local) перенаправляем только ботов на домен 0, простых пользователей не трогаем.
Есть разные сервера под управлением nginx и apache.
Пример настройки под nginx.
В общем конфигурационном файле nginx.conf в секции http добавляем такую запись.

map $http_user_agent $valid_bot {
  default 1;
~(?i)(APIs-Google|Yahoo!|AdsBot-Google|Googlebot|Mediapartners-Google|AdsBot-Google-Mobile-Apps|YandexBot|YandexAccessibilityBot|YandexDirectDyn|YandexImages|YandexVideo|YandexMedia|YandexBlogs|YandexFavicons|YandexWebmaster|YandexPagechecker|YandexImageResizer|YandexAdNet|YandexDirect|YaDirectFetcher|YandexCalendar|YandexSitelinks|YandexMetrika|YandexNews|YandexCatalog|YandexMarket|YandexVertis|YandexForDomain|YandexBot|YandexSpravBot|YandexSearchShop|YandexOntoDB|YandexOntoDBAPI|YandexVerticals|Mail.
 
 (.*)$" "https://dom1.local%{REQUEST_URI}" [L,R=302]

Вот и вся настройка у nginx apache redirect seo.
В nginx ограничиваем GET запросы.
nginx 301 редирект.
nginx разделение логов.
webp nginx правило отображения картинок.
joomla nginx redirect.
nginx блокируем плохих ботов.

ТОП 200 IP ботов Яндекса. Рейтинг YandexBot 2019

  1. Главная
  2. ТОП 200 IP ботов Яндекса

Для благих нужд (хотя смотря в чьих руках) необходимо знать IP адреса поисковых роботов, например для идентификации подлинности поискового робота (основного индексирующего робота), что его не «подделали» и запросы на сервер действительно выполняет робот Яндекса. Проверить IP адрес на принадлежность к поисковой системе можно в сервисе «Валидатор ботов».

Основываясь на данных логов сервера одного из сайтов я собрал IP адреса бота YandexBot за 19 месяцев. Период актуальности: с 01.01.2019 по 31.07.2020. В таблице не будет указываться кол-во запросов к серверу, так как для всех сайтов оно индивидуально и на мой взгляд в данном случае больше полезна оценка популярности одного по отношению к другому. Пояснение к колонкам:

  • ТОП — ранжирование IP адресов по частоте запросов к серверу
  • IP YandexBot — проверенный IP адрес, который принадлежит боту Яндекса и идентифицируется в логах сервера как «YandexBot»
  • Доля активности — рассчитал исходя из общего кол-ва запросов к серверу всех IP адресов в таблице и индивидуального значения каждого. Тем самым, у какого IP больше процентное значение, тот больше всего производил запросов к серверу (так сказать самый «активный»).

Для наглядности в таблице выделен ТОП 10 самых часто используемых ботов Яндекса.

 

ТОП IP адресов YandexBot

ТОПIP YandexBotДоля активности
1141.8.132.304,69%
2178.154.200.244,07%
3141.8.142.63,63%
495.108.213.223,55%
5178. 154.244.413,43%
6141.8.142.1373,16%
737.9.113.183,14%
8141.8.183.142,89%
9141.8.142.1822,70%
10141.8.142.1112,32%
1193.158.166.52,19%
12141.8.183.412,15%
13178.154.200.12,02%
14141.8.188.612,02%
15178.154.200.1301,94%
165.45.207.601,86%
17178.154.200.101,63%
18141.8.188.671,60%
19141.8.183.81,59%
20178.154.200.2451,57%
21141.8.188.411,52%
22141.8.142.1301,52%
23213.180. 203.1181,47%
24213.180.203.781,41%
25178.154.171.1561,41%
2693.158.166.111,35%
27178.154.200.591,30%
28178.154.200.601,23%
29141.8.189.21,19%
3087.250.224.921,10%
3195.108.213.601,04%
32178.154.200.81,04%
33213.180.203.661,03%
34178.154.200.200,94%
35178.154.200.1080,90%
36178.154.200.1460,83%
37141.8.142.1060,78%
38178.154.200.560,72%
3937.9.113.730,70%
40213.180.203.890,69%
41213. 180.203.1930,66%
42178.154.200.2000,63%
435.255.253.1030,59%
44178.154.200.2380,58%
45178.154.200.1950,57%
46141.8.142.2120,55%
475.45.207.700,54%
48213.180.203.1010,52%
49141.8.132.200,52%
505.255.253.700,49%
51178.154.200.750,49%
5287.250.224.670,47%
53178.154.200.620,46%
54213.180.203.600,44%
55213.180.203.610,44%
56213.180.203.60,40%
575.45.207.1030,38%
58178.154.200.580,38%
59178. 154.200.2170,37%
605.45.207.160,37%
61178.154.200.450,36%
62213.180.203.390,34%
6395.108.181.430,33%
64141.8.142.1620,33%
65213.180.203.720,32%
66178.154.200.2160,29%
67178.154.200.1160,29%
68178.154.200.300,29%
69178.154.200.860,28%
70213.180.203.440,26%
71213.180.203.990,26%
72213.180.203.870,25%
73213.180.203.1480,23%
7487.250.224.2140,22%
75213.180.203.1830,22%
76213.180.203.980,20%
775. 45.207.1270,19%
7895.108.181.1080,18%
79178.154.200.1060,18%
80178.154.200.1720,18%
81178.154.200.2080,18%
8295.108.181.640,17%
835.45.207.840,17%
84213.180.203.620,16%
85178.154.200.530,16%
86213.180.203.310,15%
87213.180.203.680,14%
88213.180.203.760,14%
89178.154.200.20,14%
90178.154.200.2030,14%
91178.154.200.260,13%
92213.180.203.1100,12%
9387.250.224.2120,12%
94213.180.203.1890,12%
95213. 180.203.970,12%
96141.8.142.440,11%
97178.154.200.1090,10%
98213.180.203.1760,10%
99213.180.203.570,10%
100213.180.203.1920,10%
101178.154.200.990,10%
102178.154.200.1600,10%
103178.154.200.1140,09%
104178.154.200.870,09%
105178.154.200.1660,09%
106178.154.200.960,09%
107178.154.200.1810,08%
108213.180.203.1560,08%
109141.8.142.90,08%
110213.180.203.430,08%
111213.180.203.1740,08%
112178.154.200.1850,07%
113141. 8.189.30,07%
114213.180.203.1420,07%
115178.154.200.900,07%
116213.180.203.380,06%
117178.154.171.1010,06%
118213.180.203.820,06%
1195.45.207.830,06%
120178.154.200.2330,06%
12195.108.213.590,06%
122178.154.200.570,06%
123178.154.200.840,06%
124178.154.200.1440,06%
125213.180.203.790,06%
126213.180.203.940,06%
127213.180.203.2000,06%
12837.9.113.1410,06%
12993.158.166.170,06%
130213.180.203.1210,06%
131178. 154.200.250,06%
132213.180.203.300,06%
1335.45.207.660,06%
134213.180.203.1510,06%
13587.250.224.740,06%
136213.180.203.1220,06%
13737.9.113.660,05%
138178.154.200.790,05%
139178.154.200.40,05%
140213.180.203.290,05%
141178.154.200.2460,05%
142178.154.200.670,05%
14337.9.113.850,05%
144213.180.203.1710,05%
145213.180.203.1460,05%
146213.180.203.1340,05%
147178.154.171.370,05%
148141.8.183.2120,05%
149178. 154.200.2010,05%
150141.8.183.2130,05%
151213.180.203.1840,05%
15287.250.224.410,05%
153213.180.203.400,05%
154178.154.200.1900,04%
155178.154.200.410,04%
156213.180.203.220,04%
157178.154.171.270,04%
158213.180.203.1370,04%
159141.8.142.2140,04%
160213.180.203.450,04%
161178.154.200.1180,04%
162213.180.203.1670,04%
16393.158.166.100,04%
16437.9.113.1000,04%
165213.180.203.360,04%
166178.154.244.670,04%
167213. 180.203.900,04%
168141.8.183.2140,04%
169178.154.200.1530,04%
170213.180.203.1450,04%
171213.180.203.110,04%
172178.154.200.1880,04%
173141.8.142.250,04%
174213.180.203.1170,04%
175178.154.200.70,04%
17695.108.213.200,04%
177141.8.132.180,04%
17837.9.113.770,04%
179178.154.200.770,04%
18037.9.113.810,04%
181178.154.200.1590,04%
182141.8.142.50,03%
183213.180.203.1400,03%
184141.8.142.80,03%
185178. 154.200.1170,03%
186213.180.203.1000,03%
187178.154.200.2260,03%
188141.8.142.1800,03%
189213.180.203.1240,03%
190213.180.203.1020,03%
19187.250.224.380,03%
192178.154.200.360,03%
193178.154.200.1580,03%
194178.154.200.280,03%
195141.8.183.160,03%
196178.154.200.650,03%
197213.180.203.1080,03%
198178.154.171.510,03%
199178.154.200.470,03%
200178.154.200.160,03%

В таблице указана доля активности запросов именно с User-Agent «YandexBot», но с этих же IP приходили и другие.

 

Разные User-Agent с одного IP

С этих же IP адресов могут поступать запросы от разных ботов, с разными User-Agent:

User-AgentЧастота вхождения
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)94,55%
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)2,76%
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; +http://yandex.com/bots)1,72%
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.1060,430%
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)0,326%
Mozilla/5.0 (compatible; YandexDirectDyn/1. 0; +http://yandex.com/bots)0,101%
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)0,078%
Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)0,019%
Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)0,010%
Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/536.5 (KHTML, like Gecko) YaBrowser/1.0.1084.5402 Chrome/19.0.1084.5409 Safari/536.50,002%
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots)0,0005%
Mozilla/5.0 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)0,0003%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.360,0002%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83. 0.4103.106 Safari/537.360,000103%
Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:37.0) Gecko/20100101 Firefox/37.00,000056%
Mozilla/5.0 (Linux; Android 6.0.1; SM-G570F Build/MMB29K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)0,000053%
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)0,000050%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.360,000048%
Mozilla/5.0 (compatible; YandexMetrika/4.0; +http://yandex.com/bots)0,000036%
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)0,000031%
Mozilla/5. 0 (compatible; YandexRCA/1.0; +http://yandex.com/bots)0,000028%
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)0,000013%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.360,0000094%
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)0,0000079%
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots)0,0000025%
Mozilla/5.0 (compatible; YandexPagechecker/2.0; +http://yandex.com/bots)0,0000010%
Mozilla/5.0 (compatible; YandexMarket/2.0; +http://yandex.com/bots)0,0000005%

Сюрприз для тех, кто дошел до конца страницы — скисок всех IP адресов YandexBot (1023 шт.), о которых мне было известно.

Robots.txt: пользовательские агенты

Сонал Джатав

SEO 0

Последний раз это сообщение обновлялось 28 декабря 2016 г. Пользовательские агенты Описание       Робот Googlebot
(Интернет)

 Googlebot  Универсальный поисковый робот Google для веб-поиска Новости Googlebot  Googlebot-Новости  Для Новостей Google Googlebot Изображения  Googlebot-изображение  Для поиска изображений Робот Googlebot Googlebot-видео  Для поиска видео Googlebot для мобильных устройств  Googlebot для мобильных устройств  Для результатов веб-поиска Google Mobile Google AdSense для мобильных устройств  Медиапартнеры-Google Медиапартнеры   Google AdSense  Медиапартнеры-Google Медиапартнеры
  Проверка качества целевой страницы Google AdsBot  AdsBot-Google  Посещает только целевые страницы, используемые в кампаниях AdWords
ЯндексБот                                                Яндекс-бот основной индексирующий бот                          
ЯндексМедиа ЯндексМедиа индексирует мультимедийные данные
ЯндексИзображения ЯндексИзображения Индексатор изображений Яндекса
ЯндексКаталог ЯндексКаталог Робот Яндекс Каталог
YaDirectFetcher YaDirectFetcher контекстная реклама на поиске
ЯндексБлоги ЯндексБлоги поисковый робот по блогам, который индексирует комментарии к постам
ЯндексНовости ЯндексНовости Яндекс Новости
ЯндексPagechecker ЯндексPagechecker робот, который обращается к странице, когда микроформаты проверяются с помощью формы валидатора микроформатов
ЯндексМетрика ЯндексМетрика Робот yandex Metrica для измерения посещаемости сайта
ЯндексМаркет ЯндексМаркет
Магазин товаров Яндекс
ЯндексКалендарь ЯндексКалендарь Яндекс календарь для управления вашими датами
Yahoo Pipes 1. 0                                        Yahoo Pipes 1.0                                                                                           Pipes — это мощный инструмент для создания композиций, позволяющий агрегировать, манипулировать и мэшапить контент со всего Интернета.
Yahoo! хлебать Yahoo! хлебать Веб-поиск Yahoo

 

Эта статья отмечена тегами google bots, robots.txt, SEO, пользовательские агенты, поисковый робот, боты yahoo, боты yandex. ПОМНИТЕ ПОСТОЯННУЮ ССЫЛКУ.

isbot — версии пакетов npm

isbot — версии пакетов npm — Socket

Отличные новости! Представляем Socket AI — анализ угроз на базе ChatGPT. Подробнее →

ВойтиДемо

Установить

isbot

4.0.0-rc.24.0.0-rc.13.6.12 (последняя)3.6.113.6.103.6.93.6.83.6.73.6.63.6.53.6.43.6.33.6.23.6.13.6.03.5. 43.5.33.5.23.5.13.5.03.5.0-rc3.4.83.4.73.4.63.4.53.4.43.4.33.4.23.4. 13.4.03.3.43.3.33.3.3-rc.e58dcd43.3.23.3.13.3.03.3.0- rc.23.3.0-rc.13.2.33.2.23.2.13.2.03.1.03.0.273.0.263.0.253.0.243.0.233.0.223.0.213.0.203.0.193.0.183.0.173.0.163.0.153.0.14 3.0.133.0. 123.0.113.0.103.0.93.0.83.0.73.0.63.0.53.0.43.0.33.0.23.0.13.0.03.0.0-rc.12.5.72.5.62.5.52.5.42.5.32.5.22.5.12.5.02.4.22.4 . 12.4.02.3.22.3.12.3.02.2.22.2.12.2.02.1.22.1.12.1.02.0.32.0.22.0.12.0.01.0.11.0.00.0.30.0.20.0.1

Обзор пакетов

Зависимости

Сопровождающие

2

Версии

101

Проблемы

File Explorer

9 0002 Расширенные инструменты

Скрипты npm

Предыдущий 2345

…

11

Следующий

3.6.12

omrilotan

опубликовано 3.6.12 •

Список изменений

Источник

3.6. 12

  • mem: Создать группу без захвата

3.

6.11 omrilotan

опубликовано 3.6.11 •

900 02 Список изменений

Источник

3.6.11

  • Исправление «новости » шаблон для разрешения Google News Android App @pulzarraider
  • Добавить YaDirectFetcher, amaya

3.6.10

omrilotan

опубликовано 3.6.10 •

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *