Π Π°Π·Π½ΠΎΠ΅

Robots txt для яндСкса: Настройка ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠ³ΠΎ Ρ„Π°ΠΉΠ»Π° robots.txt β€” SEO Π½Π° vc.ru

30.09.2023

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅

ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ настройка robots.txt для Google ΠΈ ЯндСкс

ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ ΠΏΡ€Π°Π²ΠΈΠ»Π° настройки robots.txt

ΠŸΠ΅Ρ€Π΅Π΄ Ρ‚Π΅ΠΌ, ΠΊΠ°ΠΊ ΠΏΡ€ΠΈΡΡ‚ΡƒΠΏΠΈΡ‚ΡŒ ΠΊ настройкС роботса для вашСго сайта, Π½Π΅ΠΏΠ»ΠΎΡ…ΠΎ ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡ‚ΡŒΡΡ с ΠΎΡ„ΠΈΡ†ΠΈΠ°Π»ΡŒΠ½Ρ‹ΠΌΠΈ рСкомСндациями Π―ндСкс ΠΈ Google.

Π’Π΅ΠΏΠ΅Ρ€ΡŒ ΠΎ Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ Π΄ΠΎΠ»ΠΆΠ½ΠΎ Π±Ρ‹Ρ‚ΡŒ Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt. Π’ Π½Π΅ΠΌ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ 3 ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… Π½Π°Π±ΠΎΡ€Π° Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² β€” для ЯндСкс, для Google, ΠΈ для ΠΎΡΡ‚Π°Π»ΡŒΠ½Ρ‹Ρ… Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ²-ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ². ΠŸΠΎΡ‡Π΅ΠΌΡƒ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎ? Π”Π° ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹, ΠΏΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½Π½Ρ‹Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ для ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… ПБ, Π° Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ это Π½Π΅ΠΊΠΈΠΌ проявлСниСм уваТСния ΠΊ основным поисковикам Ρ€ΡƒΠ½Π΅Ρ‚Π° 

Π‘Π»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ, роботс Π΄ΠΎΠ»ΠΆΠ΅Π½ ΡΠΎΡΡ‚ΠΎΡΡ‚ΡŒ ΠΈΠ· Ρ‚Π°ΠΊΠΈΡ… сСкций:

User-agent: *
User-agent: Yandex
User-agent: Googlebot

ΠœΠ΅ΠΆΠ΄Ρƒ Π½Π°Π±ΠΎΡ€Π°ΠΌΠΈ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² для Ρ€Π°Π·Π½Ρ‹Ρ… Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΎΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ ΠΏΡƒΡΡ‚ΡƒΡŽ строку. 

Π’ robots.txt Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ ΠΏΡƒΡ‚ΡŒ ΠΊ XML ΠΊΠ°Ρ€Ρ‚Π΅ сайта. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° являСтся мСТсСкционной, поэтому ΠΎΠ½Π° ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½Π° Π² любом мСстС Ρ„Π°ΠΉΠ»Π°, ΠΎΠ΄Π½Π°ΠΊΠΎ ΠΏΠ΅Ρ€Π΅Π΄ Π½Π΅ΠΉ рСкомСндуСтся Π²ΡΡ‚Π°Π²ΠΈΡ‚ΡŒ пустой ΠΏΠ΅Ρ€Π΅Π²ΠΎΠ΄ строки. Π—Π°ΠΏΠΈΡΡŒ Π΄ΠΎΠ»ΠΆΠ½Π° Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ Ρ‚Π°ΠΊ:

Sitemap: http://site.com/sitemap.xml

АдрСс сайта ΠΈ сам ΠΏΡƒΡ‚ΡŒ ΠΊ ΠΊΠ°Ρ€Ρ‚Π΅ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π·Π°ΠΌΠ΅Π½ΠΈΡ‚ΡŒ Π½Π° Ρ‚Π΅, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΡΠ²Π»ΡΡŽΡ‚ΡΡ Π°ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹ΠΌΠΈ для вашСго сайта. Π’Π°ΠΊΠΆΠ΅ слСдуСт ΠΏΠΎΠΌΠ½ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ для сайтов с большим количСством страниц (Π±ΠΎΠ»Π΅Π΅ 50 000) Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ нСсколько ΠΊΠ°Ρ€Ρ‚ ΠΈ всС ΠΈΡ… ΠΏΡ€ΠΎΠΏΠΈΡΠ°Ρ‚ΡŒ Π² роботсС.

Настройка robots.txt для ЯндСкс

Для Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ наглядно ΠΏΠΎΠΊΠ°Π·Π°Ρ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΡƒΡŽ настройку Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Π΄Π»Ρ Яши, я Π²ΠΎΠ·ΡŒΠΌΡƒ Π² качСствС ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π° стандартный robots.txt для WordPress. 

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Host: site.com

ΠžΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ Π½Π° Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ Host. Она ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ ΠΏΠ°ΡƒΠΊΡƒ-Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ Π―ндСкса, ΠΊΠ°ΠΊΠΎΠ΅ ΠΈΠ· Π·Π΅Ρ€ΠΊΠ°Π» сайта являСтся Π³Π»Π°Π²Π½Ρ‹ΠΌ. НаиболСС распространСнная Π³Ρ€ΡƒΠΏΠΏΠ° Π·Π΅Ρ€ΠΊΠ°Π» β€” site.com ΠΈ www.site.com. Π’ΡƒΡ‚ Π΅ΡΡ‚ΡŒ Π΅Ρ‰Π΅ ΠΎΠ΄ΠΈΠ½ Ρ‚ΠΎΠ½ΠΊΠΈΠΉ нюанс, ΠΎ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Ρ€Π΅Π΄ΠΊΠΎ ΡƒΠΏΠΎΠΌΠΈΠ½Π°ΡŽΡ‚. Π”Π΅Π»ΠΎ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Host Π½Π΅ являСтся прямой ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ ΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ Π³Π»Π°Π²Π½Ρ‹ΠΌ. Π‘Π½Π°Ρ‡Π°Π»Π° Π―ндСкс Π΄ΠΎΠ»ΠΆΠ΅Π½ Π½Π°ΠΉΡ‚ΠΈ ΠΈ ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΡ†ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ сайты ΠΈΠΌΠ΅Π½Π½ΠΎ ΠΊΠ°ΠΊ Π·Π΅Ρ€ΠΊΠ°Π»Π°, ΠΈ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ‚ΠΎΠ³Π΄Π° данная Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° сработаСт. Π’Π΅ΠΌ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅, ΠΏΡ€ΠΎΠΏΠΈΡΡ‹Π²Π°Ρ‚ΡŒ Host Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΡŽ Π² любом случаС.

ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΡΡ‚ΡŒ настройки  robots.txt для ЯндСкса ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ Π΄Π°Π½Π½ΠΎΠ³ΠΎ сСрвиса.

Настройка robots.txt для Google

Для Google настройка роботса ΠΌΠ°Π»ΠΎ Ρ‡Π΅ΠΌ отличаСтся ΠΎΡ‚ ΡƒΠΆΠ΅ написанного Π²Ρ‹ΡˆΠ΅. Однако, Π΅ΡΡ‚ΡŒ ΠΏΠ°Ρ€Π° ΠΌΠΎΠΌΠ΅Π½Ρ‚ΠΎΠ², Π½Π° ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ слСдуСт ΠΎΠ±Ρ€Π°Ρ‚ΠΈΡ‚ΡŒ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅.

User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed

Как Π²ΠΈΠ΄Π½ΠΎ ΠΈΠ· ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°, ΠΎΡ‚сутствуСт Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Host β€” ΠΎΠ½Π° распознаСтся ΠΈΡΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π±ΠΎΡ‚Π°ΠΌΠΈ ЯндСкса. ΠšΡ€ΠΎΠΌΠ΅ этого, появились Π΄Π²Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹, Ρ€Π°Π·Ρ€Π΅ΡˆΠ°ΡŽΡ‰ΠΈΠ΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ JS скрипты ΠΈ CSS Ρ‚Π°Π±Π»ΠΈΡ†Ρ‹.

Π­Ρ‚ΠΎ связано с Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠ΅ΠΉ Google, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ говорится, Ρ‡Ρ‚ΠΎ слСдуСт Ρ€Π°Π·Ρ€Π΅ΡˆΠ°Ρ‚ΡŒ Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ 
Ρ„Π°ΠΉΠ»Ρ‹ шаблона (Ρ‚Π΅ΠΌΡ‹) сайта. ЕстСствСнно, скрипты ΠΈ Ρ‚Π°Π±Π»ΠΈΡ†Ρ‹ Π² поиск Π½Π΅ ΠΏΠΎΠΏΠ°Π΄ΡƒΡ‚, ΠΎΠ΄Π½Π°ΠΊΠΎ это ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ‚ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½Π΅Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ сайт ΠΈ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Ρ‚ΡŒ Π΅Π³ΠΎ Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… Π²Ρ‹Π΄Π°Ρ‡ΠΈ.

Ну Π° ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΡΡ‚ΡŒ настройки Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² для Google Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ ΠΈΠ½ΡΡ‚Ρ€ΡƒΠΌΠ΅Π½Ρ‚ΠΎΠΌ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Ρ„Π°ΠΉΠ»Π° robots.txt, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ находится Π² Google Webmaster Tools.

Π§Ρ‚ΠΎ Π΅Ρ‰Π΅ стоит Π·Π°ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ Π² роботсС?

Π‘Ρ‚Ρ€Π°Π½ΠΈΡ†Ρ‹ поиска

Π’ΡƒΡ‚ ΠΊΠΎΠ΅-ΠΊΡ‚ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΡΠΏΠΎΡ€ΠΈΡ‚ΡŒ, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ Π±Ρ‹Π²Π°ΡŽΡ‚ случаи, ΠΊΠΎΠ³Π΄Π° Π½Π° сайтС ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½ΠΈΠΉ поиск ΠΈΠΌΠ΅Π½Π½ΠΎ для создания Ρ€Π΅Π»Π΅Π²Π°Π½Ρ‚Π½Ρ‹Ρ… страниц. Однако, Ρ‚Π°ΠΊ ΠΏΠΎΡΡ‚ΡƒΠΏΠ°ΡŽΡ‚ Π΄Π°Π»Π΅ΠΊΠΎ Π½Π΅ всСгда ΠΈ Π² Π±ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²Π΅ случаСв ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹Π΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ поиска ΠΌΠΎΠ³ΡƒΡ‚ Π½Π°ΠΏΠ»ΠΎΠ΄ΠΈΡ‚ΡŒ нСвСроятноС количСство Π΄ΡƒΠ±Π»Π΅ΠΉ. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ Π²Π΅Ρ€Π΄ΠΈΠΊΡ‚ β€” Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ.

ΠšΠΎΡ€Π·ΠΈΠ½Π° ΠΈ страница оформлСния/подтвСрТдСния Π·Π°ΠΊΠ°Π·Π°

Данная рСкомСндация Π°ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½Π° для ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚-ΠΌΠ°Π³Π°Π·ΠΈΠ½ΠΎΠ² ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΡ… коммСрчСских сайтов, Π³Π΄Π΅ Π΅ΡΡ‚ΡŒ Ρ„ΠΎΡ€ΠΌΠ° Π·Π°ΠΊΠ°Π·Π°. Π”Π°Π½Π½Ρ‹Π΅ страницы Π½ΠΈ Π² ΠΊΠΎΠ΅ΠΌ случаС Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΠΏΠΎΠΏΠ°Π΄Π°Ρ‚ΡŒ Π² индСкс ПБ.

Π‘Ρ‚Ρ€Π°Π½ΠΈΡ†Ρ‹ ΠΏΠ°Π³ΠΈΠ½Π°Ρ†ΠΈΠΈ. ΠžΠ±Ρ‹Ρ‡Π½ΠΎ для Ρ‚Π°ΠΊΠΈΡ… страниц автоматичСски ΠΏΡ€ΠΎΠΏΠΈΡΡ‹Π²Π°ΡŽΡ‚ΡΡ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²Ρ‹Π΅  ΠΌΠ΅Ρ‚Π°-Ρ‚Π΅Π³ΠΈ плюс Π½Π° Π½ΠΈΡ… Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½ динамичСский ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ дублям Π² Π²Ρ‹Π΄Π°Ρ‡Π΅. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ ΠΏΠ°Π³ΠΈΠ½Π°Ρ†ΠΈΡŽ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π·Π°ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ ΠΎΡ‚ индСксации.
Π€ΠΈΠ»ΡŒΡ‚Ρ€Ρ‹ ΠΈ сравнСниС Ρ‚ΠΎΠ²Π°Ρ€ΠΎΠ². РСкомСндация относится ΠΊ ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚-ΠΌΠ°Π³Π°Π·ΠΈΠ½Π°ΠΌ ΠΈ сайтам-ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π°ΠΌ. 
Π‘Ρ‚Ρ€Π°Π½ΠΈΡ†Ρ‹ рСгистрации ΠΈ Π°Π²Ρ‚ΠΎΡ€ΠΈΠ·Π°Ρ†ΠΈΠΈ. Π˜Π½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡ, которая вводится ΠΏΡ€ΠΈ рСгистрации ΠΈΠ»ΠΈ Π²Ρ…ΠΎΠ΄Π΅ Π½Π° сайт, являСтся ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΠΉ. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ слСдуСт ΠΈΠ·Π±Π΅Π³Π°Ρ‚ΡŒ индСксации ΠΏΠΎΠ΄ΠΎΠ±Π½Ρ‹Ρ… страниц, Google это ΠΎΡ†Π΅Π½ΠΈΡ‚.
БистСмныС ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ΠΈ ΠΈ Ρ„Π°ΠΉΠ»Ρ‹. ΠšΠ°ΠΆΠ΄Ρ‹ΠΉ сайт состоит ΠΈΠ· мноТСства Π΄Π°Π½Π½Ρ‹Ρ… β€” скриптов, Ρ‚Π°Π±Π»ΠΈΡ† CSS, административной части. Π’Π°ΠΊΠΈΠ΅ Ρ„Π°ΠΉΠ»Ρ‹ слСдуСт Ρ‚Π°ΠΊΠΆΠ΅ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΡ‚ΡŒ для просмотра Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ.
Π—Π°ΠΌΠ΅Ρ‡Ρƒ, Ρ‡Ρ‚ΠΎ для выполнСния Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΈΠ· Π²Ρ‹ΡˆΠ΅ΠΎΠΏΠΈΡΠ°Π½Π½Ρ‹Ρ… ΠΏΡƒΠ½ΠΊΡ‚ΠΎΠ² ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ инструмСнты, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, rel=canonical, ΠΏΡ€ΠΎ ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ я ΠΏΠΎΠ·ΠΆΠ΅ Π½Π°ΠΏΠΈΡˆΡƒ Π² ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΉ ΡΡ‚Π°Ρ‚ΡŒΠ΅.

Robots.txt для WordPress и Joomla

robots.txt для WordPress

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.
js Disallow: /go.php Disallow: /xmlrpc.php User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: */trackback Disallow: */feed Disallow: /*? Disallow: /author/ Disallow: /transfers.js Disallow: /go.php Disallow: /xmlrpc.php Host: site.com User-agent: Googlebot Allow: *.css Allow: *.js Allow: /wp-includes/*.js Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/cache Disallow: */trackback Disallow: */feed Disallow: /author/ Disallow: /transfers.js Disallow: /go.php Disallow: /xmlrpc.php Disallow: /*? Sitemap: http://site.com/sitemap.xml

ΠžΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Sitemap ΠΈ Host Π² вашСм роботсС Π½ΡƒΠΆΠ½ΠΎ Π·Π°ΠΌΠ΅Π½ΠΈΡ‚ΡŒ Π½Π° Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Π΅ Π²Π°ΠΌ.

robots.txt для Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /system/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /component/
Disallow: /*start
Disallow: /*searchword
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /system/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /component/
Disallow: /*start
Disallow: /*searchword
Host: site.
com User-agent: Googlebot Allow: *.css Allow: *.js Disallow: /administrator/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /system/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Disallow: /component/ Disallow: /*start Disallow: /*searchword Sitemap: http://site.com/sitemap.xml

Π—Π°ΠΌΠ΅Ρ‡Ρƒ, Ρ‡Ρ‚ΠΎ Π² Π½Π°Π±ΠΎΡ€Π΅ поисковых ΠΏΡ€Π°Π²ΠΈΠ» для Joomla я Π·Π°ΠΊΡ€Ρ‹Π» ΠΏΠ°Π³ΠΈΠ½Π°Ρ†ΠΈΡŽ страниц Π² Ρ€Π°Π·Π΄Π΅Π»Π°Ρ…, Π° Ρ‚Π°ΠΊΠΆΠ΅ страницу поиска ΠΏΠΎ сайту. Если Π²Π°ΠΌ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹ Π΄Π°Π½Π½Ρ‹Π΅ страницы Π² поискС β€” ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡƒΠ±Ρ€Π°Ρ‚ΡŒ ΠΈΠ· robots.txt эти Π΄Π²Π΅ строчки:

Disallow: /*start
Disallow: /*searchword

НСмного ΠΎ нСстандартном использовании robots.txt

Π‘ ΡƒΡ‡Π΅Ρ‚ΠΎΠΌ Π½Π°ΠΏΠΈΡΠ°Π½Π½ΠΎΠ³ΠΎ Π²Ρ‹ΡˆΠ΅, Ρ‚Π΅ΠΌΡƒ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΉ настройки robots.txt ΠΌΠΎΠΆΠ½ΠΎ ΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ раскрытой, ΠΎΠ΄Π½Π°ΠΊΠΎ Π΅ΡΡ‚ΡŒ Π΅Ρ‰Π΅ ΠΊΠΎΠ΅-Ρ‡Ρ‚ΠΎ, ΠΎ Ρ‡Π΅ΠΌ я Π±Ρ‹ Ρ…ΠΎΡ‚Π΅Π» Ρ€Π°ΡΡΠΊΠ°Π·Π°Ρ‚ΡŒ. Роботс ΠΌΠΎΠΆΠ½ΠΎ с пользой ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ ΠΏΠΎΠΌΠΈΠΌΠΎ назначСния ΠΈ Π±Π΅Π· Π²Ρ€Π΅Π΄Π° для сайта. Π”Π΅Π»ΠΎ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ Π² Ρ„Π°ΠΉΠ»Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ‚Π°ΠΊΠΎΠΉ Π·Π½Π°ΠΊ, ΠΊΠ°ΠΊ Β«#Β» β€” ΠΎΠ½ ΠΎΠ±ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ, Π½Π΅ ΡƒΡ‡ΠΈΡ‚Ρ‹Π²Π°Π΅ΠΌΡ‹Π΅ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ. Π”Π°Π½Π½Ρ‹ΠΉ Π·Π½Π°ΠΊ дСйствитСлСн Π² ΠΏΡ€Π΅Π΄Π΅Π»Π°Ρ… ΠΎΠ΄Π½ΠΎΠΉ строки, Ρ‚Π°ΠΌ, Π³Π΄Π΅ ΠΎΠ½ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ. Π•Π³ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ для ΠΏΠΎΠΌΠ΅Ρ‚ΠΎΠΊ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π½Π΅ Π·Π°Π±Ρ‹Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎ ΠΈ Π·Π°Ρ‡Π΅ΠΌ Π±Ρ‹Π»ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΠΎ ΠΎΡ‚ поисковых систСм. 

Но Π΅ΡΡ‚ΡŒ ΠΈ Π΄Ρ€ΡƒΠ³ΠΎΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅. НапримСр, послС Π·Π½Π°ΠΊΠ° коммСнтария, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Ρ€Π°Π·ΠΌΠ΅ΡΡ‚ΠΈΡ‚ΡŒ ΠΏΠΎΠ»Π΅Π·Π½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ: ΠΊΠΎΠ½Ρ‚Π°ΠΊΡ‚Ρ‹ сайта, вакансию для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ‚ΠΎΡ€Π°, ссылку Π½Π° Π²Π°ΠΆΠ½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, ΠΈ Π΄Π°ΠΆΠ΅ Ρ€Π΅ΠΊΠ»Π°ΠΌΡƒ. НС Π±ΡƒΠ΄Ρƒ Π·Π°Π½ΠΈΠΌΠ°Ρ‚ΡŒΡΡ ΠΏΠ»Π°Π³ΠΈΠ°Ρ‚ΠΎΠΌ, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ идСя Π½Π΅ моя, поэтому ΠΏΡ€Π΅Π΄Π»Π°Π³Π°ΡŽ ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡ‚ΡŒΡΡ с Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌΠΈ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Π°ΠΌΠΈ Π½Π° Π±Π»ΠΎΠ³Π΅ Devaka. Π£Π²Π΅Ρ€Π΅Π½, Π²Ρ‹ Π±ΡƒΠ΄Π΅Ρ‚Π΅ ΡƒΠ΄ΠΈΠ²Π»Π΅Π½Ρ‹, ΡƒΠ·Π½Π°Π², насколько Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹ΠΌ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ использованиС роботса Π½Π΅ ΠΏΠΎ Π½Π°Π·Π½Π°Ρ‡Π΅Π½ΠΈΡŽ.

На этом всС, ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ Π½Π°ΡΡ‚Ρ€ΠΎΠΉΠΊΠ° robots.txt описана Π² ΠΏΠΎΠ»Π½ΠΎΠΉ ΠΌΠ΅Ρ€Π΅, надСюсь, Π²Ρ‹ ΡƒΠ·Π½Π°Π»ΠΈ Ρ‡Ρ‚ΠΎ-Ρ‚ΠΎ Π½ΠΎΠ²ΠΎΠ΅. Если ΠΆΠ΅ послС прочтСния ΡΡ‚Π°Ρ‚ΡŒΠΈ Ρƒ вас ΠΎΡΡ‚Π°Π»ΠΈΡΡŒ вопросы β€” Π·Π°Π΄Π°Π²Π°ΠΉΡ‚Π΅ ΠΈΡ… Π² коммСнтариях, ΠΈ я ΠΏΠΎΡΡ‚Π°Ρ€Π°ΡŽΡΡŒ Π½Π° Π½ΠΈΡ… ΠΎΡ‚Π²Π΅Ρ‚ΠΈΡ‚ΡŒ.

ИсслСдованиС Ρ„Π°ΠΉΠ»Π° robots.txt сайтов ЯндСкс.ΠšΠ°Ρ‚Π°Π»ΠΎΠ³Π°

Π’ ΠΌΠ°Ρ€Ρ‚Π΅ ΠΏΡ€ΠΎΡˆΠ»ΠΎΠ³ΠΎ Π³ΠΎΠ΄Π° (запись Π² Π±Π»ΠΎΠ³Π΅ Π°Π²Ρ‚ΠΎΡ€Π° ΠΎΡ‚ 03.12.2007, [1]) ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½Ρ‹ΠΉ ΠΈΠ½ΠΆΠ΅Π½Π΅Ρ€ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Apple, Π­Π½Π΄Ρ€ΡŽ ВустСр, ΠΏΡ€ΠΎΠ²Ρ‘Π» исслСдованиС Ρ„Π°ΠΉΠ»ΠΎΠ² управлСния поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ (robots.

txt ). ИсслСдованиС ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΠ»ΠΎΡΡŒ для сайтов, Π²ΠΊΠ»ΡŽΡ‡Ρ‘Π½Π½Ρ‹Ρ… Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ DMOZ. Π“Π»Π°Π²Π½Ρ‹ΠΌ Π²Ρ‹Π²ΠΎΠ΄ΠΎΠΌ исслСдования стало Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ Ρ‡Π΅Ρ‚Π²Ρ‘Ρ€Ρ‚Ρ‹ΠΉ сайт ΠΈΠΌΠ΅Π΅Ρ‚ ошибки Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt. ΠŸΡ€ΠΈ этом Ρƒ 65% сайтов Π² Π΄Π°Π½Π½ΠΎΠΌ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ этот Ρ„Π°ΠΉΠ» Π²ΠΎΠΎΠ±Ρ‰Π΅ отсутствовал.

ИсслСдований русскоязычного сСгмСнта Π˜Π½Ρ‚Π΅Ρ€Π½Π΅Ρ‚ Π½Π° ΠΏΡ€Π΅Π΄ΠΌΠ΅Ρ‚ коррСктности Ρ„Π°ΠΉΠ»Π° robots.txt Ρ€Π°Π½Π΅Π΅ Π½Π΅ ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΠ»ΠΎΡΡŒ. Π’ качСствС источника сайтов ΠΌΡ‹ Π²Ρ‹Π±Ρ€Π°Π»ΠΈ самый большой русскоязычный ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ – ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ сайтов поисковой систСмы ЯндСкс.

ЦСли исслСдования

ΠžΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒ качСствСнный ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ грамотности вСбмастСров сайтов, Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½Π½Ρ‹Ρ… Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ ЯндСкса.

ΠžΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒ, насколько ΠΏΡ€ΠΎΡ„Π΅ΡΡΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ Ρ„Π°ΠΉΠ» управлСния индСксациСй сайта robots.txt.

Π‘Ρ€Π°Π²Π½ΠΈΡ‚ΡŒ ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Π½Ρ‹Π΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ с Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½Ρ‹ΠΌΠΈ для сайтов, описанных Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ DMOZ.

ΠœΠ΅Ρ‚ΠΎΠ΄Ρ‹ ΠΈ срСдства

На ΠΌΠΎΠΌΠ΅Π½Ρ‚ исслСдования Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ ЯндСкса Π±Ρ‹Π»ΠΎ зарСгистрировано 86534 сайта. ΠŸΠΎΡΡ€Π΅Π΄ΡΡ‚Π²ΠΎΠΌ автоматичСского сбора Π±Ρ‹Π» составлСн список ΠΈΠ· 77643 ΡƒΠ½ΠΈΠΊΠ°Π»ΡŒΠ½Ρ‹Ρ… Π΄ΠΎΠΌΠ΅Π½Π½Ρ‹Ρ… ΠΈΠΌΡ‘Π½ ΠΈΠ· 75 Π΄ΠΎΠΌΠ΅Π½Π½Ρ‹Ρ… Π·ΠΎΠ½.

Π€Π°ΠΉΠ» robots.txt – это тСкстовый Ρ„Π°ΠΉΠ», находящийся Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΠΈ сайта, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Π·Π°ΠΏΠΈΡΡ‹Π²Π°ΡŽΡ‚ΡΡ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ инструкции для поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ². Π­Ρ‚ΠΈ инструкции ΠΌΠΎΠ³ΡƒΡ‚ Π·Π°ΠΏΡ€Π΅Ρ‰Π°Ρ‚ΡŒ ΠΊ индСксации Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ€Π°Π·Π΄Π΅Π»Ρ‹ ΠΈΠ»ΠΈ страницы Π½Π° сайтС, ΡƒΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ Π³Π»Π°Π²Π½Ρ‹ΠΉ Π΄ΠΎΠΌΠ΅Π½, Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΠΎΠ²Π°Ρ‚ΡŒ поисковому Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ ΡΠΎΠ±Π»ΡŽΠ΄Π°Ρ‚ΡŒ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹ΠΉ Π²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ ΠΈΠ½Ρ‚Π΅Ρ€Π²Π°Π» ΠΌΠ΅ΠΆΠ΄Ρƒ скачиваниСм Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΎΠ² с сСрвСра ΠΈ Ρ‚.Π΄. ([3]).

ИсслСдовались ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ Ρ„Π°ΠΉΠ»Π° robots.txt:

β€” статус ΠΊΠΎΠ΄Ρ‹ ΠΎΡ‚Π²Π΅Ρ‚ΠΎΠ² сСрвСров,

β€” mime Ρ‚ΠΈΠΏΡ‹ для Ρ„Π°ΠΉΠ»ΠΎΠ² robots.txt,

β€” Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΡΡ‚ΡŒ указания ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠΈ Π² Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ΅ ΠΎΡ‚Π²Π΅Ρ‚Π° сСрвСра,

β€” ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° коррСктности синтаксиса ΠΈ ΠΎΡ€Ρ„ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ ΠΏΡ€ΠΈ написании Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²,

β€” использованиС спСциализированных ΠΊΠΎΠΌΠ°Π½Π΄.

Бтатус-ΠΊΠΎΠ΄Ρ‹

HTTP ΠΊΠΎΠ΄Ρ‹ статуса (Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Π΅ΠΌΡ‹Π΅ сСрвСром Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΈ) говорят Π²Π΅Π±-Π±Ρ€Π°ΡƒΠ·Π΅Ρ€Π°ΠΌ ΠΈ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ поисковых систСм, ΠΊΠ°ΠΊΠΎΠ³ΠΎ Ρ€ΠΎΠ΄Π° ΠΎΡ‚Π²Π΅Ρ‚ ΠΎΠ½ΠΈ ΠΏΠΎΠ»ΡƒΡ‡Π°ΡŽΡ‚ ΠΏΡ€ΠΈ Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠ΅ страницы. НапримСр, ΠΊΠΎΠ΄ 200 (ОК) Π·Π½Π°Ρ‡ΠΈΡ‚, Ρ‡Ρ‚ΠΎ всС Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎ, Π° 404 (file not found) β€” Ρ‡Ρ‚ΠΎ Π²Π΅Π±-сСрвСр Π½Π΅ смог Π½Π°ΠΉΡ‚ΠΈ Ρ„Π°ΠΉΠ» ΠΏΠΎ Π·Π°Π΄Π°Π½Π½ΠΎΠΌΡƒ адрСсу.

Для ΠΎΡ†Π΅Π½ΠΊΠΈ Ρ‚ΠΎΠ³ΠΎ, насколько Π°ΠΊΡ‚ΠΈΠ²Π½ΠΎ вСбмастСра ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΡƒΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ΠΌ индСксациСй своСго сайта, собСрём статус-ΠΊΠΎΠ΄Ρ‹ для Ρ„Π°ΠΉΠ»ΠΎΠ² robots.txt для ΠΎΠ±ΠΎΠ·Π½Π°Ρ‡Π΅Π½Π½ΠΎΠ³ΠΎ Π²Ρ‹ΡˆΠ΅ списка сайтов.

Для сайтов нашСй Π²Ρ‹Π±ΠΎΡ€ΠΊΠΈ распрСдСлСниС выглядит ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ:

Класс

Число сайтов

Π’ % ΠΎΡ‚ всСх

5xx

119

0,15

4xx

45732

59,00

3xx

72

0,09

2xx

31593

40,76

1xx

0

0,00

Π’ исслСдовании [1] статистика распрСдСлСния статус-ΠΊΠΎΠ΄ΠΎΠ² для Ρ„Π°ΠΉΠ»ΠΎΠ² robots. txt ΠΈΠΌΠ΅Π΅Ρ‚ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΉ Π²ΠΈΠ΄:

Класс

Число сайтов

Π’ % ΠΎΡ‚ всСх

5xx

4,338

0,09

4xx

3,035,454

65,86

3xx

350,946

7,61

2xx

1,217,559

26,42

1xx

12

0,00

Доля сайтов Π² ЯндСкс. ΠšΠ°Ρ‚Π°Π»ΠΎΠ³Π΅, ΠΎΡ‚Π²Π΅Ρ‚ΠΈΠ²ΡˆΠΈΡ… 2xx ΠΎΡ‚Π²Π΅Ρ‚ΠΎΠΌ сСрвСра, Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π²Ρ‹ΡˆΠ΅, Ρ‡Π΅ΠΌ Ρƒ сайтов Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ DMOZ: 41% Π² сравнСнии с 27%. ΠŸΡ€ΠΈ этом Ρ€Π°Π·Π½ΠΈΡ†Π° достигаСтся Π½Π΅ Π·Π° счёт сокращСния числа Ρ„Π°ΠΉΠ»ΠΎΠ², ΠΎΡ‚Π²Π΅Ρ‚ΠΈΠ²ΡˆΠΈΡ… 4xx ΠΊΠΎΠ΄ΠΎΠΌ, Π° сокращСниСм количСства сайтов с Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΎΠΌ пСрСнаправлСния Π½Π° Π΄Ρ€ΡƒΠ³ΠΎΠΉ Π΄ΠΎΠΌΠ΅Π½(3xx). ΠŸΡ€ΠΈ Ρ€Π°Π·Π½ΠΈΡ†Π΅ 2xx ΠΊΠΎΠ΄ΠΎΠ² Π½Π° 14%, Ρ€Π°Π·Π½ΠΈΡ†Π° 4xx ΠΊΠΎΠ΄ΠΎΠ² всСго 7%.

Иногда сСрвСр настроСн Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, Ρ‡Ρ‚ΠΎ ΠΈ для страницы с ошибкой ΠΎΡ‚Π΄Π°Ρ‘Ρ‚ ΠΊΠΎΠ΄ 200( 1, 2, 3). Однако вСроятности возникновСния этого события ΠΏΡ€ΠΈΠ±Π»ΠΈΠ·ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ€Π°Π²Π½Ρ‹, Π² связи с Ρ‡Π΅ΠΌ Π΄Π°Π½Π½Ρ‹Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ сопоставимыми.

MIME Ρ‚ΠΈΠΏΡ‹

MIME Ρ‚ΠΈΠΏΡ‹ (Ρ‚ΠΈΠΏΡ‹ содСрТания) Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°ΡŽΡ‚ΡΡ Π²Π΅Π±-сСрвСрами Π² HTTP Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ°Ρ…, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΠΎΠ±Ρ‰ΠΈΡ‚ΡŒ ΠΊΠ»ΠΈΠ΅Π½Ρ‚Π°ΠΌ, ΠΊΠ°ΠΊΠΎΠΉ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ пСрСдаСтся. Они состоят ΠΈΠ· Ρ‚ΠΈΠΏΠΎΠ² (text, image ΠΈ Ρ‚Π°ΠΊ Π΄Π°Π»Π΅Π΅), ΠΏΠΎΠ΄Ρ‚ΠΈΠΏΠΎΠ² (html ΠΈΠ»ΠΈ jpeg) ΠΈ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Π½Π΅ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², Ρ‚Π°ΠΊΠΈΡ… ΠΊΠ°ΠΊ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠ° Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°. ЕдинствСнный MIME Ρ‚ΠΈΠΏ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt β€” это тСкст (text/plain).

Π’ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ ЯндСкса послС сбора статус-ΠΊΠΎΠ΄ΠΎΠ², ΠΎΡΡ‚Π°Π»ΠΎΡΡŒ 31593 сайтов, ΠΎΡ‚Π²Π΅Ρ‚ΠΈΠ²ΡˆΠΈΡ… Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΎΠΌ 2xx, Ρƒ 29055 ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… MIME Ρ‚ΠΈΠΏ соотвСтствуСт Β«text/plainΒ». БоотвСтствСнно, 2538 (8,03%) сайтов Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°ΡŽΡ‚ MIME Ρ‚ΠΈΠΏ, ΠΎΡ‚Π»ΠΈΡ‡Π½Ρ‹ΠΉ ΠΎΡ‚ Π²Π΅Ρ€Π½ΠΎΠ³ΠΎ (Π² исслСдовании [1] β€” 109 780 (9,01%) сайтов ΠΈΠΌΠ΅Π»ΠΈ MIME Ρ‚ΠΈΠΏ, ΠΎΡ‚Π»ΠΈΡ‡Π½Ρ‹ΠΉ ΠΎΡ‚ text/plain).

Π˜ΡΡΠ»Π΅Π΄ΡƒΠ΅ΠΌΡ‹Π΅ сСрвСры ΠΎΡ‚Π²Π΅Ρ‚ΠΈΠ»ΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌΠΈ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌΠΈ значСниями MIME Ρ‚ΠΈΠΏΠΎΠ²:

application/octet-stream

application/x-empty

application/x-httpd-php

download/octet-stream

plain/text

text

text/html

text/plain

text/plane

text/text

text/txt

ΠšΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠ°

ΠšΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠ° символов опрСдСляСт, ΠΊΠ°ΠΊΠΈΠ΅ Π·Π½Π°ΠΊΠΈ ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‚ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹ΠΌ Π½Π°Π±ΠΎΡ€Π°ΠΌ Π±ΠΈΡ‚. Π‘Π°ΠΉΡ‚Ρ‹ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΡƒ, устанавливая Π΅Π΅ Π² ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ content-type Π² Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ΅ ΠΎΡ‚Π²Π΅Ρ‚Π° сСрвСра.

Мало сайтов Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°ΡŽΡ‚ Π² Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ΅ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΡƒ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°. ΠŸΡ€ΠΈ этом, Π² связи со ΡΠΏΠ΅Ρ†ΠΈΡ„ΠΈΡ‡Π½ΠΎΡΡ‚ΡŒΡŽ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π° ЯндСкса (Π² Π½Ρ‘ΠΌ располоТСны Ρ‚ΠΎΠ»ΡŒΠΊΠΎ русскоязычныС сайты), ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ с ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠΎΠΉ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ достаточно Ρ€Π΅Π΄ΠΊΠΎ. Бписок Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΎΠΊ выглядит ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ:

charset=

charset=iso-8859-1

charset=koi8-r

charset=ru

charset=utf -8

charset=utf8

charset=utf-8

charset=win

charset=windows-1251

Π―Π²Π½Ρ‹Ρ… ляпов Π½Π΅ Π·Π°ΠΌΠ΅Ρ‡Π΅Π½ΠΎ, ΠΎΠ΄Π½Π°ΠΊΠΎ стоит ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΠ΅ вСбмастСра Π½Π΅ ΠΌΠΎΠ³ΡƒΡ‚ Π΄ΠΎΠ³ΠΎΠ²ΠΎΡ€ΠΈΡ‚ΡŒΡΡ, ΠΊΠ°ΠΊ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ ΠΏΠΈΡΠ°Ρ‚ΡŒ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΡƒΠ½ΠΈΠ²Π΅Ρ€ΡΠ°Π»ΡŒΠ½ΠΎΠΉ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠΈ UTF-8.

ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ

Π’ robots.txt для ЯндСкса ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΡ… поисковых систСм ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠ΄ΠΈΠ½ Π²ΠΈΠ΄ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠ΅Π². ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠ΅ΠΌ считаСтся строка послС Π·Π½Π°ΠΊΠ° β€œ#”. ΠŸΡ€ΠΈ этом срСди исслСдованных Ρ„Π°ΠΉΠ»ΠΎΠ² Π±Ρ‹Π»ΠΈ Π½Π°ΠΉΠ΄Π΅Π½Ρ‹ HTML ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ β€œβ€œ(16 Ρ„Π°ΠΉΠ»ΠΎΠ²), ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ Π² стилС C++ β€œ//”(20 Ρ„Π°ΠΉΠ»ΠΎΠ²).

ΠžΠ±Ρ‹Ρ‡Π½Ρ‹Π΅ синтаксичСскиС ошибки

БпСцификация Π³ΠΎΠ²ΠΎΡ€ΠΈΡ‚ ΠΎ Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ записи Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Ρ€Π°Π·Π΄Π΅Π»ΡΡ‚ΡŒΡΡ пустыми строками, ΠΈ Π±ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²ΠΎ ошибок Π²Ρ€Π°Ρ‰Π°ΡŽΡ‚ΡΡ Π²ΠΎΠΊΡ€ΡƒΠ³ этого.

Π’ΠΎ-ΠΏΠ΅Ρ€Π²Ρ‹Ρ…, ΠΌΠ½ΠΎΠ³ΠΈΠ΅ вСбмастСра Π²ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΡƒΡŽ ΠΏΡƒΡΡ‚ΡƒΡŽ строку ΠΌΠ΅ΠΆΠ΄Ρƒ строкой User-agent ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌΠΈ для этого Ρ€ΠΎΠ±ΠΎΡ‚Π°. Для нашСй Π²Ρ‹Π±ΠΎΡ€ΠΊΠΈ эта доля Ρ€Π°Π²Π½Π° 1,6% (498 сайтов), Π² исслСдовании [1] Ρ‚Π°ΠΊΠΈΡ… сайтов 6,1% (74 043).

Π’Ρ‚ΠΎΡ€ΠΎΠΉ частой ошибкой являСтся Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΠΌΠ΅ΠΆΠ΄Ρƒ User-Agent ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌΠΈ для индСксации ΠΏΡ€ΠΎΠΏΡƒΡ‰Π΅Π½ символ Π½Π°Ρ‡Π°Π»Π° Π½ΠΎΠ²ΠΎΠΉ строки. Π‘Π°ΠΉΡ‚ΠΎΠ², содСрТащих ΠΏΠΎΠ΄ΠΎΠ±Π½ΡƒΡŽ ΠΎΡˆΠΈΠ±ΠΊΡƒ, β€” 1,07% (340), сайтов с Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½ΠΎΠΉ ошибкой Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ DMOZ β€” 5,33% (64921).

Π’Ρ€Π΅Ρ‚ΠΈΠΉ Ρ‚ΠΈΠΏ ошибок: часто ΠΏΠΈΡˆΡƒΡ‚ строку с Π°Π³Π΅Π½Ρ‚ΠΎΠΌ послС ΠΏΡ€Π°Π²ΠΈΠ»Π° Disallow, Π½Π΅ раздСляя ΠΈΡ… пустой строкой. Π’ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ ЯндСкса 1,45% (457) Ρ‚Π°ΠΊΠΈΡ… сайтов. ΠŸΡ€ΠΈ этом доля Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½Ρ‹Ρ… ошибок Π² исслСдовании [1] Π² 2 Ρ€Π°Π·Π° большС: 2,68% (32 656 Ρ„Π°ΠΉΠ»ΠΎΠ²).

Π—Π°Π΄Π΅Ρ€ΠΆΠΊΠ° сканирования

Π ΠΎΠ±ΠΎΡ‚Ρ‹ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… поисковых систСм ΠΎΠ±Ρ€Π°Ρ‰Π°ΡŽΡ‚ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ Π½Π° Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ управлСния, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Crawl-delay (Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠ° сканирования, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Ρ€ΠΎΠ±ΠΎΡ‚ Π½Π΅ ΠΏΠΎΠ»ΠΎΠΆΠΈΠ» сСрвСр). MSN, Yahoo! ΠΈ Ask ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‚ эту Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ. Π€Π°ΠΉΠ»ΠΎΠ², Π² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… встрСчаСтся данная Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°, всСго 725.

НСбольшоС количСство Ρ„Π°ΠΉΠ»ΠΎΠ², содСрТащих Ρ‚Π°ΠΊΡƒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ, обуславливаСтся Ρ‚Π΅ΠΌ, Ρ‡Ρ‚ΠΎ 3 ΠΊΡ€ΡƒΠΏΠ½Π΅ΠΉΡˆΠΈΠ΅ поисковыС систСмы Π² российском ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π΅ (ЯндСкс, Π Π°ΠΌΠ±Π»Π΅Ρ€ ΠΈ Google) Π½Π΅ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‚ эту Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ вСбмастСра Π½Π΅ ΠΏΡ€ΠΈΠ΄Π°ΡŽΡ‚ значСния этой настройкС.

ΠžΠΏΠ΅Ρ‡Π°Ρ‚ΠΊΠΈ

ΠžΡ‡Π΅Π½ΡŒ часто ΠΏΡ€ΠΈΡ‡ΠΈΠ½ΠΎΠΉ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ Ρ€ΠΎΠ±ΠΎΡ‚ поисковой систСмы ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΡƒΠ΅Ρ‚ инструкции Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt, ΡΠ²Π»ΡΡŽΡ‚ΡΡ Π±Π°Π½Π°Π»ΡŒΠ½Ρ‹Π΅ ΠΎΠΏΠ΅Ρ‡Π°Ρ‚ΠΊΠΈ. Π’ ΡƒΠΊΠ°Π·Π°Π½Π½ΠΎΠΌ спискС сайтов встрСчаСтся 18 Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… написаний Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Disallow:

1disallow

diasllow

disaalow

disalljw

disallos

disallov

disallowed

disallowing

disallows

disalow

disaoolw

dissallow

dissalow

dosallow

nodisallow

ppdisallow

robotsdisallow

ΠŸΡ€ΠΈ этом написаниС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ user-agent Π²Ρ‹Π·Ρ‹Π²Π°Π΅Ρ‚ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ мСньшС слоТностСй. НайдСно 7 Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ΠΎΠ²:

user_agent

useragent

user-agent=Β»yandexΒ»

user-agents

user-agernt

user-aget

user-Π°gent (кириличСская Π±ΡƒΠΊΠ²Π° Π°)

Π”Ρ€ΡƒΠ³ΠΈΠ΅ ошибки ΠΈ ΠΊΡƒΡ€ΡŒΡ‘Π·Ρ‹

МногиС вСбмастСра, вСроятно, ΡΠ»Ρ‹ΡˆΠ°Π»ΠΈ ΠΎ Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌ Ρ„Π°ΠΉΠ» robots.txt, Π½ΠΎ Π½Π΅ совсСм ΠΏΠΎΠ½ΠΈΠΌΠ°ΡŽΡ‚, для Ρ‡Π΅Π³ΠΎ ΠΎΠ½ Π½ΡƒΠΆΠ΅Π½. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ появилось мноТСство ΠΊΡƒΡ€ΡŒΡ‘Π·ΠΎΠ².

Π Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ сайта blog.kp.ru искрСннС ΠΏΡ€ΠΈΠ²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‚ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² поисковых систСм, ΠΏΡ€ΠΈΡ‡Ρ‘ΠΌ Π΄Π΅Π»Π°ΡŽΡ‚ это соврСмСнно:

ΠŸΡ€Π΅Π²Π΅Π΄ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹

Π’ΠΎΠ·Π½ΠΈΠΊΠ°Π΅Ρ‚ сомнСниС, Ρ‡Ρ‚ΠΎ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ поисковых систСм ΠΏΠΎ достоинству оцСнят искромётный ΡŽΠΌΠΎΡ€ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΎΠ². НС ΠΎΡ‚ΡΡ‚Π°ΡŽΡ‚ ΠΈ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ сайта www.modernglass.ru. Они поступили Π΅Ρ‰Ρ‘ ΠΏΡ€ΠΎΡ‰Π΅, ΠΏΡƒΡ‚Ρ‘ΠΌ Π½Π΅Ρ…ΠΈΡ‚Ρ€Ρ‹Ρ… Π½Π°ΠΆΠ°Ρ‚ΠΈΠΉ Π½Π° клавиши ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ² ΡΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½Π½ΠΎ бСсполСзный Ρ„Π°ΠΉΠ»:

sdfsdf

Π­Ρ‚Π° комбинация Π±ΡƒΠΊΠ² ΡΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½Π½ΠΎ бСсполСзна, Π² ΠΎΡ‚Π»ΠΈΡ‡ΠΈΠ΅ ΠΎΡ‚ ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°, ΠΏΡ€ΠΈ просмотрС ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ хотя Π±Ρ‹ Π²ΠΎΠ·Π½ΠΈΠΊΠ°Π΅Ρ‚ ΡƒΠ»Ρ‹Π±ΠΊΠ°.

НСкоторыС вСбмастСра оказались ΠΎΡ‡Π΅Π½ΡŒ Ρ€Π°Π΄ΡƒΡˆΠ½Ρ‹ΠΌΠΈ хозяСвами (1. optics.sgu.ru/robots.txt, 2. www.anatomyatlases.org/robots.txt). Мало Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ΠΈ Π·Π΄ΠΎΡ€ΠΎΠ²Π°ΡŽΡ‚ΡΡ с Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ, ΠΎΠ½ΠΈ ΠΏΡ€Π΅Π΄Π»Π°Π³Π°ΡŽΡ‚ Π΅ΠΌΡƒ Ρ‡ΡƒΠ²ΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ сСбя ΠΊΠ°ΠΊ Π΄ΠΎΠΌΠ°, ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρ‹ ΠΊΠ°ΠΊ скрипт Π½Π° Π΄ΡƒΡˆΡƒ ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚:

1. # Welcome!

2. # Robots.txt file, robots welcome

Надо ΠΎΡ‚Π΄Π°Ρ‚ΡŒ Π΄ΠΎΠ»ΠΆΠ½ΠΎΠ΅, Ρ‡Ρ‚ΠΎ вСбмастСр Π½Π΅ стал Π½Π°Π³Ρ€ΡƒΠΆΠ°Ρ‚ΡŒ парсСр Ρ„Π°ΠΉΠ»ΠΎΠ² robots.txt ΠΈ Π·Π°ΠΊΡ€Ρ‹Π» привСтствиС Π² ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ. Но Π΅ΡΡ‚ΡŒ ΠΈ Ρ‚Π°ΠΊΠΈΠ΅ вСбмастСра (pravo-levo.ru/robots.txt), ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅, ТСлая ΠΏΠΎΡ…ΠΎΡ…ΠΌΠΈΡ‚ΡŒ, Π·Π°Π΄Π°ΡŽΡ‚ парсСру Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π½Π΅Ρ‚Ρ€ΠΈΠ²ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ Π·Π°Π΄Π°Ρ‡ΠΈ:

U s e r β€” a g e n t : *

D i s a l l o w :

Π‘ΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½Π½ΠΎ Π½Π΅ понятно, Ρ‡Π΅ΠΌ руководствовался вСбмастСр, ΠΊΠΎΠ³Π΄Π° писал Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ ΠΈΠΌΠ΅Π½Π½ΠΎ Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ. Π‘ΠΎΡŽΡΡŒ, Ρ‡Ρ‚ΠΎ ΠΈ для Π°Π²Ρ‚ΠΎΡ€Π° этого Ρ„Π°ΠΉΠ»Π° это останСтся Π·Π°Π³Π°Π΄ΠΊΠΎΠΉ.

Π’Ρ‹Π²ΠΎΠ΄Ρ‹ Π°Π½Π°Π»ΠΈΠ·Π° robots.txt сайтов Π² ЯндСкс.ΠšΠ°Ρ‚Π°Π»ΠΎΠ³Π΅:

1. ΠžΠ±Ρ‰ΠΈΠΉ ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ грамотности вСбмастСров русскоязычной части ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π° Π²Ρ‹ΡˆΠ΅ ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с Π·Π°ΠΏΠ°Π΄Π½Ρ‹ΠΌΠΈ вСбмастСрами (доля сайтов, ΠΈΠΌΠ΅ΡŽΡ‰ΠΈΡ… robots. txt, большС (49%), Ρ‡Π΅ΠΌ Ρƒ сайтов ΠΈΠ· ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π° DMOZ (27%)).

2. ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎ сайтов, ΠΈΠΌΠ΅ΡŽΡ‰ΠΈΡ… ΠΊΠΎΠ΄ 3xx (ΠΏΠ΅Ρ€Π΅Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ Π½Π° Π΄Ρ€ΡƒΠ³ΠΎΠ΅ Π΄ΠΎΠΌΠ΅Π½Π½ΠΎΠ΅ имя), Π½ΠΈΠΆΠ΅ Ρƒ сайтов Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ ЯндСкса(0.09%), Ρ‡Π΅ΠΌ Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ DMOZ (7,61%).

3. ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎ Ρ„Π°ΠΉΠ»ΠΎΠ² с Π½Π΅Π²Π΅Ρ€Π½ΠΎ ΡƒΠΊΠ°Π·Π°Π½Π½Ρ‹ΠΌ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ MIME Ρ‚ΠΈΠΏΠΎΠ² содСрТимого Π±Π»ΠΈΠ·ΠΊΠΎ Π² ΠΎΠ±ΠΎΠΈΡ… исслСдованиях, это Π³ΠΎΠ²ΠΎΡ€ΠΈΡ‚ ΠΎ Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠΉ Ρ‚ΠΈΠΏ ошибок ΠΈΠ½Ρ‚Π΅Ρ€Π½Π°Ρ†ΠΈΠΎΠ½Π°Π»Π΅Π½ ΠΈ Π½Π΅ зависит ΠΎΡ‚ языковой особСнности списка Ρ„Π°ΠΉΠ»ΠΎΠ².

4. Π’Π»Π°Π΄Π΅Π»ΡŒΡ†Ρ‹ сайтов Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ ЯндСкса Π½Π΅ ΡƒΡ‚Ρ€ΡƒΠΆΠ΄Π°ΡŽΡ‚ сСбя ΡƒΠΊΠ°Π·Π°Π½ΠΈΠ΅ΠΌ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠΈ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°, ΠΏΠ΅Ρ€Π΅Π΄Π°Π²Π°Π΅ΠΌΠΎΠ³ΠΎ Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ поисковой систСмы. Π£ Ρ‚Π΅Ρ… ΠΆΠ΅, ΠΊΡ‚ΠΎ прописываСт этот ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€, часто Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ с ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΌ написаниСм ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠΈ utf-8.

5. Часто вСбмастСра вмСсто ΡƒΠΊΠ°Π·Π°Π½Π½Ρ‹Ρ… Π² спСцификации ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠ΅Π² Β«#Β» ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚ΠΈΡ€ΡƒΡŽΡ‰ΠΈΠ΅ символы ΠΈΠ· Π΄Ρ€ΡƒΠ³ΠΈΡ… языков: HTML, C++.

6. Π£ сайтов Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ ЯндСкса Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ€Π΅ΠΆΠ΅ Π²ΡΡ‚Ρ€Π΅Ρ‡Π°ΡŽΡ‚ΡΡ ошибки Π² структурС самого Ρ„Π°Π»Π° robots.txt: Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ символа пСрСноса строки ΠΌΠ΅ΠΆΠ΄Ρƒ User-Agent ΠΈ Disallow, пропуск символа пСрСноса строки ΠΌΠ΅ΠΆΠ΄Ρƒ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°ΠΌΠΈ для Ρ€Π°Π·Π½Ρ‹Ρ… сСкций.

7. МногиС отСчСствСнныС вСбмастСра, ΠΊΠ°ΠΊ ΠΈ Π·Π°Ρ€ΡƒΠ±Π΅ΠΆΠ½Ρ‹Π΅, Π΄ΠΎΠΏΡƒΡΠΊΠ°ΡŽΡ‚ орфографичСскиС ошибки ΠΏΡ€ΠΈ написании Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² (Disallow ΠΈ User-Agent).

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊΠΈ:

1. robots.txt Adventure

2. Dmoz: ΠšΠ°ΠΆΠ΄Ρ‹ΠΉ Ρ‡Π΅Ρ‚Π²Π΅Ρ€Ρ‚Ρ‹ΠΉ сайт ΠΈΠΌΠ΅Π΅Ρ‚ ошибки Π² robots.txt

3. ВсС ΠΎ Ρ„Π°ΠΉΠ»Π΅ robots.txt ΠΏΠΎ-русски

ОлСг Π‘Π°Ρ…Π½ΠΎ, Π•Π²Π³Π΅Π½ΠΈΠΉ Π‘Π΅Π»ΠΈΠ½, www.interlabs.ru

ИспользованиС robots.txt для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ вашСго сайта ΠΈ сниТСния Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ Π½Π° Π½Π΅Π³ΠΎ β€” Π‘Π°Π·Π° Π·Π½Π°Π½ΠΈΠΉ

ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹Π΅ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΠΈΠ»ΠΈ Ρ‚Π°ΠΊ Π½Π°Π·Ρ‹Π²Π°Π΅ΠΌΡ‹Π΅ Π²Π΅Π±-ΠΏΠ°ΡƒΠΊΠΈ/Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΠΌΠΎΠ³ΡƒΡ‚ Π²Ρ‹Π·Π²Π°Ρ‚ΡŒ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΡƒΡŽ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ Π½Π° ваш сайт, особСнно Ссли Π²Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚Π΅ Ρ‚Π°ΠΊΠΈΠ΅ ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡ‹, ΠΊΠ°ΠΊ WordPress.

Π’ этой ΡΡ‚Π°Ρ‚ΡŒΠ΅ содСрТится нСсколько быстрых способов ΡƒΠΌΠ΅Π½ΡŒΡˆΠΈΡ‚ΡŒ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ ΠΎΡ‚ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ², Π½ΠΎ ΠΌΡ‹ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΠ΅ΠΌ Π²Π°ΠΌ ΠΏΡ€ΠΎΠΊΠΎΠ½ΡΡƒΠ»ΡŒΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ с Π²Π΅Π±-Π΄ΠΈΠ·Π°ΠΉΠ½Π΅Ρ€ΠΎΠΌ/профСссионалом для получСния Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ ΠΈΡ… эффСктивно Ρ€Π΅Π°Π»ΠΈΠ·ΠΎΠ²Π°Ρ‚ΡŒ.

Π’ΠΎΡ‚ ΠΎΠ±Ρ€Π°Π·Π΅Ρ† robots.txt, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΈΡ‚ для WP (Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ для любого Π²Π΅Π±-сайта ΠΈ ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡ‹).

Π’Π°ΠΌ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ этот Ρ„Π°ΠΉΠ» Π½Π° своСм ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π΅ ΠΈ Π·Π°Π³Ρ€ΡƒΠ·ΠΈΡ‚ΡŒ Π΅Π³ΠΎ Ρ‡Π΅Ρ€Π΅Π· FTP ΠΈΠ»ΠΈ Ρ„Π°ΠΉΠ»ΠΎΠ²Ρ‹ΠΉ ΠΌΠ΅Π½Π΅Π΄ΠΆΠ΅Ρ€ ΠΏΠ°Π½Π΅Π»ΠΈ управлСния (Π² cPanel Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ этот Ρ„Π°ΠΉΠ», ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ Ρ„Π°ΠΉΠ»ΠΎΠ²Ρ‹ΠΉ ΠΌΠ΅Π½Π΅Π΄ΠΆΠ΅Ρ€ cPanel Π½Π°ΠΏΡ€ΡΠΌΡƒΡŽ), ΠΈ ΠΏΠΎΠΌΠ΅ΡΡ‚ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π½Π΅Π²ΡƒΡŽ ΠΏΠ°ΠΏΠΊΡƒ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· Π²Π°ΡˆΠΈΡ… Π΄ΠΎΠΌΠ΅Π½Π½Ρ‹Ρ… ΠΈΠΌΠ΅Π½ (Ρ‚Π° ΠΆΠ΅ ΠΏΠ°ΠΏΠΊΠ°, Π³Π΄Π΅ находится ваш основной Ρ„Π°ΠΉΠ» index.php / index.html).

ΠŸΡ€ΠΎΡΡ‚ΠΎ скопируйтС/Π²ΡΡ‚Π°Π²ΡŒΡ‚Π΅ ΠΌΠ΅ΠΆΠ΄Ρƒ строками Β«β€”Β» Π½ΠΈΠΆΠ΅:

β€”

 Π—Π°Π΄Π΅Ρ€ΠΆΠΊΠ° сканирования: 30
ΠŸΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ Π°Π³Π΅Π½Ρ‚: *
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /cgi-bin/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /wp-admin/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /wp-includes/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /wp-ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /трСкбэк/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /index.php
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /xmlrpc.com
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /wp-login.php
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /wp-content/plugins/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /comments/feed/

Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /администратор/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /bin/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /кСш/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /ΠΊΠ»ΠΈ/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Ρ‹/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /установка/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /язык/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /ΠΌΠ°ΠΊΠ΅Ρ‚Ρ‹/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /ΠΆΡƒΡ€Π½Π°Π»Ρ‹/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /ΠΌΠΎΠ΄ΡƒΠ»ΠΈ/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /ΠΏΠ»Π°Π³ΠΈΠ½Ρ‹/
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /tmp/

User-agent: ЯндСкс
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /

АгСнт ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ: Baiduspider
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /

АгСнт ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ: Googlebot-Image
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /

АгСнт ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ: bingbot
Π—Π°Π΄Π΅Ρ€ΠΆΠΊΠ° сканирования: 10
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ:

АгСнт ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ: Slurp
Π—Π°Π΄Π΅Ρ€ΠΆΠΊΠ° сканирования: 10
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ:
 

β€”

ΠŸΡ€ΠΈΠ²Π΅Π΄Π΅Π½Π½Ρ‹ΠΉ Π²Ρ‹ΡˆΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ замСдляСт Ρ€Π°Π±ΠΎΡ‚Ρƒ поисковых систСм, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ½ΠΈ Π½Π΅ сканировали ваш сайт агрСссивно ΠΏΠΎ ΠΎΡ‡Π΅Ρ€Π΅Π΄ΠΈ (это Π½Π΅ влияСт Π½Π° частоту сканирования вашСго сайта поисковой систСмой), ΠΊΠΎΠ΄ Ρ‚Π°ΠΊΠΆΠ΅ Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΏΠ°ΡƒΠΊΠΎΠ², Ρ‚Π°ΠΊΠΈΡ… ΠΊΠ°ΠΊ Baiduspider (китайская поисковая систСма, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ слСдуСт ΠΎΡ‚ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ, Ссли ваш сайт Π½Π΅ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ проиндСксирован Π½Π° китайском языкС), ЯндСкс (российскиС поисковыС систСмы, ΠΎΡΡ‚Π°Π²ΡŒΡ‚Π΅ Π²ΠΊΠ»ΡŽΡ‡Π΅Π½Π½ΠΎΠΉ, Ссли Ρƒ вас русский Π²Π΅Π±-сайт ΠΈΠ»ΠΈ посСтитСли ΠΈΠ· России), Π° Ρ‚Π°ΠΊΠΆΠ΅ Π½Π΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ‚ Π±ΠΎΡ‚Ρƒ Google Image ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ваш сайт. Если Π²Π°ΠΌ Π½ΡƒΠΆΠ΅Π½ ΠΊΠ°ΠΊΠΎΠΉ-Π»ΠΈΠ±ΠΎ ΠΈΠ· этих Π΄Π²ΠΈΠΆΠΊΠΎΠ², просто ΡƒΠ΄Π°Π»ΠΈΡ‚Π΅ Ρ‡Π°ΡΡ‚ΡŒ ΠΌΠ΅ΠΆΠ΄Ρƒ Β«User-agentΒ» ΠΈ Β«DisallowΒ» ΠΈ ΠΎΡΡ‚Π°Π²ΡŒΡ‚Π΅ ΠΎΡΡ‚Π°Π²ΡˆΠΈΠΉΡΡ ΠΊΠΎΠ΄.

ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡƒΠΏΡ€Π°Π²Π»ΡΡ‚ΡŒ Ρ‚Π΅ΠΌ, ΠΊΠ°ΠΊ Google ΠΈ Bing ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΡƒΡŽΡ‚ ваш сайт, ΠΈ ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Ρ‚ΡŒ ΠΌΠ΅Ρ€Ρ‹ для ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ замСдлСния ΠΈΡ… Ρ€Π°Π±ΠΎΡ‚Ρ‹.

Для получСния Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΎ Google Π²Π°ΠΌ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ ΡƒΡ‡Π΅Ρ‚Π½ΡƒΡŽ запись с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ инструмСнтов Google Web Master https://search.google.com/search-console/about ΠΈ ΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚ΡŒ ΠΈΡ… указаниям ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ ΠΈ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ сканирования.

Для Bing: Π·Π°Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΡƒΠΉΡ‚Π΅ΡΡŒ ΠΈΠ»ΠΈ Π²ΠΎΠΉΠ΄ΠΈΡ‚Π΅ Π² свои инструмСнты для Π²Π΅Π±-мастСров ΠΏΠΎ адрСсу https://www.bing.com/webmasters/about ΠΈ слСдуйтС ΠΈΡ… указаниям ΠΏΠΎ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ настроСк сканирования.

БущСствуСт мноТСство Π΄Ρ€ΡƒΠ³ΠΈΡ… ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ ΠΊ Ρ„Π°ΠΉΠ»Ρƒ robots.txt, Π½ΠΎ ΠΌΡ‹ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΠ΅ΠΌ ΠΎΠ±Ρ€Π°Ρ‰Π°Ρ‚ΡŒΡΡ ΠΊ профСссионалам, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ Π½Π°ΠΈΠ»ΡƒΡ‡ΡˆΠΈΠ΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ ΠΈ Π½Π΅ Π½Π°Ρ€ΡƒΡˆΠΈΡ‚ΡŒ Ρ€Π°Π±ΠΎΡ‚Ρƒ вашСго Π²Π΅Π±-сайта.

Для ΠΎΠΏΡ‹Ρ‚Π½Ρ‹Ρ… ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ:

Π’ Π΄ΠΎΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ ΠΊ Ρ€Π΅Π°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ robots. txt Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π½Π΅ΠΆΠ΅Π»Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² (особСнно Ρ‚Π΅Ρ…, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΡƒΡŽΡ‚ ваш Ρ„Π°ΠΉΠ» robots.txt), ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΉ ΠΊΠΎΠ΄ .htaccess:

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} Baiduspider [Π˜Π›Π˜]
RewriteCond %{HTTP_USER_AGENT} Baiduspider/2.0 [Π˜Π›Π˜]
RewriteCond %{HTTP_USER_AGENT} Baiduspider/3.0 [Π˜Π›Π˜]
RewriteCond %{HTTP_USER_AGENT} MJ12bot/v1.4.5 [Π˜Π›Π˜]
RewriteCond %{HTTP_USER_AGENT} MJ12 [Π˜Π›Π˜]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot/5.1 [Π˜Π›Π˜]
RewriteCond %{HTTP_USER_AGENT} ЯндСксБот/3.0 [Π˜Π›Π˜]
RewriteCond %{HTTP_USER_AGENT} YandexImages/3.0 [Π˜Π›Π˜]
RewriteCond %{HTTP_USER_AGENT} ЯндСксБот 9yandex.com$Β» bad_bot_block

Π‘ якорями start ΠΈ end-of-string Π² рСгулярном Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠΈ Π²Ρ‹ Π² основном провСряСтС, Ρ‡Ρ‚ΠΎ строка User-Agent Ρ‚ΠΎΡ‡Π½ΠΎ Ρ€Π°Π²Π½Π° Β«yandex.comΒ» (Π·Π° ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ΠΌ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ . β€” это любой символ ), Ρ‡Ρ‚ΠΎ явно Π½Π΅ соотвСтствуСт ΡƒΠΊΠ°Π·Π°Π½Π½ΠΎΠΌΡƒ user-agent строка.

НСобходимо ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ User-Agent Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΎΠΊ содСрТит «ЯндСксБот» (ΠΈΠ»ΠΈ Β«yandex.comΒ»). Π—Π΄Π΅ΡΡŒ Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ рСгистрозависимоС соотвСтствиС, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ настоящий Π±ΠΎΡ‚ ЯндСкса Π½Π΅ мСняСт рСгистр.

НапримСр, вмСсто этого ΠΏΠΎΠΏΡ€ΠΎΠ±ΡƒΠΉΡ‚Π΅ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅:

 SetEnvIf User-Agent "YandexBot" bad_bot_block
 

ВмСсто этого рассмотритС Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ использования Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ BrowserMatch , которая являСтся ярлыком для SetEnvIf User-Agent .

Если Π²Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚Π΅ Apache 2.4, Π²Π°ΠΌ слСдуСт ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ Require (Π²Ρ‚ΠΎΡ€ΠΎΠΉ) Π΄Π²ΡƒΡ… Π²Π°ΡˆΠΈΡ… Π±Π»ΠΎΠΊΠΎΠ² ΠΊΠΎΠ΄Π°. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Order , Deny ΠΈ Allow относятся ΠΊ Apache 2.2 ΠΈ Ρ€Π°Π½Π΅Π΅ устарСли Π² Apache 2.4.

Однако рассмотритС Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ использования robots.txt вмСсто Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠΈ ΠΏΡ€ΠΈ сканировании Π² ΠΏΠ΅Ρ€Π²ΡƒΡŽ ΠΎΡ‡Π΅Ρ€Π΅Π΄ΡŒ. ЯндСкс якобы ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ robots.txt .

2

Π—Π°Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΡƒΠΉΡ‚Π΅ΡΡŒ ΠΈΠ»ΠΈ Π²ΠΎΠΉΠ΄ΠΈΡ‚Π΅ Π² систСму

Π—Π°Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΡƒΠΉΡ‚Π΅ΡΡŒ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Google

Π—Π°Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ Ρ‡Π΅Ρ€Π΅Π· Facebook

Π—Π°Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΡƒΠΉΡ‚Π΅ΡΡŒ, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ адрСс элСктронной ΠΏΠΎΡ‡Ρ‚Ρ‹ ΠΈ ΠΏΠ°Ρ€ΠΎΠ»ΡŒ

ΠžΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠ°ΠΊ Π³ΠΎΡΡ‚ΡŒ

ЭлСктронная ΠΏΠΎΡ‡Ρ‚Π°

ВрСбуСтся, Π½ΠΎ Π½Π΅ отобраТаСтся

ΠžΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠ°ΠΊ Π³ΠΎΡΡ‚ΡŒ

ЭлСктронная ΠΏΠΎΡ‡Ρ‚Π°

ВрСбуСтся, Π½ΠΎ Π½Π΅ отобраТаСтся

НаТимая Β«ΠžΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Ρ‚ΡŒ свой ΠΎΡ‚Π²Π΅Ρ‚Β», Π²Ρ‹ ΡΠΎΠ³Π»Π°ΡˆΠ°Π΅Ρ‚Π΅ΡΡŒ с нашими условиями обслуТивания ΠΈ ΠΏΠΎΠ΄Ρ‚Π²Π΅Ρ€ΠΆΠ΄Π°Π΅Ρ‚Π΅, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΎΡ‡ΠΈΡ‚Π°Π»ΠΈ ΠΈ поняли Π½Π°ΡˆΡƒ ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΡƒ ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈ кодСкс повСдСния.

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ

Π’Π°Ρˆ адрСс email Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½. ΠžΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ поля ΠΏΠΎΠΌΠ΅Ρ‡Π΅Π½Ρ‹ *