ΠΡΠ°Π²ΠΈΠ»ΡΠ½Π°Ρ Π½Π°ΡΡΡΠΎΠΉΠΊΠ° robots.txt Π΄Π»Ρ Google ΠΈ Π―Π½Π΄Π΅ΠΊΡ
ΠΡΠ½ΠΎΠ²Π½ΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ robots.txt
ΠΠ΅ΡΠ΅Π΄ ΡΠ΅ΠΌ, ΠΊΠ°ΠΊ ΠΏΡΠΈΡΡΡΠΏΠΈΡΡ ΠΊ Π½Π°ΡΡΡΠΎΠΉΠΊΠ΅ ΡΠΎΠ±ΠΎΡΡΠ° Π΄Π»Ρ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°, Π½Π΅ΠΏΠ»ΠΎΡ ΠΎ ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡΡΡΡ Ρ ΠΎΡΠΈΡΠΈΠ°Π»ΡΠ½ΡΠΌΠΈ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΡΠΌΠΈ Π―Π½Π΄Π΅ΠΊΡ ΠΈ Google.
Π’Π΅ΠΏΠ΅ΡΡ ΠΎ ΡΠΎΠΌ, ΡΡΠΎ Π΄ΠΎΠ»ΠΆΠ½ΠΎ Π±ΡΡΡ Π² ΡΠ°ΠΉΠ»Π΅ robots.txt. Π Π½Π΅ΠΌ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°Π²Π°ΡΡ 3 ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΡ Π½Π°Π±ΠΎΡΠ° Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² β Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡ, Π΄Π»Ρ Google, ΠΈ Π΄Π»Ρ ΠΎΡΡΠ°Π»ΡΠ½ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ²-ΠΊΡΠ°ΡΠ»Π΅ΡΠΎΠ². ΠΠΎΡΠ΅ΠΌΡ ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎ? ΠΠ° ΠΏΠΎΡΠΎΠΌΡ ΡΡΠΎ Π΅ΡΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ, ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½Π½ΡΠ΅ ΡΠΎΠ»ΡΠΊΠΎ Π΄Π»Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΡΡ ΠΠ‘, Π° ΡΠ°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΡΡΠΈΡΠ°ΡΡ ΡΡΠΎ Π½Π΅ΠΊΠΈΠΌ ΠΏΡΠΎΡΠ²Π»Π΅Π½ΠΈΠ΅ΠΌ ΡΠ²Π°ΠΆΠ΅Π½ΠΈΡ ΠΊ ΠΎΡΠ½ΠΎΠ²Π½ΡΠΌ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ°ΠΌ ΡΡΠ½Π΅ΡΠ°
Π‘Π»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, ΡΠΎΠ±ΠΎΡΡ Π΄ΠΎΠ»ΠΆΠ΅Π½ ΡΠΎΡΡΠΎΡΡΡ ΠΈΠ· ΡΠ°ΠΊΠΈΡ ΡΠ΅ΠΊΡΠΈΠΉ:
User-agent: * User-agent: Yandex User-agent: Googlebot
ΠΠ΅ΠΆΠ΄Ρ Π½Π°Π±ΠΎΡΠ°ΠΌΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² Π΄Π»Ρ ΡΠ°Π·Π½ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ² Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΠΎΡΡΠ°Π²Π»ΡΡΡ ΠΏΡΡΡΡΡ ΡΡΡΠΎΠΊΡ.
Π robots.txt Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΊΠ°Π·Π°ΡΡ ΠΏΡΡΡ ΠΊ XML ΠΊΠ°ΡΡΠ΅ ΡΠ°ΠΉΡΠ°. ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° ΡΠ²Π»ΡΠ΅ΡΡΡ ΠΌΠ΅ΠΆΡΠ΅ΠΊΡΠΈΠΎΠ½Π½ΠΎΠΉ, ΠΏΠΎΡΡΠΎΠΌΡ ΠΎΠ½Π° ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½Π° Π² Π»ΡΠ±ΠΎΠΌ ΠΌΠ΅ΡΡΠ΅ ΡΠ°ΠΉΠ»Π°, ΠΎΠ΄Π½Π°ΠΊΠΎ ΠΏΠ΅ΡΠ΅Π΄ Π½Π΅ΠΉ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅ΡΡΡ Π²ΡΡΠ°Π²ΠΈΡΡ ΠΏΡΡΡΠΎΠΉ ΠΏΠ΅ΡΠ΅Π²ΠΎΠ΄ ΡΡΡΠΎΠΊΠΈ. ΠΠ°ΠΏΠΈΡΡ Π΄ΠΎΠ»ΠΆΠ½Π° Π²ΡΠ³Π»ΡΠ΄Π΅ΡΡ ΡΠ°ΠΊ:
Sitemap: http://site.com/sitemap.xml
ΠΠ΄ΡΠ΅Ρ ΡΠ°ΠΉΡΠ° ΠΈ ΡΠ°ΠΌ ΠΏΡΡΡ ΠΊ ΠΊΠ°ΡΡΠ΅ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π·Π°ΠΌΠ΅Π½ΠΈΡΡ Π½Π° ΡΠ΅, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠ²Π»ΡΡΡΡΡ Π°ΠΊΡΡΠ°Π»ΡΠ½ΡΠΌΠΈ Π΄Π»Ρ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°. Π’Π°ΠΊΠΆΠ΅ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΠΏΠΎΠΌΠ½ΠΈΡΡ, ΡΡΠΎ Π΄Π»Ρ ΡΠ°ΠΉΡΠΎΠ² Ρ Π±ΠΎΠ»ΡΡΠΈΠΌ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎΠΌ ΡΡΡΠ°Π½ΠΈΡ (Π±ΠΎΠ»Π΅Π΅ 50 000) Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°ΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΊΠ°ΡΡ ΠΈ Π²ΡΠ΅ ΠΈΡ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ Π² ΡΠΎΠ±ΠΎΡΡΠ΅.
ΠΠ°ΡΡΡΠΎΠΉΠΊΠ° robots.txt Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡ
ΠΠ»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ Π½Π°Π³Π»ΡΠ΄Π½ΠΎ ΠΏΠΎΠΊΠ°Π·Π°ΡΡ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΡΡ Π½Π°ΡΡΡΠΎΠΉΠΊΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² Π΄Π»Ρ Π―ΡΠΈ, Ρ Π²ΠΎΠ·ΡΠΌΡ Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ ΠΏΡΠΈΠΌΠ΅ΡΠ° ΡΡΠ°Π½Π΄Π°ΡΡΠ½ΡΠΉ robots.txt Π΄Π»Ρ WordPress.
User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: */trackback Disallow: */feed Host: site.com
ΠΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ Π½Π° Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Host. ΠΠ½Π° ΡΠΊΠ°Π·ΡΠ²Π°Π΅Ρ ΠΏΠ°ΡΠΊΡ-ΡΠΎΠ±ΠΎΡΡ Π―Π½Π΄Π΅ΠΊΡΠ°, ΠΊΠ°ΠΊΠΎΠ΅ ΠΈΠ· Π·Π΅ΡΠΊΠ°Π» ΡΠ°ΠΉΡΠ° ΡΠ²Π»ΡΠ΅ΡΡΡ Π³Π»Π°Π²Π½ΡΠΌ. ΠΠ°ΠΈΠ±ΠΎΠ»Π΅Π΅ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½Π΅Π½Π½Π°Ρ Π³ΡΡΠΏΠΏΠ° Π·Π΅ΡΠΊΠ°Π» β site.com ΠΈ www.site.com. Π’ΡΡ Π΅ΡΡΡ Π΅ΡΠ΅ ΠΎΠ΄ΠΈΠ½ ΡΠΎΠ½ΠΊΠΈΠΉ Π½ΡΠ°Π½Ρ, ΠΎ ΠΊΠΎΡΠΎΡΠΎΠΌ ΡΠ΅Π΄ΠΊΠΎ ΡΠΏΠΎΠΌΠΈΠ½Π°ΡΡ. ΠΠ΅Π»ΠΎ Π² ΡΠΎΠΌ, ΡΡΠΎ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Host Π½Π΅ ΡΠ²Π»ΡΠ΅ΡΡΡ ΠΏΡΡΠΌΠΎΠΉ ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ ΡΠΎΠ±ΠΎΡΠ°ΠΌ ΡΡΠΈΡΠ°ΡΡ Π·Π΅ΡΠΊΠ°Π»ΠΎ Π³Π»Π°Π²Π½ΡΠΌ. Π‘Π½Π°ΡΠ°Π»Π° Π―Π½Π΄Π΅ΠΊΡ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π½Π°ΠΉΡΠΈ ΠΈ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΡΠΈΡΠΎΠ²Π°ΡΡ ΡΠ°ΠΉΡΡ ΠΈΠΌΠ΅Π½Π½ΠΎ ΠΊΠ°ΠΊ Π·Π΅ΡΠΊΠ°Π»Π°, ΠΈ ΡΠΎΠ»ΡΠΊΠΎ ΡΠΎΠ³Π΄Π° Π΄Π°Π½Π½Π°Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° ΡΡΠ°Π±ΠΎΡΠ°Π΅Ρ. Π’Π΅ΠΌ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅, ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°ΡΡ Host ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΡ Π² Π»ΡΠ±ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅.
ΠΡΠΎΠ²Π΅ΡΠΈΡΡ ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΠΎΡΡΡ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ robots.txt Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡΠΈ ΠΏΠΎΠΌΠΎΡΠΈ Π΄Π°Π½Π½ΠΎΠ³ΠΎ ΡΠ΅ΡΠ²ΠΈΡΠ°.
ΠΠ°ΡΡΡΠΎΠΉΠΊΠ° robots.txt Π΄Π»Ρ Google
ΠΠ»Ρ Google Π½Π°ΡΡΡΠΎΠΉΠΊΠ° ΡΠΎΠ±ΠΎΡΡΠ° ΠΌΠ°Π»ΠΎ ΡΠ΅ΠΌ ΠΎΡΠ»ΠΈΡΠ°Π΅ΡΡΡ ΠΎΡ ΡΠΆΠ΅ Π½Π°ΠΏΠΈΡΠ°Π½Π½ΠΎΠ³ΠΎ Π²ΡΡΠ΅. ΠΠ΄Π½Π°ΠΊΠΎ, Π΅ΡΡΡ ΠΏΠ°ΡΠ° ΠΌΠΎΠΌΠ΅Π½ΡΠΎΠ², Π½Π° ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΠΎΠ±ΡΠ°ΡΠΈΡΡ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅.
User-agent: Googlebot Allow: *.css Allow: *.js Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: */trackback Disallow: */feed
ΠΠ°ΠΊ Π²ΠΈΠ΄Π½ΠΎ ΠΈΠ· ΠΏΡΠΈΠΌΠ΅ΡΠ°, ΠΎΡΡΡΡΡΡΠ²ΡΠ΅Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Host β ΠΎΠ½Π° ΡΠ°ΡΠΏΠΎΠ·Π½Π°Π΅ΡΡΡ ΠΈΡΠΊΠ»ΡΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π±ΠΎΡΠ°ΠΌΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°. ΠΡΠΎΠΌΠ΅ ΡΡΠΎΠ³ΠΎ, ΠΏΠΎΡΠ²ΠΈΠ»ΠΈΡΡ Π΄Π²Π΅ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ, ΡΠ°Π·ΡΠ΅ΡΠ°ΡΡΠΈΠ΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ JS ΡΠΊΡΠΈΠΏΡΡ ΠΈ CSS ΡΠ°Π±Π»ΠΈΡΡ.
ΡΠ°ΠΉΠ»Ρ ΡΠ°Π±Π»ΠΎΠ½Π° (ΡΠ΅ΠΌΡ) ΡΠ°ΠΉΡΠ°. ΠΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎ, ΡΠΊΡΠΈΠΏΡΡ ΠΈ ΡΠ°Π±Π»ΠΈΡΡ Π² ΠΏΠΎΠΈΡΠΊ Π½Π΅ ΠΏΠΎΠΏΠ°Π΄ΡΡ, ΠΎΠ΄Π½Π°ΠΊΠΎ ΡΡΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ ΡΠΎΠ±ΠΎΡΠ°ΠΌ ΠΊΠΎΡΡΠ΅ΠΊΡΠ½Π΅Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ ΡΠ°ΠΉΡ ΠΈ ΠΎΡΠΎΠ±ΡΠ°ΠΆΠ°ΡΡ Π΅Π³ΠΎ Π² ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠ°Ρ Π²ΡΠ΄Π°ΡΠΈ.
ΠΡ Π° ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΠΎΡΡΡ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² Π΄Π»Ρ Google Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΠΏΡΠΎΠ²Π΅ΡΠΈΡΡ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠΎΠΌ ΠΏΡΠΎΠ²Π΅ΡΠΊΠΈ ΡΠ°ΠΉΠ»Π° robots.txt, ΠΊΠΎΡΠΎΡΡΠΉ Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡ Π² Google Webmaster Tools.
Π§ΡΠΎ Π΅ΡΠ΅ ΡΡΠΎΠΈΡ Π·Π°ΠΊΡΡΠ²Π°ΡΡ Π² ΡΠΎΠ±ΠΎΡΡΠ΅?
Π‘ΡΡΠ°Π½ΠΈΡΡ ΠΏΠΎΠΈΡΠΊΠ°
Π’ΡΡ ΠΊΠΎΠ΅-ΠΊΡΠΎ ΠΌΠΎΠΆΠ΅Ρ ΠΏΠΎΡΠΏΠΎΡΠΈΡΡ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ Π±ΡΠ²Π°ΡΡ ΡΠ»ΡΡΠ°ΠΈ, ΠΊΠΎΠ³Π΄Π° Π½Π° ΡΠ°ΠΉΡΠ΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ Π²Π½ΡΡΡΠ΅Π½Π½ΠΈΠΉ ΠΏΠΎΠΈΡΠΊ ΠΈΠΌΠ΅Π½Π½ΠΎ Π΄Π»Ρ ΡΠΎΠ·Π΄Π°Π½ΠΈΡ ΡΠ΅Π»Π΅Π²Π°Π½ΡΠ½ΡΡ ΡΡΡΠ°Π½ΠΈΡ. ΠΠ΄Π½Π°ΠΊΠΎ, ΡΠ°ΠΊ ΠΏΠΎΡΡΡΠΏΠ°ΡΡ Π΄Π°Π»Π΅ΠΊΠΎ Π½Π΅ Π²ΡΠ΅Π³Π΄Π° ΠΈ Π² Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²Π΅ ΡΠ»ΡΡΠ°Π΅Π² ΠΎΡΠΊΡΡΡΡΠ΅ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ ΠΏΠΎΠΈΡΠΊΠ° ΠΌΠΎΠ³ΡΡ Π½Π°ΠΏΠ»ΠΎΠ΄ΠΈΡΡ Π½Π΅Π²Π΅ΡΠΎΡΡΠ½ΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ Π΄ΡΠ±Π»Π΅ΠΉ. ΠΠΎΡΡΠΎΠΌΡ Π²Π΅ΡΠ΄ΠΈΠΊΡ β Π·Π°ΠΊΡΡΡΡ.
ΠΠΎΡΠ·ΠΈΠ½Π° ΠΈ ΡΡΡΠ°Π½ΠΈΡΠ° ΠΎΡΠΎΡΠΌΠ»Π΅Π½ΠΈΡ/ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠΆΠ΄Π΅Π½ΠΈΡ Π·Π°ΠΊΠ°Π·Π°
ΠΠ°Π½Π½Π°Ρ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΡ Π°ΠΊΡΡΠ°Π»ΡΠ½Π° Π΄Π»Ρ ΠΈΠ½ΡΠ΅ΡΠ½Π΅Ρ-ΠΌΠ°Π³Π°Π·ΠΈΠ½ΠΎΠ² ΠΈ Π΄ΡΡΠ³ΠΈΡ
ΠΊΠΎΠΌΠΌΠ΅ΡΡΠ΅ΡΠΊΠΈΡ
ΡΠ°ΠΉΡΠΎΠ², Π³Π΄Π΅ Π΅ΡΡΡ ΡΠΎΡΠΌΠ° Π·Π°ΠΊΠ°Π·Π°. ΠΠ°Π½Π½ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ Π½ΠΈ Π² ΠΊΠΎΠ΅ΠΌ ΡΠ»ΡΡΠ°Π΅ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ ΠΏΠΎΠΏΠ°Π΄Π°ΡΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡ ΠΠ‘.
Π‘ΡΡΠ°Π½ΠΈΡΡ ΠΏΠ°Π³ΠΈΠ½Π°ΡΠΈΠΈ. ΠΠ±ΡΡΠ½ΠΎ Π΄Π»Ρ ΡΠ°ΠΊΠΈΡ
ΡΡΡΠ°Π½ΠΈΡ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°ΡΡΡΡ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΡΠ΅ ΠΌΠ΅ΡΠ°-ΡΠ΅Π³ΠΈ ΠΏΠ»ΡΡ Π½Π° Π½ΠΈΡ
ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΠΉ ΠΊΠΎΠ½ΡΠ΅Π½Ρ, ΡΡΠΎ ΠΏΡΠΈΠ²ΠΎΠ΄ΠΈΡ ΠΊ Π΄ΡΠ±Π»ΡΠΌ Π² Π²ΡΠ΄Π°ΡΠ΅. ΠΠΎΡΡΠΎΠΌΡ ΠΏΠ°Π³ΠΈΠ½Π°ΡΠΈΡ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ Π·Π°ΠΊΡΡΠ²Π°ΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ.
Π€ΠΈΠ»ΡΡΡΡ ΠΈ ΡΡΠ°Π²Π½Π΅Π½ΠΈΠ΅ ΡΠΎΠ²Π°ΡΠΎΠ². Π Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΡ ΠΎΡΠ½ΠΎΡΠΈΡΡΡ ΠΊ ΠΈΠ½ΡΠ΅ΡΠ½Π΅Ρ-ΠΌΠ°Π³Π°Π·ΠΈΠ½Π°ΠΌ ΠΈ ΡΠ°ΠΉΡΠ°ΠΌ-ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π°ΠΌ.
Π‘ΡΡΠ°Π½ΠΈΡΡ ΡΠ΅Π³ΠΈΡΡΡΠ°ΡΠΈΠΈ ΠΈ Π°Π²ΡΠΎΡΠΈΠ·Π°ΡΠΈΠΈ. ΠΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ, ΠΊΠΎΡΠΎΡΠ°Ρ Π²Π²ΠΎΠ΄ΠΈΡΡΡ ΠΏΡΠΈ ΡΠ΅Π³ΠΈΡΡΡΠ°ΡΠΈΠΈ ΠΈΠ»ΠΈ Π²Ρ
ΠΎΠ΄Π΅ Π½Π° ΡΠ°ΠΉΡ, ΡΠ²Π»ΡΠ΅ΡΡΡ ΠΊΠΎΠ½ΡΠΈΠ΄Π΅Π½ΡΠΈΠ°Π»ΡΠ½ΠΎΠΉ. ΠΠΎΡΡΠΎΠΌΡ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΠΈΠ·Π±Π΅Π³Π°ΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΏΠΎΠ΄ΠΎΠ±Π½ΡΡ
ΡΡΡΠ°Π½ΠΈΡ, Google ΡΡΠΎ ΠΎΡΠ΅Π½ΠΈΡ.
Π‘ΠΈΡΡΠ΅ΠΌΠ½ΡΠ΅ ΠΊΠ°ΡΠ°Π»ΠΎΠ³ΠΈ ΠΈ ΡΠ°ΠΉΠ»Ρ. ΠΠ°ΠΆΠ΄ΡΠΉ ΡΠ°ΠΉΡ ΡΠΎΡΡΠΎΠΈΡ ΠΈΠ· ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π° Π΄Π°Π½Π½ΡΡ
β ΡΠΊΡΠΈΠΏΡΠΎΠ², ΡΠ°Π±Π»ΠΈΡ CSS, Π°Π΄ΠΌΠΈΠ½ΠΈΡΡΡΠ°ΡΠΈΠ²Π½ΠΎΠΉ ΡΠ°ΡΡΠΈ. Π’Π°ΠΊΠΈΠ΅ ΡΠ°ΠΉΠ»Ρ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΡΠ°ΠΊΠΆΠ΅ ΠΎΠ³ΡΠ°Π½ΠΈΡΠΈΡΡ Π΄Π»Ρ ΠΏΡΠΎΡΠΌΠΎΡΡΠ° ΡΠΎΠ±ΠΎΡΠ°ΠΌ.
ΠΠ°ΠΌΠ΅ΡΡ, ΡΡΠΎ Π΄Π»Ρ Π²ΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ Π½Π΅ΠΊΠΎΡΠΎΡΡΡ
ΠΈΠ· Π²ΡΡΠ΅ΠΎΠΏΠΈΡΠ°Π½Π½ΡΡ
ΠΏΡΠ½ΠΊΡΠΎΠ² ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΠΈ Π΄ΡΡΠ³ΠΈΠ΅ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΡ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, rel=canonical, ΠΏΡΠΎ ΠΊΠΎΡΠΎΡΡΠΉ Ρ ΠΏΠΎΠ·ΠΆΠ΅ Π½Π°ΠΏΠΈΡΡ Π² ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎΠΉ ΡΡΠ°ΡΡΠ΅.
Robots.txt Π΄Π»Ρ WordPress ΠΈ Joomla
robots.txt Π΄Π»Ρ WordPress
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: */trackback Disallow: */feed Disallow: /*? Disallow: /author/ Disallow: /transfers.js Disallow: /go.php Disallow: /xmlrpc.php User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: */trackback Disallow: */feed Disallow: /*? Disallow: /author/ Disallow: /transfers.js Disallow: /go.php Disallow: /xmlrpc.php Host: site.com User-agent: Googlebot Allow: *.css Allow: *.js Allow: /wp-includes/*.js Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/cache Disallow: */trackback Disallow: */feed Disallow: /author/ Disallow: /transfers.js Disallow: /go.php Disallow: /xmlrpc.php Disallow: /*? Sitemap: http://site.com/sitemap.xml
ΠΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Sitemap ΠΈ Host Π² Π²Π°ΡΠ΅ΠΌ ΡΠΎΠ±ΠΎΡΡΠ΅ Π½ΡΠΆΠ½ΠΎ Π·Π°ΠΌΠ΅Π½ΠΈΡΡ Π½Π° Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΡΠ΅ Π²Π°ΠΌ.
robots.txt Π΄Π»Ρ Joomla
User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /system/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /component/ Disallow: /*start Disallow: /*searchword User-agent: Yandex Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /system/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /component/ Disallow: /*start Disallow: /*searchword Host: site.com User-agent: Googlebot Allow: *.css Allow: *.js Disallow: /administrator/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /system/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Disallow: /component/ Disallow: /*start Disallow: /*searchword Sitemap: http://site.com/sitemap.xml
ΠΠ°ΠΌΠ΅ΡΡ, ΡΡΠΎ Π² Π½Π°Π±ΠΎΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΠΏΡΠ°Π²ΠΈΠ» Π΄Π»Ρ Joomla Ρ Π·Π°ΠΊΡΡΠ» ΠΏΠ°Π³ΠΈΠ½Π°ΡΠΈΡ ΡΡΡΠ°Π½ΠΈΡ Π² ΡΠ°Π·Π΄Π΅Π»Π°Ρ , Π° ΡΠ°ΠΊΠΆΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠΎΠΈΡΠΊΠ° ΠΏΠΎ ΡΠ°ΠΉΡΡ. ΠΡΠ»ΠΈ Π²Π°ΠΌ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΡ Π΄Π°Π½Π½ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ Π² ΠΏΠΎΠΈΡΠΊΠ΅ β ΠΌΠΎΠΆΠ΅ΡΠ΅ ΡΠ±ΡΠ°ΡΡ ΠΈΠ· robots.txt ΡΡΠΈ Π΄Π²Π΅ ΡΡΡΠΎΡΠΊΠΈ:
Disallow: /*start Disallow: /*searchword
ΠΠ΅ΠΌΠ½ΠΎΠ³ΠΎ ΠΎ Π½Π΅ΡΡΠ°Π½Π΄Π°ΡΡΠ½ΠΎΠΌ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠΈ robots.txt
Π‘ ΡΡΠ΅ΡΠΎΠΌ Π½Π°ΠΏΠΈΡΠ°Π½Π½ΠΎΠ³ΠΎ Π²ΡΡΠ΅, ΡΠ΅ΠΌΡ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎΠΉ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ robots.txt ΠΌΠΎΠΆΠ½ΠΎ ΡΡΠΈΡΠ°ΡΡ ΡΠ°ΡΠΊΡΡΡΠΎΠΉ, ΠΎΠ΄Π½Π°ΠΊΠΎ Π΅ΡΡΡ Π΅ΡΠ΅ ΠΊΠΎΠ΅-ΡΡΠΎ, ΠΎ ΡΠ΅ΠΌ Ρ Π±Ρ Ρ
ΠΎΡΠ΅Π» ΡΠ°ΡΡΠΊΠ°Π·Π°ΡΡ. Π ΠΎΠ±ΠΎΡΡ ΠΌΠΎΠΆΠ½ΠΎ Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠΉ ΠΏΡΠΈΠΌΠ΅Π½ΡΡΡ ΠΏΠΎΠΌΠΈΠΌΠΎ Π½Π°Π·Π½Π°ΡΠ΅Π½ΠΈΡ ΠΈ Π±Π΅Π· Π²ΡΠ΅Π΄Π° Π΄Π»Ρ ΡΠ°ΠΉΡΠ°. ΠΠ΅Π»ΠΎ Π² ΡΠΎΠΌ, ΡΡΠΎ Π² ΡΠ°ΠΉΠ»Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ°ΠΊΠΎΠΉ Π·Π½Π°ΠΊ, ΠΊΠ°ΠΊ Β«#Β» β ΠΎΠ½ ΠΎΠ±ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ, Π½Π΅ ΡΡΠΈΡΡΠ²Π°Π΅ΠΌΡΠ΅ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ. ΠΠ°Π½Π½ΡΠΉ Π·Π½Π°ΠΊ Π΄Π΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»Π΅Π½ Π² ΠΏΡΠ΅Π΄Π΅Π»Π°Ρ
ΠΎΠ΄Π½ΠΎΠΉ ΡΡΡΠΎΠΊΠΈ, ΡΠ°ΠΌ, Π³Π΄Π΅ ΠΎΠ½ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ. ΠΠ³ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Π΄Π»Ρ ΠΏΠΎΠΌΠ΅ΡΠΎΠΊ, ΡΡΠΎΠ±Ρ Π½Π΅ Π·Π°Π±ΡΡΡ, ΡΡΠΎ ΠΈ Π·Π°ΡΠ΅ΠΌ Π±ΡΠ»ΠΎ Π·Π°ΠΊΡΡΡΠΎ ΠΎΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ
ΡΠΈΡΡΠ΅ΠΌ.
ΠΠΎ Π΅ΡΡΡ ΠΈ Π΄ΡΡΠ³ΠΎΠ΅ ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΏΠΎΡΠ»Π΅ Π·Π½Π°ΠΊΠ° ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡ, Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΡΠ°Π·ΠΌΠ΅ΡΡΠΈΡΡ ΠΏΠΎΠ»Π΅Π·Π½ΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ: ΠΊΠΎΠ½ΡΠ°ΠΊΡΡ ΡΠ°ΠΉΡΠ°, Π²Π°ΠΊΠ°Π½ΡΠΈΡ Π΄Π»Ρ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΎΡΠ°, ΡΡΡΠ»ΠΊΡ Π½Π° Π²Π°ΠΆΠ½ΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ, ΠΈ Π΄Π°ΠΆΠ΅ ΡΠ΅ΠΊΠ»Π°ΠΌΡ. ΠΠ΅ Π±ΡΠ΄Ρ Π·Π°Π½ΠΈΠΌΠ°ΡΡΡΡ ΠΏΠ»Π°Π³ΠΈΠ°ΡΠΎΠΌ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΠΈΠ΄Π΅Ρ Π½Π΅ ΠΌΠΎΡ, ΠΏΠΎΡΡΠΎΠΌΡ ΠΏΡΠ΅Π΄Π»Π°Π³Π°Ρ ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡΡΡΡ Ρ ΡΠ°Π·Π»ΠΈΡΠ½ΡΠΌΠΈ Π²Π°ΡΠΈΠ°Π½ΡΠ°ΠΌΠΈ Π½Π° Π±Π»ΠΎΠ³Π΅ Devaka. Π£Π²Π΅ΡΠ΅Π½, Π²Ρ Π±ΡΠ΄Π΅ΡΠ΅ ΡΠ΄ΠΈΠ²Π»Π΅Π½Ρ, ΡΠ·Π½Π°Π², Π½Π°ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΠ°Π·Π½ΠΎΠΎΠ±ΡΠ°Π·Π½ΡΠΌ ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠΎΠ±ΠΎΡΡΠ° Π½Π΅ ΠΏΠΎ Π½Π°Π·Π½Π°ΡΠ΅Π½ΠΈΡ.
ΠΠ° ΡΡΠΎΠΌ Π²ΡΠ΅, ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½Π°Ρ Π½Π°ΡΡΡΠΎΠΉΠΊΠ° robots.txt ΠΎΠΏΠΈΡΠ°Π½Π° Π² ΠΏΠΎΠ»Π½ΠΎΠΉ ΠΌΠ΅ΡΠ΅, Π½Π°Π΄Π΅ΡΡΡ, Π²Ρ ΡΠ·Π½Π°Π»ΠΈ ΡΡΠΎ-ΡΠΎ Π½ΠΎΠ²ΠΎΠ΅. ΠΡΠ»ΠΈ ΠΆΠ΅ ΠΏΠΎΡΠ»Π΅ ΠΏΡΠΎΡΡΠ΅Π½ΠΈΡ ΡΡΠ°ΡΡΠΈ Ρ Π²Π°Ρ ΠΎΡΡΠ°Π»ΠΈΡΡ Π²ΠΎΠΏΡΠΎΡΡ β Π·Π°Π΄Π°Π²Π°ΠΉΡΠ΅ ΠΈΡ Π² ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡ , ΠΈ Ρ ΠΏΠΎΡΡΠ°ΡΠ°ΡΡΡ Π½Π° Π½ΠΈΡ ΠΎΡΠ²Π΅ΡΠΈΡΡ.
ΠΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ°ΠΉΠ»Π° robots.txt ΡΠ°ΠΉΡΠΎΠ² Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΠ°Π»ΠΎΠ³Π°
Π ΠΌΠ°ΡΡΠ΅ ΠΏΡΠΎΡΠ»ΠΎΠ³ΠΎ Π³ΠΎΠ΄Π° (Π·Π°ΠΏΠΈΡΡ Π² Π±Π»ΠΎΠ³Π΅ Π°Π²ΡΠΎΡΠ° ΠΎΡ 03.12.2007, [1]) ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ½ΡΠΉ ΠΈΠ½ΠΆΠ΅Π½Π΅Ρ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Apple, ΠΠ½Π΄ΡΡ ΠΡΡΡΠ΅Ρ, ΠΏΡΠΎΠ²ΡΠ» ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ°ΠΉΠ»ΠΎΠ² ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌΠΈ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ (robots.
ΠΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠΉ ΡΡΡΡΠΊΠΎΡΠ·ΡΡΠ½ΠΎΠ³ΠΎ ΡΠ΅Π³ΠΌΠ΅Π½ΡΠ° ΠΠ½ΡΠ΅ΡΠ½Π΅Ρ Π½Π° ΠΏΡΠ΅Π΄ΠΌΠ΅Ρ ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΠΎΡΡΠΈ ΡΠ°ΠΉΠ»Π° robots.txt ΡΠ°Π½Π΅Π΅ Π½Π΅ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΈΠ»ΠΎΡΡ. Π ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ ΠΈΡΡΠΎΡΠ½ΠΈΠΊΠ° ΡΠ°ΠΉΡΠΎΠ² ΠΌΡ Π²ΡΠ±ΡΠ°Π»ΠΈ ΡΠ°ΠΌΡΠΉ Π±ΠΎΠ»ΡΡΠΎΠΉ ΡΡΡΡΠΊΠΎΡΠ·ΡΡΠ½ΡΠΉ ΠΊΠ°ΡΠ°Π»ΠΎΠ³ β ΠΊΠ°ΡΠ°Π»ΠΎΠ³ ΡΠ°ΠΉΡΠΎΠ² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ Π―Π½Π΄Π΅ΠΊΡ.
Π¦Π΅Π»ΠΈ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡ
ΠΠΏΡΠ΅Π΄Π΅Π»ΠΈΡΡ ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΠΉ ΡΡΠΎΠ²Π΅Π½Ρ Π³ΡΠ°ΠΌΠΎΡΠ½ΠΎΡΡΠΈ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠΎΠ² ΡΠ°ΠΉΡΠΎΠ², ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½Π½ΡΡ Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ Π―Π½Π΄Π΅ΠΊΡΠ°.
ΠΠΏΡΠ΅Π΄Π΅Π»ΠΈΡΡ, Π½Π°ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΏΡΠΎΡΠ΅ΡΡΠΈΠΎΠ½Π°Π»ΡΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ ΡΠ°ΠΉΠ» ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ ΡΠ°ΠΉΡΠ° robots.txt.
Π‘ΡΠ°Π²Π½ΠΈΡΡ ΠΏΠΎΠ»ΡΡΠ΅Π½Π½ΡΠ΅ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ Ρ Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½ΡΠΌΠΈ Π΄Π»Ρ ΡΠ°ΠΉΡΠΎΠ², ΠΎΠΏΠΈΡΠ°Π½Π½ΡΡ Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ DMOZ.
ΠΠ΅ΡΠΎΠ΄Ρ ΠΈ ΡΡΠ΅Π΄ΡΡΠ²Π°
ΠΠ° ΠΌΠΎΠΌΠ΅Π½Ρ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡ Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ Π―Π½Π΄Π΅ΠΊΡΠ° Π±ΡΠ»ΠΎ Π·Π°ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠΎΠ²Π°Π½ΠΎ 86534 ΡΠ°ΠΉΡΠ°. ΠΠΎΡΡΠ΅Π΄ΡΡΠ²ΠΎΠΌ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΠ±ΠΎΡΠ° Π±ΡΠ» ΡΠΎΡΡΠ°Π²Π»Π΅Π½ ΡΠΏΠΈΡΠΎΠΊ ΠΈΠ· 77643 ΡΠ½ΠΈΠΊΠ°Π»ΡΠ½ΡΡ
Π΄ΠΎΠΌΠ΅Π½Π½ΡΡ
ΠΈΠΌΡΠ½ ΠΈΠ· 75 Π΄ΠΎΠΌΠ΅Π½Π½ΡΡ
Π·ΠΎΠ½.
Π€Π°ΠΉΠ» robots.txt β ΡΡΠΎ ΡΠ΅ΠΊΡΡΠΎΠ²ΡΠΉ ΡΠ°ΠΉΠ», Π½Π°Ρ ΠΎΠ΄ΡΡΠΈΠΉΡΡ Π² ΠΊΠΎΡΠ½Π΅Π²ΠΎΠΉ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ ΡΠ°ΠΉΡΠ°, Π² ΠΊΠΎΡΠΎΡΠΎΠΌ Π·Π°ΠΏΠΈΡΡΠ²Π°ΡΡΡΡ ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΡΠ΅ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΠΈ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ². ΠΡΠΈ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΠΈ ΠΌΠΎΠ³ΡΡ Π·Π°ΠΏΡΠ΅ΡΠ°ΡΡ ΠΊ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ Π½Π΅ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠ°Π·Π΄Π΅Π»Ρ ΠΈΠ»ΠΈ ΡΡΡΠ°Π½ΠΈΡΡ Π½Π° ΡΠ°ΠΉΡΠ΅, ΡΠΊΠ°Π·ΡΠ²Π°ΡΡ Π³Π»Π°Π²Π½ΡΠΉ Π΄ΠΎΠΌΠ΅Π½, ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΠΎΠ²Π°ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΌΡ ΡΠΎΠ±ΠΎΡΡ ΡΠΎΠ±Π»ΡΠ΄Π°ΡΡ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΡΠΉ Π²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠΉ ΠΈΠ½ΡΠ΅ΡΠ²Π°Π» ΠΌΠ΅ΠΆΠ΄Ρ ΡΠΊΠ°ΡΠΈΠ²Π°Π½ΠΈΠ΅ΠΌ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ² Ρ ΡΠ΅ΡΠ²Π΅ΡΠ° ΠΈ Ρ.Π΄. ([3]).
ΠΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π»ΠΈΡΡ ΡΠ»Π΅Π΄ΡΡΡΠΈΠ΅ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ ΡΠ°ΠΉΠ»Π° robots.txt:
β ΡΡΠ°ΡΡΡ ΠΊΠΎΠ΄Ρ ΠΎΡΠ²Π΅ΡΠΎΠ² ΡΠ΅ΡΠ²Π΅ΡΠΎΠ²,
β mime ΡΠΈΠΏΡ Π΄Π»Ρ ΡΠ°ΠΉΠ»ΠΎΠ² robots.txt,
β Π½Π°Π»ΠΈΡΠΈΠ΅ ΠΈ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎΡΡΡ ΡΠΊΠ°Π·Π°Π½ΠΈΡ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠΈ Π² Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ΅ ΠΎΡΠ²Π΅ΡΠ° ΡΠ΅ΡΠ²Π΅ΡΠ°,
β ΠΏΡΠΎΠ²Π΅ΡΠΊΠ° ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΠΎΡΡΠΈ ΡΠΈΠ½ΡΠ°ΠΊΡΠΈΡΠ° ΠΈ ΠΎΡΡΠΎΠ³ΡΠ°ΡΠΈΠΈ ΠΏΡΠΈ Π½Π°ΠΏΠΈΡΠ°Π½ΠΈΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²,
β ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΠΊΠΎΠΌΠ°Π½Π΄.
Π‘ΡΠ°ΡΡΡ-ΠΊΠΎΠ΄Ρ
HTTP ΠΊΠΎΠ΄Ρ ΡΡΠ°ΡΡΡΠ° (Π²ΠΎΠ·Π²ΡΠ°ΡΠ°Π΅ΠΌΡΠ΅ ΡΠ΅ΡΠ²Π΅ΡΠΎΠΌ Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΈ) Π³ΠΎΠ²ΠΎΡΡΡ Π²Π΅Π±-Π±ΡΠ°ΡΠ·Π΅ΡΠ°ΠΌ ΠΈ ΡΠΎΠ±ΠΎΡΠ°ΠΌ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ
ΡΠΈΡΡΠ΅ΠΌ, ΠΊΠ°ΠΊΠΎΠ³ΠΎ ΡΠΎΠ΄Π° ΠΎΡΠ²Π΅Ρ ΠΎΠ½ΠΈ ΠΏΠΎΠ»ΡΡΠ°ΡΡ ΠΏΡΠΈ Π·Π°Π³ΡΡΠ·ΠΊΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΊΠΎΠ΄ 200 (ΠΠ) Π·Π½Π°ΡΠΈΡ, ΡΡΠΎ Π²ΡΠ΅ Π½ΠΎΡΠΌΠ°Π»ΡΠ½ΠΎ, Π° 404 (file not found) β ΡΡΠΎ Π²Π΅Π±-ΡΠ΅ΡΠ²Π΅Ρ Π½Π΅ ΡΠΌΠΎΠ³ Π½Π°ΠΉΡΠΈ ΡΠ°ΠΉΠ» ΠΏΠΎ Π·Π°Π΄Π°Π½Π½ΠΎΠΌΡ Π°Π΄ΡΠ΅ΡΡ.
ΠΠ»Ρ ΠΎΡΠ΅Π½ΠΊΠΈ ΡΠΎΠ³ΠΎ, Π½Π°ΡΠΊΠΎΠ»ΡΠΊΠΎ Π°ΠΊΡΠΈΠ²Π½ΠΎ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ° ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ΠΌ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ ΡΠ²ΠΎΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°, ΡΠΎΠ±Π΅ΡΡΠΌ ΡΡΠ°ΡΡΡ-ΠΊΠΎΠ΄Ρ Π΄Π»Ρ ΡΠ°ΠΉΠ»ΠΎΠ² robots.txt Π΄Π»Ρ ΠΎΠ±ΠΎΠ·Π½Π°ΡΠ΅Π½Π½ΠΎΠ³ΠΎ Π²ΡΡΠ΅ ΡΠΏΠΈΡΠΊΠ° ΡΠ°ΠΉΡΠΎΠ².
ΠΠ»Ρ ΡΠ°ΠΉΡΠΎΠ² Π½Π°ΡΠ΅ΠΉ Π²ΡΠ±ΠΎΡΠΊΠΈ ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ Π²ΡΠ³Π»ΡΠ΄ΠΈΡ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ:
ΠΠ»Π°ΡΡ |
Π§ΠΈΡΠ»ΠΎ ΡΠ°ΠΉΡΠΎΠ² |
|
5xx |
119 |
0,15 |
4xx |
45732 |
59,00 |
3xx |
72 |
0,09 |
2xx |
|
40,76 |
1xx |
0 |
0,00 |
Π ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠΈ [1] ΡΡΠ°ΡΠΈΡΡΠΈΠΊΠ° ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ ΡΡΠ°ΡΡΡ-ΠΊΠΎΠ΄ΠΎΠ² Π΄Π»Ρ ΡΠ°ΠΉΠ»ΠΎΠ² robots. txt ΠΈΠΌΠ΅Π΅Ρ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΉ Π²ΠΈΠ΄:
ΠΠ»Π°ΡΡ |
Π§ΠΈΡΠ»ΠΎ ΡΠ°ΠΉΡΠΎΠ² |
Π % ΠΎΡ Π²ΡΠ΅Ρ |
5xx |
4,338 |
0,09 |
4xx |
3,035,454 |
65,86 |
3xx |
350,946 |
7,61 |
2xx |
1,217,559 |
26,42 |
1xx |
12 |
0,00 |
ΠΠΎΠ»Ρ ΡΠ°ΠΉΡΠΎΠ² Π² Π―Π½Π΄Π΅ΠΊΡ. ΠΠ°ΡΠ°Π»ΠΎΠ³Π΅, ΠΎΡΠ²Π΅ΡΠΈΠ²ΡΠΈΡ
2xx ΠΎΡΠ²Π΅ΡΠΎΠΌ ΡΠ΅ΡΠ²Π΅ΡΠ°, Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π²ΡΡΠ΅, ΡΠ΅ΠΌ Ρ ΡΠ°ΠΉΡΠΎΠ² Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ DMOZ: 41% Π² ΡΡΠ°Π²Π½Π΅Π½ΠΈΠΈ Ρ 27%. ΠΡΠΈ ΡΡΠΎΠΌ ΡΠ°Π·Π½ΠΈΡΠ° Π΄ΠΎΡΡΠΈΠ³Π°Π΅ΡΡΡ Π½Π΅ Π·Π° ΡΡΡΡ ΡΠΎΠΊΡΠ°ΡΠ΅Π½ΠΈΡ ΡΠΈΡΠ»Π° ΡΠ°ΠΉΠ»ΠΎΠ², ΠΎΡΠ²Π΅ΡΠΈΠ²ΡΠΈΡ
4xx ΠΊΠΎΠ΄ΠΎΠΌ, Π° ΡΠΎΠΊΡΠ°ΡΠ΅Π½ΠΈΠ΅ΠΌ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° ΡΠ°ΠΉΡΠΎΠ² Ρ Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΎΠΌ ΠΏΠ΅ΡΠ΅Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ Π½Π° Π΄ΡΡΠ³ΠΎΠΉ Π΄ΠΎΠΌΠ΅Π½(3xx). ΠΡΠΈ ΡΠ°Π·Π½ΠΈΡΠ΅ 2xx ΠΊΠΎΠ΄ΠΎΠ² Π½Π° 14%, ΡΠ°Π·Π½ΠΈΡΠ° 4xx ΠΊΠΎΠ΄ΠΎΠ² Π²ΡΠ΅Π³ΠΎ 7%.
ΠΠ½ΠΎΠ³Π΄Π° ΡΠ΅ΡΠ²Π΅Ρ Π½Π°ΡΡΡΠΎΠ΅Π½ ΡΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ, ΡΡΠΎ ΠΈ Π΄Π»Ρ ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΠΎΡΠΈΠ±ΠΊΠΎΠΉ ΠΎΡΠ΄Π°ΡΡ ΠΊΠΎΠ΄ 200( 1, 2, 3). ΠΠ΄Π½Π°ΠΊΠΎ Π²Π΅ΡΠΎΡΡΠ½ΠΎΡΡΠΈ Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΠΎΠ²Π΅Π½ΠΈΡ ΡΡΠΎΠ³ΠΎ ΡΠΎΠ±ΡΡΠΈΡ ΠΏΡΠΈΠ±Π»ΠΈΠ·ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΡΠ°Π²Π½Ρ, Π² ΡΠ²ΡΠ·ΠΈ Ρ ΡΠ΅ΠΌ Π΄Π°Π½Π½ΡΠ΅ ΠΌΠΎΠΆΠ½ΠΎ ΡΡΠΈΡΠ°ΡΡ ΡΠΎΠΏΠΎΡΡΠ°Π²ΠΈΠΌΡΠΌΠΈ.
MIME ΡΠΈΠΏΡ
MIME ΡΠΈΠΏΡ (ΡΠΈΠΏΡ ΡΠΎΠ΄Π΅ΡΠΆΠ°Π½ΠΈΡ) Π²ΠΎΠ·Π²ΡΠ°ΡΠ°ΡΡΡΡ Π²Π΅Π±-ΡΠ΅ΡΠ²Π΅ΡΠ°ΠΌΠΈ Π² HTTP Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ°Ρ , ΡΡΠΎΠ±Ρ ΡΠΎΠΎΠ±ΡΠΈΡΡ ΠΊΠ»ΠΈΠ΅Π½ΡΠ°ΠΌ, ΠΊΠ°ΠΊΠΎΠΉ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ ΠΏΠ΅ΡΠ΅Π΄Π°Π΅ΡΡΡ. ΠΠ½ΠΈ ΡΠΎΡΡΠΎΡΡ ΠΈΠ· ΡΠΈΠΏΠΎΠ² (text, image ΠΈ ΡΠ°ΠΊ Π΄Π°Π»Π΅Π΅), ΠΏΠΎΠ΄ΡΠΈΠΏΠΎΠ² (html ΠΈΠ»ΠΈ jpeg) ΠΈ Π½Π΅ΠΊΠΎΡΠΎΡΡΡ Π½Π΅ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΡΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ², ΡΠ°ΠΊΠΈΡ ΠΊΠ°ΠΊ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠ° Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°. ΠΠ΄ΠΈΠ½ΡΡΠ²Π΅Π½Π½ΡΠΉ MIME ΡΠΈΠΏ, ΠΊΠΎΡΠΎΡΡΠΉ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π²ΠΎΠ·Π²ΡΠ°ΡΠ°ΡΡ ΡΠ°ΠΉΠ» robots.txt β ΡΡΠΎ ΡΠ΅ΠΊΡΡ (text/plain).
Π ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΏΠΎΡΠ»Π΅ ΡΠ±ΠΎΡΠ° ΡΡΠ°ΡΡΡ-ΠΊΠΎΠ΄ΠΎΠ², ΠΎΡΡΠ°Π»ΠΎΡΡ 31593 ΡΠ°ΠΉΡΠΎΠ², ΠΎΡΠ²Π΅ΡΠΈΠ²ΡΠΈΡ
Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΎΠΌ 2xx, Ρ 29055 ΠΈΠ· ΠΊΠΎΡΠΎΡΡΡ
MIME ΡΠΈΠΏ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΡΠ΅Ρ Β«text/plainΒ». Π‘ΠΎΠΎΡΠ²Π΅ΡΡΡΠ²Π΅Π½Π½ΠΎ, 2538 (8,03%) ΡΠ°ΠΉΡΠΎΠ² Π²ΠΎΠ·Π²ΡΠ°ΡΠ°ΡΡ MIME ΡΠΈΠΏ, ΠΎΡΠ»ΠΈΡΠ½ΡΠΉ ΠΎΡ Π²Π΅ΡΠ½ΠΎΠ³ΠΎ (Π² ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠΈ [1] β 109 780 (9,01%) ΡΠ°ΠΉΡΠΎΠ² ΠΈΠΌΠ΅Π»ΠΈ MIME ΡΠΈΠΏ, ΠΎΡΠ»ΠΈΡΠ½ΡΠΉ ΠΎΡ text/plain).
ΠΡΡΠ»Π΅Π΄ΡΠ΅ΠΌΡΠ΅ ΡΠ΅ΡΠ²Π΅ΡΡ ΠΎΡΠ²Π΅ΡΠΈΠ»ΠΈ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΌΠΈ ΡΠ°Π·Π»ΠΈΡΠ½ΡΠΌΠΈ Π·Π½Π°ΡΠ΅Π½ΠΈΡΠΌΠΈ MIME ΡΠΈΠΏΠΎΠ²:
application/octet-stream
application/x-empty
application/x-httpd-php
download/octet-stream
plain/text
text
text/html
text/plain
text/plane
text/text
text/txt
ΠΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠ°
ΠΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠ° ΡΠΈΠΌΠ²ΠΎΠ»ΠΎΠ² ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅Ρ, ΠΊΠ°ΠΊΠΈΠ΅ Π·Π½Π°ΠΊΠΈ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΡΡΡ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΡΠΌ Π½Π°Π±ΠΎΡΠ°ΠΌ Π±ΠΈΡ. Π‘Π°ΠΉΡΡ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΡ, ΡΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°Ρ Π΅Π΅ Π² ΠΏΠ΅ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠΉ content-type Π² Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ΅ ΠΎΡΠ²Π΅ΡΠ° ΡΠ΅ΡΠ²Π΅ΡΠ°.
ΠΠ°Π»ΠΎ ΡΠ°ΠΉΡΠΎΠ² Π²ΠΎΠ·Π²ΡΠ°ΡΠ°ΡΡ Π² Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ΅ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°. ΠΡΠΈ ΡΡΠΎΠΌ, Π² ΡΠ²ΡΠ·ΠΈ ΡΠΎ ΡΠΏΠ΅ΡΠΈΡΠΈΡΠ½ΠΎΡΡΡΡ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π° Π―Π½Π΄Π΅ΠΊΡΠ° (Π² Π½ΡΠΌ ΡΠ°ΡΠΏΠΎΠ»ΠΎΠΆΠ΅Π½Ρ ΡΠΎΠ»ΡΠΊΠΎ ΡΡΡΡΠΊΠΎΡΠ·ΡΡΠ½ΡΠ΅ ΡΠ°ΠΉΡΡ), ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ Ρ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠΎΠΉ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡΡ Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎ ΡΠ΅Π΄ΠΊΠΎ. Π‘ΠΏΠΈΡΠΎΠΊ ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΎΠΊ Π²ΡΠ³Π»ΡΠ΄ΠΈΡ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ:
charset=
charset=iso-8859-1
charset=koi8-r
charset=ru
charset=utf -8
charset=utf8
charset=utf-8
charset=win
charset=windows-1251
Π―Π²Π½ΡΡ
Π»ΡΠΏΠΎΠ² Π½Π΅ Π·Π°ΠΌΠ΅ΡΠ΅Π½ΠΎ, ΠΎΠ΄Π½Π°ΠΊΠΎ ΡΡΠΎΠΈΡ ΠΎΡΠΌΠ΅ΡΠΈΡΡ, ΡΡΠΎ ΠΌΠ½ΠΎΠ³ΠΈΠ΅ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ° Π½Π΅ ΠΌΠΎΠ³ΡΡ Π΄ΠΎΠ³ΠΎΠ²ΠΎΡΠΈΡΡΡΡ, ΠΊΠ°ΠΊ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ ΠΏΠΈΡΠ°ΡΡ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΡΠ½ΠΈΠ²Π΅ΡΡΠ°Π»ΡΠ½ΠΎΠΉ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠΈ UTF-8.
ΠΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ
Π robots.txt Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Π΄ΡΡΠ³ΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠΎΠ»ΡΠΊΠΎ ΠΎΠ΄ΠΈΠ½ Π²ΠΈΠ΄ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅Π². ΠΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅ΠΌ ΡΡΠΈΡΠ°Π΅ΡΡΡ ΡΡΡΠΎΠΊΠ° ΠΏΠΎΡΠ»Π΅ Π·Π½Π°ΠΊΠ° β#β. ΠΡΠΈ ΡΡΠΎΠΌ ΡΡΠ΅Π΄ΠΈ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½Π½ΡΡ ΡΠ°ΠΉΠ»ΠΎΠ² Π±ΡΠ»ΠΈ Π½Π°ΠΉΠ΄Π΅Π½Ρ HTML ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ ββ(16 ΡΠ°ΠΉΠ»ΠΎΠ²), ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ Π² ΡΡΠΈΠ»Π΅ C++ β//β(20 ΡΠ°ΠΉΠ»ΠΎΠ²).
ΠΠ±ΡΡΠ½ΡΠ΅ ΡΠΈΠ½ΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈΠ΅ ΠΎΡΠΈΠ±ΠΊΠΈ
Π‘ΠΏΠ΅ΡΠΈΡΠΈΠΊΠ°ΡΠΈΡ Π³ΠΎΠ²ΠΎΡΠΈΡ ΠΎ ΡΠΎΠΌ, ΡΡΠΎ Π·Π°ΠΏΠΈΡΠΈ Π΄ΠΎΠ»ΠΆΠ½Ρ ΡΠ°Π·Π΄Π΅Π»ΡΡΡΡΡ ΠΏΡΡΡΡΠΌΠΈ ΡΡΡΠΎΠΊΠ°ΠΌΠΈ, ΠΈ Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²ΠΎ ΠΎΡΠΈΠ±ΠΎΠΊ Π²ΡΠ°ΡΠ°ΡΡΡΡ Π²ΠΎΠΊΡΡΠ³ ΡΡΠΎΠ³ΠΎ.
ΠΠΎ-ΠΏΠ΅ΡΠ²ΡΡ , ΠΌΠ½ΠΎΠ³ΠΈΠ΅ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ° Π²ΡΡΠ°Π²Π»ΡΡΡ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΡ ΠΏΡΡΡΡΡ ΡΡΡΠΎΠΊΡ ΠΌΠ΅ΠΆΠ΄Ρ ΡΡΡΠΎΠΊΠΎΠΉ User-agent ΠΈ ΠΏΡΠ°Π²ΠΈΠ»Π°ΠΌΠΈ Π΄Π»Ρ ΡΡΠΎΠ³ΠΎ ΡΠΎΠ±ΠΎΡΠ°. ΠΠ»Ρ Π½Π°ΡΠ΅ΠΉ Π²ΡΠ±ΠΎΡΠΊΠΈ ΡΡΠ° Π΄ΠΎΠ»Ρ ΡΠ°Π²Π½Π° 1,6% (498 ΡΠ°ΠΉΡΠΎΠ²), Π² ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠΈ [1] ΡΠ°ΠΊΠΈΡ ΡΠ°ΠΉΡΠΎΠ² 6,1% (74 043).
ΠΡΠΎΡΠΎΠΉ ΡΠ°ΡΡΠΎΠΉ ΠΎΡΠΈΠ±ΠΊΠΎΠΉ ΡΠ²Π»ΡΠ΅ΡΡΡ ΡΠΎ, ΡΡΠΎ ΠΌΠ΅ΠΆΠ΄Ρ User-Agent ΠΈ ΠΏΡΠ°Π²ΠΈΠ»Π°ΠΌΠΈ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΏΡΠΎΠΏΡΡΠ΅Π½ ΡΠΈΠΌΠ²ΠΎΠ» Π½Π°ΡΠ°Π»Π° Π½ΠΎΠ²ΠΎΠΉ ΡΡΡΠΎΠΊΠΈ. Π‘Π°ΠΉΡΠΎΠ², ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΠΈΡ ΠΏΠΎΠ΄ΠΎΠ±Π½ΡΡ ΠΎΡΠΈΠ±ΠΊΡ, β 1,07% (340), ΡΠ°ΠΉΡΠΎΠ² Ρ Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½ΠΎΠΉ ΠΎΡΠΈΠ±ΠΊΠΎΠΉ Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ DMOZ β 5,33% (64921).
Π’ΡΠ΅ΡΠΈΠΉ ΡΠΈΠΏ ΠΎΡΠΈΠ±ΠΎΠΊ: ΡΠ°ΡΡΠΎ ΠΏΠΈΡΡΡ ΡΡΡΠΎΠΊΡ Ρ Π°Π³Π΅Π½ΡΠΎΠΌ ΠΏΠΎΡΠ»Π΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Disallow, Π½Π΅ ΡΠ°Π·Π΄Π΅Π»ΡΡ ΠΈΡ
ΠΏΡΡΡΠΎΠΉ ΡΡΡΠΎΠΊΠΎΠΉ. Π ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ Π―Π½Π΄Π΅ΠΊΡΠ° 1,45% (457) ΡΠ°ΠΊΠΈΡ
ΡΠ°ΠΉΡΠΎΠ². ΠΡΠΈ ΡΡΠΎΠΌ Π΄ΠΎΠ»Ρ Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½ΡΡ
ΠΎΡΠΈΠ±ΠΎΠΊ Π² ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠΈ [1] Π² 2 ΡΠ°Π·Π° Π±ΠΎΠ»ΡΡΠ΅: 2,68% (32 656 ΡΠ°ΠΉΠ»ΠΎΠ²).
ΠΠ°Π΄Π΅ΡΠΆΠΊΠ° ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ
Π ΠΎΠ±ΠΎΡΡ Π½Π΅ΠΊΠΎΡΠΎΡΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ ΠΎΠ±ΡΠ°ΡΠ°ΡΡ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ Π½Π° Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Crawl-delay (Π·Π°Π΄Π΅ΡΠΆΠΊΠ° ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ, ΡΡΠΎΠ±Ρ ΡΠΎΠ±ΠΎΡ Π½Π΅ ΠΏΠΎΠ»ΠΎΠΆΠΈΠ» ΡΠ΅ΡΠ²Π΅Ρ). MSN, Yahoo! ΠΈ Ask ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡ ΡΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ. Π€Π°ΠΉΠ»ΠΎΠ², Π² ΠΊΠΎΡΠΎΡΡΡ Π²ΡΡΡΠ΅ΡΠ°Π΅ΡΡΡ Π΄Π°Π½Π½Π°Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π°, Π²ΡΠ΅Π³ΠΎ 725.
ΠΠ΅Π±ΠΎΠ»ΡΡΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠ°ΠΉΠ»ΠΎΠ², ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΠΈΡ ΡΠ°ΠΊΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ, ΠΎΠ±ΡΡΠ»Π°Π²Π»ΠΈΠ²Π°Π΅ΡΡΡ ΡΠ΅ΠΌ, ΡΡΠΎ 3 ΠΊΡΡΠΏΠ½Π΅ΠΉΡΠΈΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ Π² ΡΠΎΡΡΠΈΠΉΡΠΊΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠ½Π΅ΡΠ΅ (Π―Π½Π΄Π΅ΠΊΡ, Π Π°ΠΌΠ±Π»Π΅Ρ ΠΈ Google) Π½Π΅ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡ ΡΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ. ΠΠΎΡΡΠΎΠΌΡ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ° Π½Π΅ ΠΏΡΠΈΠ΄Π°ΡΡ Π·Π½Π°ΡΠ΅Π½ΠΈΡ ΡΡΠΎΠΉ Π½Π°ΡΡΡΠΎΠΉΠΊΠ΅.
ΠΠΏΠ΅ΡΠ°ΡΠΊΠΈ
ΠΡΠ΅Π½Ρ ΡΠ°ΡΡΠΎ ΠΏΡΠΈΡΠΈΠ½ΠΎΠΉ ΡΠΎΠ³ΠΎ, ΡΡΠΎ ΡΠΎΠ±ΠΎΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ ΠΈΠ³Π½ΠΎΡΠΈΡΡΠ΅Ρ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΠΈ Π² ΡΠ°ΠΉΠ»Π΅ robots.txt, ΡΠ²Π»ΡΡΡΡΡ Π±Π°Π½Π°Π»ΡΠ½ΡΠ΅ ΠΎΠΏΠ΅ΡΠ°ΡΠΊΠΈ. Π ΡΠΊΠ°Π·Π°Π½Π½ΠΎΠΌ ΡΠΏΠΈΡΠΊΠ΅ ΡΠ°ΠΉΡΠΎΠ² Π²ΡΡΡΠ΅ΡΠ°Π΅ΡΡΡ 18 ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ Π½Π°ΠΏΠΈΡΠ°Π½ΠΈΠΉ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Disallow:
1disallow
diasllow
disaalow
disalljw
disallos
disallov
disallowed
disallowing
disallows
disalow
disaoolw
dissallow
dissalow
dosallow
nodisallow
ppdisallow
robotsdisallow
ΠΡΠΈ ΡΡΠΎΠΌ Π½Π°ΠΏΠΈΡΠ°Π½ΠΈΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ user-agent Π²ΡΠ·ΡΠ²Π°Π΅Ρ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΌΠ΅Π½ΡΡΠ΅ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠ΅ΠΉ. ΠΠ°ΠΉΠ΄Π΅Π½ΠΎ 7 ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ
Π²Π°ΡΠΈΠ°Π½ΡΠΎΠ²:
user_agent
useragent
user-agent=Β»yandexΒ»
user-agents
user-agernt
user-aget
user-Π°gent (ΠΊΠΈΡΠΈΠ»ΠΈΡΠ΅ΡΠΊΠ°Ρ Π±ΡΠΊΠ²Π° Π°)
ΠΡΡΠ³ΠΈΠ΅ ΠΎΡΠΈΠ±ΠΊΠΈ ΠΈ ΠΊΡΡΡΡΠ·Ρ
ΠΠ½ΠΎΠ³ΠΈΠ΅ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ°, Π²Π΅ΡΠΎΡΡΠ½ΠΎ, ΡΠ»ΡΡΠ°Π»ΠΈ ΠΎ ΡΠΎΠΌ, ΡΡΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌ ΡΠ°ΠΉΠ» robots.txt, Π½ΠΎ Π½Π΅ ΡΠΎΠ²ΡΠ΅ΠΌ ΠΏΠΎΠ½ΠΈΠΌΠ°ΡΡ, Π΄Π»Ρ ΡΠ΅Π³ΠΎ ΠΎΠ½ Π½ΡΠΆΠ΅Π½. ΠΠΎΡΡΠΎΠΌΡ ΠΏΠΎΡΠ²ΠΈΠ»ΠΎΡΡ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²ΠΎ ΠΊΡΡΡΡΠ·ΠΎΠ².
Π Π°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊΠΈ ΡΠ°ΠΉΡΠ° blog.kp.ru ΠΈΡΠΊΡΠ΅Π½Π½Π΅ ΠΏΡΠΈΠ²Π΅ΡΡΡΠ²ΡΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ, ΠΏΡΠΈΡΡΠΌ Π΄Π΅Π»Π°ΡΡ ΡΡΠΎ ΡΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎ:
ΠΡΠ΅Π²Π΅Π΄ ΡΠΎΠ±ΠΎΡΡ
ΠΠΎΠ·Π½ΠΈΠΊΠ°Π΅Ρ ΡΠΎΠΌΠ½Π΅Π½ΠΈΠ΅, ΡΡΠΎ ΡΠΎΠ±ΠΎΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ ΠΏΠΎ Π΄ΠΎΡΡΠΎΠΈΠ½ΡΡΠ²Ρ ΠΎΡΠ΅Π½ΡΡ ΠΈΡΠΊΡΠΎΠΌΡΡΠ½ΡΠΉ ΡΠΌΠΎΡ ΡΠ°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊΠΎΠ². ΠΠ΅ ΠΎΡΡΡΠ°ΡΡ ΠΈ ΡΠ°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊΠΈ ΡΠ°ΠΉΡΠ° www.modernglass.ru. ΠΠ½ΠΈ ΠΏΠΎΡΡΡΠΏΠΈΠ»ΠΈ Π΅ΡΡ ΠΏΡΠΎΡΠ΅, ΠΏΡΡΡΠΌ Π½Π΅Ρ ΠΈΡΡΡΡ Π½Π°ΠΆΠ°ΡΠΈΠΉ Π½Π° ΠΊΠ»Π°Π²ΠΈΡΠΈ ΠΏΠΎΠ»ΡΡΠΈΠ² ΡΠΎΠ²Π΅ΡΡΠ΅Π½Π½ΠΎ Π±Π΅ΡΠΏΠΎΠ»Π΅Π·Π½ΡΠΉ ΡΠ°ΠΉΠ»:
sdfsdf
ΠΡΠ° ΠΊΠΎΠΌΠ±ΠΈΠ½Π°ΡΠΈΡ Π±ΡΠΊΠ² ΡΠΎΠ²Π΅ΡΡΠ΅Π½Π½ΠΎ Π±Π΅ΡΠΏΠΎΠ»Π΅Π·Π½Π°, Π² ΠΎΡΠ»ΠΈΡΠΈΠ΅ ΠΎΡ ΠΏΠ΅ΡΠ²ΠΎΠ³ΠΎ ΠΏΡΠΈΠΌΠ΅ΡΠ°, ΠΏΡΠΈ ΠΏΡΠΎΡΠΌΠΎΡΡΠ΅ ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ Ρ ΠΎΡΡ Π±Ρ Π²ΠΎΠ·Π½ΠΈΠΊΠ°Π΅Ρ ΡΠ»ΡΠ±ΠΊΠ°.
ΠΠ΅ΠΊΠΎΡΠΎΡΡΠ΅ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ° ΠΎΠΊΠ°Π·Π°Π»ΠΈΡΡ ΠΎΡΠ΅Π½Ρ ΡΠ°Π΄ΡΡΠ½ΡΠΌΠΈ Ρ
ΠΎΠ·ΡΠ΅Π²Π°ΠΌΠΈ (1. optics.sgu.ru/robots.txt, 2. www.anatomyatlases.org/robots.txt). ΠΠ°Π»ΠΎ ΡΠΎΠ³ΠΎ, ΡΡΠΎ ΠΎΠ½ΠΈ Π·Π΄ΠΎΡΠΎΠ²Π°ΡΡΡΡ Ρ ΡΠΎΠ±ΠΎΡΠΎΠΌ, ΠΎΠ½ΠΈ ΠΏΡΠ΅Π΄Π»Π°Π³Π°ΡΡ Π΅ΠΌΡ ΡΡΠ²ΡΡΠ²ΠΎΠ²Π°ΡΡ ΡΠ΅Π±Ρ ΠΊΠ°ΠΊ Π΄ΠΎΠΌΠ°, ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ ΠΊΠ°ΠΊ ΡΠΊΡΠΈΠΏΡ Π½Π° Π΄ΡΡΡ ΠΏΠΎΠ»ΠΎΠΆΠΈΡ:
1. # Welcome!
2. # Robots.txt file, robots welcome
ΠΠ°Π΄ΠΎ ΠΎΡΠ΄Π°ΡΡ Π΄ΠΎΠ»ΠΆΠ½ΠΎΠ΅, ΡΡΠΎ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅Ρ Π½Π΅ ΡΡΠ°Π» Π½Π°Π³ΡΡΠΆΠ°ΡΡ ΠΏΠ°ΡΡΠ΅Ρ ΡΠ°ΠΉΠ»ΠΎΠ² robots.txt ΠΈ Π·Π°ΠΊΡΡΠ» ΠΏΡΠΈΠ²Π΅ΡΡΡΠ²ΠΈΠ΅ Π² ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ. ΠΠΎ Π΅ΡΡΡ ΠΈ ΡΠ°ΠΊΠΈΠ΅ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ° (pravo-levo.ru/robots.txt), ΠΊΠΎΡΠΎΡΡΠ΅, ΠΆΠ΅Π»Π°Ρ ΠΏΠΎΡ ΠΎΡ ΠΌΠΈΡΡ, Π·Π°Π΄Π°ΡΡ ΠΏΠ°ΡΡΠ΅ΡΡ Π΄Π΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΠΎ Π½Π΅ΡΡΠΈΠ²ΠΈΠ°Π»ΡΠ½ΡΠ΅ Π·Π°Π΄Π°ΡΠΈ:
U s e r β a g e n t : *
D i s a l l o w :
Π‘ΠΎΠ²Π΅ΡΡΠ΅Π½Π½ΠΎ Π½Π΅ ΠΏΠΎΠ½ΡΡΠ½ΠΎ, ΡΠ΅ΠΌ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²ΠΎΠ²Π°Π»ΡΡ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅Ρ, ΠΊΠΎΠ³Π΄Π° ΠΏΠΈΡΠ°Π» Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ ΠΈΠΌΠ΅Π½Π½ΠΎ ΡΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ. ΠΠΎΡΡΡ, ΡΡΠΎ ΠΈ Π΄Π»Ρ Π°Π²ΡΠΎΡΠ° ΡΡΠΎΠ³ΠΎ ΡΠ°ΠΉΠ»Π° ΡΡΠΎ ΠΎΡΡΠ°Π½Π΅ΡΡΡ Π·Π°Π³Π°Π΄ΠΊΠΎΠΉ.
ΠΡΠ²ΠΎΠ΄Ρ Π°Π½Π°Π»ΠΈΠ·Π° robots.txt ΡΠ°ΠΉΡΠΎΠ² Π² Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΠ°Π»ΠΎΠ³Π΅:
1. ΠΠ±ΡΠΈΠΉ ΡΡΠΎΠ²Π΅Π½Ρ Π³ΡΠ°ΠΌΠΎΡΠ½ΠΎΡΡΠΈ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠΎΠ² ΡΡΡΡΠΊΠΎΡΠ·ΡΡΠ½ΠΎΠΉ ΡΠ°ΡΡΠΈ ΠΈΠ½ΡΠ΅ΡΠ½Π΅ΡΠ° Π²ΡΡΠ΅ ΠΏΠΎ ΡΡΠ°Π²Π½Π΅Π½ΠΈΡ Ρ Π·Π°ΠΏΠ°Π΄Π½ΡΠΌΠΈ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ°ΠΌΠΈ (Π΄ΠΎΠ»Ρ ΡΠ°ΠΉΡΠΎΠ², ΠΈΠΌΠ΅ΡΡΠΈΡ
robots. txt, Π±ΠΎΠ»ΡΡΠ΅ (49%), ΡΠ΅ΠΌ Ρ ΡΠ°ΠΉΡΠΎΠ² ΠΈΠ· ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π° DMOZ (27%)).
2. ΠΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠ°ΠΉΡΠΎΠ², ΠΈΠΌΠ΅ΡΡΠΈΡ ΠΊΠΎΠ΄ 3xx (ΠΏΠ΅ΡΠ΅Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ Π½Π° Π΄ΡΡΠ³ΠΎΠ΅ Π΄ΠΎΠΌΠ΅Π½Π½ΠΎΠ΅ ΠΈΠΌΡ), Π½ΠΈΠΆΠ΅ Ρ ΡΠ°ΠΉΡΠΎΠ² Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ Π―Π½Π΄Π΅ΠΊΡΠ°(0.09%), ΡΠ΅ΠΌ Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ DMOZ (7,61%).
3. ΠΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠ°ΠΉΠ»ΠΎΠ² Ρ Π½Π΅Π²Π΅ΡΠ½ΠΎ ΡΠΊΠ°Π·Π°Π½Π½ΡΠΌ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ΠΌ MIME ΡΠΈΠΏΠΎΠ² ΡΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ³ΠΎ Π±Π»ΠΈΠ·ΠΊΠΎ Π² ΠΎΠ±ΠΎΠΈΡ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡΡ , ΡΡΠΎ Π³ΠΎΠ²ΠΎΡΠΈΡ ΠΎ ΡΠΎΠΌ, ΡΡΠΎ ΡΠ°ΠΊΠΎΠΉ ΡΠΈΠΏ ΠΎΡΠΈΠ±ΠΎΠΊ ΠΈΠ½ΡΠ΅ΡΠ½Π°ΡΠΈΠΎΠ½Π°Π»Π΅Π½ ΠΈ Π½Π΅ Π·Π°Π²ΠΈΡΠΈΡ ΠΎΡ ΡΠ·ΡΠΊΠΎΠ²ΠΎΠΉ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΠΈ ΡΠΏΠΈΡΠΊΠ° ΡΠ°ΠΉΠ»ΠΎΠ².
4. ΠΠ»Π°Π΄Π΅Π»ΡΡΡ ΡΠ°ΠΉΡΠΎΠ² Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ Π―Π½Π΄Π΅ΠΊΡΠ° Π½Π΅ ΡΡΡΡΠΆΠ΄Π°ΡΡ ΡΠ΅Π±Ρ ΡΠΊΠ°Π·Π°Π½ΠΈΠ΅ΠΌ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠΈ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°, ΠΏΠ΅ΡΠ΅Π΄Π°Π²Π°Π΅ΠΌΠΎΠ³ΠΎ ΡΠΎΠ±ΠΎΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ. Π£ ΡΠ΅Ρ ΠΆΠ΅, ΠΊΡΠΎ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°Π΅Ρ ΡΡΠΎΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ, ΡΠ°ΡΡΠΎ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ Ρ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΡΠΌ Π½Π°ΠΏΠΈΡΠ°Π½ΠΈΠ΅ΠΌ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠΈ utf-8.
5. Π§Π°ΡΡΠΎ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ° Π²ΠΌΠ΅ΡΡΠΎ ΡΠΊΠ°Π·Π°Π½Π½ΡΡ Π² ΡΠΏΠ΅ΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅Π² Β«#Β» ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠΈΡΡΡΡΠΈΠ΅ ΡΠΈΠΌΠ²ΠΎΠ»Ρ ΠΈΠ· Π΄ΡΡΠ³ΠΈΡ ΡΠ·ΡΠΊΠΎΠ²: HTML, C++.
6. Π£ ΡΠ°ΠΉΡΠΎΠ² Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ Π―Π½Π΄Π΅ΠΊΡΠ° Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΡΠ΅ΠΆΠ΅ Π²ΡΡΡΠ΅ΡΠ°ΡΡΡΡ ΠΎΡΠΈΠ±ΠΊΠΈ Π² ΡΡΡΡΠΊΡΡΡΠ΅ ΡΠ°ΠΌΠΎΠ³ΠΎ ΡΠ°Π»Π° robots.txt: Π½Π°Π»ΠΈΡΠΈΠ΅ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΠΎΠ³ΠΎ ΡΠΈΠΌΠ²ΠΎΠ»Π° ΠΏΠ΅ΡΠ΅Π½ΠΎΡΠ° ΡΡΡΠΎΠΊΠΈ ΠΌΠ΅ΠΆΠ΄Ρ User-Agent ΠΈ Disallow, ΠΏΡΠΎΠΏΡΡΠΊ ΡΠΈΠΌΠ²ΠΎΠ»Π° ΠΏΠ΅ΡΠ΅Π½ΠΎΡΠ° ΡΡΡΠΎΠΊΠΈ ΠΌΠ΅ΠΆΠ΄Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π°ΠΌΠΈ Π΄Π»Ρ ΡΠ°Π·Π½ΡΡ
ΡΠ΅ΠΊΡΠΈΠΉ.
7. ΠΠ½ΠΎΠ³ΠΈΠ΅ ΠΎΡΠ΅ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΠ΅ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ°, ΠΊΠ°ΠΊ ΠΈ Π·Π°ΡΡΠ±Π΅ΠΆΠ½ΡΠ΅, Π΄ΠΎΠΏΡΡΠΊΠ°ΡΡ ΠΎΡΡΠΎΠ³ΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΠ΅ ΠΎΡΠΈΠ±ΠΊΠΈ ΠΏΡΠΈ Π½Π°ΠΏΠΈΡΠ°Π½ΠΈΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² (Disallow ΠΈ User-Agent).
ΠΡΡΠΎΡΠ½ΠΈΠΊΠΈ:
1. robots.txt Adventure
2. Dmoz: ΠΠ°ΠΆΠ΄ΡΠΉ ΡΠ΅ΡΠ²Π΅ΡΡΡΠΉ ΡΠ°ΠΉΡ ΠΈΠΌΠ΅Π΅Ρ ΠΎΡΠΈΠ±ΠΊΠΈ Π² robots.txt
3. ΠΡΠ΅ ΠΎ ΡΠ°ΠΉΠ»Π΅ robots.txt ΠΏΠΎ-ΡΡΡΡΠΊΠΈ
ΠΠ»Π΅Π³ Π‘Π°Ρ Π½ΠΎ, ΠΠ²Π³Π΅Π½ΠΈΠΉ Π‘Π΅Π»ΠΈΠ½, www.interlabs.ru
ΠΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ robots.txt Π΄Π»Ρ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ° ΠΈ ΡΠ½ΠΈΠΆΠ΅Π½ΠΈΡ Π½Π°Π³ΡΡΠ·ΠΊΠΈ Π½Π° Π½Π΅Π³ΠΎ β ΠΠ°Π·Π° Π·Π½Π°Π½ΠΈΠΉ
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΎΠ±ΠΎΡΡ ΠΈΠ»ΠΈ ΡΠ°ΠΊ Π½Π°Π·ΡΠ²Π°Π΅ΠΌΡΠ΅ Π²Π΅Π±-ΠΏΠ°ΡΠΊΠΈ/ΡΠΎΠ±ΠΎΡΡ ΠΌΠΎΠ³ΡΡ Π²ΡΠ·Π²Π°ΡΡ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΡΡ Π½Π°Π³ΡΡΠ·ΠΊΡ Π½Π° Π²Π°Ρ ΡΠ°ΠΉΡ, ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ Π΅ΡΠ»ΠΈ Π²Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΠ΅ ΡΠ°ΠΊΠΈΠ΅ ΠΏΠ»Π°ΡΡΠΎΡΠΌΡ, ΠΊΠ°ΠΊ WordPress.
Π ΡΡΠΎΠΉ ΡΡΠ°ΡΡΠ΅ ΡΠΎΠ΄Π΅ΡΠΆΠΈΡΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ Π±ΡΡΡΡΡΡ ΡΠΏΠΎΡΠΎΠ±ΠΎΠ² ΡΠΌΠ΅Π½ΡΡΠΈΡΡ Π½Π°Π³ΡΡΠ·ΠΊΡ ΠΎΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ², Π½ΠΎ ΠΌΡ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅ΠΌ Π²Π°ΠΌ ΠΏΡΠΎΠΊΠΎΠ½ΡΡΠ»ΡΡΠΈΡΠΎΠ²Π°ΡΡΡΡ Ρ Π²Π΅Π±-Π΄ΠΈΠ·Π°ΠΉΠ½Π΅ΡΠΎΠΌ/ΠΏΡΠΎΡΠ΅ΡΡΠΈΠΎΠ½Π°Π»ΠΎΠΌ Π΄Π»Ρ ΠΏΠΎΠ»ΡΡΠ΅Π½ΠΈΡ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ ΠΎ ΡΠΎΠΌ, ΠΊΠ°ΠΊ ΠΈΡ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎ ΡΠ΅Π°Π»ΠΈΠ·ΠΎΠ²Π°ΡΡ.
ΠΠΎΡ ΠΎΠ±ΡΠ°Π·Π΅Ρ robots.txt, ΠΊΠΎΡΠΎΡΡΠΉ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ΠΈΡ Π΄Π»Ρ WP (Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΠΈΡΡ Π΄Π»Ρ Π»ΡΠ±ΠΎΠ³ΠΎ Π²Π΅Π±-ΡΠ°ΠΉΡΠ° ΠΈ ΠΏΠ»Π°ΡΡΠΎΡΠΌΡ).
ΠΠ°ΠΌ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°ΡΡ ΡΡΠΎΡ ΡΠ°ΠΉΠ» Π½Π° ΡΠ²ΠΎΠ΅ΠΌ ΠΊΠΎΠΌΠΏΡΡΡΠ΅ΡΠ΅ ΠΈ Π·Π°Π³ΡΡΠ·ΠΈΡΡ Π΅Π³ΠΎ ΡΠ΅ΡΠ΅Π· FTP ΠΈΠ»ΠΈ ΡΠ°ΠΉΠ»ΠΎΠ²ΡΠΉ ΠΌΠ΅Π½Π΅Π΄ΠΆΠ΅Ρ ΠΏΠ°Π½Π΅Π»ΠΈ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ (Π² cPanel Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΡΠΎΠ·Π΄Π°ΡΡ ΡΡΠΎΡ ΡΠ°ΠΉΠ», ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ ΡΠ°ΠΉΠ»ΠΎΠ²ΡΠΉ ΠΌΠ΅Π½Π΅Π΄ΠΆΠ΅Ρ cPanel Π½Π°ΠΏΡΡΠΌΡΡ), ΠΈ ΠΏΠΎΠΌΠ΅ΡΡΠΈΡΡ Π² ΠΊΠΎΡΠ½Π΅Π²ΡΡ ΠΏΠ°ΠΏΠΊΡ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· Π²Π°ΡΠΈΡ Π΄ΠΎΠΌΠ΅Π½Π½ΡΡ ΠΈΠΌΠ΅Π½ (ΡΠ° ΠΆΠ΅ ΠΏΠ°ΠΏΠΊΠ°, Π³Π΄Π΅ Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡ Π²Π°Ρ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΡΠ°ΠΉΠ» index.php / index.html).
ΠΡΠΎΡΡΠΎ ΡΠΊΠΎΠΏΠΈΡΡΠΉΡΠ΅/Π²ΡΡΠ°Π²ΡΡΠ΅ ΠΌΠ΅ΠΆΠ΄Ρ ΡΡΡΠΎΠΊΠ°ΠΌΠΈ Β«βΒ» Π½ΠΈΠΆΠ΅:
β
ΠΠ°Π΄Π΅ΡΠΆΠΊΠ° ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ: 30 ΠΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΡΠΊΠΈΠΉ Π°Π³Π΅Π½Ρ: * ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /cgi-bin/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /wp-admin/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /wp-includes/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /wp-ΠΊΠΎΠ½ΡΠ΅Π½Ρ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΡΡΠ΅ΠΊΠ±ΡΠΊ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /index.php ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /xmlrpc.com ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /wp-login.php ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /wp-content/plugins/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /comments/feed/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /Π°Π΄ΠΌΠΈΠ½ΠΈΡΡΡΠ°ΡΠΎΡ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /bin/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΠΊΠ΅Ρ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΠΊΠ»ΠΈ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½ΡΡ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /Π²ΠΊΠ»ΡΡΠ°Π΅Ρ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΡΡΡΠ°Π½ΠΎΠ²ΠΊΠ°/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΡΠ·ΡΠΊ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΠΌΠ°ΠΊΠ΅ΡΡ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /Π±ΠΈΠ±Π»ΠΈΠΎΡΠ΅ΠΊΠΈ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΠΆΡΡΠ½Π°Π»Ρ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΠΌΠΎΠ΄ΡΠ»ΠΈ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /ΠΏΠ»Π°Π³ΠΈΠ½Ρ/ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: /tmp/ User-agent: Π―Π½Π΄Π΅ΠΊΡ ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: / ΠΠ³Π΅Π½Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ: Baiduspider ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: / ΠΠ³Π΅Π½Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ: Googlebot-Image ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: / ΠΠ³Π΅Π½Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ: bingbot ΠΠ°Π΄Π΅ΡΠΆΠΊΠ° ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ: 10 ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ: ΠΠ³Π΅Π½Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ: Slurp ΠΠ°Π΄Π΅ΡΠΆΠΊΠ° ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ: 10 ΠΠ°ΠΏΡΠ΅ΡΠΈΡΡ:
β
ΠΡΠΈΠ²Π΅Π΄Π΅Π½Π½ΡΠΉ Π²ΡΡΠ΅ ΠΏΡΠΈΠΌΠ΅Ρ Π·Π°ΠΌΠ΅Π΄Π»ΡΠ΅Ρ ΡΠ°Π±ΠΎΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ
ΡΠΈΡΡΠ΅ΠΌ, ΡΡΠΎΠ±Ρ ΠΎΠ½ΠΈ Π½Π΅ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π»ΠΈ Π²Π°Ρ ΡΠ°ΠΉΡ Π°Π³ΡΠ΅ΡΡΠΈΠ²Π½ΠΎ ΠΏΠΎ ΠΎΡΠ΅ΡΠ΅Π΄ΠΈ (ΡΡΠΎ Π½Π΅ Π²Π»ΠΈΡΠ΅Ρ Π½Π° ΡΠ°ΡΡΠΎΡΡ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ° ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΠΎΠΉ), ΠΊΠΎΠ΄ ΡΠ°ΠΊΠΆΠ΅ Π±Π»ΠΎΠΊΠΈΡΡΠ΅Ρ Π½Π΅ΠΊΠΎΡΠΎΡΡΡ
ΠΏΠ°ΡΠΊΠΎΠ², ΡΠ°ΠΊΠΈΡ
ΠΊΠ°ΠΊ Baiduspider (ΠΊΠΈΡΠ°ΠΉΡΠΊΠ°Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²Π°Ρ ΡΠΈΡΡΠ΅ΠΌΠ°, ΠΊΠΎΡΠΎΡΡΡ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΠΎΡΠΊΠ»ΡΡΠΈΡΡ, Π΅ΡΠ»ΠΈ Π²Π°Ρ ΡΠ°ΠΉΡ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±ΡΡΡ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ Π½Π° ΠΊΠΈΡΠ°ΠΉΡΠΊΠΎΠΌ ΡΠ·ΡΠΊΠ΅), Π―Π½Π΄Π΅ΠΊΡ (ΡΠΎΡΡΠΈΠΉΡΠΊΠΈΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ, ΠΎΡΡΠ°Π²ΡΡΠ΅ Π²ΠΊΠ»ΡΡΠ΅Π½Π½ΠΎΠΉ, Π΅ΡΠ»ΠΈ Ρ Π²Π°Ρ ΡΡΡΡΠΊΠΈΠΉ Π²Π΅Π±-ΡΠ°ΠΉΡ ΠΈΠ»ΠΈ ΠΏΠΎΡΠ΅ΡΠΈΡΠ΅Π»ΠΈ ΠΈΠ· Π ΠΎΡΡΠΈΠΈ), Π° ΡΠ°ΠΊΠΆΠ΅ Π½Π΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ Π±ΠΎΡΡ Google Image ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°ΡΡ Π²Π°Ρ ΡΠ°ΠΉΡ. ΠΡΠ»ΠΈ Π²Π°ΠΌ Π½ΡΠΆΠ΅Π½ ΠΊΠ°ΠΊΠΎΠΉ-Π»ΠΈΠ±ΠΎ ΠΈΠ· ΡΡΠΈΡ
Π΄Π²ΠΈΠΆΠΊΠΎΠ², ΠΏΡΠΎΡΡΠΎ ΡΠ΄Π°Π»ΠΈΡΠ΅ ΡΠ°ΡΡΡ ΠΌΠ΅ΠΆΠ΄Ρ Β«User-agentΒ» ΠΈ Β«DisallowΒ» ΠΈ ΠΎΡΡΠ°Π²ΡΡΠ΅ ΠΎΡΡΠ°Π²ΡΠΈΠΉΡΡ ΠΊΠΎΠ΄.
ΠΡΠΎΠΌΠ΅ ΡΠΎΠ³ΠΎ, Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΡΠΏΡΠ°Π²Π»ΡΡΡ ΡΠ΅ΠΌ, ΠΊΠ°ΠΊ Google ΠΈ Bing ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡ Π²Π°Ρ ΡΠ°ΠΉΡ, ΠΈ ΠΏΡΠΈΠ½ΠΈΠΌΠ°ΡΡ ΠΌΠ΅ΡΡ Π΄Π»Ρ ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡΠ°Π»ΡΠ½ΠΎΠ³ΠΎ Π·Π°ΠΌΠ΅Π΄Π»Π΅Π½ΠΈΡ ΠΈΡ ΡΠ°Π±ΠΎΡΡ.
ΠΠ»Ρ ΠΏΠΎΠ»ΡΡΠ΅Π½ΠΈΡ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ ΠΎ Google Π²Π°ΠΌ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π½Π°ΡΡΡΠΎΠΈΡΡ ΡΡΠ΅ΡΠ½ΡΡ Π·Π°ΠΏΠΈΡΡ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠΎΠ² Google Web Master https://search.google.com/search-console/about ΠΈ ΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΡ ΠΈΡ ΡΠΊΠ°Π·Π°Π½ΠΈΡΠΌ ΠΎ ΡΠΎΠΌ, ΠΊΠ°ΠΊ ΠΎΠΏΡΠΈΠΌΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ ΡΠΊΠΎΡΠΎΡΡΡ ΠΈ ΡΠΊΠΎΡΠΎΡΡΡ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ.
ΠΠ»Ρ Bing: Π·Π°ΡΠ΅Π³ΠΈΡΡΡΠΈΡΡΠΉΡΠ΅ΡΡ ΠΈΠ»ΠΈ Π²ΠΎΠΉΠ΄ΠΈΡΠ΅ Π² ΡΠ²ΠΎΠΈ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΡ Π΄Π»Ρ Π²Π΅Π±-ΠΌΠ°ΡΡΠ΅ΡΠΎΠ² ΠΏΠΎ Π°Π΄ΡΠ΅ΡΡ https://www.bing.com/webmasters/about ΠΈ ΡΠ»Π΅Π΄ΡΠΉΡΠ΅ ΠΈΡ ΡΠΊΠ°Π·Π°Π½ΠΈΡΠΌ ΠΏΠΎ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ Π½Π°ΡΡΡΠΎΠ΅ΠΊ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ.
Π‘ΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²ΠΎ Π΄ΡΡΠ³ΠΈΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΉ, ΠΊΠΎΡΠΎΡΡΠ΅ Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΠΏΡΠΈΠΌΠ΅Π½ΠΈΡΡ ΠΊ ΡΠ°ΠΉΠ»Ρ robots.txt, Π½ΠΎ ΠΌΡ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅ΠΌ ΠΎΠ±ΡΠ°ΡΠ°ΡΡΡΡ ΠΊ ΠΏΡΠΎΡΠ΅ΡΡΠΈΠΎΠ½Π°Π»Π°ΠΌ, ΡΡΠΎΠ±Ρ ΠΏΠΎΠ»ΡΡΠΈΡΡ Π½Π°ΠΈΠ»ΡΡΡΠΈΠ΅ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ ΠΈ Π½Π΅ Π½Π°ΡΡΡΠΈΡΡ ΡΠ°Π±ΠΎΡΡ Π²Π°ΡΠ΅Π³ΠΎ Π²Π΅Π±-ΡΠ°ΠΉΡΠ°.
ΠΠ»Ρ ΠΎΠΏΡΡΠ½ΡΡ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ:
Π Π΄ΠΎΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ ΠΊ ΡΠ΅Π°Π»ΠΈΠ·Π°ΡΠΈΠΈ robots. txt Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ Π·Π°Π±Π»ΠΎΠΊΠΈΡΠΎΠ²Π°ΡΡ Π½Π΅ΠΆΠ΅Π»Π°ΡΠ΅Π»ΡΠ½ΡΡ
ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ
ΡΠΎΠ±ΠΎΡΠΎΠ² (ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ ΡΠ΅Ρ
, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ ΠΈΠ³Π½ΠΎΡΠΈΡΡΡΡ Π²Π°Ρ ΡΠ°ΠΉΠ» robots.txt), ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΉ ΠΊΠΎΠ΄ .htaccess:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Baiduspider [ΠΠΠ]
RewriteCond %{HTTP_USER_AGENT} Baiduspider/2.0 [ΠΠΠ]
RewriteCond %{HTTP_USER_AGENT} Baiduspider/3.0 [ΠΠΠ]
RewriteCond %{HTTP_USER_AGENT} MJ12bot/v1.4.5 [ΠΠΠ]
RewriteCond %{HTTP_USER_AGENT} MJ12 [ΠΠΠ]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot/5.1 [ΠΠΠ]
RewriteCond %{HTTP_USER_AGENT} Π―Π½Π΄Π΅ΠΊΡΠΠΎΡ/3.0 [ΠΠΠ]
RewriteCond %{HTTP_USER_AGENT} YandexImages/3.0 [ΠΠΠ]
RewriteCond %{HTTP_USER_AGENT} Π―Π½Π΄Π΅ΠΊΡΠΠΎΡ 9yandex.com$Β» bad_bot_block
Π‘ ΡΠΊΠΎΡΡΠΌΠΈ start ΠΈ end-of-string Π² ΡΠ΅Π³ΡΠ»ΡΡΠ½ΠΎΠΌ Π²ΡΡΠ°ΠΆΠ΅Π½ΠΈΠΈ Π²Ρ Π² ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΌ ΠΏΡΠΎΠ²Π΅ΡΡΠ΅ΡΠ΅, ΡΡΠΎ ΡΡΡΠΎΠΊΠ° User-Agent ΡΠΎΡΠ½ΠΎ ΡΠ°Π²Π½Π° Β«yandex.comΒ» (Π·Π° ΠΈΡΠΊΠ»ΡΡΠ΅Π½ΠΈΠ΅ΠΌ ΡΠΎΠ³ΠΎ, ΡΡΠΎ .
β ΡΡΠΎ Π»ΡΠ±ΠΎΠΉ ΡΠΈΠΌΠ²ΠΎΠ» ), ΡΡΠΎ ΡΠ²Π½ΠΎ Π½Π΅ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΡΠ΅Ρ ΡΠΊΠ°Π·Π°Π½Π½ΠΎΠΌΡ user-agent ΡΡΡΠΎΠΊΠ°.
ΠΠ΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡΠΎΠ²Π΅ΡΠΈΡΡ, ΡΡΠΎ User-Agent
Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΎΠΊ ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ Β«Π―Π½Π΄Π΅ΠΊΡΠΠΎΡΒ» (ΠΈΠ»ΠΈ Β«yandex.comΒ»). ΠΠ΄Π΅ΡΡ ΡΠ°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ΅Π³ΠΈΡΡΡΠΎΠ·Π°Π²ΠΈΡΠΈΠΌΠΎΠ΅ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΠ΅, ΡΠ°ΠΊ ΠΊΠ°ΠΊ Π½Π°ΡΡΠΎΡΡΠΈΠΉ Π±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡΠ° Π½Π΅ ΠΌΠ΅Π½ΡΠ΅Ρ ΡΠ΅Π³ΠΈΡΡΡ.
ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π²ΠΌΠ΅ΡΡΠΎ ΡΡΠΎΠ³ΠΎ ΠΏΠΎΠΏΡΠΎΠ±ΡΠΉΡΠ΅ ΡΠ»Π΅Π΄ΡΡΡΠ΅Π΅:
SetEnvIf User-Agent "YandexBot" bad_bot_block
ΠΠΌΠ΅ΡΡΠΎ ΡΡΠΎΠ³ΠΎ ΡΠ°ΡΡΠΌΠΎΡΡΠΈΡΠ΅ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ BrowserMatch
, ΠΊΠΎΡΠΎΡΠ°Ρ ΡΠ²Π»ΡΠ΅ΡΡΡ ΡΡΠ»ΡΠΊΠΎΠΌ Π΄Π»Ρ SetEnvIf User-Agent
.
ΠΡΠ»ΠΈ Π²Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΠ΅ Apache 2.4, Π²Π°ΠΌ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Π²Π°ΡΠΈΠ°Π½Ρ Require
(Π²ΡΠΎΡΠΎΠΉ) Π΄Π²ΡΡ
Π²Π°ΡΠΈΡ
Π±Π»ΠΎΠΊΠΎΠ² ΠΊΠΎΠ΄Π°. ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Order
, Deny
ΠΈ Allow
ΠΎΡΠ½ΠΎΡΡΡΡΡ ΠΊ Apache 2.2 ΠΈ ΡΠ°Π½Π΅Π΅ ΡΡΡΠ°ΡΠ΅Π»ΠΈ Π² Apache 2.4.
ΠΠ΄Π½Π°ΠΊΠΎ ΡΠ°ΡΡΠΌΠΎΡΡΠΈΡΠ΅ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ robots.txt
Π²ΠΌΠ΅ΡΡΠΎ Π±Π»ΠΎΠΊΠΈΡΠΎΠ²ΠΊΠΈ ΠΏΡΠΈ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΠΈ Π² ΠΏΠ΅ΡΠ²ΡΡ ΠΎΡΠ΅ΡΠ΅Π΄Ρ. Π―Π½Π΄Π΅ΠΊΡ ΡΠΊΠΎΠ±Ρ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°Π΅Ρ robots.txt
.
ΠΠ°ΡΠ΅Π³ΠΈΡΡΡΠΈΡΡΠΉΡΠ΅ΡΡ ΠΈΠ»ΠΈ Π²ΠΎΠΉΠ΄ΠΈΡΠ΅ Π² ΡΠΈΡΡΠ΅ΠΌΡ
ΠΠ°ΡΠ΅Π³ΠΈΡΡΡΠΈΡΡΠΉΡΠ΅ΡΡ Ρ ΠΏΠΎΠΌΠΎΡΡΡ Google ΠΠ°ΡΠ΅Π³ΠΈΡΡΡΠΈΡΠΎΠ²Π°ΡΡΡΡ ΡΠ΅ΡΠ΅Π· Facebook ΠΠ°ΡΠ΅Π³ΠΈΡΡΡΠΈΡΡΠΉΡΠ΅ΡΡ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ Π°Π΄ΡΠ΅Ρ ΡΠ»Π΅ΠΊΡΡΠΎΠ½Π½ΠΎΠΉ ΠΏΠΎΡΡΡ ΠΈ ΠΏΠ°ΡΠΎΠ»ΡΠΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°ΡΡ ΠΊΠ°ΠΊ Π³ΠΎΡΡΡ
ΠΠ»Π΅ΠΊΡΡΠΎΠ½Π½Π°Ρ ΠΏΠΎΡΡΠ°Π’ΡΠ΅Π±ΡΠ΅ΡΡΡ, Π½ΠΎ Π½Π΅ ΠΎΡΠΎΠ±ΡΠ°ΠΆΠ°Π΅ΡΡΡ
ΠΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°ΡΡ ΠΊΠ°ΠΊ Π³ΠΎΡΡΡ
ΠΠ»Π΅ΠΊΡΡΠΎΠ½Π½Π°Ρ ΠΏΠΎΡΡΠ°Π’ΡΠ΅Π±ΡΠ΅ΡΡΡ, Π½ΠΎ Π½Π΅ ΠΎΡΠΎΠ±ΡΠ°ΠΆΠ°Π΅ΡΡΡ
ΠΠ°ΠΆΠΈΠΌΠ°Ρ Β«ΠΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°ΡΡ ΡΠ²ΠΎΠΉ ΠΎΡΠ²Π΅ΡΒ», Π²Ρ ΡΠΎΠ³Π»Π°ΡΠ°Π΅ΡΠ΅ΡΡ Ρ Π½Π°ΡΠΈΠΌΠΈ ΡΡΠ»ΠΎΠ²ΠΈΡΠΌΠΈ ΠΎΠ±ΡΠ»ΡΠΆΠΈΠ²Π°Π½ΠΈΡ ΠΈ ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠΆΠ΄Π°Π΅ΡΠ΅, ΡΡΠΎ ΠΏΡΠΎΡΠΈΡΠ°Π»ΠΈ ΠΈ ΠΏΠΎΠ½ΡΠ»ΠΈ Π½Π°ΡΡ ΠΏΠΎΠ»ΠΈΡΠΈΠΊΡ ΠΊΠΎΠ½ΡΠΈΠ΄Π΅Π½ΡΠΈΠ°Π»ΡΠ½ΠΎΡΡΠΈ ΠΈ ΠΊΠΎΠ΄Π΅ΠΊΡ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΡ.