Π Π°Π·Π½ΠΎΠ΅

Robots txt для вордпрСсс: Π€Π°ΠΉΠ» robots.txt для WordPress | REG.RU

24.07.2023

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅

Как ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ ΠΈ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ robots.txt для WordPress

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ robots.txt

Robots.txt β€” это тСкстовый Ρ„Π°ΠΉΠ», ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ добавляСтся Π½Π° сайт ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ ΠΈΠ»ΠΈ Π·Π°ΠΏΡ€Π΅Ρ‚Π° индСксации страниц Π²Π΅Π±-рСсурса Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ поисковых систСм. Robots.txt содСрТит инструкции, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ говорят поисковым Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ, ΠΊΠ°ΠΊΠΈΠ΅ страницы ΠΈΠ»ΠΈ Ρ€Π°Π·Π΄Π΅Π»Ρ‹ сайта ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска, Π° ΠΊΠ°ΠΊΠΈΠ΅ Π½Π΅Ρ‚.

Для Ρ‡Π΅Π³ΠΎ Π½ΡƒΠΆΠ΅Π½ robots.txt

Robots.txt Π½ΡƒΠΆΠ΅Π½ для настройки индСксации страниц ΠΈ Ρ€Π°Π·Π΄Π΅Π»ΠΎΠ² Π²Π΅Π±-рСсурсов. Π‘ Π΅Π³ΠΎ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΌΠΎΠΆΠ½ΠΎ ΡƒΠ»ΡƒΡ‡ΡˆΠΈΡ‚ΡŒ SEO-ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡŽ сайта ΠΈ ΡƒΠ»ΡƒΡ‡ΡˆΠΈΡ‚ΡŒ распрСдСлСниС Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ°. Π’Π°ΠΆΠ½ΠΎ ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ Ρ„Π°ΠΉΠ» robots.txt Π½Π΅ являСтся инструмСнтом бСзопасности ΠΈ Π½Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅, Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½Π½Ρ‹Π΅ Π½Π° сайтС.

Π€Π°ΠΉΠ» robots.txt выполняСт ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ Π·Π°Π΄Π°Ρ‡ΠΈ: 

  1. Π“ΠΎΠ²ΠΎΡ€ΠΈΡ‚ поисковым Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ, ΠΊΠ°ΠΊΠΈΠ΅ страницы сайта Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π±Ρ‹Ρ‚ΡŒ проиндСксированы, Π° ΠΊΠ°ΠΊΠΈΠ΅ Π½Π΅Ρ‚: Ρ‚Π°ΠΊ robots.txt Ρ€Π΅Π³ΡƒΠ»ΠΈΡ€ΡƒΠ΅Ρ‚ восприятиС сайта поисковыми систСмами. 
  2. Π‘ΠΊΡ€Ρ‹Π²Π°Π΅Ρ‚ ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, Ρ€Π°ΡΠΏΠΎΠ»ΠΎΠΆΠ΅Π½Π½ΡƒΡŽ Π½Π° сайтС, ΠΈΠ· поисковых индСксов. НапримСр, Π΄Π°Π½Π½Ρ‹Π΅ ΠΏΠ»Π°Ρ‚Π΅ΠΆΠ½Ρ‹Ρ… ΠΊΠ°Ρ€Ρ‚ ΠΈΠ»ΠΈ личная информация ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ скрыты с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΉ настройки robots.txt.
  3. Π—Π°Ρ‰ΠΈΡ‰Π°Π΅Ρ‚ сСрвСр ΠΈ рСсурсы сайта ΠΎΡ‚ Π±ΠΎΡ‚ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΠΎΠ³ΡƒΡ‚ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π΅Π³ΠΎ Π² поисках уязвимостСй Π² Π·Π°Ρ‰ΠΈΡ‚Π΅.
  4. Π£Π²Π΅Π»ΠΈΡ‡ΠΈΠ²Π°Π΅Ρ‚ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ сайта. Если Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ страницы вашСго сайта Π½Π΅ Π½ΡƒΠΆΠ΄Π°ΡŽΡ‚ΡΡ Π² индСксации, Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠΉΡ‚Π΅ ΠΈΡ… с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ robots.txt – это ΡƒΠΌΠ΅Π½ΡŒΡˆΠΈΡ‚ Ρ€Π°Π·ΠΌΠ΅Ρ€ сайта ΠΈ количСство запросов ΠΊ сСрвСру, Ρ‡Ρ‚ΠΎ, Π² свою ΠΎΡ‡Π΅Ρ€Π΅Π΄ΡŒ, ускорит Π·Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ страниц.
  5. Π£Π»ΡƒΡ‡ΡˆΠ°Π΅Ρ‚ SEO-ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡŽ сайта. Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ настройки robots.txt  Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ Π²Π°ΠΆΠ½Ρ‹Π΅ страницы для индСксации ΠΈ отобраТСния Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска. 

Π“Π΄Π΅ располоТСн robots.txt Π½Π° сайтС с CMS WordPress

На сайтС с CMS WordPress Ρ„Π°ΠΉΠ» robots.txt находится Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΠΈ сайта. Если адрСс вашСго сайта https://example.ru, Ρ‚ΠΎ Ρ„Π°ΠΉΠ» robots.txt Π±ΡƒΠ΄Π΅Ρ‚ находится ΠΏΠΎ адрСсу https://example.ru/robots.txt. 

ΠŸΡ€ΠΈ Π½Π°Π»ΠΈΡ‡ΠΈΠΈ Ρ„Π°ΠΉΠ»Π° robots.txt Π½Π° сайтС Π²Ρ‹ ΡƒΠ²ΠΈΠ΄ΠΈΡ‚Π΅ Π½Π°Π±ΠΎΡ€ ΠΏΡ€Π°Π²ΠΈΠ» индСксации:

Π§Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ ΠΈΠ»ΠΈ ΠΈΠ·ΠΌΠ΅Π½ΠΈΡ‚ΡŒ содСрТаниС Ρ„Π°ΠΉΠ»Π° robots. txt ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ любой тСкстовый Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€ (Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Emacs, Π‘Π»ΠΎΠΊΠ½ΠΎΡ‚, TextEdit) ΠΈΠ»ΠΈ ΠΏΠ»Π°Π³ΠΈΠ½, Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Π°Π½Π½Ρ‹ΠΉ для управлСния robots.txt (Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, WordPress Robots.txt File, All in One SEO Pack ΠΈΠ»ΠΈ Yoast SEO). Если Π²Ρ‹ Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚Π΅ со стандартной ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΠ΅ΠΉ WordPress, Ρ„Π°ΠΉΠ» robots.txt Π±ΡƒΠ΄Π΅Ρ‚ автоматичСски создан ΠΏΡ€ΠΈ установкС CMS. Если Π²Ρ‹ использовали ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½ΡƒΡŽ настройку для Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠΈ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ², Ρ‚ΠΎ Ρ„Π°ΠΉΠ» ΠΌΠΎΠ³ Π±Ρ‹Ρ‚ΡŒ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ ΠΈΠ»ΠΈ ΡƒΠ΄Π°Π»Π΅Π½.

Для высокой скорости Ρ€Π°Π±ΠΎΡ‚Ρ‹ вашСго сайта Π½Π° WordPress Π²Ρ‹Π±ΠΈΡ€Π°ΠΉΡ‚Π΅ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ хостинг для CMS. ВрСбования ΠΊ хостингу с ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ WordPress ΡƒΠΆΠ΅ ΡƒΡ‡Ρ‚Π΅Π½Ρ‹, сама систСма управлСния сайтом прСдустановлСна Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ Ρ‚Π°Ρ€ΠΈΡ„Π΅, Ρ‡Ρ‚ΠΎ позволяСт сразу ΠΆΠ΅ ΠΏΡ€ΠΈΡΡ‚ΡƒΠΏΠΈΡ‚ΡŒ ΠΊ Ρ€Π°Π±ΠΎΡ‚Π΅ Π½Π°Π΄ сайтом.

Как ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt

Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ robots.txt Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ

Если Ρƒ вас Π½Π΅Ρ‚ Π³ΠΎΡ‚ΠΎΠ²ΠΎΠ³ΠΎ Ρ„Π°ΠΉΠ»Π° robots.txt ΠΈ Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π΅Π³ΠΎ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ любой тСкстовый Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Π‘Π»ΠΎΠΊΠ½ΠΎΡ‚. 

  1. ΠžΡ‚ΠΊΡ€ΠΎΠΉΡ‚Π΅ тСкстовый Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€.
  2. ΠΠ°ΠΏΠΈΡˆΠΈΡ‚Π΅ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ вашСго сайта ΠΈ описаниС Π΅Π³ΠΎ содСрТимого.
  3. Π—Π°Ρ‚Π΅ΠΌ Π΄ΠΎΠ±Π°Π²ΡŒΡ‚Π΅ инструкции для поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ². Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΉ ΠΊΠΎΠ΄, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ Ρ€Π°Π·Π΄Π΅Π»Π° новостСй Π·Π° 2022 Π³ΠΎΠ΄ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ ЯндСкса:

User-agent: Yandex

Disallow: /news/news2022

  1. Π‘ΠΎΡ…Ρ€Π°Π½ΠΈΡ‚Π΅ Ρ„Π°ΠΉΠ» с ΠΈΠΌΠ΅Π½Π΅ΠΌ robots.txt.
  2. Π—Π°Π³Ρ€ΡƒΠ·ΠΈΡ‚Π΅ Ρ„Π°ΠΉΠ» robots.txt Π½Π° сСрвСр. Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π·Π°Π³Ρ€ΡƒΠ·ΠΈΡ‚ΡŒ Π΅Π³ΠΎ Ρ‡Π΅Ρ€Π΅Π· FTP-ΠΊΠ»ΠΈΠ΅Π½Ρ‚ ΠΈΠ»ΠΈ ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ консоли управлСния хостингом.

Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΠ»Π°Π³ΠΈΠ½Π°

Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ ΠΏΠ»Π°Π³ΠΈΠ½Ρ‹ для создания robots.txt, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ΠΏΠ»Π°Π³ΠΈΠ½ Yoast SEO ΠΈΠ»ΠΈ Better Robots.txt. Π’Π°ΠΊ ΠΊΠ°ΠΊ Yoast SEO являСтся популярным ΠΏΠ»Π°Π³ΠΈΠ½ΠΎΠΌ Ρƒ Π²Π΅Π±-Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΎΠ² ΠΏΠΎΠΊΠ°ΠΆΠ΅ΠΌ Π½Π° Π΅Π³ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ ΠΊΠ°ΠΊ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt.

Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΠ»Π°Π³ΠΈΠ½Π° Yoast SEO ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ ΠΈ ΡƒΠΏΡ€Π°Π²Π»ΡΡ‚ΡŒ Ρ„Π°ΠΉΠ»ΠΎΠΌ robots.txt ΠΌΠΎΠΆΠ½ΠΎ прямо ΠΈΠ· интСрфСйса WordPress. Плагин являСтся ΠΎΠ΄Π½ΠΈΠΌ ΠΈΠ· Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ вострСбованным – Π΅Π³ΠΎ установили Π±ΠΎΠ»Π΅Π΅ 5 ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² Ρ€Π°Π·. Для создания robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Yoast SEO  слСдуйтС инструкции:

  1. УстановитС ΠΈ Π°ΠΊΡ‚ΠΈΠ²ΠΈΡ€ΡƒΠΉΡ‚Π΅ ΠΏΠ»Π°Π³ΠΈΠ½ Yoast SEO Π½Π° WordPress.
  2. Π’ Π±ΠΎΠΊΠΎΠ²ΠΎΠΉ ΠΏΠ°Π½Π΅Π»ΠΈ CMS Π²Ρ‹Π±Π΅Ρ€ΠΈΡ‚Π΅ Ρ€Π°Π·Π΄Π΅Π» SEO ΠΈ ΠΏΠ΅Ρ€Π΅ΠΉΠ΄ΠΈΡ‚Π΅ Π½Π° страницу Π€Π°ΠΉΠ»Ρ‹ ΠΈ Π²Ρ‹Π±Π΅Ρ€ΠΈΡ‚Π΅ Π²ΠΊΠ»Π°Π΄ΠΊΡƒ robots.txt.
  3. Если Ρƒ вас Π΅Ρ‰Π΅ Π½Π΅Ρ‚ Ρ„Π°ΠΉΠ»Π° robots.txt, ΠΊΠ»ΠΈΠΊΠ½ΠΈΡ‚Π΅ Π½Π° ΠΊΠ½ΠΎΠΏΠΊΡƒ Π‘ΠΎΠ·Π΄Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt.
  4. Π£ΠΊΠ°ΠΆΠΈΡ‚Π΅ инструкции для поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ ΠΎΠ±ΠΎΠ·Π½Π°Ρ‡Π°Ρ‚ΡŒ, ΠΊΠ°ΠΊΠΈΠ΅ страницы Π½ΡƒΠΆΠ½ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, Π° ΠΊΠ°ΠΊΠΈΠ΅ Π½Π΅Ρ‚. Π‘Π΄Π΅Π»Π°Ρ‚ΡŒ это ΠΌΠΎΠΆΠ½ΠΎ автоматичСски с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΠ»Π°Π³ΠΈΠ½Π° ΠΈΠ»ΠΈ Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ, Π΄ΠΎΠ±Π°Π²ΠΈΠ² Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ инструкции.
  5. НаТмитС Π‘ΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ внСсСнныС Π² Ρ„Π°ΠΉΠ» измСнСния.

ПослС создания Ρ„Π°ΠΉΠ»Π° robots.txt Ρ‡Π΅Ρ€Π΅Π· ΠΏΠ»Π°Π³ΠΈΠ½ Yoast SEO ΠΎΠ½ Π±ΡƒΠ΄Π΅Ρ‚ автоматичСски сохранСн Π½Π° вашСм сСрвСрС ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ для управлСния ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ΠΌ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ².

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ robots.txt

ΠŸΡ€ΠΈΠ²Π΅Π΄Π΅ΠΌ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠΌΠΎΠ³ΡƒΡ‚ Π²Π°ΠΌ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt:

  1. Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ всСго сайта:

User-agent: *

Disallow: /

  1. Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹Ρ… страниц:

User-agent: *

Disallow: /page1. html

Disallow: /page2.html

  1. Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎΠ³ΠΎ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π°:

User-agent: *

Disallow: /catalog/

  1. Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ Π»ΡŽΠ±Ρ‹Ρ… Ρ„Π°ΠΉΠ»ΠΎΠ² с Ρ€Π°ΡΡˆΠΈΡ€Π΅Π½ΠΈΠ΅ΠΌ PDF:

User-agent: *

Disallow: /*.pdf$

  1. Π Π°Π·Ρ€Π΅ΡˆΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ всСго сайта, ΠΊΡ€ΠΎΠΌΠ΅ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎΠΉ ΠΏΠ°ΠΏΠΊΠΈ:

User-agent: *

Disallow: /unwanted-directory/

  1. Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ страниц, содСрТащих ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ:

User-agent: *

Disallow: /secure-page/

Disallow: /login/

Disallow: /account/

Π Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ ΠΏΠΎ настройки robots.txt Π² WordPress 

ΠŸΡ€ΠΈ настройкС Ρ„Π°ΠΉΠ»Π° robots.txt Π½Π° сайтС WordPress ΡΠΎΠ±Π»ΡŽΠ΄Π°ΠΉΡ‚Π΅ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ Π½ΠΈΠΆΠ΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠΊΠ°Π·Π°Ρ‚ΡŒ ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ΅ влияниС Π½Π° SEO-ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡŽ вашСго сайта. 

  1. ΠžΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚Π΅, ΠΊΠ°ΠΊΠΈΠ΅ страницы вашСго сайта Π½Π΅ Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ индСксации поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ. НапримСр, это ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ страница Π°Π²Ρ‚ΠΎΡ€ΠΈΠ·Π°Ρ†ΠΈΠΈ, ΠΊΠΎΡ€Π·ΠΈΠ½Π° ΠΈΠ»ΠΈ Π»ΡŽΠ±Ρ‹Π΅ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ страницы, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ ΡΠ²Π»ΡΡŽΡ‚ΡΡ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ΠΈΠ²Π½Ρ‹ΠΌΠΈ ΠΈΠ»ΠΈ ΠΏΠΎ Π΄Ρ€ΡƒΠ³ΠΈΠΌ ΠΏΡ€ΠΈΡ‡ΠΈΠ½Π°ΠΌ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π±Ρ‹Ρ‚ΡŒ доступны для поисковой индСксации.
  2. НС Ρ€Π°Π·Ρ€Π΅ΡˆΠ°ΠΉΡ‚Π΅ доступ ΠΊ Π²Π°ΠΆΠ½Ρ‹ΠΌ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π°ΠΌ ΠΈΠ»ΠΈ Ρ„Π°ΠΉΠ»Π°ΠΌ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΎΡ‚ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ².
  3. ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡŒΡ‚Π΅ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΡΡ‚ΡŒ настройки Ρ„Π°ΠΉΠ»Π° robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Ρ… инструмСнтов (ΠΎ Π½ΠΈΡ… Π±ΡƒΠ΄Π΅Ρ‚ рассказано Π½ΠΈΠΆΠ΅). 
  4. ΠžΠ±Π½ΠΎΠ²Π»ΡΠΉΡ‚Π΅ Ρ„Π°ΠΉΠ» robots.txt, Ссли Π²Ρ‹ Π΄ΠΎΠ±Π°Π²ΠΈΠ»ΠΈ ΠΈΠ»ΠΈ ΡƒΠ΄Π°Π»ΠΈΠ»ΠΈ страницы ΠΈΠ»ΠΈ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ΠΈ Π½Π° сайтС.
  5. НС Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠΉΡ‚Π΅ доступ ΠΊ ΠΊΠ°Ρ€Ρ‚Π°ΠΌ сайта (sitemap.xml), Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ это ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ ΡƒΡ…ΡƒΠ΄ΡˆΠ΅Π½ΠΈΡŽ SEO-Ρ€Π΅ΠΉΡ‚ΠΈΠ½Π³Π° вашСго сайта.

ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ настройка robots.txt ΠΌΠΎΠΆΠ΅Ρ‚ ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΡ‚ΡŒ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ сайта Π·Π° счСт блокирования ΠΌΠ°Π»ΠΎΠ·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… страниц. Если Π²Ρ‹ Π½Π΅ ΡƒΠ²Π΅Ρ€Π΅Π½Ρ‹ Π² ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΡΡ‚ΠΈ своих настроСк, Π»ΡƒΡ‡ΡˆΠ΅ ΠΎΠ±Ρ€Π°Ρ‚ΠΈΡ‚ΡŒΡΡ ΠΊ профСссионалам ΠΈ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ ΠΊΠΎΠ½ΡΡƒΠ»ΡŒΡ‚Π°Ρ†ΠΈΡŽ ΠΏΠΎ настройкС Ρ„Π°ΠΉΠ»Π° robots.txt для вашСго сайта. Π’ RU-CENTER Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π²ΠΎΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ услугой АдминистрированиС ΠΏΠΎ запросу.

Π˜Π½ΡΡ‚Ρ€ΡƒΠΌΠ΅Π½Ρ‚ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Ρ„Π°ΠΉΠ»Π° robots.txt

ΠŸΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ΡΡ нСсколько инструмСнтов для ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ коррСктности Ρ„Π°ΠΉΠ»Π° robots.txt. Они ΠΏΠΎΠΌΠΎΠ³Π°ΡŽΡ‚ Π²Ρ‹ΡΠ²ΠΈΡ‚ΡŒ ошибки, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΠΎΠ³ΡƒΡ‚ ΡΡ‚Π°Ρ‚ΡŒ ΠΏΡ€ΠΈΡ‡ΠΈΠ½ΠΎΠΉ Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΉ Ρ€Π°Π±ΠΎΡ‚Ρ‹ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² Π½Π° сайтС. Π’Π°ΠΊΠΈΠ΅ сСрвисы Ρ‚Π°ΠΊΠΆΠ΅ ΠΏΡ€Π΅Π΄ΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ ΠΏΠΎ ΠΈΡΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΡŽ выявлСнных ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ, Ρ‡Ρ‚ΠΎ позволяСт ΡƒΠ»ΡƒΡ‡ΡˆΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ сайта. Рассмотрим самыС популярныС ΠΈΠ· Π½ΠΈΡ…: ЯндСкс.ВСбмастСр ΠΈ Google Console.  

  • Анализ robots.txt Π² ЯндСкс ВСбмастСр 

ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° robots.txt Π² ЯндСкс ВСбмастСрС – бСсплатный инструмСнт, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ Π²Π»Π°Π΄Π΅Π»ΡŒΡ†Π°ΠΌ сайтов ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΡ‚ΡŒ Π°Π½Π°Π»ΠΈΠ· Π² поисковой систСмС ЯндСкс.

Π§Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€ΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ€Π°Π±ΠΎΡ‚Ρƒ Ρ„Π°ΠΉΠ»Π° robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ сСрвиса ΠΎΡ‚ ЯндСкс, зарСгистрируйтС свой сайт Π² ЯндСкс ВСбмастСр ΠΈ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚Π΅ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ дСйствия:

  1. ΠžΡ‚ΠΊΡ€ΠΎΠΉΡ‚Π΅ Ρ€Π°Π·Π΄Π΅Π» Π˜Π½ΡΡ‚Ρ€ΡƒΠΌΠ΅Π½Ρ‚Ρ‹ ΠΈ Π²Ρ‹Π±Π΅Ρ€ΠΈΡ‚Π΅ мСню Анализ robots.txt
  2. Π’ ΠΏΠΎΠ»Π΅ ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ URL Π²Π²Π΅Π΄ΠΈΡ‚Π΅ адрСс своСго сайта ΠΈ Π½Π°ΠΆΠΌΠΈΡ‚Π΅ ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ.
  3. ПослС Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½ΠΈΡ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Π²Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚Π΅ Π΄Π°Π½Π½Ρ‹Π΅ Π² Π²ΠΈΠ΄Π΅ Ρ‚Π°Π±Π»ΠΈΡ†Ρ‹, Π³Π΄Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ список Ρ€Π°Π·Π΄Π΅Π»ΠΎΠ² Ρ„Π°ΠΉΠ»Π° robots.txt ΠΈ ΠΈΡ… настройки. Π’Π°ΠΌ ΠΆΠ΅ Π²Ρ‹ Π½Π°ΠΉΠ΄Π΅Ρ‚Π΅ сколько страниц Π±Ρ‹Π»ΠΎ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Π½ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ инструкций Disallow.

Π’ ЯндСкс ВСбмастСр прСдусмотрСны возмоТности Ρ„ΠΈΠ»ΡŒΡ‚Ρ€Π°Ρ†ΠΈΠΈ списка Ρ€Π°Π·Π΄Π΅Π»ΠΎΠ² ΠΈ настройки сортировки Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ². ΠŸΡ€ΠΈ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠΈ ошибок Π² настройках Ρ„Π°ΠΉΠ»Π° robots.txt, сСрвис ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠΈΡ‚ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ ΠΏΠΎ ΠΈΡ… ΡƒΡΡ‚Ρ€Π°Π½Π΅Π½ΠΈΡŽ.

  • Анализ robots.txt Π² Google Console

Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Google Console Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ бСсплатно провСсти Π°Π½Π°Π»ΠΈΠ· ΠΈ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚ΡŒ настройки своСго сайта Π² поисковой систСмС Google.

Если Ρƒ вас Π΅Ρ‰Π΅ Π½Π΅Ρ‚ Π°ΠΊΠΊΠ°ΡƒΠ½Ρ‚Π° Π² Google Console, Π·Π°Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΡƒΠΉΡ‚Π΅ΡΡŒ. Π”Π°Π»Π΅Π΅ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚Π΅ нСслоТныС шаги:

  1. ΠŸΠ΅Ρ€Π΅ΠΉΠ΄ΠΈΡ‚Π΅ Π² Ρ€Π°Π·Π΄Π΅Π» Crawling ΠΈ Π²Ρ‹Π±Π΅Ρ€ΠΈΡ‚Π΅ ΠΏΡƒΠ½ΠΊΡ‚ robots.txt Tester.
  2. Π’ ΠΏΠΎΠ»Π΅ Test a robots.txt file Π²Π²Π΅Π΄ΠΈΡ‚Π΅ адрСс своСго сайта ΠΈ Π½Π°ΠΆΠΌΠΈΡ‚Π΅ Test.
  3. Π”ΠΎΠΆΠ΄ΠΈΡ‚Π΅ΡΡŒ Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½ΠΈΡ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ.

Π˜Ρ‚ΠΎΠ³ΠΈ Π°Π½Π°Π»ΠΈΠ·Π° Ρ„Π°ΠΉΠ»Π° robots.txt Π±ΡƒΠ΄ΡƒΡ‚ прСдставлСны Π² Π²ΠΈΠ΄Π΅ Ρ‚Π°Π±Π»ΠΈΡ†Ρ‹, Π³Π΄Π΅ Π²Ρ‹ ΡƒΠ²ΠΈΠ΄ΠΈΡ‚Π΅ Ρ€Π°Π·Π΄Π΅Π»Ρ‹ Ρ„Π°ΠΉΠ»Π° robots.txt ΠΈ ΠΈΡ… настройки. Π—Π΄Π΅ΡΡŒ ΠΆΠ΅ Π±ΡƒΠ΄Π΅Ρ‚ Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½Π° информация ΠΎ Ρ‚ΠΎΠΌ, сколько страниц Π±Ρ‹Π»ΠΎ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Π½ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ инструкций Disallow. Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚ΡŒ Ρ„ΠΈΠ»ΡŒΡ‚Ρ€Π°Ρ†ΠΈΡŽ ΠΈΠ»ΠΈ сортировку ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ….

ΠšΡ€ΠΎΠΌΠ΅ ΡƒΠΊΠ°Π·Π°Π½Π½Ρ‹Ρ… Π²Ρ‹ΡˆΠ΅ инструмСнтов Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ сСрвисы ΠΏΠΎ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ΅ Ρ„Π°ΠΉΠ»Π° robots.txt:

  • SEO SiteCheckup – ΠΏΠ»Π°Ρ‚Π½Ρ‹ΠΉ сСрвис с мноТСством встроСнных инструмСнтов для Ρ€Π°Π±ΠΎΡ‚Ρ‹ с SEO-ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ. SEO SiteCheckup прСдоставляСт ΡƒΠ΄ΠΎΠ±Π½ΡƒΡŽ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΡƒ Ρ„Π°ΠΉΠ»Π° robots.txt Π½Π° ошибки ΠΈ ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ ΠΏΠΎ Π΅Π³ΠΎ настройкС.
  • Robotto – бСсплатный инструмСнт, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ прСдоставляСт Π΄Π΅Ρ‚Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ ΠΎΡ‚Ρ‡Π΅Ρ‚ ΠΏΠΎ Ρ„Π°ΠΉΠ»Ρƒ robots.txt. Он Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ ошибки ΠΈ ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ ΠΏΠΎ ΠΈΡ… ΡƒΡΡ‚Ρ€Π°Π½Π΅Π½ΠΈΡŽ.
  • Ryte – Π΅Ρ‰Π΅ ΠΎΠ΄ΠΈΠ½ ΠΏΠ»Π°Ρ‚Π½Ρ‹ΠΉ инструмСнт, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ позволяСт ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt ΠΈ ΡƒΠ·Π½Π°Ρ‚ΡŒ, сколько страниц Π±Ρ‹Π»ΠΎ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Π½ΠΎ с использованиСм инструкций Disallow.

Π—Π°ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅

ΠŸΠ΅Ρ€Π΅Π΄ созданиСм Ρ„Π°ΠΉΠ»Π° robots.txt ΡΠΎΡΡ‚Π°Π²ΡŒΡ‚Π΅ список страниц сайта, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ индСксации ΠΈ список ΠΈΠ· страниц, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π±Ρ‹Ρ‚ΡŒ просканированы поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ. Π‘Π»Π΅Π΄ΠΈΡ‚Π΅ Π·Π° ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΡΡ‚ΡŒΡŽ синтаксиса ΠΈ структуры Ρ„Π°ΠΉΠ»Π°, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΠ·Π±Π΅ΠΆΠ°Ρ‚ΡŒ ошибок Π² Π΅Π³ΠΎ Ρ€Π°Π±ΠΎΡ‚Π΅.

Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Ρ… инструмСнтов, Ρ‚Π°ΠΊΠΈΡ… ΠΊΠ°ΠΊ Google Console ΠΈ ЯндСкс ВСбмастСр, провСряйтС ΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΡƒΠΉΡ‚Π΅ настройки Ρ„Π°ΠΉΠ»Π° robots.txt, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΡ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ ΡΡ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΡƒΡŽ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ сайта поисковыми систСмами.

Как Π½Π°ΠΏΠΈΡΠ°Ρ‚ΡŒ robots.txt для wordpress – Вопросы Timeweb Community

  • Вопросы
  • ΠœΠ°Ρ€ΠΊΠ΅Ρ‚ΠΏΠ»Π΅ΠΉΡ
Π’ΠΎΠΉΡ‚ΠΈ

Казим Казимов

1087

1 ΠΎΡ‚Π²Π΅Ρ‚

Как ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ Π½Π°ΠΏΠΈΡΠ°Ρ‚ΡŒ robots.txt для wordpress?

АдминистрированиС Π‘Π΅Ρ€Π²Π΅Ρ€Ρ‹ WordPress

ΠŸΠΎΡ…ΠΎΠΆΠΈΠ΅ вопросы

Π”ΠΌΠΈΡ‚Ρ€ΠΈΠΉ

23

Word Press Π½Π΅ Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ Π² Ρ€Π΅ΠΆΠΈΠΌΠ΅ PHP fpm

ΠŸΠΎΠΌΠΎΠ³ΠΈΡ‚Π΅ совСтом. ПослС пСрСноса сайта Π½Π° Π²ΠΈΡ€Ρ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹ΠΉ сСрвСр сайт Π½Π°Ρ‡Π°Π» Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ с ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΎΠΌ php CGI. Π’ Ρ€Π΅ΠΆΠΈΠΌΠ΅ fast CGI появляСтся ошибка 403, Π° ΠΏΡ€ΠΈ ΠΏΠ΅Ρ€Π΅ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠΈ Π² php fpm всё Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ быстро ΠΈ ΠΎΡ‚Π»ΠΈΡ‡Π½ΠΎ, Π½ΠΎ ΠΏΡ€ΠΈ этом Π½Π΅ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°ΡŽΡ‚ΡΡ Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ,…

АдминистрированиС

ΠžΠ±ΡΡƒΠ΄ΠΈΡ‚ΡŒ Inkognito

246

Π’Ρ‹Π±ΠΎΡ€ сСрвСра для Π΄ΠΎΠΌΠ°

ВсСм Π΄ΠΎΠ±Ρ€Π΅ΠΉΡˆΠ΅Π³ΠΎ дня! Π”ΠΎΡˆΠ΅Π» Π΄ΠΎ потрСбности Π² создании домашнСго сСрвСра для Ρ„Π°ΠΉΠ»ΠΎΠΏΠΎΠΌΠΎΠΉΠΊΠΈ, ΠΈΠ±ΠΎ Ρ…Ρ€Π°Π½ΠΈΡ‚ΡŒ всС Π½Π° ΠΎΠ΄Π½ΠΎΠΌ ΠΊΠΎΠΌΠΏΠ΅ ΡƒΠΆΠ΅ Π½Π΅ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, мСста для дисков Π΄Π°Π²Π½ΠΎ ΠΊΠΎΠ½Ρ‡Π°Π»ΠΈΡΡŒ. ВсС присматривался ΠΊ ΠΏΠΎΠΊΡƒΠΏΠΊΠ΅ Π‘Π£ ΠΊΠΎΠΌΠΏΠ°. Π·Π°Π»ΠΈΡ‚ΡŒ Ρ‚ΡƒΠ΄Π° openmediavault ΠΈ Ρ€Π°Π΄ΠΎΠ²Π°Ρ‚ΡŒΡΡβ€¦

АдминистрированиС

2 ΠΎΡ‚Π²Π΅Ρ‚Π° АлСксандр Π‘ΠΈΡ€ΡŽΠΊΠΎΠ²

487

Ошибка ΠΏΡ€ΠΈ установкС ΠΏΠ»Π°Π³ΠΈΠ½Π° WordPress

ЗдравствуйтС! ΠŸΡ€ΠΈ установкС ΠΏΠ»Π°Π³ΠΈΠ½Π° Π²Ρ‹Π»Π°Π·Π°Π΅Ρ‚ ошибка «Установка Π½Π΅ ΡƒΠ΄Π°Π»Π°ΡΡŒ: Π—Π°Π³Ρ€ΡƒΠ·ΠΊΠ° Π½Π΅ ΡƒΠ΄Π°Π»Π°ΡΡŒ. UnauthorizedΒ» Π½ΠΎ послС ΠΏΠ΅Ρ€Π΅Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠ΅ ΠΏΠ»Π°Π³ΠΈΠ½ оказываСтся установлСн. Π’ Ρ‡Ρ‘ΠΌ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°?

CMS

5 ΠΎΡ‚Π²Π΅Ρ‚ΠΎΠ²

Π’Π°Ρˆ баланс 10 ВК

1 ВК = 1 β‚½

О Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ Π·Π°Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ ΠΈ ΠΏΠΎΡ‚Ρ€Π°Ρ‚ΠΈΡ‚ΡŒ Π’Π°ΠΉΠΌΠΊΠ°Ρ€ΠΌΡƒ, Ρ‡ΠΈΡ‚Π°ΠΉΡ‚Π΅ Π² этой ΡΡ‚Π°Ρ‚ΡŒΠ΅

Π§Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΡ‚Ρ€Π°Ρ‚ΠΈΡ‚ΡŒ Π’Π°ΠΉΠΌΠΊΠ°Ρ€ΠΌΡƒ, Π·Π°Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΡƒΠΉΡ‚Π΅ΡΡŒ Π½Π° нашСм сайтС

Π—Π°Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ

Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ соцсСтСй

Π—Π°Π±Ρ‹Π»ΠΈ ΠΏΠ°Ρ€ΠΎΠ»ΡŒ?

Π—Π°ΠΏΠΎΠΌΠ½ΠΈΡ‚ΡŒ мСня

Π£ мСня Π½Π΅Ρ‚ Π°ΠΊΠΊΠ°ΡƒΠ½Ρ‚Π° Π—Π°Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ

Π˜Π½ΡΡ‚Ρ€ΡƒΠΊΡ†ΠΈΠΈ ΠΏΠΎ Π²ΠΎΡΡΡ‚Π°Π½ΠΎΠ²Π»Π΅Π½ΠΈΡŽ пароля высланы Π½Π° Π’Π°Ρˆ адрСс элСктронной ΠΏΠΎΡ‡Ρ‚Ρ‹.

Π’Π΅Ρ€Π½ΡƒΡ‚ΡŒΡΡ ΠΊΠΎ Π²Ρ…ΠΎΠ΄Ρƒ

ΠŸΠΎΠΆΠ°Π»ΡƒΠΉΡΡ‚Π°, ΡƒΠΊΠ°ΠΆΠΈΡ‚Π΅ email вашСго Π°ΠΊΠΊΠ°ΡƒΠ½Ρ‚Π°

Π’Π΅Ρ€Π½ΡƒΡ‚ΡŒΡΡ ΠΊΠΎ Π²Ρ…ΠΎΠ΄Ρƒ

Π’ΠΎΠΉΡ‚ΠΈ Π² ΠšΠΎΠΌΡŒΡŽΠ½ΠΈΡ‚ΠΈ

Π’Πš Yandex Google

РСгистрация Π² ΠšΠΎΠΌΡŒΡŽΠ½ΠΈΡ‚ΠΈ

Π’Πš Yandex Google

ВосстановлСниС пароля

Robots.

txt для WordPress: Настройка WordPress Robots.txt

Π‘Π»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹ΠΌ ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌ поисковой ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ (SEO) ΠΈΠΌΠ΅Π΅Ρ‚ пСрвостСпСнноС Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅, Ссли Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ваш сайт Π·Π°Π½ΠΈΠΌΠ°Π» высокиС ΠΏΠΎΠ·ΠΈΡ†ΠΈΠΈ Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска ΠΈ ΠΏΡ€ΠΈΠ²Π»Π΅ΠΊΠ°Π» Π±ΠΎΠ»Π΅Π΅ ΠΊΠ²Π°Π»ΠΈΡ„ΠΈΡ†ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ Ρ‚Ρ€Π°Ρ„ΠΈΠΊ Π½Π° ваши страницы. НСсмотря Π½Π° Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ Π² вашСм спискС Π΅ΡΡ‚ΡŒ дСсятки ΠΏΡƒΠ½ΠΊΡ‚ΠΎΠ², Π²Ρ‹ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π·Π°Π±Ρ‹Π²Π°Ρ‚ΡŒ ΠΎΠ± ΠΎΠ΄Π½ΠΎΠΌ β€” создании Ρ„Π°ΠΉΠ»Π° robots.txt для WordPress. Но Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Ρ„Π°ΠΉΠ» robots.txt?

Π£ нас Π΅ΡΡ‚ΡŒ ΠΎΡ‚Π²Π΅Ρ‚! На этой страницС ΠΌΡ‹ ΠΎΡ‚Π²Π΅Ρ‚ΠΈΠΌ Π½Π° Ρ‚Π°ΠΊΠΈΠ΅ вопросы, ΠΊΠ°ΠΊ:

  • Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Ρ„Π°ΠΉΠ» robots.txt WordPress?
  • Π—Π°Ρ‡Π΅ΠΌ ΠΌΠ½Π΅ Π½ΡƒΠΆΠ΅Π½ Ρ„Π°ΠΉΠ» robots.txt для ΠΌΠΎΠ΅Π³ΠΎ сайта WordPress?
  • Как Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ WordPress?
  • Как ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt?

ΠŸΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ°ΠΉΡ‚Π΅ Ρ‡ΠΈΡ‚Π°Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ·Π½Π°Ρ‚ΡŒ большС!

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Ρ„Π°ΠΉΠ» robots.txt WordPress?

WordPress robots.txt β€” это Ρ„Π°ΠΉΠ», ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²Π»Π°Π΄Π΅Π»ΡŒΡ†Ρ‹ Π²Π΅Π±-сайтов ΡΠΎΠ·Π΄Π°ΡŽΡ‚, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΠΎΠ±Ρ‰ΠΈΡ‚ΡŒ поисковым систСмам, ΠΊΠ°ΠΊ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈΡ… сайт. Он прСдоставляСт поисковым систСмам, Ρ‚Π°ΠΊΠΈΠΌ ΠΊΠ°ΠΊ Google, руководство ΠΏΠΎ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π³Π°Ρ€Π°Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎ Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ Ρ†Π΅Π½Π½Ρ‹Π΅ страницы Π±ΡƒΠ΄ΡƒΡ‚ проиндСксированы ΠΈ появятся Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска.

Π—Π°Ρ‡Π΅ΠΌ ΠΌΠ½Π΅ Π½ΡƒΠΆΠ΅Π½ Ρ„Π°ΠΉΠ» robots.txt для WordPress?

Robots.txt для WordPress ΠΈΠΌΠ΅Π΅Ρ‚ Ρ€Π΅ΡˆΠ°ΡŽΡ‰Π΅Π΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ ΠΎΠ½ сообщаСт поисковым систСмам, ΠΊΠ°ΠΊΠΈΠ΅ страницы ΠΈΠ»ΠΈ ΠΏΠ°ΠΏΠΊΠΈ ΠΈΠΌ Π½Π΅ слСдуСт ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. Π§Ρ‚ΠΎΠ±Ρ‹ ваш сайт отобраТался Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска, Google Π΄ΠΎΠ»ΠΆΠ΅Π½ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ваши страницы ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈΡ….

Если Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ эффСктивно сканировали ваш сайт, Π²Ρ‹ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ ΠΈΠΌ свой Ρ„Π°ΠΉΠ» robots.txt. WordPress robots.txt Π½Π΅ Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΠΎΡ‚ индСксации ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… страниц Π½Π° вашСм сайтС β€” для этого Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠ΅Ρ‚Π°Ρ‚Π΅Π³ noindex. Однако этот Ρ„Π°ΠΉΠ» ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ ΠΎΡ‚Π²Π»Π΅Ρ‡ΡŒ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ΠΎΡ‚ этих страниц ΠΈ ΡΠΎΡΡ€Π΅Π΄ΠΎΡ‚ΠΎΡ‡ΠΈΡ‚ΡŒΡΡ Π½Π° Π±ΠΎΠ»Π΅Π΅ Π²Π°ΠΆΠ½Ρ‹Ρ… страницах, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡ€ΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, Ρ‚Π°ΠΊΠΈΡ… ΠΊΠ°ΠΊ страницы Π²Π°ΡˆΠΈΡ… ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΎΠ², страницы услуг ΠΈΠ»ΠΈ сообщСния с ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ΠΎΠΌ.

ИспользованиС Ρ„Π°ΠΉΠ»Π° robots.txt для WordPress Ρ‚Π°ΠΊΠΆΠ΅ ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ ΠΏΡ€Π΅Π΄ΠΎΡ‚Π²Ρ€Π°Ρ‚ΠΈΡ‚ΡŒ Π·Π°ΠΌΠ΅Π΄Π»Π΅Π½ΠΈΠ΅ Ρ€Π°Π±ΠΎΡ‚Ρ‹ сайта этими Π±ΠΎΡ‚Π°ΠΌΠΈ. Π‘Π΅Π· этого Ρ„Π°ΠΉΠ»Π° Π±ΠΎΡ‚Ρ‹ ΠΌΠΎΠ³ΡƒΡ‚ ΠΏΠ΅Ρ€Π΅Π³Ρ€ΡƒΠΆΠ°Ρ‚ΡŒ ваш сайт, ΠΏΡ‹Ρ‚Π°ΡΡΡŒ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ€Π°Π·Π½Ρ‹Π΅ страницы, Ρ‡Ρ‚ΠΎ Π² ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎΠΌ ΠΈΡ‚ΠΎΠ³Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ ΠΌΠ΅Π΄Π»Π΅Π½Π½ΠΎΠΉ Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠ΅. Учитывая, Ρ‡Ρ‚ΠΎ ΠΌΠ΅Π΄Π»Π΅Π½Π½ΠΎ Π·Π°Π³Ρ€ΡƒΠΆΠ°Π΅ΠΌΡ‹Π΅ сайты обходятся прСдприятиям Π² 2,6 ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Π° Π΄ΠΎΠ»Π»Π°Ρ€ΠΎΠ² Π² Π³ΠΎΠ΄, Π²Ρ‹ Π½Π΅ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Ρ€ΠΈΡΠΊΠΎΠ²Π°Ρ‚ΡŒ.

Π’ Ρ†Π΅Π»ΠΎΠΌ, использованиС Ρ„Π°ΠΉΠ»Π° robots.txt для WordPress ΠΏΠΎΠ»Π΅Π·Π½ΠΎ для Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠΌΠΎΡ‡ΡŒ Π²Π°ΡˆΠ΅ΠΌΡƒ бизнСсу ΠΏΠΎΠ²Ρ‹ΡΠΈΡ‚ΡŒ Ρ€Π΅ΠΉΡ‚ΠΈΠ½Π³ Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ Π²Π°ΠΆΠ½Ρ‹Ρ… страниц Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска, Π½Π΅ замСдляя ΠΏΡ€ΠΈ этом Ρ€Π°Π±ΠΎΡ‚Ρƒ вашСго сайта.

Как Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ WordPress

Π’Π΅ΠΏΠ΅Ρ€ΡŒ, ΠΊΠΎΠ³Π΄Π° Π²Ρ‹ Π·Π½Π°Π΅Ρ‚Π΅, ΠΏΠΎΡ‡Π΅ΠΌΡƒ Ρ„Π°ΠΉΠ» robots.txt ΠΈΠΌΠ΅Π΅Ρ‚ Ρ€Π΅ΡˆΠ°ΡŽΡ‰Π΅Π΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ для отобраТСния вашСго сайта Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска, Π²Ρ‹ Π³ΠΎΡ‚ΠΎΠ²Ρ‹ ΠΏΡ€ΠΈΠ½ΡΡ‚ΡŒ ΠΌΠ΅Ρ€Ρ‹, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠΌΠΎΡ‡ΡŒ Π²Π°ΡˆΠ΅ΠΌΡƒ сайту ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ. БущСствуСт Π΄Π²Π° ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π° ΠΊ созданию Ρ„Π°ΠΉΠ»Π° robots.txt. Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠ»Π°Π³ΠΈΠ½ WordPress robots.txt ΠΈΠ»ΠΈ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ это Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ.

Плагин robots.txt для WordPress β„–1: All-in-One SEO

ΠŸΠ΅Ρ€Π²Ρ‹ΠΉ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ создания Ρ„Π°ΠΉΠ»Π° robots.txt β€” это All-in-One SEO ΠΈΠ»ΠΈ AIOSEO.

Π­Ρ‚ΠΎΡ‚ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π°Π΅ΠΌΡ‹ΠΉ ΠΌΠΎΠ΄ΡƒΠ»ΡŒ поставляСтся с Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΎΡ€ΠΎΠΌ Ρ„Π°ΠΉΠ»ΠΎΠ² robots.txt, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ для создания ΠΈ рСдактирования Ρ„Π°ΠΉΠ»ΠΎΠ² robots.txt. Π§Ρ‚ΠΎΠ±Ρ‹ ΠΎΡ‚Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ этого ΠΏΠ»Π°Π³ΠΈΠ½Π°, Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚Π΅ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ дСйствия:

  1. Π’ΠΎΠΉΠ΄ΠΈΡ‚Π΅ Π² панСль управлСния WordPress
  2. НаТмитС Π½Π° ВсС Π² ΠΎΠ΄Π½ΠΎΠΌ SEO
  3. НаТмитС ДиспСтчСр Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ
  4. ΠŸΡ€ΠΎΠΊΡ€ΡƒΡ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠ· Π΄ΠΎ Π Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€ Ρ„Π°ΠΉΠ»ΠΎΠ² ΠΈ Π½Π°ΠΆΠΌΠΈΡ‚Π΅ ΠΠΊΡ‚ΠΈΠ²ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ
  5. Π’Π΅Ρ€Π½ΡƒΡ‚ΡŒΡΡ Π² мСню All in One SEO
  6. НаТмитС Π²ΠΊΠ»Π°Π΄ΠΊΠ° тСкст
  7. НаТмитС Π Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ

Π‘ этого ΠΌΠΎΠΌΠ΅Π½Ρ‚Π° Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ввСсти Ρ„Π°ΠΉΠ» robots.txt WordPress, Π° Π·Π°Ρ‚Π΅ΠΌ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ измСнСния, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ½ΠΈ вступили Π² силу Π½Π° вашСм сайтС!

Плагин WordPress robots.
txt β„– 2: Yoast SEO

Π•Ρ‰Π΅ ΠΎΠ΄ΠΈΠ½ ΠΏΠ»Π°Π³ΠΈΠ½ WordPress robots.txt, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ, β€” это Yoast SEO. Yoast SEO позволяСт Π²Π°ΠΌ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ ΠΈ Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π½Π° вашСм Π²Π΅Π±-сайтС. Π§Ρ‚ΠΎΠ±Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ этот ΠΏΠ»Π°Π³ΠΈΠ½ для рСдактирования вашСго Ρ„Π°ΠΉΠ»Π°, Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚Π΅ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ дСйствия:

  1. ΠŸΠ΅Ρ€Π΅ΠΉΠ΄ΠΈΡ‚Π΅ ΠΊ своСму ПанСль инструмСнтов WordPress
  2. НаТмитС Π½Π° SEO
  3. НаТмитС Π˜Π½ΡΡ‚Ρ€ΡƒΠΌΠ΅Π½Ρ‚Ρ‹
  4. НаТмитС Π Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€ Ρ„Π°ΠΉΠ»ΠΎΠ²
  5. Π Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt

ПослС рСдактирования Ρ„Π°ΠΉΠ»Π° robots.txt Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ свой тСкст ΠΈ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ Π΅Π³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ½ Π½Π°Ρ‡Π°Π» Π΄Π΅ΠΉΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ.

WordPress robots.txt. manual option

Когда Π²Ρ‹ Π½Π°ΡƒΡ‡ΠΈΡ‚Π΅ΡΡŒ Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ WordPress, Π²Ρ‹ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π²Π²ΠΎΠ΄ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ вмСсто использования ΠΏΠ»Π°Π³ΠΈΠ½Π°. Для этого Π²Π°ΠΌ понадобится ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ» ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Ρ„Π°ΠΉΠ»ΠΎΠ² (FTP), Ρ‚Π°ΠΊΠΎΠΉ ΠΊΠ°ΠΊ FileZilla.

Π§Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots. txt для WordPress Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚Π΅ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ дСйствия:

  1. ΠžΡ‚ΠΊΡ€ΠΎΠΉΡ‚Π΅ тСкстовый Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€ (Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Π‘Π»ΠΎΠΊΠ½ΠΎΡ‚)
  2. Π’Π²Π΅Π΄ΠΈΡ‚Π΅ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΡƒ, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ
  3. Π‘ΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» ΠΊΠ°ΠΊ тСкстовый Ρ„Π°ΠΉΠ» Ρ‚ΠΈΠΏΠ°
  4. ΠŸΠΎΠ΄ΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅ свой сайт ΠΊ FTP
  5. ΠŸΠ΅Ρ€Π΅ΠΉΡ‚ΠΈ ΠΊ общСдоступной ΠΏΠ°ΠΏΠΊΠ΅ HTML
  6. Π—Π°Π³Ρ€ΡƒΠ·ΠΈΡ‚Π΅ Ρ„Π°ΠΉΠ» txt с вашСго ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π° Π½Π° сСрвСр

Как ΠΏΡ€ΠΎΡ‚Π΅ΡΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π² WordPress

Π’Π΅ΠΏΠ΅Ρ€ΡŒ, ΠΊΠΎΠ³Π΄Π° Π²Ρ‹ Π·Π½Π°Π΅Ρ‚Π΅, ΠΊΠ°ΠΊ Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π² WordPress, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ собствСнныС ΠΏΡ€Π°Π²ΠΈΠ»Π° ΠΈ ΠΏΠ΅Ρ€ΠΈΠΌΠ΅Ρ‚Ρ€Ρ‹ для сканирования вашСго сайта. Π”ΠΎΠ±Π°Π²ΠΈΠ² Ρ„Π°ΠΉΠ» robots.txt, Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΡƒΠ±Π΅Π΄ΠΈΡ‚ΡŒΡΡ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ ΠΈ Ρ‡Ρ‚ΠΎ поисковыС систСмы ΠΌΠΎΠ³ΡƒΡ‚ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ваш сайт. Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΏΡ€ΠΎΡ‚Π΅ΡΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt для WordPress с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Google Search Console.

Google Search Console ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ инструмСнт для ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ robots.txt, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π²Π°ΠΌ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ, ΠΌΠΎΠΆΠ΅Ρ‚ Π»ΠΈ Google ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ваш сайт. Π’ΠΎΡ‚ ΠΊΠ°ΠΊ это ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ:

  1. ΠžΡ‚ΠΊΡ€ΠΎΠΉΡ‚Π΅ инструмСнт txt tester
  2. ΠŸΡ€ΠΎΠΊΡ€ΡƒΡ‚ΠΈΡ‚Π΅ ΠΊΠΎΠ΄ robots. txt, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π½Π°ΠΉΡ‚ΠΈ Π²Ρ‹Π΄Π΅Π»Π΅Π½Π½Ρ‹Π΅ синтаксичСскиС прСдупрСТдСния ΠΈ логичСскиС ошибки
  3. Π’Π²Π΅Π΄ΠΈΡ‚Π΅ URL-адрСс страницы вашСго сайта Π² тСкстовоС ΠΏΠΎΠ»Π΅ ΠΏΠΎΠ΄
  4. .
  5. Π’Ρ‹Π±Π΅Ρ€ΠΈΡ‚Π΅ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ Π°Π³Π΅Π½Ρ‚ , ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΠΈΠΌΠΈΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, Π² Ρ€Π°ΡΠΊΡ€Ρ‹Π²Π°ΡŽΡ‰Π΅ΠΌΡΡ спискС
  6. НаТмитС ΠΊΠ½ΠΎΠΏΠΊΡƒ ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ°

ПослС Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ Π²Ρ‹ Π½Π°ΠΆΠΌΠ΅Ρ‚Π΅ ΠΊΠ½ΠΎΠΏΠΊΡƒ «ВСст», появится сообщСниС «ПРИНЯВО» ΠΈΠ»ΠΈ Β«Π‘Π›ΠžΠšΠ˜Π ΠžΠ’ΠΠΠžΒ». Π­Ρ‚ΠΎ ΡƒΠ²Π΅Π΄ΠΎΠΌΠ»Π΅Π½ΠΈΠ΅ сообщит Π²Π°ΠΌ, ΠΌΠΎΠΆΠ΅Ρ‚ Π»ΠΈ Google ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π²Π°ΡˆΡƒ страницу ΠΈΠ»ΠΈ Π½Π΅Ρ‚. Как ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ, Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π²ΠΈΠ΄Π΅Ρ‚ΡŒ «ПРИНЯВО», Ссли Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π²Ρ‹ Π½Π΅ тСстируСтС URL-адрСс страницы, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ Google Π½Π΅ Π΄ΠΎΠ»ΠΆΠ΅Π½ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. Если ΠΊΠ°ΠΊΠΎΠΉ-Π»ΠΈΠ±ΠΎ URL-адрСс отобраТаСтся ΠΊΠ°ΠΊ Β«Π‘Π›ΠžΠšΠ˜Π ΠžΠ’ΠΠΠΠ«Π™Β», ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²Ρ‹ Π½Π΅ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, Π²Π°ΠΌ придСтся Π²Π΅Ρ€Π½ΡƒΡ‚ΡŒΡΡ Π² Ρ„Π°ΠΉΠ» robots.txt, внСсти измСнСния, ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ ΠΈΡ… ΠΈ ΠΏΠΎΠΏΡ€ΠΎΠ±ΠΎΠ²Π°Ρ‚ΡŒ снова ΠΏΡ€ΠΎΡ‚Π΅ΡΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ URL-адрСс.

НуТна ΠΏΠΎΠΌΠΎΡ‰ΡŒ Π² Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠΈ Ρ„Π°ΠΉΠ»Π° robots.txt для WordPress?

Π”ΠΎΠ±Π°Π²ΠΈΠ² Ρ„Π°ΠΉΠ» robots. txt для WordPress, Π²Ρ‹ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚Π΅ Google Π±ΠΎΠ»Π΅Π΅ эффСктивно ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ваш сайт, Ρ‡Ρ‚ΠΎΠ±Ρ‹ самыС Ρ†Π΅Π½Π½Ρ‹Π΅ страницы ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Π»ΠΈΡΡŒ Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска.

Но Ссли Π²Ρ‹ Π½Π΅ Π·Π½Π°Π΅Ρ‚Π΅, ΠΊΠ°ΠΊ Π΄ΠΎΠ±Π°Π²Π»ΡΡ‚ΡŒ, Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ Ρ‚Π΅ΡΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt WordPress, Π²Π°ΠΌ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΠΌΠΎΡ‡ΡŒ WebFX. Π’ нашСй ΠΊΠΎΠΌΠ°Π½Π΄Π΅ Π±ΠΎΠ»Π΅Π΅ 500 спСциалистов ΠΏΠΎ ΠΌΠ°Ρ€ΠΊΠ΅Ρ‚ΠΈΠ½Π³Ρƒ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π·Π½Π°ΡŽΡ‚, ΠΊΠ°ΠΊ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ»Ρ‹ robots.txt. ΠœΡ‹ Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠΎΠΌΠΎΡ‡ΡŒ Π²Π°ΠΌ с этим, Π½ΠΎ ΠΈ Π²Π½Π΅Π΄Ρ€ΠΈΡ‚ΡŒ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ ΠΏΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ SEO, ΠΎΡ‚ ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΠΈ ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Ρ… слов Π΄ΠΎ создания ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π°.

Если Π²Ρ‹ Π³ΠΎΡ‚ΠΎΠ²Ρ‹ Π½Π°Ρ‡Π°Ρ‚ΡŒ, ΡΠ²ΡΠΆΠΈΡ‚Π΅ΡΡŒ с Π½Π°ΠΌΠΈ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΈΠ»ΠΈ ΠΏΠΎΠ·Π²ΠΎΠ½ΠΈΡ‚Π΅ Π½Π°ΠΌ сСгодня ΠΏΠΎ Ρ‚Π΅Π»Π΅Ρ„ΠΎΠ½Ρƒ 888-601-5359 , Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ³ΠΎΠ²ΠΎΡ€ΠΈΡ‚ΡŒ со стратСгом ΠΎ Π½Π°ΡˆΠΈΡ… SEO-услугах WordPress!

WordPress Robots.txt ΠΈ описаниС ΠΌΠ΅Ρ‚Π°Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ²

Линдси Π₯элси

Линдси Π₯элси β€” ΡΠΎΡƒΡ‡Ρ€Π΅Π΄ΠΈΡ‚Π΅Π»ΡŒ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Pathfinder SEO. Π£ Π½Π΅Π΅ Π±ΠΎΠ»Π΅Π΅ 10 Π»Π΅Ρ‚ ΠΎΠΏΡ‹Ρ‚Π° Ρ€Π°Π±ΠΎΡ‚Ρ‹ Π² области SEO с ΠΌΠ°Π»Ρ‹ΠΌ ΠΈ ΠΊΡ€ΡƒΠΏΠ½Ρ‹ΠΌ бизнСсом. Линдси удСляСт особоС Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ Π²Π»Π°Π΄Π΅Π»ΡŒΡ†Π΅Π² сайтов, фрилансСров ΠΈ агСнтств Ρ‚ΠΎΠΌΡƒ, ΠΊΠ°ΠΊ Π½Π°ΠΉΡ‚ΠΈ ΠΈΡ… Π² Google с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ пошагового ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π° ΠΊ SEO. ΠžΡΡ‚Π°Π²Π°ΠΉΡ‚Π΅ΡΡŒ Π½Π° связи Π² Π’Π²ΠΈΡ‚Ρ‚Π΅Ρ€Π΅ β€” @linds_halsey.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Ρ„Π°ΠΉΠ» robots.txt?

ΠŸΡ€Π΅ΠΆΠ΄Π΅ Ρ‡Π΅ΠΌ поисковыС систСмы ΠΏΡ€ΠΎΡΠΊΠ°Π½ΠΈΡ€ΡƒΡŽΡ‚ ваш Π²Π΅Π±-сайт, ΠΎΠ½ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΡΡŽΡ‚ инструкции Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt. Robots.txt β€” ΠΎΡ‡Π΅Π½ΡŒ ΠΌΠΎΡ‰Π½Ρ‹ΠΉ Ρ„Π°ΠΉΠ», поэтому Π±ΡƒΠ΄ΡŒΡ‚Π΅ остороТны ΠΏΡ€ΠΈ Π΅Π³ΠΎ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠΈ. Π”Π²Π°ΠΆΠ΄Ρ‹ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΡŒΡ‚Π΅, Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π»ΠΈ Π²Ρ‹ сообщаСтС ΠΎ своих Π½Π°ΠΌΠ΅Ρ‡Π΅Π½Π½Ρ‹Ρ… цСлях.

Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΏΡ€ΠΎΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π½Π° страницС www.mywebsite.com/robots.txt.

WordPress ΠΈ Robots.txt

Π Π°Π·Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅ΠΌΡ‹Π΅ Π²Π΅Π±-сайты WordPress ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ Ρ„Π°ΠΉΠ» robots.txt, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ поисковым Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π²Π΅Π±-сайт. Код выглядит Ρ‚Π°ΠΊ:

User-agent: *
Disallow: /

Β«User-agent:Β», Π·Π° ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ слСдуСт Π·Π²Π΅Π·Π΄ΠΎΡ‡ΠΊΠ°, адрСсуСт всС поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹. Β«Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ:Β», Π·Π° ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ слСдуСт косая Ρ‡Π΅Ρ€Ρ‚Π°, ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ сканСрам Π½Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π½ΠΈΠΊΠ°ΠΊΠΈΠ΅ страницы Π½Π° Π²Π΅Π±-сайтС.

Π§Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ±Π½ΠΎΠ²ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt, ΠΏΠ΅Ρ€Π΅ΠΉΠ΄ΠΈΡ‚Π΅ ΠΊ настройкам чтСния Π½Π° своСм Π²Π΅Π±-сайтС WordPress. Когда Π²Ρ‹ Π±ΡƒΠ΄Π΅Ρ‚Π΅ Π³ΠΎΡ‚ΠΎΠ²Ρ‹ ΠΊ Ρ‚ΠΎΠΌΡƒ, Ρ‡Ρ‚ΠΎ поисковыС систСмы ΠΈ люди Π±ΡƒΠ΄ΡƒΡ‚ ΠΏΠΎΡΠ΅Ρ‰Π°Ρ‚ΡŒ ваш сайт, ΠΏΠ΅Ρ€Π΅ΠΉΠ΄ΠΈΡ‚Π΅ Π² «Настройки» > Β«Π§Ρ‚Π΅Π½ΠΈΠ΅Β» Π² мСню слСва ΠΈ снимитС Ρ„Π»Π°ΠΆΠΎΠΊ Β«Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ поисковым систСмам ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ этот сайт».

Π’ΠΎΠ³Π΄Π° ваш Ρ„Π°ΠΉΠ» robots.txt Π±ΡƒΠ΄Π΅Ρ‚ Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ Ρ‚Π°ΠΊ:

User-Agent: *
Disallow:

ΠœΡ‹ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΠ΅ΠΌ ΠΎΡ‡Π΅Π½ΡŒ чистый Ρ„Π°ΠΉΠ» robots.txt, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ ΠΏΠΎΠΌΠΈΠΌΠΎ Π΅Π³ΠΎ страниц поисковыС систСмы Ρ‚Π°ΠΊΠΆΠ΅ Π»ΡŽΠ±ΡΡ‚ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ JavaScript вашСго сайта. , CSS ΠΈ Ajax.

Π”ΠΎΠ»ΠΆΠ΅Π½ Π»ΠΈ я Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ свою XML-ΠΊΠ°Ρ€Ρ‚Ρƒ сайта Π² Ρ„Π°ΠΉΠ» robots.txt?

ВмСсто добавлСния XML-ΠΊΠ°Ρ€Ρ‚Ρ‹ сайта Π² Ρ„Π°ΠΉΠ» robots.txt ΠΎΡ‚ΠΏΡ€Π°Π²ΡŒΡ‚Π΅ Π΅Π΅ нСпосрСдствСнно Π² консоль поиска Google ΠΈ инструмСнты Bing для Π²Π΅Π±-мастСров.

Как ΠΎΠ±Π½ΠΎΠ²ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π² WordPress?

Π‘Π°ΠΌΡ‹ΠΉ простой способ ΠΎΠ±Π½ΠΎΠ²ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π² WordPress β€” ΠΏΠ»Π°Π³ΠΈΠ½ Yoast SEO.

  • Π’ΠΎΠΉΠ΄ΠΈΡ‚Π΅ Π½Π° свой сайт WordPress.
  • Π’ Π»Π΅Π²ΠΎΠΉ ΠΏΠ°Π½Π΅Π»ΠΈ Π½Π°Π²ΠΈΠ³Π°Ρ†ΠΈΠΈ Π²Ρ‹Π±Π΅Ρ€ΠΈΡ‚Π΅ Yoast > Π˜Π½ΡΡ‚Ρ€ΡƒΠΌΠ΅Π½Ρ‚Ρ‹ ΠΈ Ρ‰Π΅Π»ΠΊΠ½ΠΈΡ‚Π΅ Π Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€ Ρ„Π°ΠΉΠ»ΠΎΠ².
  • ΠžΠ±Π½ΠΎΠ²ΠΈΡ‚Π΅ Ρ„Π°ΠΉΠ» robots.txt.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ ΠΌΠ΅Ρ‚Π°Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ robots?

ΠœΠ΅Ρ‚Π°Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² содСрТат Ρ‡Π΅Ρ‚ΠΊΠΈΠ΅ ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½Ρ‹Π΅ инструкции ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ поисковыС систСмы Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ содСрТимоС ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΉ страницы.

НаиболСС распространСнныС значСния содСрТимого:

  • Nofollow β€” Π½Π΅ ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΏΠΎ ссылкам Π² содСрТании страницы.
  • Follow β€” ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ΠΈΡ‚Π΅ ΠΏΠΎ ссылкам Π² содСрТании страницы.
  • Noindex β€” НС ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ страницу.
  • Index – ΠŸΡ€ΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΡƒΠΉΡ‚Π΅ страницу, поТалуйста.

Если Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΠΈΡΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ страницу ΠΈΠ· Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ² поиска, Π½ΠΎ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ΠΈΠ»ΠΈ ΠΏΠΎ ссылкам Π½Π° этой страницС, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅:

Как Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΌΠ΅Ρ‚Π°Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ robots Π² WordPress?

Yoast SEO ΡƒΠΏΡ€ΠΎΡ‰Π°Π΅Ρ‚ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅ ΠΌΠ΅Ρ‚Π°Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ Ρ‚ΠΈΠΏΠ° ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° ΠΈ таксономии.

  • Π’ΠΎΠΉΠ΄ΠΈΡ‚Π΅ Π½Π° свой Π²Π΅Π±-сайт WordPress ΠΈ ΠΏΠ΅Ρ€Π΅ΠΉΠ΄ΠΈΡ‚Π΅ ΠΊ ΠΏΠ»Π°Π³ΠΈΠ½Ρƒ Yoast SEO Π² Π»Π΅Π²ΠΎΠΉ ΠΏΠ°Π½Π΅Π»ΠΈ Π½Π°Π²ΠΈΠ³Π°Ρ†ΠΈΠΈ.
  • Π’Ρ‹Π±Π΅Ρ€ΠΈΡ‚Π΅ Π²ΠΈΠ΄ поиска.
  • Π§Ρ‚ΠΎΠ±Ρ‹ ΠΈΠ·ΠΌΠ΅Π½ΠΈΡ‚ΡŒ ΠΌΠ΅Ρ‚Π°-Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ Ρ‚ΠΈΠΏΠ° ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π°, пСрСмСститС ΠΏΠΎΠ»Π·ΡƒΠ½ΠΎΠΊ с Β«Π”Π°Β» Π½Π° «НСт» Π² Ρ€Π°Π·Π΄Π΅Π»Π΅ Β«ΠŸΠΎΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ [Ρ‚ΠΈΠΏ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π°] Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска?Β» Ρ€Π°Π·Π΄Π΅Π».

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ

Π’Π°Ρˆ адрСс email Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½. ΠžΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ поля ΠΏΠΎΠΌΠ΅Ρ‡Π΅Π½Ρ‹ *