Seo txt: Всё что вам нужно знать

Что такое robots.txt и зачем он вообще нужен

Каждый блог дает свой ответ на этот счет. Поэтому новички в поисковом продвижении часто путаются, вот так:

Что за роботс ти экс ти?

Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP. Файл дает поисковым роботам рекомендации: какие страницы/файлы стоит сканировать. Если файл будет содержать символы не в UTF-8, а в другой кодировке, поисковые роботы могут неправильно их обработать. Правила, перечисленные в файле robots.txt, действительны только в отношении того хоста, протокола и номера порта, где размещен файл.

Файл должен располагаться в корневом каталоге в виде обычного текстового документа и быть доступен по адресу: https://site.com.ua/robots.txt.

В других файлах принято ставить отметку ВОМ (Byte Order Mark). Это Юникод-символ, который используется для определения последовательности в байтах при считывании информации. Его кодовый символ — U+FEFF. В начале файла robots.txt отметка последовательности байтов игнорируется.

Google установил ограничение по размеру файла robots.txt — он не должен весить больше 500 Кб.

Ладно, если вам интересны сугубо технические подробности, файл robots.txt представляет собой описание в форме Бэкуса-Наура (BNF). При этом используются правила RFC 822.

При обработке правил в файле robots.txt поисковые роботы получают одну из трех инструкций:

• частичный доступ: доступно сканирование отдельных элементов сайта;
• полный доступ: сканировать можно все;
• полный запрет: робот ничего не может сканировать.

При сканировании файла robots.txt роботы получают такие ответы:

• 2xx — сканирование прошло удачно;
• 3xx — поисковый робот следует по переадресации до тех пор, пока не получит другой ответ. Чаще всего есть пять попыток, чтобы робот получил ответ, отличный от ответа 3xx, затем регистрируется ошибка 404;
• 4xx — поисковый робот считает, что можно сканировать все содержимое сайта;
• 5xx — оцениваются как временные ошибки сервера, сканирование полностью запрещается. Робот будет обращаться к файлу до тех пор, пока не получит другой ответ.Поисковый робот Google может определить, корректно или некорректно настроена отдача ответов отсутствующих страниц сайта, то есть, если вместо 404 ошибки страница отдает ответ 5xx, в этом случае страница будет обрабатываться с кодом ответа 404.

Пока что неизвестно, как обрабатывается файл robots.txt, который недоступен из-за проблем сервера с выходом в интернет.

Зачем нужен файл robots.txt

Например, иногда роботам не стоит посещать:

• страницы с личной информацией пользователей на сайте;
• страницы с разнообразными формами отправки информации;
• сайты-зеркала;
• страницы с результатами поиска.

Важно: даже если страница находится в файле robots.txt, существует вероятность, что она появится в выдаче, если на неё была найдена ссылка внутри сайта или где-то на внешнем ресурсе.

Так роботы поисковых систем видят сайт с файлом robots.txt и без него:

Без robots. txt та информация, которая должна быть скрыта от посторонних глаз, может попасть в выдачу, а из-за этого пострадаете и вы, и сайт.

Так робот поисковых систем видит файл robots.txt:

Google обнаружил файл robots.txt на сайте и нашел правила, по которым следует сканировать страницы сайта

Как создать файл robots.txt

С помощью блокнота, Notepad, Sublime, либо любого другого текстового редактора.

В содержании файла должны быть прописаны инструкция User-agent и правило Disallow, к тому же есть еще несколько второстепенных правил.

User-agent — визитка для роботов

User-agent — правило о том, каким роботам необходимо просмотреть инструкции, описанные в файле robots.txt. На данный момент известно 302 поисковых робота. Чтобы не прописывать всех по отдельности, стоит использовать запись:

Она говорит о том, что мы указываем правила в robots.txt для всех поисковых роботов.

Для Google главным роботом является Googlebot. Если мы хотим учесть только его, запись в файле будет такой:

В этом случае все остальные роботы будут сканировать контент на основании своих директив по обработке пустого файла robots.txt.

Для Yandex главным роботом является… Yandex:

Другие специальные роботы:

• Mediapartners-Google — для сервиса AdSense;
• AdsBot-Google — для проверки качества целевой страницы;
• YandexImages — индексатор Яндекс.Картинок;
• Googlebot-Image — для картинок;
• YandexMetrika — робот Яндекс.Метрики;
• YandexMedia — робот, индексирующий мультимедийные данные;
• YaDirectFetcher — робот Яндекс.Директа;
• Googlebot-Video — для видео;
• Googlebot-Mobile — для мобильной версии;
• YandexDirectDyn — робот генерации динамических баннеров;
• YandexBlogs — робот поиск по блогам, индексирующий посты и комментарии;
• YandexMarket— робот Яндекс. Маркета;
• YandexNews — робот Яндекс.Новостей;
• YandexDirect — скачивает информацию о контенте сайтов-партнеров Рекламной сети, чтобы уточнить их тематику для подбора релевантной рекламы;
• YandexPagechecker — валидатор микроразметки;
• YandexCalendar — робот Яндекс.Календаря.

Disallow — расставляем «кирпичи»

Disallow дает рекомендацию, какую именно информацию не стоит сканировать.

Такая запись открывает для сканирования весь сайт:

А эта запись говорит о том, что абсолютно весь контент на сайте запрещен для сканирования:

Ее стоит использовать, если сайт находится в процессе доработок, и вы не хотите, чтобы он в нынешнем состоянии засветился в выдаче.

Важно снять это правило, как только сайт будет готов к тому, чтобы его увидели пользователи. К сожалению, об этом забывают многие вебмастера.

Пример. Как прописать правило Disallow, чтобы дать рекомендации роботам не просматривать содержимое папки /papka/:

Чтобы роботы не сканировали конкретный URL:

Чтобы роботы не сканировали конкретный файл:

Чтобы роботы не сканировали все файлы определенного разрешения на сайте:

Данная строка запрещает индексировать все файлы с расширением . gif

Allow — направляем роботов

Allow разрешает сканировать какой-либо файл/директиву/страницу. Допустим, необходимо, чтобы роботы могли посмотреть только страницы, которые начинались бы с /catalog, а весь остальной контент закрыть. В этом случае прописывается следующая комбинация:

Правила Allow и Disallow сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для страницы подходит несколько правил, робот выбирает последнее правило в отсортированном списке.

Host — выбираем зеркало сайта

Host — одно из обязательных для robots.txt правил, оно сообщает роботу Яндекса, какое из зеркал сайта стоит учитывать для индексации.

Зеркало сайта — точная или почти точная копия сайта, доступная по разным адресам.

Робот не будет путаться при нахождении зеркал сайта и поймет, что главное зеркало указано в файле robots.txt. Адрес сайта указывается без приставки «http://», но если сайт работает на HTTPS, приставку «https://» указать нужно.

Как необходимо прописать это правило:

Пример файла robots.txt, если сайт работает на протоколе HTTPS:

Sitemap — медицинская карта сайта

Sitemap сообщает роботам, что все URL сайта, обязательные для индексации, находятся по адресу http://site.ua/sitemap.xml. При каждом обходе робот будет смотреть, какие изменения вносились в этот файл, и быстро освежать информацию о сайте в базах данных поисковой системы.

Инструкция должна быть грамотно вписана в файл:

Crawl-delay — секундомер для слабых серверов

Crawl-delay — параметр, с помощью которого можно задать период, через который будут загружаться страницы сайта. Данное правило актуально, если у вас слабый сервер. В таком случае возможны большие задержки при обращении поисковых роботов к страницам сайта. Этот параметр измеряется в секундах.

Clean-param — охотник за дублирующимся контентом

Clean-param помогает бороться с get-параметрами для избежания дублирования контента, который может быть доступен по разным динамическим адресам (со знаками вопроса). Такие адреса появляются, если на сайте есть различные сортировки, id сессии и так далее.

Допустим, страница доступна по адресам:

www.site.com/catalog/get_phone.ua?ref=page_1&phone_id=1

www.site.com/catalog/get_phone.ua?ref=page_2&phone_id=1

www.site.com/catalog/get_phone.ua?ref=page_3&phone_id=1

В таком случае файл robots.txt будет выглядеть так:

Здесь ref указывает, откуда идет ссылка, поэтому она записывается в самом начале, а уже потом указывается остальная часть адреса.

Но прежде чем перейти к эталонному файлу, необходимо еще узнать о некоторых знаках, которые применяются при написании файла robots.txt.

Символы в robots.txt

Основные символы файла —  «/, *, $, #».

С помощью слэша «/» мы показываем, что хотим закрыть от обнаружения роботами. Например, если стоит один слеш в правиле Disallow, мы запрещаем сканировать весь сайт. С помощью двух знаков слэш можно запретить сканирование какой-либо отдельной директории, например: /catalog/.

Такая запись говорит, что мы запрещаем сканировать все содержимое папки catalog, но если мы напишем /catalog, запретим все ссылки на сайте, которые будут начинаться на /catalog.

Звездочка «*» означает любую последовательность символов в файле. Она ставится после каждого правила.

Эта запись говорит, что все роботы не должны индексировать любые файлы с расширением .gif в папке /catalog/

Знак доллара «$» ограничивает действия знака звездочки. Если необходимо запретить все содержимое папки catalog, но при этом нельзя запретить урлы, которые содержат /catalog, запись в индексном файле будет такой:

Решетка «#» используется для комментариев, которые вебмастер оставляет для себя или других вебмастеров. Робот не будет их учитывать при сканировании сайта.

Например:

Как выглядит идеальный robots.txt

Такой файл robots.txt можно разместить почти на любом сайте:

Файл открывает содержимое сайта для индексирования, прописан хост и указана карта сайта, которая позволит поисковым системам всегда видеть адреса, которые должны быть проиндексированы. Отдельно прописаны правила для Яндекса, так как не все роботы понимают инструкцию Host.

Но не спешите копировать содержимое файл к себе — для каждого сайта должны быть прописаны уникальные правила, которые зависит от типа сайта и CMS. поэтому тут стоит вспомнить все правила при заполнении файла robots.txt.

Как проверить файл robots.txt

Если хотите узнать, правильно ли заполнили файл robots.txt, проверьте его в инструментах вебмастеров Google и Яндекс. Просто введите исходный код файла robots.txt в форму по ссылке и укажите проверяемый сайт.

Как не нужно заполнять файл robots.txt

Часто при заполнении индексного файла допускаются досадные ошибки, причем они связаны с обычной невнимательностью или спешкой. Чуть ниже — чарт ошибок, которые я встречала на практике.

1. Перепутанные инструкции:

Правильный вариант:

2. Запись нескольких папок/директорий в одной инструкции Disallow:

Такая запись может запутать поисковых роботов, они могут не понять, что именно им не следует индексировать: то ли первую папку, то ли последнюю, — поэтому нужно писать каждое правило отдельно.

3. Сам файл должен называться только robots.txt, а не Robots.txt, ROBOTS.TXT или как-то иначе.

4. Нельзя оставлять пустым правило User-agent — нужно сказать, какой робот должен учитывать прописанные в файле правила.

5. Лишние знаки в файле (слэши, звездочки).

6. Добавление в файл страниц, которых не должно быть в индексе.

Нестандартное применение robots.txt

Кроме прямых функций индексный файл может стать площадкой для творчества и способом найти новых сотрудников.

Вот сайт, в котором robots.txt сам является маленьким сайтом с рабочими элементами и даже рекламным блоком.

Хотите что-то поинтереснее? Ловите ссылку на robots.txt со встроенной игрой и музыкальным сопровождением.

Многие бренды используют robots.txt, чтобы еще раз заявить о себе:

В качестве площадки для поиска специалистов файл используют в основном SEO-агентства. А кто же еще может узнать о его существовании? 🙂

А у Google есть специальный файл humans. txt, чтобы вы не допускали мысли о дискриминации специалистов из кожи и мяса.

Когда у вебмастера появляется достаточно свободного времени, он часто тратит его на модернизацию robots.txt:

Хотите, чтобы все страницы вашего сайта заходили в индекс быстро? Мы выберем для вас оптимальную стратегию SEO-продвижения:

{«0»:{«lid»:»1531306243545″,»ls»:»10″,»loff»:»»,»li_type»:»nm»,»li_name»:»name»,»li_ph»:»Имя»,»li_req»:»y»,»li_nm»:»name»},»1″:{«lid»:»1573230091466″,»ls»:»20″,»loff»:»»,»li_type»:»ph»,»li_name»:»phone»,»li_req»:»y»,»li_masktype»:»a»,»li_nm»:»phone»},»2″:{«lid»:»1573567927671″,»ls»:»30″,»loff»:»y»,»li_type»:»in»,»li_name»:»surname»,»li_ph»:»Фамилия»,»li_req»:»y»,»li_nm»:»surname»},»3″:{«lid»:»1531306540094″,»ls»:»40″,»loff»:»»,»li_type»:»in»,»li_name»:»domains»,»li_ph»:»Адрес сайта»,»li_rule»:»url»,»li_req»:»y»,»li_nm»:»domains»},»4″:{«lid»:»1573230077755″,»ls»:»50″,»loff»:»»,»li_type»:»em»,»li_name»:»email»,»li_ph»:»Email»,»li_req»:»y»,»li_nm»:»email»},»5″:{«lid»:»1575903646714″,»ls»:»60″,»loff»:»»,»li_type»:»hd»,»li_name»:»comment»,»li_value»:»Автоматический коммент: заявка из блога, без пользовательского комментария»,»li_nm»:»comment»},»6″:{«lid»:»1575903664523″,»ls»:»70″,»loff»:»»,»li_type»:»hd»,»li_name»:»lead_channel_id»,»li_value»:»24″,»li_nm»:»lead_channel_id»},»7″:{«lid»:»1584374224865″,»ls»:»80″,»loff»:»»,»li_type»:»hd»,»li_name»:»ip»,»li_nm»:»ip»},»8″:{«lid»:»1609939359940″,»ls»:»90″,»loff»:»»,»li_type»:»hd»,»li_name»:»post_id»,»li_nm»:»post_id»}}

Поможем обогнать конкурентов

Выводы

С помощью Robots. txt вы сможете задавать инструкции поисковым роботам, рекламировать себя, свой бренд, искать специалистов. Это большое поле для экспериментов. Главное, помните о грамотном заполнении файла и типичных ошибках.

Правила, они же директивы, они же инструкции файла robots.txt:

1. User-agent — правило о том, каким роботам необходимо просмотреть инструкции, описанные в robots.txt.
2. Disallow дает рекомендацию, какую именно информацию не стоит сканировать.
3. Sitemap сообщает роботам, что все URL сайта, обязательные для индексации, находятся по адресу http://site.ua/sitemap.xml.
4. Crawl-delay — параметр, с помощью которого можно задать период, через который будут загружаться страницы сайта.
5. Host сообщает роботу Яндекса, какое из зеркал сайта стоит учитывать для индексации.
6. Allow разрешает сканировать какой-либо файл/директиву/страницу.
7. Clean-param помогает бороться с get-параметрами для избежания дублирования контента.

Знаки при составлении robots. txt:

1. Знак доллара «$» ограничивает действия знака звездочки.
2. С помощью слэша «/» мы показываем, что хотим закрыть от обнаружения роботами.
3. Звездочка «*» означает любую последовательность символов в файле. Она ставится после каждого правила.
4. Решетка «#» используется, чтобы обозначить комментарии, которые пишет вебмастер для себя или других вебмастеров.

Используйте индексный файл с умом — и сайт всегда будет в выдаче.

Правильное заполнение файла robots.txt

Сразу оговоримся, что присутствие файла robots.txt на сервере обязательно. Даже если вы полностью открываете ресурс для индексации.

Индексация robots.txt

Первое, что индексируют и сканируют поисковые системы на ресурсе, — файл robots.txt. Есть условия действительности файла:

• Название. Исключительно robots.txt. Помните, что URL-адреса чувствительны к регистру.
• Местоположение. Файл должен находиться в корневом каталоге верхнего уровня хоста и быть единственным.
• Протокол. Поддерживаются все протоколы на основе URI — HTTP и HTTPS. Поисковые боты делают обычный GET-запрос, на который должен поступить ответ со статусом 200 OK. Возможна обработка файла с FTP-серверов: доступ осуществляется с использованием анонимного входа.
• Формат. Файл должен быть в текстовом формате. Его можно создать в любом текстовом редакторе с поддержкой кодировки UTF-8. Не рекомендуем использовать текстовые процессоры, так как они могут сохранять файлы в проприетарном формате и добавлять дополнительные символы, не распознаваемые поисковыми роботами.
• Размер. Для Google значение не должно превышать 500 килобайт, а для Яндекса — 32 КБ. Гугл переходит к файлу, но сканирует первые 500 килобайт, а Яндекс сразу смотрит на размер и, если лимит превышен, считает, что доступ к содержимому сайта закрыт. При успешном сканировании и индексировании файла Яндекс исполняет инструкции в течение 2 недель, а для Google они являются рекомендуемыми и не обязательны к исполнению.

Настройка robots.txt

Чтобы правильно заполнить robots.txt, в первую очередь нужно придерживаться правил, заданных поисковиками. Особенно это касается директив.

Директивы

Поисковые роботы Google, Яндекс. Bing, Yahoo и Ask поддерживают следующие директивы:

Синтаксис и примеры

Помимо директив, чтобы правильно настроить robots.txt, нужно соблюдать правила синтаксиса.

Разберем на примерах.

1. Указания чувствительны к регистру. Пример: http://site-example.ru/file.html и http://site-example.ru/File.html — это разные пути.

2. Для кириллических адресов используйте Punycode.

   #НЕВЕРНО
   Disallow: /корзина

   #ВЕРНО:
   Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0

3. Для комментирования используйте #. Как в предыдущем пункте.

4. Хотя бы одна Allow или Disallow должна быть в группе. Пример:

   #Блокировка доступа ко всему ресурсу определенному боту
   User-agent: Googlebot #сюда указывается токен бота
   Disallow: /

   #Блокировка доступа ко всему ресурсу всем ботам
   User-agent: * #звездочка означает «любой бот»
   Disallow: /

5. Обязательно указывайте Sitemap. Хоть эта директива необязательна, мы советуем ее указывать, поскольку адрес может отличаться от стандартного и боты могут ее не найти. Пример:

   User-agent: *
   Allow: /
   Sitemap: https://site-example.ru/sitemap.xml

5. Для переноса строки используйте знак $. Пример:

   User-agent: *
   Disallow: https://site-example.ru/здесь-будет-очень-длинный-$
   адрес-сайта
   Sitemap: https://site-example.ru/sitemap.xml
   Host: https://site-example.ru

6. Можно запретить доступ к отдельному файлу, странице или категории. Пример:

   User-agent: *
   Disallow: /page-example.html #не нужно указывать весь путь ресурса
   Disallow: /images/image-example.png #любой файл: картинка, документ, все что угодно
   Disallow: /*.js$ #запретить определенный тип файла
   Disallow: /category-example/
   Allow: /category-example/subcategory-example/ #прошлой строкой запретили раздел и его последующие подкатегории и файлы, но далее можно разрешить сканировать другой раздел

Не бойтесь совершить ошибку — файлы robots. txt можно проверить на валидность с помощью специальных сервисов.

Проверка robots.txt на валидность

Чтобы убедиться в правильности составления файла robots.txt воспользуйтесь инструментами проверки от поисковых систем:

1. Проверка в Google Search Console. Нужно авторизоваться в аккаунте с подтвержденными правами на сайт. Далее перейти в «Сканирование», а затем в «Инструмент проверки файла robots.txt». Проверить можно только сайт, в котором вы авторизовались.
2. Проверка в инструменте Яндекса. Авторизация не нужна, просто укажите адрес сайта или загрузите исходный код файла. Проверить можно любой сайт.

В сервисах проверки можно загрузить несколько страниц одновременно, увидеть все ошибки, исправить их прямо в инструменте и перенести готовый файл на сайт.

что такое продвижение сайта в поисковой системе?

SEO-продвижение — вечная тема, которая заслуженно будоражит умы владельцев и администраторов сайтов. Сегодня в нашем блоге о базе и азах. SEO-специалист REG.RU Максим Ткач расскажет что такое SEO, какие есть виды продвижения сайта и методы оптимизации.

Что такое SEO?

SEO (Search Engine Optimization — оптимизация под поисковые системы) — это набор методов и мер, которые призваны повысить значимость сайта в глазах поисковых систем для увеличения поискового трафика. Простыми словами — это некий набор задач, выполнив которые, ваш сайт получит большую вероятность попасть в ТОП-10 выдачи поисковых систем, а значит приводить больше пользователей.

Стоит учесть, что на сегодняшний день для эффективного SEO-продвижения сайта недостаточно просто выполнить ряд задач: такой простой и волшебной пошаговой инструкции просто не существует. Это скорее сложная и комплексная работа. Так, для успешного продвижения ваш интернет-сайт должен отвечать ряду параметров:

1. Качество контента. Все материалы (тексты, изображения, видео и т. д.) должны быть хорошо подготовлены и полностью отвечать запросу пользователя.
2. Проработанная структура сайта. Он должен быть удобным для клиента, пользователь должен иметь возможность быстро найти нужную ему информацию.
3. Коммерческие факторы. Если это коммерческий сайт, обязательно должны присутствовать такие элементы как:
   1. номер телефона
   2. форма заказа (при наличии у конкурентов)
   3. корзина (при наличии у конкурентов)
   4. фильтрация (при наличии у конкурентов)
   5. контакты
   6. остальные элементы, которые помогают пользователю определиться с выбором товара или услуги
4. Узнаваемость бренда и ссылочная масса. Здесь действует простое правило: «чем больше вас знают, тем больше о вас говорят», а в глазах поисковых систем это звучит как: «чем больше вас знают, тем больше на вас ставят ссылок». 
5. Скорость загрузки сайта. В последнее время это становится всё больше значимым фактором из-за роста популярности мобильных устройств и мобильного интернета. Важно следить за оптимизацией кода и скриптов для более быстрой загрузки сайта. Особое внимание стоит уделить отображению на мобильных устройствах.
6. Поведенческие факторы — один из главных факторов ранжирования на текущий момент. Мы уже писали подробно о том, что такое поведенческие факторы и внешние поведенческие факторы ранжирования. 

В двух словах — это показатель качества ресурса в глазах поисковых систем. На успешность SEO-раскрутки влияют множество параметров:

• Время, проведённое на сайте
• Глубина просмотра страниц
• Показатель отказов
• Dwell-time 

и так далее.

Важно понимать, что методы поискового продвижения сайта постоянно меняются и совершенствуются. Поэтому то, что работало вчера, может не работать завтра и наоборот. Давайте погрузимся в основные периоды развития поисковых алгоритмов. Это поможет понять принцип продвижения в целом.

Зарождение. Зачем нужно SEO?

Одновременно с появлением поисковых систем в далёких 90-х годах, многие пользователи поняли, что нужно изучать алгоритмы поисковых систем, чтобы с лёгкостью добывать трафик и клиентов в Интернете. В то время пришло понимание зачем нужно SEO и появилась такая профессия как «SEO-специалист» — это были люди, которые профессионально занимались SEO-продвижением сайтов. В этот период, в основном, достаточно было заспамить ключевыми словами текст, чтобы находиться на высоких позициях. Результаты поиска были ужасными и не удовлетворяли ни пользователей, ни поисковые системы.

Эра ссылок

В 1998 году поисковой системой Google был представлен алгоритм PageRank, которые совершил революцию в сфере ранжирования. Вслед за Google, Яндекс внедрил свой алгоритм ТИЦ в 1999 году. Оба алгоритма были похожими и основывались на ссылочном весе. Каждая страница и домен получали свой ссылочный вес, в зависимости от количества и качества ссылок, которые были проставлены на них и передавали вес дальше исходящим ссылкам с их домена. Для примерного представления публикуем картинку:

Одновременно с этим, SEO-бизнес набирает всё большие обороты — оптимизаторы начинают пачками делать сайты для продажи ссылок и ссылочный бизнес в итоге приводит к большой зашумлённости данного фактора ранжирования.

Машинное обучение

Этот период в Рунете принято считать с 2009 года, одновременно с выходом Матрикснет. Это такой алгоритм машинного обучения, который сам строил формулу ранжирования и был разработан поисковой системой Яндекс.

«Бессылочная эра»

С 2012 года поисковые системы начали жёсткую борьбу со ссылочным спамом. Началось всё с внедрения алгоритма «Пингвин» от Google в 2012 году. Далее в 2014 году Яндекс заявил, что полностью отключил влияние ссылочного на формулу ранжирования, а в 2015 году выпустил фильтр «Минусинск», который наказывал  за ссылочный спам.

Современное SEO

Примерно после 2015 года к оптимизаторам пришло понимание, что правила игры сильно изменились. На сегодняшний день декларируется больше 800 факторов, которые участвуют в формуле ранжирования. Единственный метод на сегодня продвинуться в ТОП-10 выдачи — это системная и комплексная работа над сайтом.

SEO-продвижение сайтов что же это такое и какие бывают виды?

Как мы уже говорили раньше, SEO-продвижение — целый комплекс мер, с которыми нужна системная работа — начиная от работы над контентом, заканчивая наращиванием ссылочной массы. Но условно все работы можно разделить на 2 типа:

• внутренняя оптимизация
• внешняя оптимизация

Остановимся на каждом типе подробнее.

Внутренняя оптимизация сайта

Это весь комплекс мер, которые вы применяете непосредственно к своему сайту, а не на внешних ресурсах. Вот несколько примеров таких задач:

1. Составление семантического ядра (предварительный этап)
2. Разработка файла robots.txt и sitemap.xml
3. Правка технических ошибок
4. Работы, связанные с оптимизацией на странице — написание текста, написание тегов Title и META. В мире SEO это называется «on-page оптимизацией» (оптимизацией «на странице»)
5.  Улучшение структуры сайта
6. Оптимизация изображений, видео
7. Работы над перелинковкой
8. Работа над коммерческими факторами
9. Работа над поведенческими факторами

Нужно учитывать, что за всеми параметрами, перечисленными выше, нужно постоянно следить и исправлять. Опытные SEO-специалисты заводят для себя чек-листы и регулярно проверяют сайты по ним. В противном случае, вы можете упустить важную ошибку, которая приведёт к потере трафика.

Внешняя оптимизация сайта

Внешняя оптимизация —- наоборот, представляет собой комплекс мер, которые вы проводите на внешних ресурсах. Как правило — это работа со ссылочной массой и узнаваемостью бренда.

Для получение хорошей ссылочной массы актуально:

1. Написание и публикация статей на внешних авторитетных ресурсах
2. Размещение пресс-релизов
3. Обмен ссылками с авторитетными ресурсами
4. Активный постинг на профильных ресурсах
5. Работа с журналистами
6. Повышение узнаваемости названия бренда, без проставления ссылок

Методы SEO-оптимизации

Как вы понимаете, в любом бизнесе, наряду с легальными методами, могут появляться не совсем законные или вообще запрещённые. И SEO не исключение. Здесь выделяют следующие методы:

Белая оптимизация

Полностью законный метод, в котором работы направлены на повышение качества сайта с помощью улучшения всех, вышеуказанных параметров. Это огромный труд, который иногда требует множества знаний, но результат стоит того.

Серая оптимизация

Набор методов, которые, хотя напрямую и не запрещены поисковыми системами, но все же находятся где-то «на грани» дозволенного. За использование таких методов можно попасть под фильтр.

Чёрная оптимизация или “black-hat SEO”

Использование методов, которые запрещены правилами поисковых систем. Рано или поздно сайт попадает под фильтр или бан. К таким методам относят, например, дорвеи.

Заключение

Итак, мы попробовали разобраться что же такое SEO-оптимизация сайта и зачем она нужна. Но все же, у вас наверное, остались вопросы «С чего начать продвижение «молодого сайта» (например, лендинга) самому?». Вот перечень шагов, с которых нужно начать (подробно о каждом из них мы расскажем в следующих материалах):

1. Анализ конкурентов. Важный этап, на котором вы определитесь с вопросом стоит ли вообще делать сайт на эту тематику.
2. Сбор семантического ядра. Ваш будущий сайт должен полностью охватывать всю тематику.
3. Кластеризация семантического ядра и разработка структуры сайта. Часто кластеризацию игнорируют на этапе разработки сайта, что приводит потом к множеству переделок.
4. Исправление технических ошибок, составление грамотного robots.txt, мониторинг состояния сайта. 
5. Подготовка текста на основе семантического ядра, подбор качественного фото- и видеоконтента. 
6. Проработка коммерческих факторов — крайне важно предоставить пользователю функционал быстрой покупки или связи с вами
7. Анализ и улучшение поведения пользователей. Устранение сложностей.

⌘⌘⌘

Будем рады вашим комментариям и вопросам. В следующем материале на тему SEO мы расскажем с чего начать базовую оптимизацию сайта. Оставайтесь с нами! 

как правильный robots.txt сайт из Google удалил — SEO на vc.ru

Таки-здрасьте!

{«id»:151384,»url»:»https:\/\/vc. ru\/seo\/151384-keys-kak-pravilnyy-robots-txt-sayt-iz-google-udalil»,»title»:»\u041a\u0435\u0439\u0441: \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 robots.txt \u0441\u0430\u0439\u0442 \u0438\u0437 Google \u0443\u0434\u0430\u043b\u0438\u043b»,»services»:{«facebook»:{«url»:»https:\/\/www.facebook.com\/sharer\/sharer.php?u=https:\/\/vc.ru\/seo\/151384-keys-kak-pravilnyy-robots-txt-sayt-iz-google-udalil»,»short_name»:»FB»,»title»:»Facebook»,»width»:600,»height»:450},»vkontakte»:{«url»:»https:\/\/vk.com\/share.php?url=https:\/\/vc.ru\/seo\/151384-keys-kak-pravilnyy-robots-txt-sayt-iz-google-udalil&title=\u041a\u0435\u0439\u0441: \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 robots.txt \u0441\u0430\u0439\u0442 \u0438\u0437 Google \u0443\u0434\u0430\u043b\u0438\u043b»,»short_name»:»VK»,»title»:»\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435″,»width»:600,»height»:450},»twitter»:{«url»:»https:\/\/twitter.com\/intent\/tweet?url=https:\/\/vc. ru\/seo\/151384-keys-kak-pravilnyy-robots-txt-sayt-iz-google-udalil&text=\u041a\u0435\u0439\u0441: \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 robots.txt \u0441\u0430\u0439\u0442 \u0438\u0437 Google \u0443\u0434\u0430\u043b\u0438\u043b»,»short_name»:»TW»,»title»:»Twitter»,»width»:600,»height»:450},»telegram»:{«url»:»tg:\/\/msg_url?url=https:\/\/vc.ru\/seo\/151384-keys-kak-pravilnyy-robots-txt-sayt-iz-google-udalil&text=\u041a\u0435\u0439\u0441: \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 robots.txt \u0441\u0430\u0439\u0442 \u0438\u0437 Google \u0443\u0434\u0430\u043b\u0438\u043b»,»short_name»:»TG»,»title»:»Telegram»,»width»:600,»height»:450},»odnoklassniki»:{«url»:»http:\/\/connect.ok.ru\/dk?st.cmd=WidgetSharePreview&service=odnoklassniki&st.shareUrl=https:\/\/vc.ru\/seo\/151384-keys-kak-pravilnyy-robots-txt-sayt-iz-google-udalil»,»short_name»:»OK»,»title»:»\u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0438″,»width»:600,»height»:450},»email»:{«url»:»mailto:?subject=\u041a\u0435\u0439\u0441: \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 robots. txt \u0441\u0430\u0439\u0442 \u0438\u0437 Google \u0443\u0434\u0430\u043b\u0438\u043b&body=https:\/\/vc.ru\/seo\/151384-keys-kak-pravilnyy-robots-txt-sayt-iz-google-udalil»,»short_name»:»Email»,»title»:»\u041e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043f\u043e\u0447\u0442\u0443″,»width»:600,»height»:450}},»isFavorited»:false}

4732 просмотров

Пишу тут пост впервые, так что пинайте как можно сильнее и сопровождайте пинки как можно более сильными криками.

В данном посте я расскажу о том, как robots.txt, который на первый взгляд составлен правильно, полностью выбил сайт из поисковой системы Google.

Дано.
Сайт по велотуризму. Клиент у нас совсем недавно, поэтому на сайте пока что всё плохо. Клиент пожаловался, что сайт полностью вылетел из поисковой выдачи Google. Также заказчик сказал, что кто-то из его программистов что-то делал с robots.txt. ОК, будем посмотреть.

Задача.
Вернуть сайт обратно в Google. Не обязательно в ТОП, достаточно чтобы он просто индексировался.

Что было сделано.
Самое первое, что я сделал — глянул текущий robots. На момент вмешательства он выглядел вот так (версия от 11 августа):

User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest. xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Sitemap: https://velotour-asia.ru/sitemap_index.xml

Как видите, никаких правил, которые запрещают индексирвание всего сайта ( или, скажем, главной страницы) тут нету. Подозрительно, однако!

OK, Google, расскажи же, что не так! Идём в Search Console и пытаемся разобраться. И «от оно чо, Михалыч!» Противоречие однако!

Обратите внимание, что попытка сканирования была 19го числа, т. е. спустя несколько дней после последнего редактирования robots’а. Эй, какого яруса?! Роботс, вроде, в порядке, но Google на него ругается. Как так-то?

{«url»:»https:\/\/booster.osnova.io\/a\/relevant?site=vc»,»place»:»between_entry_blocks»,»site»:»vc»,»settings»:{«modes»:{«externalLink»:{«buttonLabels»:[«\u0423\u0437\u043d\u0430\u0442\u044c»,»\u0427\u0438\u0442\u0430\u0442\u044c»,»\u041d\u0430\u0447\u0430\u0442\u044c»,»\u0417\u0430\u043a\u0430\u0437\u0430\u0442\u044c»,»\u041a\u0443\u043f\u0438\u0442\u044c»,»\u041f\u043e\u043b\u0443\u0447\u0438\u0442\u044c»,»\u0421\u043a\u0430\u0447\u0430\u0442\u044c»,»\u041f\u0435\u0440\u0435\u0439\u0442\u0438″]}},»deviceList»:{«desktop»:»\u0414\u0435\u0441\u043a\u0442\u043e\u043f»,»smartphone»:»\u0421\u043c\u0430\u0440\u0442\u0444\u043e\u043d\u044b»,»tablet»:»\u041f\u043b\u0430\u043d\u0448\u0435\u0442\u044b»}},»isModerator»:false}

В коде страницы я никаких noindex’ов тоже не нашел, т. е. вариант с тегами отпадает.

Далее я просканировал сайт Screaming Frog’ом, предварительно выставив в настройках смартфонный гуглбот (именно смартфонный, т.к. Николай Васильевич Гуголь сканировал сайт именно им). Также в настройках было выставлено Respect robots, чтобы содержимое robots.txt не игнорировалось.

Как видите, все строки (кроме первой) отдают код 200 ОК и имеют статус Indexable. Т.е. со сканированием Фрог проблем не выявил. Странно.

ОК, тогда воспользуемся штатным инструментом Google для проверки robots.txt. Самое первое, что бросилось в глаза — все строки были помечены как ошибочные.

Всё страннее и страннее… Томить не буду. Проблему я, кстати, заметил далеко не сразу. Всё внимание на первую строку роботса:

Что это за символ — не понятно. Удаляем и…

… и все 26 ошибок исчезли. Далее я напрямую из Консоли скачал исправленный роботс, затем скачал с сайта исходный и стал сравнивать.

Если их просто открыть в блокноте, то они выглядят абсолютно идентично. Как говорится, «найдите 10 отличий». Если вместо Блокнота открывать через Notepad++ — будет то же самое.

Однако, размер файлов отличается, пусть даже всего на 3 байта:

Вот блин просто охренеть! Всего 1 символ, который не отображается ни в браузере, ни в блокноте, ни в Notepad++, и сайт вылетел из индекса Google! Как тебе такое, Илон Маск?

Robots.txt — инструкция для SEO

Файл robots.txt предоставляет важную информацию для поисковых роботов, которые сканируют интернет. Перед тем как пройтись по страницам вашего сайта, поисковые роботы проверяют данный файл.

Это позволят им с большей эффективностью сканировать сайт, так как вы помогаете роботам сразу приступать к индексации действительно важной информации на вашем сайте (это при условии, что вы правильно настроили robots. txt).

Но, как директивы в robots.txt, так и инструкция noindex в мета-теге robots являются лишь рекомендацией для роботов, поэтому они не гарантируют что закрытые страницы не будут проиндексированы и не будут добавлены в индекс.

Если вам нужно действительно закрыть часть сайта от индексации, то, например, можно дополнительно воспользоваться закрытие директорий паролем.

User-Agent: робот для которого будут применяться следующие правила (например, «Googlebot»)

Disallow: страницы, к которым вы хотите закрыть доступ (можно указать большой список таких директив с каждой новой строки)

Каждая группа User-Agent / Disallow должны быть разделены пустой строкой. Но, не пустые строки не должны существовать в рамках группы (между User-Agent и последней директивой Disallow).

Символ хэш (#) может быть использован для комментариев в файле robots. txt: для текущей строки всё что после # будет игнорироваться. Данные комментарий может быть использован как для всей строки, так в конце строки после директив.

Каталоги и имена файлов чувствительны к регистру: «catalog», «Catalog» и «CATALOG» – это всё разные директории для поисковых систем.

Host: применяется для указание Яндексу основного зеркала сайта. Поэтому, если вы хотите склеить 2 сайта и делаете постраничный 301 редирект, то для файла robots.txt (на дублирующем сайте) НЕ надо делать редирект, чтобы Яндекс мог видеть данную директиву именно на сайте, который необходимо склеить.

Crawl-delay: можно ограничить скорость обхода вашего сайта, так как если у вашего сайта очень большая посещаемость, то, нагрузка на сервер от различных поисковых роботов может приводить к дополнительным проблемам.

Регулярные выражения: для более гибкой настройки своих директив вы можете использовать 2 символа

• * (звездочка) – означает любую последовательность символов
• $ (знак доллара) – обозначает конец строки

Основные примеры использования robots. txt

Запрет на индексацию всего сайта

User-agent: *

Disallow: /

Эту инструкцию важно использовать, когда вы разрабатываете новый сайт и выкладываете доступ к нему, например, через поддомен.

Очень часто разработчики забывают таким образом закрыть от индексации сайт и получаем сразу полную копию сайта в индексе поисковых систем. Если это всё-таки произошло, то надо сделать постраничный 301 редирект на ваш основной домен.

А такая конструкция ПОЗВОЛЯЕТ индексировать весь сайт:

User-agent: *

Disallow:

Запрет на индексацию определённой папки

User-agent: Googlebot

Disallow: /no-index/

Запрет на посещение страницы для определенного робота

User-agent: Googlebot

Disallow: /no-index/this-page.html

Запрет на индексацию файлов определенного типа

User-agent: *

Disallow: /*.pdf$

Разрешить определенному поисковому роботу посещать определенную страницу

User-agent: *

Disallow: /no-bots/block-all-bots-except-rogerbot-page. html

User-agent: Yandex

Allow: /no-bots/block-all-bots-except-Yandex-page.html

Ссылка на Sitemap

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

Нюансы с использованием данной директивы: если у вас на сайте постоянно добавляется уникальный контент, то

• лучше НЕ добавлять в robots.txt ссылку на вашу карту сайта,
• саму карту сайта сделать с НЕСТАНДАРТНЫМ названием sitemap.xml (например, my-new-sitemap.xml и после этого добавить эту ссылку через «вебмастерсы» поисковых систем),

так как, очень много недобросовестных вебмастеров парсят с чужих сайтов контент и используют для своих проектов.

Статья в тему: Создаем sitemap для Google и Яндекс

Если вы хотите, чтобы страница не попала в индекс, то лучше использовать noindex в мета-теге robots. Для этого на странице в секции <head> необходимо добавить следующий метатег:

<meta name=”robots” content=”noindex, follow”>.

Это позволит вам

• убрать из индекса страницу при следующем посещение поискового робота (и не надо будет делать в ручном режиме удаление данной страницы, через вебмастерс)
• позволит вам передать ссылочный вес страницы

Через robots.txt лучше всего закрывать от индексации:

• админку сайта
• результаты поиска по сайту
• страницы регистрации/авторизации/восстановление пароля

После того, как вы окончательно сформировали файл robots.txt необходимо проверить его на ошибки. Для этого можно воспользоваться инструментами проверки от поисковых систем:

Google Вебмастерс: войти в аккаунт с подтверждённым в нём текущим сайтом, перейти на Сканирование -> Инструмент проверки файла robots.txt.

В данном инструменте вы можете:

• сразу увидеть все свои ошибки и возможные проблемы,
• прямо в этом инструменте провести все правки и сразу проверить на ошибки, чтобы потом уже перенести готовый файл себе на сайт,
• проверить правильно ли вы закрыли все не нужные для индексации страницы и открыты ли все нужные страницы.

Яндекс Вебмастер: чтобы воспользоваться данным инструментом просто перейдите по этой ссылке http://webmaster.yandex.ru/robots.xml.

Этот инструмент почти аналогичный предыдущему с тем небольшим отличием, что:

• тут можно не авторизоваться и нет необходимости в подтверждении прав на сайт, а поэтому, можно сразу приступать к проверке вашего файла robots.txt,
• для проверки сразу можно задать список страниц, а не вбивать их по одному,
• точно убедиться, что Яндекс правильно понял ваши инструкции.

Создание и настройка robots.txt является в списке первых пунктов по внутренней оптимизации сайта и началом поискового продвижения.

Важно его настроить грамотно, чтобы нужные страницы и разделы были доступны к индексации поисковых систем. А не нужные были закрыты.

Но главное помнить, что robots.txt не гарантирует того, что страницы не будут проиндексированы. Как когда-то сказала наша коллега Анастасия Пареха:

Robots. txt — как презерватив, вроде защищает, но вероятность всегда есть)

Хорошие статьи в продолжение:

— 301 редирект – самое полное руководство

— Пагинация для SEO – пошаговое руководство

— Ответы сервера – практичная методичка

А что вы думаете про настройку robots.txt на сайте?

Оцените статью

SEO продвижение сайта — что это и с чего начать оптимизацию

В интернете сегодняшнего дня обойти конкурентов и выйти в ТОП поисковиков без продвижения практически нереально. Эта статья будет вам мегаполезна, даже если вы не собираетесь сами продвигать свой ресурс. Вы сможете понимать, для чего нужно SEO-продвижение сайтов, что делают специалисты по продвижению, говорить с ними на одном языке, анализировать отчеты и оценивать объем проведенных работ.

SEO-продвижение — что это? Еще его называют «поисковая оптимизация» — это целый комплекс мероприятий, который направлен на то, чтобы ваш сайт отображался как можно выше в выдаче поискового запроса, а значит — привлекал больше пользователей. Но “попасть в ТОП-10 или в ТОП-5” — это неправильно сформулированная цель, потому что борьба идет в конечном итоге не за место в выдаче, а за покупателя. Что толку, если потенциальный клиент закроет страницу через минуту, наткнувшись на бесполезный контент, мелкий шрифт на вырвиглазном цвете или жуткое меню? Поэтому умное SEO заботится не только о количестве, но и о качестве трафика. Мы по шагам разберем, как привести ваш сайт к благосклонности поисковиков и клиентов и ответим на вопрос, что это за зверь — SEO-продвижение сайта.

7 необходимых пунктов для работы SEO

Итак, SEO-продвижение — с чего начать? Чтобы оптимизация работала, должны быть выполнены эти 7 пунктов:

• Быстрая загрузка и Mobile First. Скорость жизни слишком высокая, чтобы тратить время на медленно загружающийся сайт — вряд ли он единственный в своем роде. Долгая загрузка отталкивает большое количество потенциальных клиентов. Мобильная адаптация тоже крайне важна — 61% пользователей интернета пользуется поиском со смартфонов периодически, а более трети от всего количества вообще заходят в сеть исключительно с мобильных устройств. Вряд ли они будут разбираться в неадаптированной версии и скроллить экран на все четыре стороны. Потому это важно для SEO-оптимизации и продвижения сайтов. Даже поисковики предоставляют технологии для быстрой мобильной загрузки (AMP от Google, Турбо от Яндекс). Люди активно пользуются голосовым поиском, а в выдаче можно видеть быстрые ответы, результаты соревнований и чат с компанией, избавляющий от необходимости перехода на сайт. Поисковики постоянно совершенствуются, каждый год появляются сотни изменений.
• Высокая ценность контента. Сейчас уже нельзя взять и просто написать “Хаски купить щенка северные ездовые собаки, выведенные чукчами в Северо-Восточной части Сибири…” Это прямой путь под фильтр Яндекса Баден-Баден. Ключи должны быть вживлены незаметно для читателя, чтобы не раздражать глаз, а сам текст структурирован — сплошной набор слов мало кто захочет осиливать. Что касается длины — это зависит от страницы. Лонгриду в категории товаров явно нечего делать, а вот в блоге он уместен и полезен для перелинковки. Гайды, обзоры, экспертные статьи делают сайт интересным. Кроме того, контент — не только текст. Картинки, видео, интерактивные вставки — все это удерживает читателя на странице подольше.

• Входная аналитика и анализ конкурентов. Подобный мониторинг не прекращается. Придумать, чем удержать пользователя, и убедить его купить товар или услугу именно у вас — задача не из простых. У конкурентов можно как взять интересные идеи и адаптировать под свой ресурс, так и увидеть ошибки — на чужих учиться всегда приятнее.
• Бесконечный цикл улучшений. Этот пункт вытекает из предыдущего. Правило “работает — не трогай” к SEO-продвижению не относится. Низкочастотные и высокочастотные ключи влияют друг на друга, поэтому важно иметь представление о всей комплексной картине. Зачастую низкочастотный ключ приведет теплую аудиторию, готовую к покупке, а по жирному ключевику придут люди, для которых это будет первое касание с продуктом. Купят же они его через полгода и, возможно, не у вас.
• Техническая безупречность. Даже если у вас супер контент, половина пользователей могут просто не дойти до сайта из-за технических ошибок. Их нужно искоренять, особенно учитывая то, что технический аудит — это самое простое, что можно сделать для продвижения ресурса.
• Интеграция с соцсетями. Практически каждый пользователь интернета зарегистрирован хотя бы в одной соцсети. Взаимосвязь поискового продвижения и SMM — тема для отдельной статьи, но она намного сильнее, чем кажется.
• Релевантность. Перейдя на страницу,человек должен получить ответ на свой запрос. Если он пришел по запросу “кирпич цена”, он должен увидеть цену кирпича, а не прочитать о его преимуществах, способах изготовления и три абзаца с содержанием типа “ Мы продаем кирпич, цена которого недорогая”. Посмотрите на сайт глазами клиента и подумайте, устроит его ваш ответ или нет.

Для всех согласований важно выбрать одного человека, с которым будет прямая связь. Если текст будет неделями согласовывать совет директоров из 15 человек, или до генерального директора его будут нести по очереди десять секретарш — шансы на успех стремятся к нулю.

Самые важные вещи нужно делать быстро, и не беда если будут какие-то незначительные несовершенства — лучше их исправить, чем вообще ничего не сделать. Будьте готовы к неожиданностям — что сыграло в продвижении одного сайта, совсем не обязательно окажется рабочим для другого. Поэтому больше индивидуальности, меньше типизации.

Техническая оптимизация

Если вы теряетесь, с чего начать SEO-продвижение сайта, то первым делом обратите внимание на его техническое состояние, т. к. это самые простые работы. При этом, они могут существенно понижать страницу в выдаче. Технические ошибки могут быть незаметны для людей, пришедших на сайт. Но поисковики, несмотря на все стремления их “очеловечить” — роботы. Они проверяют все параметры, и какие-то недочеты могут повлиять на трафик. Куда ошибки закрадываются чаще всего?

Индексация страниц, дубли

У любого продвигаемого сайта должен быть файлик robots.txt, который находится по адресу имясайта.ru/robots.txt. В нем прячутся дубли страниц, которые генерируют CMS и в частности, Битрикс. Такие страницы имеют одинаковое содержимое, мета-теги и снижают позиции сайта в выдаче. Для проверки дублей есть разные сервисы.

Бесплатные:

• “SiteAnalyzer” от Majento;
• Xenu

Платные:

• ComparseR;
• Serpstat;
• Semrush;
• Se Ranking и другие.

Если дубли нашлись, их нужно спрятать от индексации с помощью директивы Disаllow, а те страницы, которые поисковик должен посещать отображает директива Allow. Подробнее о синтаксисе и правилах оформления robots. txt в справках https://support.google.com/webmasters/answer/6062596?hl=ru&ref_topic=6061961, https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html.

Sitemap.xml

Так как оптимизация идет постоянно, этот файл тоже нужно периодически проверять. В нем содержится “карта сайта” для поисковиков, благодаря чему он быстро понимает, какие страницы содержит ресурс. Sitemap.xml не должен противоречить robots.txt.

Скорость загрузки

Медленные страницы никто не любит. Максимально допустимое время загрузки 6 секунд, но рекомендуемое — не более 3. Эти сервисы проверят показатель скорости и дадут рекомендации по улучшению:

• Google pagespeed insights;
• GTmetrix;
• WebPagetest.

Также на отказы и возврат в результаты выдачи влияют всплывающие окна.

Ошибка 404

Если страница не существует, но при этом отдает 200 код ответа серверу — она индексируется поисковиком, который считает ее дублем. Если все сделано правильно, то такая страница:

• отдает код ответа серверу 404;
• оповещает, что такой страницы не существует, либо она устарела;
• оформлена в общем стиле сайта;
• имеет поиск по сайту и ссылки на основные категории.

Найти такие страницы поможет уже упомянутый ComparseR.

Стоит проверить и прочие заголовки серверов. Все рабочие страницы отдают ответ 200, в другие ответы требуют анализа и исправления.

Семантический URL

Такой URL отражает файловую структуру сайта в понятных человеку словах. Они повышают удобство страницы и позволяют догадаться о ее содержимом. Для наглядности приведем пример:

Склейка зеркал

Для человека без разницы, что вводить в поисковую строку: имя сайта с www или без, с http или https. Но поисковик считает, что это 4 разных сайта, поэтому нужно выбрать основной домен и склеить все редиректы, чтобы система не посчитала их дублями.

https имеет плюс в ранжировании Google, поэтому имеет смысл сделать его основным доменом. Этот протокол соединения защищен, SSL сертификат не дает злоумышленникам получить личные данные пользователей — реальные имена, банковские данные, телефоны, поэтому https имеет весомые преимущества.

Кроссбраузерность и оптимизация под мобильные устройства

Сайт должен одинаково приятно выглядеть с любого устройства и на экране любого формата. Mobile First предполагает, что пользователь всегда должен видеть в первую очередь самое главное, а любая дополнительная информация появляется только по требованию пользователя. Кроме того, сайт должен быть легковесным, чтобы загружаться с приемлемой скоростью даже на устройствах с медленным интернетом.

Реализовать это можно с помощью адаптивной верстки, мобильного шаблона или мобильной версии на своем поддомене. Огромную помощь в оптимизации под смартфоны оказывают плагины на конструкторах.

Внутренняя оптимизация

Внутренняя оптимизация включает все то, что относится к семантике, контенту и юзабилити сайта. Чтобы провести ее, нужно собрать семантическое ядро, написать мета-теги, привести в чувство контент и оптимизировать коммерческие составляющие для продающих ресурсов.

Сбор семантического ядра

Семантическое ядро — это три кита, на которых стоит сайт. По-хорошему, оно должно собираться на стадии написания, тогда можно грамотно продумать навигацию и внутреннюю структуру. Но это сценарий для идеального сайта в вакууме, а в реальности чаще ядро собирается уже для готового ресурса, и под него корректируется структура.

Первейший инструмент для того, чтоб собрать запросы пользователей поисковику — это https://wordstat.yandex.ru/. Вам нужно только выбрать свой регион и ввести запрос по теме сайта в поисковую строку.

Wordstat выдает число, сколько раз запрос набирали в Яндексе. Но это — все запросы, в составе которых были нужные слова. Чтобы узнать насколько популярно конкретное словосочетание — проставьте восклицательный знак перед каждой словарной единицей, а весь запрос заключите в кавычки-лапки.

Сбор СЯ — один из самых важных этапов, что входят в SEO-продвижение сайта. Ведь от того, насколько эффективно вы подберете ключевики будет зависеть количество потенциальных клиентов, которые придут по ним. Кроме Wordstat для сбора семантики можно пользоваться и другими платными и бесплатными сервисами.

Бесплатные:

• Google Keyword Planner — гугловский аналог, он менее удобен, но иногда может помочь собрать ключи, которые отсутствуют в вордстате.
• Slovoeb — отличный парсер ключей из Wordstat с загадочным названием.
• Букварикс — ищет ключевики конкурентов, по которым те ранжируются. Есть свободная версия, но все основные плюшки, конечно, в платной.

Платных намного больше:

• Serpstat и Semrush — два похожих сервиса SEO-оптимизации. Последний лучше использовать, если нужно продвигать сайт за рубежом, в Google.
• Мутаген — не только собирает ключи, но и определяет их конкурентность.
• Moab Tools — технически простой сервис, позволяющий за короткое время собрать много запросов.
• Key Collector — крутая платная платформа, которая собирает ключи со всех значительных сервисов, наших и иностранных, в том числе и с вышеперечисленных.

Собрать ключи — половина дела, после этого нужно выкинуть лишние, которые по-любому там будут. Все запросы, которые не относятся к сайту, в семантическом ядре находиться не должны. Возвращаясь к кирпичам — если вы продвигаете производителя кирпичей, то поклонники одноименной группы — не ваша целевая аудитория.

Кластеризация

Когда все ключи собраны, их нужно сгруппировать. Процесс кластеризации призван превратить хаос из сотен поисковых запросов в единую упорядоченную структуру. В прошлом все это проводилось вручную и могло занимать не один месяц, а сейчас с помощью специальных сервисов на все про все уходит пара часов:

• SEMparcer;
• KeyAssort;
• Rush Analytics.

Что случится, если кластеризацию не делать? Создаются дубли в результате каннибализации, лишний контент, и теряются позиции в выдаче.

Мета-теги

Правильные мета-теги привлекут внимание пользователей к вашему ресурсу и повлияют на такой показатель, как кликабельность. Сниппет имеет 2 части: title и description. Title — это заголовок страницы, который отображается поисковой выдаче. Хороший title включает в себя наиболее высокочастотный ключ, возможно два, и УТП, причем все это нужно уложить в 70 символов. Конечно, можно выходить за эти пределы, но тогда title будет показываться не полностью, поэтому высокочастотный запрос должен идти вначале, чтобы он был виден.

Description — это более длинное описание страницы, из которой человек может понять, чем она полезна. В него входят менее частотные ключи, которые не употреблялись в title, соответственно, они отличаются друг от друга. Длина description на сто символов больше — 160-170.

Мета-тег keywords сейчас многие вообще не заполняют, потому что влияния на продвижение он практически не оказывает. Но лучше забить туда пару ключевиков.

При быстрой оптимизации не нужно искать неординарные запросы, особенно, если подобных страниц много, на первое время подойдут и шаблоны — а при желании их всегда можно будет оптимизировать в будущем.

Кликабельность

CTR — та самая кликабельность — это формула соотношения кликов пользователей к показам в выдаче. Чем больше кликают — тем выше страница. Все просто? Не настолько. Это работает при условии того, что страница релевантна запросу. Если же она ему не отвечает — пользователь закроет сайт практически сразу, увеличив количество отказов. CTR отображается в Яндекс.Вебмастер и Google Search Console.

Оптимизация текстового контента

Текст на посадочной странице должен соответствовать запросу пользователя в поисковой строке. Для этого в нем используются ключевые фразы и слова, в том числе те, которые уже привлекли внимание человека в title и description. Тут есть другая сторона — опасность переоптимизации, которая заведет страницу под фильтр. Чтобы такого не случилось, нужно соблюдать частоту употребления ключа — не более 4%, в идеале 2-3%. Проверить этот показатель можно на сервисах https://advego.com/text/seo/ , https://istio.com/ , https://miratext.ru/seo_analiz_text. Кроме него, вы получите данные о тошнотности, водности текста и других SEO-данных.

Общий риск попадания страницы под фильтр Баден-Баден можно оценить на сервисе https://turgenev.ashmanov.com/. К сожалению, с декабря 2019 года за проверки нужно платить деньги, бесплатной осталась только вкладка “Стилистика”. Но 200 проверок на месяц стоят 200 р., а без подписки текст до 20 тысяч символов обойдется всего в 5 р.

Что требуется от привлекательного текста?

• Уникальность. Поисковики любят тексты с высокой уникальностью, от 90%. Проверить ее можно на таких ресурсах как https://text.ru/, https://content-watch.ru/ (3 бесплатных проверки в сутки), с помощью программы Advego Plagiatus. К сожалению, этот показатель не является постоянной величиной, стоит кому-то скопировать и выложить ваш текст на другом ресурсе, да хотя бы цитату — уникальность неудержимо падает. Его можно отрерайтить и уникализировать, но учтите, что постоянное обновление статей на сайте и отсутствие технических ошибок важнее.
• Структура. Длинные “простыни” без абзацев и подзаголовков практически никто не читает. В тексте желательно использовать списки — помните, еще в школе таблицы и списки запоминались и воспринимались намного легче, чем пространный параграф.
• Полезность и интересность.Тексты для поисковиков работали 10 лет назад, а сейчас все сильно завязано на поведенческих факторах, поэтому сайту надо постараться, чтобы удержать пользователя — заинтересовать статьей, и заставить полазить по сайту.
• Содержание ключевиков.

Внешняя оптимизация

Здесь речь идет о ссылочной массе, что тоже входит в SEO-продвижение. Если сайт наполнен полезным и интересным контентом, то поисковики считают его авторитетным и надежным ресурсом и продвигают его вверх в выдаче. При этом важно какие именно сайты на него ссылаются — сомнительная ссылочная масса скорее сделает хуже для SEO-продвижения и оптимизации, так что это — именно тот случай, когда качество важнее количества.

Самый “правильный” путь — писать полезные статьи, наращивая авторитетность ресурса, чтобы люди забирали ссылки и размещали их у себя. Но это долгий путь. Какие есть варианты, чтобы нарастить ссылочную массу быстрее?

1.Купить. Для этого есть специальные биржи, где владельцы других ресурсов предлагают разместить у себя вашу ссылку за деньги. Поисковики это считают неправильным, отслеживают и наказывают.

2.Договориться напрямую. Такой способ затратнее и в плане ресурсов, и в плане финансов, но ссылочная масса получается более качественная.

3.Крауд-маркетинг. Размещать ссылки можно на сайтах вопросов-ответов, форумах, соцсетях. Но здесь есть свои нюансы. Такая ссылка должна размещаться на ресурсе с соответствующей тематикой и быть органично вписанной в комментарий. Размещать ссылку ради ссылки — это провал. Кроме того, после размещения нужно отслеживать чужие комментарии, и если будут задавать вопросы, отвечать на них. На многих форумах только что созданный пользователь не может вставлять ссылки, да и смотрится это странно. Есть платные сервисы крауд-маркетинга, а бесплатно такие задания часто можно встретить на биржах с широкой специализацией, например на work-zilla.com и подобных ей.

Прежде, чем заниматься линкбилдингом стоит проанализировать ваших конкурентов. Так вы узнаете:

• какое количество ссылок у них всего, и сколько появляется ежемесячно;
• какие источники на какие страницы ссылаются;
• какие ссылки в каком процентном соотношении: анкорные или безанкорные.

Для этого можно воспользоваться уже упомянутым serpstat.com или другими ресурсами: https://ru.majestic.com/, https://ru.megaindex.com/, https://ahrefs.com/.

Коммерческие факторы ранжирования

Такие факторы в SEO влияют на позицию в выдаче тех ресурсов, которые продают товары или услуги. Вот основные данные, что нужны для SEO-продвижения и должны быть на сайте:

• Контакты компании. Должны быть как минимум телефоны и адрес. Все что “сверху” — дополнительные контакты, схема проезда, адрес склада, только повышает уровень доверия поисковиков.
• Отсутствие рекламы. Поисковики негативно относятся к рекламным баннерам, а всплывающие окна с рекламой увеличивают количество отказов пользователей. Вы что-то продаете? Вот этим и зарабатывайте.

• Соцсети. Чем в большем количестве популярных соцсетей зарегистрирована компания, чем больше у нее подписчиков и чем “живее” группа — тем больше уважает сайт поисковик.
• Широкий ассортимент. Понятно, что далеко не каждый сайт может предложить разнообразие товаров. Но тем не менее, те, у кого это получается, получают плюс к ранжированию.
• Подробная карточка товара. Даже если товаров немного, карточка должна содержать максимум информации. Материал, размеры, цвет, фото, описание, отзывы, информация о наличии и доставке. Отдельным бонусом будут 3D-визуализаторы, калькуляторы, видео и прочий интерактив.
• Доставка, разнообразие ее вариантов и возможность организовать в любую точку.

• Возможность обращения клиента. На сайте должен быть раздел с помощью, часто задаваемыми вопросами, форма для общения с онлайн-консультантом.
• Простой и запоминающийся домен, человекопонятный URL.
• Релевантность. Сайт должен давать четкий и точный ответ на вопрос.
• Локальная привязка. Если парикмахерская работает в Воронеже, она не должна показываться всей России. Для этого нужно назначить регион в Яндекс.Вебмастер или Яндекс.Справочник. В Google напрямую указать регион нельзя, но чтобы он мог определить его — можно писать город в мета-тегах, вписывать его в контент и добавить сайт в Google Мой бизнес.

Онлайн-школа

Запишитесь на курс по маркетингу от Аллы Штауб и вы узнаете:

• Какие инструменты давно устарели и сжирают бюджет

• Какие каналы рекламы являются топовыми в 2020 году

• Как начать получать стабильно растущую прибыль

Часть пунктов из этого гайда не вызовет у вас затруднений, но некоторые требуют более глубокого погружения в тему SEO и ее изучения. Если вы думаете про поисковое продвижение SEO, что это не то, на что вы хотите тратить личное время, но вашему сайту требуется оптимизация — вы можете заказать в компании Dial комплексное продвижение и умную техническую поддержку.

Подпишитесь на наш блог

8 частых ошибок в robots.txt, о которых все забывают

Содержание:

Как обнаружить и исправить ошибки в файле robots.txt

Каждый уважающий себя веб-мастер должен иметь хотя бы общее представление о том, как управлять процессом индексации страниц и файлов сайта в поисковых системах.
Не будем тянуть резину и сразу отметим, что для нахождения общего языка с поисковыми роботами достаточно правильно настроить robots. txt. Ключевое слово – «правильно». Ведь если допустить в robots.txt ошибки, последствия могут быть довольно неприятными.

Самые частые ошибки файла robots.txt

1. Перепутанные значения директив (по незнанию или по недосмотру).
2. Перечисление нескольких URL в одной директиве Disallow.
3. Название файла robots.txt с ошибками.
4. В названии файла robots.txt присутствуют заглавные буквы.
5. Пустое поле в User-agent.
6. Отсутствующая директива Disallow.

​

7. Неправильный формат URL в директиве Disallow.Ошибка в файле robots.txt на левой половине скриншота приведет к тому, что от индексации будут закрыты все страницы и файлы, в начале URL которых содержится «admin». Все будет указано правильно, если использовать символы «$» и «/» для указания «разрыва».

8.  Перечисление всех файлов директории. В принципе это не совсем ошибка. Просто рациональнее в этом случае закрыть от индексации всю директорию целиком.

1. Прописанные в robots.txt директивы являются рекомендациями, которых придерживаются лишь роботы крупных поисковых систем. Сторонние боты чаще всего на них внимания не обращают. Поэтому их лучше блокировать по IP.
    
2. Заблокированные в robots.txt страницы все еще продолжают быть доступными интернет-пользователям. Поэтому если цель – скрыть веб-страницу не только от роботов, но и от пользователей, на нее нужно установить пароль.
    
3. Поддомены рассматриваются поисковиками как отдельные сайты. Поэтому рекомендации по их индексации следует прописывать в отдельных robots.txt в корне каждого поддомена.
    
4. robots.txt нечувствителен к регистру. Поэтому директивы можно писать как строчными, так и прописными. Но имена файлов и директорий должны прописываться только так, как они выглядят в адресной строке браузера.
    
5. Указанный в директиве User-agent реагирует на все указанные под ним директивы вплоть до следующей строки с User-agent. Поэтому не стоит надеяться, что директивы под вторым User-agent будут выполнены роботом, указанным в первом User-agent. Для каждого робота указания нужно дублировать.
    

Проверка robots.txt на ошибки

Чтобы проверить robots.txt на ошибки, проще всего воспользоваться предназначенными для этого инструментами от поисковых систем.

В случае с Google нужно зайти в Search Console/Сканирование и выбрать «Инструмент проверки файла robots. txt».

Под окном с содержимым искомого файла можно увидеть количество ошибок и предупреждений.

В Яндекс.Вебмастере имеется аналогичный функционал (Инструменты/Анализ robots.txt).

Также имеется возможность узнать, сколько в проверяемом robots.txt ошибок.

Правда, если обе проверки покажут, что ошибок нет, это еще не повод радоваться. Это лишь значит, что прописанные в файле инструкции соответствуют стандартам.

Но в нем вполне могут быть многие из вышеописанных ошибок, которые приведут к проблемам с индексацией сайта. Поэтому при проверке robots.txt на ошибки не стоит полагаться лишь на подобные автоматизированные инструменты – нужно и самому все внимательно проверять.

Файл Robots.txt [Примеры 2021] — Moz

Что такое файл robots.txt?

Robots.txt — это текстовый файл, который веб-мастера создают, чтобы проинструктировать веб-роботов (обычно роботов поисковых систем), как сканировать страницы на своем веб-сайте. Файл robots.txt является частью протокола исключения роботов (REP), группы веб-стандартов, которые регулируют, как роботы сканируют Интернет, получают доступ и индексируют контент, а также предоставляют этот контент пользователям. REP также включает в себя директивы, такие как мета-роботы, а также инструкции для страницы, подкаталога или сайта о том, как поисковые системы должны обрабатывать ссылки (например, «следовать» или «nofollow»).

На практике файлы robots.txt указывают, могут ли определенные пользовательские агенты (программное обеспечение для веб-сканирования) сканировать части веб-сайта. Эти инструкции сканирования определяются как «запрещающие» или «разрешающие» поведение определенных (или всех) пользовательских агентов.

 User-agent: [user-agent name] Disallow: [URL-строка не должна сканироваться] 

Вместе эти две строки считаются полным файлом robots.txt, хотя один файл robots может содержат несколько строк пользовательских агентов и директив (т. е., запрещает, разрешает, задержки сканирования и т. д.).

В файле robots.txt каждый набор директив пользовательского агента отображается как дискретный набор , разделенных разрывом строки:

В файле robots.txt с несколькими директивами пользовательского агента, каждое запрещающее или разрешающее правило только применяется к агенту (ам), указанному в этом конкретном наборе, разделенном разрывом строки. Если файл содержит правило, которое применяется более чем к одному пользовательскому агенту, поисковый робот будет только обратить внимание (и следовать директивам в) наиболее конкретной группе инструкций.

Вот пример:

Msnbot, discobot и Slurp вызываются специально, поэтому только пользовательские агенты обращают внимание на директивы в своих разделах файла robots.txt. Все остальные пользовательские агенты будут следовать директивам в группе user-agent: *.

Пример robots.txt:

Вот несколько примеров использования robots.txt для сайта www.example.com:

 User-agent: * Disallow: / 

Использование этого синтаксиса в файле robots.txt сообщит всем поисковым роботам не сканировать никакие страницы www.example .com, включая домашнюю страницу.

 User-agent: * Disallow: 

Использование этого синтаксиса в файле robots.txt указывает поисковым роботам сканировать все страницы на www.example.com, включая домашнюю страницу.

 User-agent: Googlebot Disallow: / example-subfolder / 

Этот синтаксис сообщает только поисковому роботу Google (имя агента пользователя Googlebot) не сканировать страницы, которые содержат строку URL www. example.com/example-subfolder/.

 User-agent: Bingbot Disallow: /example-subfolder/blocked-page.html 

Этот синтаксис сообщает только поисковому роботу Bing (имя пользовательского агента Bing) избегать сканирование конкретной страницы www.example.com/example-subfolder/blocked-page.html.

Как работает robots.txt?

Поисковые системы выполняют две основные задачи:

1. Сканирование Интернета для обнаружения контента;
2. Индексирование этого контента, чтобы его могли обслуживать искатели, ищущие информацию.

Чтобы сканировать сайты, поисковые системы переходят по ссылкам с одного сайта на другой — в конечном итоге просматривая многие миллиарды ссылок и веб-сайтов. Такое ползание иногда называют «пауками».”

После перехода на веб-сайт, но перед его сканированием поисковый робот будет искать файл robots.txt. Если он найдет его, сканер сначала прочитает этот файл, прежде чем продолжить просмотр страницы. Поскольку файл robots.txt содержит информацию о , как должна сканировать поисковая система, найденная там информация будет указывать дальнейшие действия поискового робота на этом конкретном сайте. Если файл robots.txt не содержит , а не содержат директив, запрещающих действия пользовательского агента (или если на сайте нет файла robots.txt), он продолжит сканирование другой информации на сайте.

Другой быстрый файл robots.txt, который необходимо знать:

(более подробно обсуждается ниже)

• Чтобы его можно было найти, файл robots.txt должен быть помещен в каталог верхнего уровня веб-сайта.

• Robots.txt чувствителен к регистру: файл должен называться «robots.txt» (не Robots.txt, robots.TXT и т. Д.).

• Некоторые пользовательские агенты (роботы) могут игнорировать ваших роботов.txt файл. Это особенно характерно для более гнусных поисковых роботов, таких как вредоносные роботы или парсеры адресов электронной почты.

• Файл /robots.txt является общедоступным: просто добавьте /robots.txt в конец любого корневого домена, чтобы увидеть директивы этого веб-сайта (если на этом сайте есть файл robots.txt!). Это означает, что любой может видеть, какие страницы вы просматриваете или не хотите сканировать, поэтому не используйте их для сокрытия личной информации пользователя.

• Каждый субдомен в корневом домене использует отдельных роботов.txt файлы. Это означает, что и blog.example.com, и example.com должны иметь свои собственные файлы robots.txt (по адресу blog.example.com/robots.txt и example.com/robots.txt).

• Обычно рекомендуется указывать расположение любых карт сайта, связанных с этим доменом, в нижней части файла robots.txt. Вот пример:

Технический синтаксис robots.txt

Синтаксис Robots.txt можно рассматривать как «язык» файлов robots.txt. Есть пять общих терминов, которые вы, вероятно, встретите в файле robots. К ним относятся:

• User-agent: Конкретный поисковый робот, которому вы даете инструкции для сканирования (обычно это поисковая система). Список большинства пользовательских агентов можно найти здесь.

• Disallow: Команда, используемая для указания агенту пользователя не сканировать определенный URL. Для каждого URL разрешена только одна строка «Disallow:».

• Разрешить (применимо только для робота Googlebot): команда, сообщающая роботу Googlebot, что он может получить доступ к странице или подпапке, даже если его родительская страница или подпапка могут быть запрещены.

• Crawl-delay: Сколько секунд сканер должен ждать перед загрузкой и сканированием содержимого страницы. Обратите внимание, что робот Googlebot не подтверждает эту команду, но скорость сканирования можно установить в консоли поиска Google.

• Sitemap: Используется для вызова местоположения любых XML-файлов Sitemap, связанных с этим URL. Обратите внимание, что эта команда поддерживается только Google, Ask, Bing и Yahoo.

Сопоставление с шаблоном

Когда дело доходит до фактических URL-адресов для блокировки или разрешения, robots.txt могут быть довольно сложными, поскольку они позволяют использовать сопоставление с образцом для охвата диапазона возможных вариантов URL. И Google, и Bing соблюдают два регулярных выражения, которые можно использовать для идентификации страниц или подпапок, которые оптимизатор поисковых систем хочет исключить. Эти два символа — звездочка (*) и знак доллара ($).

• * — это подстановочный знак, который представляет любую последовательность символов.
• $ соответствует концу URL-адреса.

Google предлагает здесь большой список возможных синтаксисов и примеров сопоставления с образцом.

Где находится файл robots.txt на сайте?

Когда бы они ни заходили на сайт, поисковые системы и другие роботы, сканирующие Интернет (например, сканер Facebook Facebot), знают, что нужно искать файл robots. txt. Но они будут искать этот файл только в одном конкретном месте : в основном каталоге (обычно в корневом домене или на домашней странице). Если пользовательский агент посещает www.example.com/robots.txt и не находит там файла роботов, он будет считать, что на сайте его нет, и продолжит сканирование всего на странице (и, возможно, даже на всем сайте. ).Даже если страница robots.txt или существует, скажем, по адресу example.com/index/robots.txt или www.example.com/homepage/robots.txt, она не будет обнаружена пользовательскими агентами и, следовательно, сайт будет обрабатываться так, как если бы он вообще не имел файла robots.

Чтобы гарантировать, что ваш файл robots.txt найден, всегда включайте его в свой основной каталог или корневой домен.

Зачем нужен robots.txt?

Файлы Robots.txt управляют доступом поискового робота к определенным областям вашего сайта.Хотя это может быть очень опасным, если вы случайно запретите роботу Google сканировать весь ваш сайт (!!), в некоторых ситуациях файл robots. txt может оказаться очень полезным.

Некоторые распространенные варианты использования включают:

• Предотвращение появления дублированного контента в результатах поиска (обратите внимание, что мета-роботы часто являются лучшим выбором для этого)
• Сохранение приватности целых разделов веб-сайта (например, промежуточного сайта вашей группы инженеров)
• Предотвращение показа страниц с результатами внутреннего поиска в общедоступной поисковой выдаче
• Указание местоположения карты (карт) сайта
• Запрещение поисковым системам индексировать определенные файлы на вашем веб-сайте (изображения, PDF-файлы и т. Д.))
• Указание задержки сканирования для предотвращения перегрузки ваших серверов, когда сканеры загружают сразу несколько частей контента

Если на вашем сайте нет областей, к которым вы хотите контролировать доступ агента пользователя, вы не можете вообще нужен файл robots.txt.

Проверка наличия файла robots.

Не уверены, есть ли у вас файл robots.txt? Просто введите свой корневой домен, а затем добавьте /robots.txt в конец URL-адреса. Например, файл роботов Moz находится по адресу moz.ru / robots.txt.

Если страница .txt не отображается, значит, у вас нет (активной) страницы robots.txt.

Как создать файл robots.txt

Если вы обнаружили, что у вас нет файла robots.txt или вы хотите изменить свой, создание его — простой процесс. В этой статье от Google рассказывается о процессе создания файла robots.txt, и этот инструмент позволяет вам проверить, правильно ли настроен ваш файл.

Хотите попрактиковаться в создании файлов роботов? В этом сообщении блога рассматриваются некоторые интерактивные примеры.

Лучшие методы SEO

• Убедитесь, что вы не блокируете какой-либо контент или разделы своего веб-сайта, которые нужно просканировать.

• Ссылки на страницах, заблокированных файлом robots.txt, переходить не будут. Это означает 1.) Если на них также не ссылаются другие страницы, доступные для поисковых систем (т. Е. Страницы, не заблокированные через robots.txt, мета-роботы или иным образом), связанные ресурсы не будут сканироваться и не могут быть проиндексированы. 2.) Никакой ссылочный капитал не может быть передан с заблокированной страницы на место назначения ссылки.Если у вас есть страницы, на которые вы хотите передать средства, используйте другой механизм блокировки, отличный от robots.txt.

• Не используйте robots.txt для предотвращения появления конфиденциальных данных (например, личной информации пользователя) в результатах поисковой выдачи. Поскольку другие страницы могут напрямую ссылаться на страницу, содержащую личную информацию (таким образом, в обход директив robots.txt в вашем корневом домене или домашней странице), она все равно может быть проиндексирована. Если вы хотите заблокировать свою страницу из результатов поиска, используйте другой метод, например защиту паролем или метадирективу noindex.

• Некоторые поисковые системы имеют несколько пользовательских агентов. Например, Google использует Googlebot для обычного поиска и Googlebot-Image для поиска изображений. Большинство пользовательских агентов из одной и той же поисковой системы следуют одним и тем же правилам, поэтому нет необходимости указывать директивы для каждого из нескольких сканеров поисковой системы, но возможность делать это позволяет вам точно настроить способ сканирования содержания вашего сайта.

• Поисковая система кэширует содержимое robots.txt, но обычно обновляет кэшированное содержимое не реже одного раза в день.Если вы изменили файл и хотите обновить его быстрее, чем это происходит, вы можете отправить URL-адрес robots.txt в Google.

Robots.txt против мета-роботов против x-роботов

Так много роботов! В чем разница между этими тремя типами инструкций для роботов? Во-первых, robots.txt — это фактический текстовый файл, тогда как meta и x-robots — это метадирективы. Помимо того, что они есть на самом деле, все три выполняют разные функции. Robots.txt определяет поведение сканирования сайта или всего каталога, тогда как мета и x-роботы могут определять поведение индексации на уровне отдельной страницы (или элемента страницы).

Продолжайте учиться

Используйте свои навыки на практике

Moz Pro может определить, блокирует ли ваш файл robots.txt доступ к вашему веб-сайту. Попробовать >>

Robots.txt и SEO: полное руководство

Что такое Robots.txt?

Robots.txt — это файл, который сообщает паукам поисковых систем не сканировать определенные страницы или разделы веб-сайта. Большинство основных поисковых систем (включая Google, Bing и Yahoo) распознают и обрабатывают запросы Robots.txt.

Почему важен файл robots.txt?

Большинству веб-сайтов файл robots.txt не нужен.

Это потому, что Google обычно может найти и проиндексировать все важные страницы вашего сайта.

И они автоматически НЕ будут индексировать несущественные страницы или дублировать версии других страниц.

Тем не менее, есть 3 основные причины, по которым вы хотите использовать файл robots.txt.

Блокировать закрытые страницы. Иногда на вашем сайте есть страницы, которые вы не хотите индексировать.Например, у вас может быть промежуточная версия страницы. Или страницу входа в систему. Эти страницы должны существовать. Но вы же не хотите, чтобы на них садились случайные люди. Это тот случай, когда вы использовали robots.txt, чтобы заблокировать эти страницы от поисковых роботов и роботов.

Максимальное увеличение бюджета сканирования. Если вам сложно проиндексировать все страницы, возможно, у вас проблема с бюджетом сканирования. Блокируя неважные страницы с помощью файла robots.txt, робот Googlebot может тратить большую часть вашего бюджета сканирования на действительно важные страницы.

Предотвращение индексации ресурсов: использование метадиректив может работать так же хорошо, как Robots. txt для предотвращения индексации страниц. Однако метадирективы плохо работают с мультимедийными ресурсами, такими как PDF-файлы и изображения. Вот где в игру вступает robots.txt.

В нижней строке? Robots.txt сообщает паукам поисковых систем не сканировать определенные страницы вашего сайта.

Вы можете проверить, сколько страниц вы проиндексировали, в Google Search Console.

Если число совпадает с количеством страниц, которые вы хотите проиндексировать, вам не нужно возиться с роботами.txt файл.

Но если это число выше, чем вы ожидали (и вы заметили проиндексированные URL-адреса, которые не следует индексировать), то пора создать файл robots.txt для вашего веб-сайта.

Лучшие Лрактики

Создание файла Robots.txt

Ваш первый шаг — это собственно создание файла robots.txt.

Будучи текстовым файлом, вы можете создать его с помощью блокнота Windows.

И независимо от того, как вы в конечном итоге создаете свой файл robots. txt, формат точно такой же:

Пользовательский агент: X
Запрещено: Y

User-agent — это конкретный бот, с которым вы разговариваете.

И все, что идет после «запретить», — это страницы или разделы, которые вы хотите заблокировать.

Вот пример:

Пользовательский агент: googlebot
Запретить: / images

Это правило указывает роботу Googlebot не индексировать папку изображений на вашем веб-сайте.

Вы также можете использовать звездочку (*), чтобы общаться со всеми ботами, которые останавливаются на вашем сайте.

Вот пример:

Пользовательский агент: *
Disallow: / images

Знак «*» говорит всем паукам НЕ сканировать папку с изображениями.

Это лишь один из многих способов использования файла robots.txt. В этом полезном руководстве от Google есть дополнительная информация о различных правилах, которые вы можете использовать для блокировки или разрешения ботам сканировать разные страницы вашего сайта.

Облегчите поиск файла Robots.txt

Когда у вас есть файл robots.txt, самое время запустить его.

Технически вы можете разместить файл robots.txt в любом основном каталоге вашего сайта.

Но чтобы увеличить вероятность того, что ваш файл robots.txt будет найден, я рекомендую разместить его по адресу:

https: // пример.com / robots.txt

(Обратите внимание, что ваш файл robots.txt чувствителен к регистру. Поэтому обязательно используйте строчную букву «r» в имени файла)

Проверка ошибок и ошибок

ДЕЙСТВИТЕЛЬНО важно, чтобы ваш файл robots.txt был настроен правильно. Одна ошибка — и весь ваш сайт может быть деиндексирован.

К счастью, вам не нужно надеяться, что ваш код настроен правильно. У Google есть отличный инструмент для тестирования роботов, который вы можете использовать:

Он показывает ваш файл robots.txt… и все обнаруженные ошибки и предупреждения:

Как видите, мы не позволяем паукам сканировать нашу страницу администратора WP.

Мы также используем robots.txt, чтобы блокировать сканирование страниц с автоматически созданными тегами WordPress (для ограничения дублирования контента).

Robots.txt и мета-директивы

Зачем вам использовать robots.txt, если вы можете блокировать страницы на уровне страницы с помощью метатега «noindex»?

Как я упоминал ранее, тег noindex сложно реализовать в мультимедийных ресурсах, таких как видео и PDF-файлы.

Кроме того, если у вас есть тысячи страниц, которые вы хотите заблокировать, иногда проще заблокировать весь раздел этого сайта с помощью robots.txt вместо того, чтобы вручную добавлять тег noindex на каждую страницу.

Есть также крайние случаи, когда вы не хотите тратить бюджет сканирования на целевые страницы Google с тегом noindex.

Тем не менее:

Помимо этих трех крайних случаев, я рекомендую использовать метадирективы вместо robots.txt. Их проще реализовать. И меньше шансов на катастрофу (например, блокировку всего вашего сайта).

Узнать больше

Узнайте о роботах.txt: полезное руководство по использованию и интерпретации файла robots.txt.

Что такое файл Robots.txt? (Обзор SEO + Key Insight): подробное видео о различных вариантах использования robots.txt.

Robots.txt Введение и руководство | Центр поиска Google

Что такое файл robots.txt?

Файл robots.txt сообщает сканерам поисковых систем, какие страницы или файлы он может или не могу запросить с вашего сайта. Это используется в основном для того, чтобы не перегружать ваш сайт Запросы; — это не механизм, позволяющий скрыть веб-страницу от Google. Чтобы веб-страница не попала в Google, вы должны использовать директив noindex , или защитите свою страницу паролем.

Для чего используется robots.txt?

robots.txt используется в основном для управления трафиком поисковых роботов на ваш сайт, а обычно для защиты страницы от Google, в зависимости от типа файла:

Я пользуюсь услугами хостинга сайтов

Если вы используете службу хостинга веб-сайтов, такую ​​как Wix, Drupal или Blogger, вам может не потребоваться (или у вас будет возможность) напрямую редактировать файл robots.txt. Вместо этого ваш провайдер может открыть страницу настроек поиска или какой-либо другой механизм, чтобы сообщить поисковым системам, сканировать ли вашу страницу или нет.

Чтобы узнать, просканировала ли ваша страница Google, найдите URL-адрес страницы в Google.

Если вы хотите скрыть (или показать) свою страницу от поисковых систем, добавьте (или удалите) любые требования для входа на страницу, которые могут существовать, и выполните поиск инструкций по изменению видимости вашей страницы в поисковых системах на вашем хостинге, например: wix скрыть страницу от поисковых систем

Ознакомьтесь с ограничениями robots.txt

Прежде чем создавать или редактировать robots.txt, вы должны знать ограничения этого метода блокировки URL.Иногда вам может потребоваться рассмотреть другие механизмы, чтобы гарантировать, что ваши URL-адреса не будут найдены в Интернете.

• Директивы Robots.txt могут поддерживаться не всеми поисковыми системами.
  Инструкции в файлах robots.txt не могут принудить сканер к вашему сайту, поисковый робот должен им подчиняться. В то время как робот Googlebot и другие известные поисковые роботы подчиняются инструкциям из файла robots.txt , другие поисковые роботы могут этого не делать. Поэтому, если вы хотите защитить информацию от веб-сканеров, лучше использовать другие методы блокировки, такие как защита паролем личных файлов на вашем сервере.
• Различные поисковые роботы по-разному интерпретируют синтаксис
  Хотя уважаемые веб-сканеры следуют директивам в файле robots.txt , каждый сканер может интерпретировать директивы по-разному. Вы должны знать правильный синтаксис для обращения к разным поисковым роботам, поскольку некоторые из них могут не понимать определенные инструкции.
• Роботизированная страница все еще может быть проиндексирована, если на нее есть ссылки с других сайтов
В то время как Google не будет сканировать и индексировать контент, заблокированный robots.txt , мы все равно можем найти и проиндексировать запрещенный URL, если на него есть ссылки из других мест в Интернете. В результате URL-адрес и, возможно, другая общедоступная информация, такая как текст привязки в ссылках на страницу, все еще может отображаться в результатах поиска Google. Чтобы правильно предотвратить появление вашего URL в результатах поиска Google, вы должны защитить паролем файлы на своем сервере или использовать метатег noindex или заголовок ответа (или полностью удалить страницу).

Тестирование страницы на наличие роботов.txt блоки

Вы можете проверить, заблокирована ли страница или ресурс правилом robots.txt.

Для проверки директив noindex используйте инструмент проверки URL.

Создайте файл robots.txt | Центр поиска Google | Разработчики Google

# Группа 1
Пользовательский агент: Googlebot
Запретить: / nogooglebot /

# Группа 2
Пользовательский агент: *
Позволять: /

Карта сайта: http: // www.example.com/sitemap.xml 

# Заблокировать googlebot из example.com/directory1 / ... и example.com/directory2 / ...
# но разрешить доступ к directory2 / subdirectory1 / ...
# Все остальные каталоги на сайте разрешены по умолчанию.
Пользовательский агент: googlebot
Запретить: / directory1 /
Запретить: / каталог2 /
Разрешить: / каталог2 / подкаталог1 /

# Блокировать весь сайт от другого сканера.
Пользовательский агент: anothercrawler
Disallow: / 

Пользовательский агент: *
Disallow: / 

Пользовательский агент: *
Запретить: / календарь /
Disallow: / junk / 

User-agent: Googlebot-news
Позволять: /

Пользовательский агент: *
Disallow: / 

Пользовательский агент: Ненужный бот
Запретить: /

Пользовательский агент: *
Разрешить: / 

Пользовательский агент: *
Запретить: / частный_файл.HTML 

Пользовательский агент: Googlebot-Image
Запретить: /images/dogs.jpg 

Пользовательский агент: Googlebot-Image
Disallow: / 

Пользовательский агент: Googlebot
Disallow: /*.gif$ 

Пользовательский агент: *
Запретить: /

Пользовательский агент: Mediapartners-Google
Разрешить: / 

Пользовательский агент: Googlebot
Запрещено: /*.xls$