Мегаиндекс аудит: проверка TITLE, Meta Keywords и Description, оценка тегов H1, анализ перелинковки

Бесплатный SEO аудит от Microsoft Bing. Новый сервис. Используем Bing для продвижения в Google и Yandex || Блог Megaindex.com

Бесплатные и качественные сервисы по аудиту встречаются редко. Поисковая система Bing предоставила такой бесплатный сервис.

Сервис позволяет быстро выявить ошибки, которые мешают продвижению в поисковой выдаче.

Какие ключевые возможности? Чего не хватает? Для каких целей применять?

Разберемся с вопросами далее.

Бесплатный аудит сайта от поисковой системы Microsoft Bing

Что произошло? Был представлен сервис Site Explorer, который позволяет анализировать сайт с целью поиска и устранения ошибок на страницах, которые мешают продвижению в поисковой выдаче.

Microsoft активно развивает поисковую систему Bing:

• Сначала был ребрендинг, в результате которого поисковая система получила название Microsoft Bing. Название призвано отображать интеграцию поисковой системы с линейкой продуктов Microsoft. Bing интегрирован в Office 365, браузер Edge и другие продукты;
• Была улучшена система ранжирования. Изменения на выдаче затронули поисковые подсказки, блок People also ask, умные ответы и описания результатов поиска.

Вывести нужные поисковые подсказки в топ позволяет сервис ВПодсказке.

Еще у поисковой системы появился официальный аккаунт в социальной сети Twitter — MSBing_Dev.

Но главное заключается в обновление инструмента Bing Webmaster. Инструмент был полностью изменен, добавлен сервис для аудита сайтов Site Explorer.

Ссылка на инструмент — Bing Webmaster.

Есть сайтов много, то в Bing есть выгрузка данных по API.

Что изменилось? В сервис были добавлены такие инструменты:

• Проверка страниц сайта по адресу;
• Проверка файла robots.txt;
• Site Explorer — сервис для аудита сайта.

Site Explorer позволяет:

• Провести бесплатный аудит сайта, чтобы выявить ошибки на сайте;
• Получить рекомендации по устранению ошибок.

Поскольку система аудита проводить анализ сайта на наличие технических ошибок, то инструмент полезен при продвижении в Google, Yandex.

Разберемся с инструментами далее.

1 — URL Inspection: Инструмент проверки страницы по адресу

Какую задачу помогает решить? Инструмент позволяет просканировать любую страницу сайты, и предоставляет данные рекомендации. Если исправить выявленные проблемы, то страницы должна лучше ранжироваться. Его данные помогают не только диагностировать проблемы, но и решать их.

Ссылка на сервис — Bing URL Inspection.

Пример отчета:

2 — RobotsTXT Tester: Проверка файла robots.txt

Какую задачу помогает решить? Инструмент позволяет просканировать список директив из файла robots. txt с целью выявления ошибок.

Ссылка на сервис — Bing RobotsTXT Tester.

Пример отчета:

3 — Site Explorer: Инструмент проверки по адресу страницы

Какую задачу помогает решить? Сервис позволяет провести аудит сайта, чтобы выявить технические ошибки. Например:

• Найти битые исходящие битые ссылки;
• Найти страницы с 301 редиректом;
• Выгрузить внешние ссылки на сайт;
• Список страниц, которые были успешно проиндексированы внутри раздела;
• Список исключенных из индекса страниц;
• Список страниц с критическими ошибками.

Из поисковой выдачи страницы сайта могут быть исключены только по причине спама, технических проблем или низкого рейтинга.

Если страницы были проиндексированы, а затем исключены, то следует разобраться с причинами.

Если у страниц низкое качество, то такие страницы следует исключить из индексации. В результате будут улучшены хостовые факторы доменного имени.

Ссылка на сервис — Site Explorer.

Пример отчета:

Чего не хватает? На сайтах встречаются самые разные ошибки. Охватить одним инструментом все на практике крайне трудно.

К примеру, в аудите от Bing не хватает проверки на орфографические ошибки в тексте. Такая проверка есть в аудите от MegaIndex.

Ссылка на сервис — MegaIndex Аудит.

Сервис бесплатный.

В MegaIndex есть анализ title:

Есть и анализ h2:

Выводы

В Microsoft Bing обновлен сервис для анализа сайта. Проделана большая работа. Появился бесплатный инструмент Site Explorer, который позволяет анализировать сайты на предмет поиска распространённых ошибок в поисковой оптимизации.

Инструмент проясняет какие именно факторы используются при ранжировании страниц. Понимание не полное, но даже и так полезно.

Какая польза на практике? Сервис позволяет выявить список проблем в части поисковой оптимизации. Данные разбиваются по разделам. Такая разбивка позволяет выявлять проблемы в конкретном сегменте. Сценарии использования инструмента на практике:

• Периодическая проверка сайта на наличие проблем;
• Проверка при редизайне сайта;
• Проверка при переезде сайта;
• Использование для анализа сайтов сателлитов.

Ссылка на сервис — Site Explorer.

Инструмент бесплатный.

Сервис следует использовать для проверки сайта периодически.

Целью материала является привлечения внимания к полезным инструментам по поиску проблем на сайте. Просто проверьте сайт, исправьте проблемы. Как инструменты Bing, так инструменты MegaIndex предоставляются

бесплатно.

Что думаете по использованию сервиса Bing в целях поисковой оптимизации? Какие опции хотели бы увидеть в бесплатном аудите от MegaIndex? Напишите в комментариях.

О сервисе

Выберите категориюНовостиО сервисеСеминары и конференцииПримеры использованияРабота с проектамиВнешние ссылкиПоисковая видимостьВнутренняя оптимизацияТехническая оптимизацияИсследования алгоритмовТехнические особенности

О сервисе

Продвижение сайта обходится слишком дорого или работает неэффективно?

Получить максимальную отдачу от каждой вложенной копейки поможет «SEO автопилот» от сервиса MegaIndex.

О сервисе

Робокасса и MegaIndex провели интеграцию инструментов и данных MegaIndex для сайта Робокассы, предоставив клиентам Робокассы возможность провести SEO-аудит сайта внутри Личного кабинета на сайте Робокассы.

О сервисе

Робот от MegaIndex обходит весь интернет для сбора важных для поисковой оптимизации данных, включая данные необходимые для определения языка сайта.

Данные о языке сайта применимы в поисковом продвижении.

Польза от данных о языке:

О сервисе

В MegaIndex есть инструмент идей для поисковой оптимизации сайта. Ссылка на инструмент — Идеи по оптимизации.

О сервисе

История SEO-аналитического сервиса MegaIndex началась в 2008 году, когда мы создали первый сервис в России, который позволял найти внешние ссылки на сайт и узнать видимости ресурса в результатах поиска.

О сервисе

Основная задача всех владельцев сайтов или SEO-специалистов которые занимаются продвижением — это сделать сайт как можно выше в результате поисковой выдаче. Для этого выполняются множество операций по внутренней и внешней оптимизации сайта.

О сервисе

Третий вебинар от основателя MegaIndex Николая Хиврина.
Тема вебинара: «создание эффективной перелинковки «

Если Вы пропустили прошлый вебинар, то рекомендуем посмотреть его запись

В рамках третьего вебинара Вы узнаете об особенностях стратегии создания эффективной внутренней структуры ссылок

О сервисе

13 июля прошел второй вебинар от основателя MegaIndex Николая Хиврина.
Тема вебинара: «алгоритмы анализа внешних ссылок «

Если Вы пропустили первый вебинар, то рекомендуем посмотреть его запись

В рамках второго вебинара Вы узнаете об особенностях алгоритмов анализа внешних ссылок и нововведениях сервиса

О сервисе

Внимания! Второй вебинар «алгоритмы анализа внешних ссылок» состоится 13 июля 2016 г. в 21:00 (мск)Предлагаем Вашему вниманию запись первого вебинара «эффективное продвижение проектов с MegaIndex.com», который проводит основатель проекта Николай Хиврин.

В рамках вебинара Вы узнаете об особенностях работы сервиса MegaIndex.com и об эффективных стратегиях работы

О сервисе

МегаИндекс работает быстро, он наглядный и понятный. Его англоязычная версия ещё нуждается в доработках, но в настоящий момент этот продукт сто́ит попробовать, — такое мнение высказал наш обзорщик из Далласа, штат Техас, Джо Янгблод, специалист SEO, который написал 82-й по популярности пост на Reddit и успел попасть в уже целых два списка Forbes. Его неутомимая активность на ниве цифрового маркетинга привела его к MegaIndex.com, и наш сервис пришёлся ему по душе!

О сервисе

Дорогие друзья!

Мы рады сообщить об изменениях в тарифной сетке MegaIndex.com.

Помимо стандартных тарифов, длительностью в один месяц, мы ввели долговременную подписку на 3, 6 и 12 месяцев. Данное нововведение позволяет не только на время забыть о регулярном пополнении баланса, но и даёт возможность сэкономить до 20% от стоимости тарифного плана.

Узнать подробную информацию о стоимости тарифов и включенных услугах вы можете на странице https://ru.megaindex.com/tarifs.

О сервисе

Мы рады сообщить, что завершили работу над интерфейсом API.

На данный момент список состоит из 5 методов:

backlinks — Получение списка внешних ссылок сайта;

backlinks/total — Сжатые данные по внешним ссылкам;

outlinks — Список исходящих ссылок с сайта;

user/balance — Текущее состояние счёта пользователя;

user/units — Оставшиеся units на балансе.

megaindex.ru — urlscan.io

---

Просмотрено 519 раз между 29 апреля 2023 г. и 29 апреля 2023 г.

---

Общая информация Открыть в поиске

Гео	Российская Федерация (RU) —
КАК	AS197695 — AS-REG, RU Примечание. IP-адрес может быть объявлен несколькими AS. Это не показано.
Регистратор	РИПЕНКЦ
Маршрут	89.108.118.0/24 (маршрут ASN)
ПТР	u8824.col.agava.net (PTR-запись основного IP-адреса)
IPv4	89.108.118.107

Живой скриншот

Наведите курсор, чтобы развернуть

Внимание : Это снимок этого веб-сайта в реальном времени, мы не размещаем и не контролируем его!

Прямые обращения

Сводка страниц, размещенных на этом домене

Последние сканирования

(всего 21) Показать все

	URL-адрес	Эпоха	Размер		IP-адресов
	www. megaindex.ru	24 дня	2 МБ	104	11	2
	www.megaindex.ru	в месяц	2 МБ	99	10	2
	counter.megaindex.ru	3 месяца	697 Б	1	1	1
	www. megaindex.ru	4 месяца	2 МБ	99	10	3
	аудит.megaindex.ru/audit/site_pr/askgsmart.com	10 месяцев	377 КБ	32	3	1

Входящие обращения

Сводка страниц, которые обращались к этому домену

Последние сканирования

(всего 498) Показать все

	URL-адрес	Эпоха	Размер		IP-адресов
	business. rk.gov.ru	15 часов	5 МБ	129	9	2
	2captcha.com/?from=3031609	в день	571 КБ	94	12	6
	rucaptcha.com	4 дня	611 КБ	87	7	3
	2captcha. com	5 дней	563 КБ	91	12	6
	2captcha.com	5 дней	563 КБ	91	12	5

Последние скриншоты

Скриншоты страниц, размещенных на этом домене

Связанная инфраструктура

Сводка инфраструктуры, с которой страницы, размещенные на этом домене, часто общались

Связанные скриншоты

Скриншоты страниц, которые обращались к этому домену

Недавно наблюдаемые имена хостов на «megaindex.

ru»
Поиск новых наблюдаемых доменов и имен хостов возможен на нашей платформе urlscan Pro. megaindex.ru | 2013-03-26

Записи DNS

Получено через ЛЮБОЙ запрос DNS

А	89.108.118.107 (ТТЛ: 7200)
МХ	ALT1.ASPMX.L.GOOGLE.COM (Приоритет: 20)
МХ	ASPMX3.GOOGLEMAIL.COM (Приоритет: 30)
МХ	ASPMX2.GOOGLEMAIL.COM (Приоритет: 30)
МХ	ALT2. ASPMX.L.GOOGLE.COM (Приоритет: 20)
МХ	ASPMX.L.GOOGLE.COM (Приоритет: 10)
НР	ns1.altweb.ru
НР	ns2.altweb.ru
ТХТ	_globalsign-domain-verification = eT53YqZobT8xUN6eqBx8D7OeM2vbjmW0gLC0D3kvRi
ТХТ	google-site-verification=hhfZvtwoZ4Y-snzxe1cQHSnCmE6CRJ0CgBLTQQZNvBE
СОА	megaindex. ru хостмастер: root.megaindex.ru/ серийный номер: 2005062802/ обновление: 10800 / повторная попытка: 1800 / срок действия: 3600000 / минттл: 86400 /

WHOIS для megaindex.ru

домен: MEGAINDEX.RU
сервер: ns1.altweb.ru.
сервер: ns2.altweb.ru.
состояние: ЗАРЕГИСТРИРОВАНО, ДЕЛЕГИРОВАНО, ПРОВЕРЕНО
человек: Частное лицо
регистратор: RU-CENTER-RU
админ-контакт: https://www.nic.ru/whois
создано: 2008-11-24T21:00:00Z
оплачено до: 2023-11-24T21:00:00Z
свободная дата: 2023-12-26
источник: ТЦИ
Последнее обновление 2023-04-29T12:51:30Z
 

Как устранить проблемы с производительностью, вызванные ботами и краулерами — документация для разработчиков Docs

Обновлено 12 января 2023 г.

Создано 19 апреля 2022 г.

Во-первых: у тебя проблемы? Как правило, производительность для обычных посетителей магазина может быть снижена, если у вас более 10 просмотров страниц ботами в минуту или трафик ботов превышает 50% от общего числа просмотров страниц. MageReport Premium предлагает удобный график, отображающий сводку трафика ботов в реальном времени. Когда в вашем магазине есть не менее 1600 PHP-запросов в день и 30% из них — боты, проверка трафика ботов в MageReport становится красной.

Среди тысяч магазинов на нашей платформе Чрезмерный бот-трафик — главная причина плохой производительности Magento . Часто боты застревают в функции многоуровневой навигации Magento. Это заставляет бота сканировать каждую комбинацию каждого продукта в сочетании с другими параметрами и теперь создает миллионы URL-адресов для индексации. Каждая отдельная страница должна быть сгенерирована, что будет стоить много ресурсов.

Страницы многоуровневой навигации не требуют сканирования, и фактически их индексация может привести к штрафу для вашего рейтинга в поисковых системах, так как он создает много дублированного контента. Поэтому вам рекомендуется решить эту проблему как по соображениям производительности, так и по причинам SEO.

С помощью этих четырех мер вы полностью разрешите эту ситуацию.

Если MageReport сообщает, что у вас высокий трафик ботов, войдите в свой гиперузел, чтобы определить, какие боты забивают ваш магазин. Эта команда покажет вам 10 ботов, посетивших ваш сайт вчера:

.

 $ pnl --yesterday --php --bots --fields ua | сортировать | уникальный -c | сортировать -n
[...отрезать...]
1902 Mozilla/5.0 (совместимо; Googlebot/2.1; +http://www.google.com/bot.html)
3796 Mozilla/5.0 (совместимо; bingbot/2.0; +http://www.bing.com/bingbot.htm)
12813 Mozilla/5.0 (совместимо; MegaIndex.ru/2.0; +http://megaindex.com/crawler)
 

В этом примере было почти 4 тыс. просмотров страниц Bingbot, 2 тыс. просмотров страниц Google и почти 13 тыс. просмотров страниц MegaIndex. Таким образом, вы можете устранить большую часть нагрузки, заблокировав MegaIndex (теневой поисковый робот, преимущества которого для вас спорны). Вот инструкции по блокировке определенных ботов на Hypernode.

Вы можете заблокировать ботов, которые не соблюдают robots. txt, используя файл конфигурации веб-сервера. Это очень эффективный способ, но для его правильной настройки требуется некоторая настройка. Во-первых, вам нужно определить URL-адреса, которые идентифицируют многоуровневую навигацию. Это отличается для нескольких расширений навигации, но вы можете легко понять это. Войдите в свой Hypernode и выполните эту команду:

 $ pnl --today --bots --php --fields req,ua
 

Это даст вам длинный список запросов и пользовательских агентов, например:

 GET /clothing.html?size=412_286 HTTP/1.1 Mozilla/5.0 (совместимо; BLEXBot/1.0; +http://webmeup-crawler.com/)
ПОЛУЧИТЬ /clothing/pants.html?color=1181_1188_1500 HTTP/1.1 Mozilla/5.0 (совместимо; bingbot/2.0; +http://www.bing.com/bingbot.htm)
 

Понятно, что параметры «размер» и «цвет» используются для многоуровневой навигации, потому что они определяют подмножества вашего каталога. Для обычного индексирования вам нужны только файлы /clothing.html и /clothing/pants.html. Для блокировки ботов в этом случае нужно добавить это к /данные/веб/nginx/server.layered_navigation:

 if ($http_user_agent ~* 'http|bot|crawl|паук') {
установить $is_bot 1;
}
# Здесь вы должны определить многоуровневые URL-адреса навигации.
# Здесь вы должны использовать свои собственные ключевые слова фильтра
if ($request_uri ~ 'color=|size=|mode=list|dir=desc|dir=asc') {
установить $layered_navigation 1;
}
установить $bot_and_layered "$is_bot$layered_navigation";
если ($bot_and_layered = '11') {
вернуть 410; # HTTP GONE указывает поисковым системам удалить эти URL-адреса из индекса
}
 

Это должно немедленно увеличить ваши возможности. Используйте эту команду для мониторинга текущих запросов. Весь бот-трафик должен получить код состояния 410:

.

 $ тал | pnl --поля status,req,ua
410 GET /clothing.html?size=412_286 HTTP/1.1 Mozilla/5.0 (совместимо; BLEXBot/1.0; +http://webmeup-crawler.com/)
410 GET /clothing/pants.html?color=1181_1188_1500 HTTP/1.