Крупные сайты: Рейтинг сайтов | ТОП 50 самых популярных сайтов в мире

21.08.2020, Пт, 12:46, Мск , Текст: Эльяс Касми

В Сбербанке перестали работать эквайринг, интернет-банк и мобильное приложение. Причина сбоя не установлена, пользователи лишены возможности переводить деньги, оплачивать мобильную связь и другие услуги, они даже могут посмотреть остаток средств на своих счетах.

Сбербанк сломался

Клиенты Сбербанка столкнулись с серьезным сбоем в работе его сервисов. Из строя вышли официальный сайт банка, а также фирменное мобильное приложение «Сбербанк онлайн». Помимо этого, жалобы стали поступать на работу эквайринга.

По данным портала Downdetector, сбои в работе сервисов Сбербанка пользователи начали фиксировать 21 августа 2020 г. в около 12:00 по Москве. На момент публикации материала число жалоб перевалило за 830.

Что не работает у частных клиентов

Большинство клиентов банка жалуются на проблемы со входом в мобильное приложение Сбербанка – сообщения об этом поступают от 67% пользователей. еще 19% отмечают сбой всех систем банка и невозможность воспользоваться ни одной из них.

В Сбербанке снова все сломалось

10% удалось запустить мобильное приложение «Сбербанк онлайн» или войти в личный кабинет на сайте банка, но они испытывают трудности при отправке платежа.

Сбербанк не знает, что сломалось

По информации РИА «Новости», причина сбоя ИТ-сервисов Сбербанка пока не установлена. Специалисты банка занимаются ее поиском и устранением.

«В настоящий момент у части клиентов могут наблюдаться временные затруднения при входе в систему «Сбербанк онлайн». Наши специалисты выясняют причину данных затруднений», – отметил представитель финансовой организации.

Редакция CNews обратилась с колл-центр Сбербанка, но вместо связи с оператором автоответчик сообщил, что колл-центр перегружен звонками. После этого было запущено аудиоуведомление, сообщающее, что на банковских терминалах оплаты могли отображаться сообщения об отсутствии связи с банком.

В сообщении также было сказано, что все технические проблемы были устранены, однако на момент публикации материала жалобы пользователей на неработающие эквайринг и мобильное приложение продолжали поступать.

Второй гигантский сбой за месяц

Сервисы Сбербанка вышли из строя во второй раз за последние 30 дней. Предыдущий крупный сбой, как сообщал CNews, был зафиксирован 27 июля 2020 г.

Клиенты Сбербанка в недоумении. Многие недовольны

На тот момент эквайринг и сайт продолжали функционировать в полном объеме – проблема затронула исключительно мобильное приложение банка. К примеру, Android-версия «Сбербанк онлайн» не позволяла отправлять деньги клиентам как самого Сбербанка, так и других финансовых организаций. Перенос средств между картами одного клиента тоже был недоступен, равно как и любых оплата услуг без исключения, к примеру, мобильной связи.

Как перевести четверть клиентов на самообслуживание? Опыт банка «Открытие»

По информации портала DownDetector, максимальное число отзывов о сбое в приложении превысило 700.

На запрос CNews представители Сбербанка ответили следующее: «В течение нескольких минут некоторые клиенты могли столкнуться с затруднениями при использовании приложения “Сбербанк онлайн”. В настоящее время все системы работают в штатном режиме. Приносим клиентам извинения за доставленные неудобства».

Никакой стабильности

Пользовательские сервисы Сбербанка в 2020 г. выходят из строя с незавидной регулярностью. Например, в первый день лета 2020 г, начиная примерно с 09:00 по Москве, пользователи стали отмечать первые сбои в функционировании мобильного приложения Сбербанка. На пике число отзывов о сбоях в работе приложения на сайте DownDetector достигло 528.

На запрос CNews пресс-служба Сбербанка ответили следующее: «Сегодня по техническим причинам небольшое количество клиентов может столкнуться с затруднениями при входе в Сбербанк Онлайн. В случае возникновения проблемы со входом просим наших клиентов повторить попытку. Специалисты уже занимаются данной проблемой и устранят ее в ближайшее время. Приносим свои извинения за доставленные неудобства».

По данным ресурса Downdetector, не менее заметные сбои в работе интернет-ресурсов Сбербанка наблюдались 25 мая 2020 г. и 9 августа 2020 г. В эти дни на пике было зарегистрировано 140 и 125 жалоб на сбои соответственно, инциденты с неработающими сервисами наблюдались на протяжении нескольких часов.

Дополнение

После публикации материала в редакцию CNews поступил комментарий Сбербанка. В нем было написано следующее: «Сегодня, по техническим причинам, ряд клиентов могли столкнуться с незначительными затруднениями при входе и проведении ряда операций в Сбербанк Онлайн, а также проведения операций в устройствах самообслуживания. Специалисты банка оперативно устранили затруднения. В настоящее время все системы банка работают в штатном режиме. Приносим свои извинения за доставленные неудобства».

20+ сайтов с ужасным юзабилити — Plerdy

Мы любим комфорт во всем. Даже в серфинге по интернету. Только в отношении сайтов этот комфорт привычно называть иначе –  юзабилити.

Пользователей меньше раздражает устаревший дизайн. Их гораздо больше тревожит плохое юзабилити. Когда не знаешь, как передвигаться по сайту, теряешь много времени на решение привычных задач – раздражаешься и уходишь. При этом важен не только внешний вид ресурса, но и логика построения его структуры. Последняя как раз отсутствует у сайтов, которые мы собрали для этого обзора. Вы также можете перейти по ссылкам «Пример анализ юзабилити сайта» и «Чек-лист юзабилити сайта».

Куда смотреть, если вокруг все кажется недостаточно страшным и неудобным?

Только объективные факты о том, почему одни сайты приятны и удобны для пользователя, а другие являются отталкивающими. Только реальные примеры действующих ресурсов.

Команда Plerdy подготовила для Вас новый бесплатный вебинар — «Юзабилити сайта на примере Google & Apple сайтов». Видеозапись Вы можете посмотреть в этом видео. Присоединяйтесь к тем, кто уже успел посмотреть этот вебинар.

Большой уродливый сайт был создан дизайнерами специально для того, чтобы показать все ужасы устаревшего дизайна и непонятного юзабилити. Вариант для тех, кто считает остальные веб-ресурсы недостаточно страшными и неудобными. Навигацию здесь попробуй отыскать, а вот большие и бесполезные анимации, неприятные шрифты и подчеркивания, баннеры – присутствуют. Одним словом не сайт, а сплошное замешательство.

Это один из наиболее посещаемых мировых сайтов. Но здесь нет никаких картинок, лого или баннеров. Только ссылки, перейдя по которым можно получить нужную информацию в отношении своего города и завершить транзакцию. Дизайн и юзабилити ресурса не особо изменились с 1995 года, но на современной популярности Крейглиста это не отразилось. Раздражать здесь может только ссылочная структура, но именно благодаря ей Крейглист до сих пор остается популярным.

Этот сайт пугает своими шрифтами, неправильно подобранной цветовой гаммой и изобилием анимированных изображений. Все движется, это не может раздражать. При этом отсутствует любая сегментация товаров на главной странице. Нет блоков “Новинки”, Хиты продаж”, “Акционные товары”. Нет кнопок на слайдере, он играет только декоративную роль. Кнопки карточки товара сливаются с фоном и плохо мотивируют к действию.

Худший сайт в мире – именно так окрестили свое детище дизайнеры, которые решили указать на ошибки оформления владельцам и создателям ресурсов во всем мире. Безусловно, здесь все гипертрофированно, и подобных сайтов фактически не найти. Но мы видим все возможные и невозможные ошибки в одном месте, что не может не радовать. Сочетание несочетаемых цветов, разноплановая типографика, отсутствие форматирования и какой-либо структурированности контента, подчеркивания – не полный список вещей, которые делают этот сайт худшим в мире. Чего стоит навигационное меню в середине страницы и примитивные анимации разного размера, мигающие по всему сайту!

Когда попадаешь на такой сайт, сразу не понимаешь – это так задумано, или просто оформление оставляет желать лучшего? Будем надеяться, что создатели просто хотели возродить атмосферу нулевых, выпуская в веб такой ресурс. Уж очень плохо сочетаются между собой цвета оформления, текстуры, анимации и шрифты. Пугает не столько обилие баннеров, видео, ссылок в сайдбаре и на самой странице. Абсолютно отсутствует логика размещения типовых элементов. К примеру, значки соцсетей в середине главной страницы, от контента до футера – целая пропасть пустого пространства, в то время как хедер перегружен графической и текстовой информацией.

Internet Archaeology

Ресурс, оформление которого можно назвать весьма оригинальным, если обращать внимание только на пикселизированную анимацию. Тем не менее, когда попадаешь на такой сайт, совершенно не понимаешь, где ты оказался. Ни слова о том, чему посвящен ресурс, какую пользу он несет для посетителя. Только меню, анимация на весь экран и раздел “Новости”. Хорошо бы знать, о чем и о ком эти новости, так просто ведь читать нет никакого желания. Абсолютно отсутствуют любые кнопки и контентные блоки, включая даже контакты. Такой сайт хорошо подошел бы для ЦРУ – никакой информации о его предназначении, координатах компании/создателей, никаких объяснений.

У именитой марки люксового шампанского также есть недостатки. Точнее, не у самой продукции, которая пользуется спросом не одно столетие, а у сайта, который промоутирует винтажные напитки Дом Периньон. Оформление у ресурса стильное, но главная страница рассказывает нам только о “лице” линейки бренда и креативном директоре компании – Ленни Кравитце. Чтобы посмотреть информацию о винтажных винах, нужно указать свой возраст и место проживания. Ошибка верстальщика заключается в создании формы, которая дает доступ к части содержимого сайта. Узнать о самой марке шампанского можно и без подтверждения возраста на сайте. Но маловероятно, что пользователь так усложнит свой путь, что после изучения информации о марке, вернется на главную страницу для заполнения обязательной формы с возрастом, оформляющей доступ к продукции.

University School

Ожидание – креативный и удобный сайт школы искусств при Йельском университете. Реальность – странный ресурс, оформленный в стиле нулевых. Контент абсолютно не структурирован, неправильно оформлен футер, хедер и сайдбар. Полно мигающей анимации, подчеркнутых ссылок, непонятных картинок и фотографий невысокого качества. Для истинных художников такой ресурс покажется вполне оригинальным с артистической точки зрения. Но в плане удобства использования он далек от совершенства.

Один из ведущих американских производителей соков упорядочил навигацию и позаботился о юзабилити, но забыл о правильности цветового оформления. Оно получилось крайне неприятным для человеческого глаза. Режущие цвета, которые плохо между собой сочетаются, раздражают больше шрифта Комик Санс, подчеркнутых ссылок и перегруженного сайдбара.

Electrifying Times

Новостной сайт, который просто должен быть удобным, в действительности –  пугающее напоминание из прошлого. Хедер, футер и сайдбар оформлены без учета правил юзабилити. Сильно отталкивает нечитабельная типографика, которая для новостного сайта является одним из основных условий продвижения. Подчеркивания, некачественные картинки и фотографии, меню в сайдбаре – далеко не все причины провального оформления ресурса.

На первый взгляд – вполне себе комфортный сайт с меню на главной странице и контактами в футере. Но есть раздражающий и непонятный элемент – флэш-видео. Здесь оно занимает большую часть страницы и не несет никакой смысловой нагрузки. Только тормозит загрузку сайта; используя мобильный, на него практически не зайти.

Летающие бабочки, синий текст на синем фоне, абсолютно не сочетающиеся между собой шрифтовые пары и бюст античной статуи. Сложно здесь увидеть связь с массажным центром, но создателям, конечно, виднее. Как не взгляни на оформление –  оно не только композиционно отталкивает, но и не поражает своим удобством. У сайта Гугла, к примеру, нет и не было как такового оформления. При этом страница поиска остается эталоном минимализма и удобства.

Where2Eat.com

Сайт, который позволяет узнать информацию о лучших ресторанах Сан-Диего. Но удобством и привлекательным дизайном он не блещет. Первое, что бросается в глаза – плохо продуманная структура страницы. Кроме двух видов меню, устаревших баннеров, слайдера и карты на главной странице фактически ничего полезного нет. Карта перенесена в сайдбар, что само по себе непривычно для пользователя, плохо подобраны шрифты. Хедер оформлен не по правилам юзабилити – его просто заполнили текстом.

Отталкивает больше не сам дизайн с серыми, интерфейсными элементами. Юзабилити форм здесь на самом низком уровне. Количество полей в форме превышает все допустимые пользовательским спокойствием нормы. Композиция не выглядит единым целым, блоки напоминают отдельные вставки, вырезанные из других сайтов. Единственный плюс – наличие контактов в футере и хедере, понятная навигация.

Одно использование серого цвета как основного может считаться большим дизайнерским промахом. Серым прописывают информацию второстепенной важности, выделяют статичные элементы. Но и юзабилити в этом случае хромает. Карта занимает центральную часть сайта, сайдбар перегружен слайдерами, расширенным поиском, новостями. О самой компании ни слова; этот блок, по всей видимости, заменяют преимущества. Ну и в сайдбаре, где не должно быть никаких контактов, расположен баннер горячей линии, который очень напоминает большую кнопку обратной связи. Все смотрелось бы гораздо лучше, если бы при создании ресурса была продумана структура и схема размещения контента.

Arvanitakis.com.

Этот сайт уже редизайнили. Но качество его оформления и удобство в реальности не стало лучше. Никакой информации о сервисе или компании, ни слова о преимуществах и особенностях продукции. Только создатели и могут понять, зачем разделять меню стоковой фотографией, размещать на видном месте популярные теги, создавать дополнительный каталог без адекватного оформления футера и хедера.

Сайт польского производителя топливных материалов бытового назначения. Оформление и юзабилити – буквально адовые. Так что чертенок, который здесь жарит себя и сосиску – очень даже в тему. Навигационное меню сверху и под непонятной картинкой, три разноцветные ссылки снизу и две сверху – даже пульсирующий логотип не спасает ситуацию.

У этого сайта далеко не худший дизайн. Но в список он попал из-за своего юзабилити. Когда главная страничка грузится более 40 секунд – налицо явные технические проблемы, которые сказываются на пользовательском опыте. Большое количество анимации и фотографий в высоком разрешении, использование устаревших методов программирования – причина всех проблем сайта. При всем этом графическом великолепии, главная страница остается неинформативной для пользователя. Единственный плюс – наличие продуманного навигационного меню.

Сайт как раз удивляет своим дизайном. Синемаграфику увидишь нечасто – дорогое удовольствие в производстве веб-ресурсов. Но проблема в загрузке сайта – из-за обилия качественной графики приходится ждать, пока появится страница вместе с ее контентным содержимым. Низкая скорость загрузки – причина частых отказов посетителей от дальнейшего серфинга. Получается и внедрение дорогостоящей синемаграфики не спасает ситуацию?

Идеальных веб-ресурсов с точки зрения юзабилити или оформления не существует. Сайты корпоративных гигантов и небольших компаний в равной степени имеют свои недостатки. Представления об удобстве у разных людей ведь отличаются. Есть сайты с устаревшим дизайном, но понятным юзабилити, которые знают и любят во всем мире. Существуют сайты, которые применяют в своем оформлении дорогостоящую синемаграфику, но все равно вызывают раздражение у пользователей.

Основное правило одно –  сначала удобство, потом эстетика. Многими устаревшими сайтами мы пользуемся ежедневно, не замечая того. Они ведь просто удобны.

Как эффективно создавать большие сайты на Netlify

Сайты обычно увеличиваются в размерах и сложности; со временем команды добавляют новый контент и новые разделы. В архитектуре Jamstack сайты предварительно создаются как статические ресурсы и размещаются в CDN. По мере того как на сайт добавляется больше контента, время сборки может увеличиваться. Это также зависит от типа обработки, которую вы выполняете на этапе сборки (обработка изображений занимает очень много времени), от генератора статических сайтов, который вы используете для создания сайта, и от инфраструктуры, на которой вы строите сайт.В этой статье я собираюсь сосредоточиться на том, как структурировать сайт, и меньше на конкретных фреймворках и инструментах для его создания.

Длительное время сборки означает, что вашим редакторам и разработчикам придется подождать некоторое время, прежде чем они смогут предварительно просмотреть внесенные изменения или запустить их.

Netlify не только предоставляет инфраструктуру и рабочие процессы для групп внешнего интерфейса, чтобы действительно легко создавать и размещать сайты, но и действительно умные функции, которые позволяют масштабировать ваш сайт. В этом сообщении блога рассматривается масштабируемый способ создания архитектуры сайта с использованием перенаправлений и прокси Netlify для обеспечения единообразия взаимодействия с конечными пользователями вашего сайта.

тл; др

По мере роста сайтов увеличивается время и сложность, необходимые для их создания и обслуживания. Чтобы ваш сайт создавался быстро, подумайте о том, чтобы разбить его на более мелкие специализированные микросайты, а затем использовать перенаправления / прокси Netlify, чтобы рекомбинировать их, чтобы обеспечить бесперебойную работу в Интернете для ваших конечных пользователей.

Создание большого сайта на Netlify

Давайте возьмем пример сайта электронной коммерции, чтобы объяснить, как его спроектировать. Предположим, сайт доступен по адресу www.example.org и имеет 3 раздела:

1. Маркетинговые страницы (о нас, ценностях, контакты и т. Д.), Которые в основном статичны и практически не меняются по содержанию.
2. Блог (несколько 100 сообщений, продолжает расти, редакторы контента используют безголовую CMS для публикации контента)
3. Каталог продуктов и информация (вводится в платформу электронной коммерции)

При создании сайта генератор статических сайтов будет использовать API для извлечения контента и информации о продукте (изображения, описания и т. Д.).) и сборка статических ресурсов для каждого из изменений содержимого / кода вызовет сборку на Netlify. Людям придется подождать, пока сайт будет построен, прежде чем изменения вступят в силу.

Разделение большого сайта на микросайты

Вместо этого, что, если вы разделите сайт на несколько меньших сайтов; по одному на раздел? В нашем примере с сайтом электронной коммерции логическим разделением являются маркетинговые страницы, блог и каталог продуктов. Возможно, если вы продаете несколько дизайнерских брендов, каждый из них также может быть микросайтом.

Как выглядит создание сайта таким образом?

Разделение сайта сократит время сборки

1. Время сборки теперь намного меньше и соответствует только микросайту, который вы создаете в любое время.
2. Разные команды могут добавлять контент на микросайты независимо друг от друга.
3. Обновления контента на вашем сайте запускаются намного быстрее, чем раньше.

Настройка доменов для отражения микросайтов

Теперь, когда мы знаем, как эта архитектура влияет на время сборки, перейдем к хостингу.Здесь у нас есть два варианта в зависимости от того, хотите ли вы использовать поддомены или разные URL-адреса для разных разделов вашего сайта.

Настройте микросайты как свои собственные поддомены, используйте Netlify Redirects

1. У вас есть основной субдомен www для целевой страницы сайта.
2. 1. скажите www.example.org.com
3. У каждого микросайта есть собственный субдомен.
4. 1. Все остальные разделы являются субдоменами, например, blog.example.org.com, products.example.org.com.
5. Теперь вы можете разместить каждый из этих поддоменов на Netlify High Performance Edge, чтобы пользователи видели контент на сайте как можно скорее и с максимальной надежностью.
6. Вы перенаправляете пользователей с одного поддомена на другой с помощью Netlify Redirects.

Настроить перенаправления на Netlify очень просто.

Добавив одну строку конфигурации в файл _redirects или netlify.toml , мы можем перехватить все запросы на URL-адреса, которые могут быть удовлетворены активами, развернутыми на Netlify Edge.

/ блог /https://blog.example.org/:splat 301

/ products /https://products.example.org/:splat 301

Настроить микросайты как разные URL-адреса, прокси-контент из них

Если вам не нужны отдельные поддомены для каждого раздела, вы все равно можете заполнить раздел «Блог и продукты», проксируя контент с этих микросайтов.

1. У вас есть основной субдомен www для целевой страницы сайта — такой же, как указано выше.
2. Остальные микросайты сохраняют субдомен netlify по умолчанию, например, blog.netlify. app и products.netlify.app
3. Вы размещаете основной www в нашей сети High Performance Edge.

Когда пользователи переходят по разным путям на вашем сайте, например www.example.org.com/blog, контент с микросайта блога будет перенаправлен им.

Добавив одну строку конфигурации в файл _redirects или netlify.toml , мы можем перехватить все запросы URL-адресов, которые могут быть удовлетворены активами, развернутыми на Netlify High Performance Edge, и передать все остальные через прокси-сервер другим сайты, как на Netify, так и за ее пределами.

/ блог https://blog.netlify.app/:splat 200

/ товары https://products.netlify.app/:splat 200

Соображения по разделению большого сайта на более мелкие разделы

Это полностью зависит от вас, как разделить сайт, но можно подумать об этом:

1. Есть ли части вашего сайта, которые часто меняются из-за частого редактирования или частого добавления нового контента?

2. Есть ли на вашем сайте более статичные части, чем остальные?

   1. Иногда большая часть сайта статична, тогда как его часть может быть динамической, делать вызовы API и часто меняться.

3. Есть ли части вашего сайта, которые должны работать намного быстрее, чем другие?

   1. Если на вашем сайте есть раздел (например, «Продукты» или «Последние новости»), который нужно скоро запустить, не тратя слишком много времени на сборку?

4. Существуют ли разные команды, которые вносят свой вклад / владеют разными частями вашего сайта?

   1. Если ваш сайт действительно большой и в него вносят свой вклад несколько команд (например, продукт, маркетинг, разработка и т. Д.), Тогда имеет смысл разделить сайт по этим функциям.

В качестве примера я использовал приложение электронной коммерции, но его можно легко распространить на любой веб-ресурс. Сайты документации, например, увеличиваются в размерах, и разные команды внутри компании несут ответственность за различные продукты / услуги, которые предлагает компания. Это будет отличный кандидат на эту архитектуру. Фактически, сайт документации Citrix создан и размещен на Netlify, и у них есть 120 действующих микросайтов.

Достижение оптимального времени сборки !!

Таким образом, вы можете разделить свой сайт на микросайты на основе различных критериев для достижения оптимального времени создания.Конечный пользователь, просматривающий ваш сайт, по-прежнему получает превосходный опыт работы с ним с помощью правил перенаправления и прокси, которые вы настраиваете для каждого сайта.

Кроме того, в зависимости от типа сайта, который вы создаете, может даже не иметь значения, что создание сайта требует времени.

1. Например, ваш может быть в основном статическим сайтом, который практически не изменяется в содержании или коде, и этот контент не должен сразу же запускаться.
2. Или у вас запланирована ночная сборка, и не имеет значения, сколько времени занимает сборка сайта.

Если вы и ваша команда работаете над большим сайтом или планируете использовать Netlify, напишите нам, и мы свяжемся с вами.

Как сканировать большие сайты

Как сканировать большие сайты с помощью SEO Spider

Сканирование веб-сайтов и сбор данных — это процесс, требующий большого объема памяти, и чем больше вы выполняете сканирование, тем больше памяти требуется для хранения и обработки данных. Screaming Frog SEO Spider использует настраиваемый гибридный движок, который требует некоторых настроек для крупномасштабного сканирования.

По умолчанию SEO Spider использует RAM, а не ваш жесткий диск для хранения и обработки данных. Это дает потрясающие преимущества, такие как скорость и гибкость, но у него также есть недостатки, в первую очередь, сканирование в масштабе.

SEO Spider также можно настроить для сохранения данных сканирования на диск, выбрав режим «Хранилище базы данных» (в разделе «Конфигурация> Система> Хранилище»), который позволяет сканировать в действительно беспрецедентном масштабе, сохраняя при этом тот же, знакомый реальный -время отчетности и удобство использования.

TL; Версия DR

Если вы не хотите читать полное руководство, приведенное ниже, ниже приведены два основных требования для сканирования очень больших веб-сайтов.

1) Используйте машину с внутренним твердотельным накопителем и переключитесь в режим хранения базы данных («Конфигурация> Система> Режим хранения»).

2) Выделите ОЗУ («Конфигурация> Система> Распределение памяти»). Для ползания до прибл. 2 миллиона URL-адресов, выделите только 4 ГБ ОЗУ. Выделенные 8 ГБ позволят прибл. 5 миллионов URL-адресов для сканирования.

Избегайте чрезмерного выделения оперативной памяти, в этом нет необходимости, это просто снизит производительность вашей машины.

В приведенном ниже руководстве представлен более полный обзор различий между памятью и хранилищем базы данных, идеальная настройка для сканирования больших веб-сайтов и способы интеллектуального сканирования, чтобы избежать ненужной траты времени и ресурсов.

В чем разница между памятью и хранилищем базы данных?

По сути, оба режима хранения могут по-прежнему обеспечивать практически одинаковые возможности сканирования, что позволяет создавать отчеты в реальном времени, фильтровать и настраивать сканирование.Однако есть некоторые ключевые различия, и идеальное хранилище будет зависеть от сценария сканирования и технических характеристик компьютера.

Память

Режим хранения в памяти обеспечивает сверхбыстрое и гибкое сканирование практически для всех настроек. Однако, поскольку машины имеют меньше оперативной памяти, чем места на жестком диске, это означает, что SEO Spider обычно лучше подходит для сканирования веб-сайтов с URL-адресами 500 тыс. В режиме хранения в памяти.

Пользователи могут сканировать больше, чем это, при правильной настройке и в зависимости от того, сколько памяти сканируется веб-сайтом.Очень грубо говоря, 64-разрядная машина с 8 ГБ ОЗУ обычно позволяет сканировать пару сотен тысяч URL-адресов.

Помимо того, что это лучший вариант для небольших веб-сайтов, режим хранения в памяти также рекомендуется для машин без твердотельного накопителя или на которых мало места на диске.

Хранилище базы данных

Мы рекомендуем это хранилище по умолчанию для пользователей с твердотельным накопителем, а также для масштабного сканирования. Режим хранения базы данных позволяет сканировать больше URL-адресов для заданных параметров памяти, со скоростью сканирования, близкой к скорости сканирования ОЗУ для настроек с твердотельным накопителем (SSD).

Ограничение сканирования по умолчанию составляет 5 миллионов URL, но это не жесткое ограничение — SEO Spider способен сканировать больше (при правильной настройке). Например, машина с SSD на 500 ГБ и 16 ГБ ОЗУ должна позволить сканировать примерно до 10 миллионов URL-адресов.

В режиме хранения базы данных обходы также сохраняются автоматически, поэтому нет необходимости «сохранять» их вручную. Другое главное преимущество заключается в том, что повторное открытие сохраненного обхода контента происходит намного быстрее в режиме хранения базы данных, чем загрузка в файле.seospider в режиме хранения в памяти.

Доступ к сканированию базы данных можно открыть через меню верхнего уровня «Файл> Сканирование».

Меню «Сканирования» отображает обзор сохраненных обходов, позволяет открывать их, переименовывать, организовывать в папки проекта, дублировать, экспортировать или удалять массово.

Дополнительным преимуществом является то, что, поскольку сканирование сохраняется автоматически, если у вас есть проблема, такая как обновление Windows, отключение питания или сбой, сканирование все равно можно будет получить из меню «сканирование», чтобы возобновить его.

Хотя это не рекомендуется, но если у вас быстрый жесткий диск (HDD), а не проданный государственный диск (SSD), этот режим все же позволяет сканировать больше URL-адресов. Однако скорость записи и чтения жесткого диска становится узким местом при сканировании, поэтому и скорость сканирования, и сам интерфейс будут значительно медленнее.

Если вы работаете на машине во время ползания, это также может повлиять на производительность машины, поэтому может потребоваться уменьшить скорость ползания, чтобы справиться с нагрузкой.Твердотельные накопители настолько быстры, что обычно у них нет этой проблемы, и именно поэтому «хранилище базы данных» можно использовать по умолчанию как для малых, так и для больших обходов.

Вам действительно нужно сканировать весь сайт?

Это вопрос, который мы всегда рекомендуем задавать. Вам нужно сканировать каждый URL, чтобы получить нужные данные?

Продвинутые специалисты по поисковой оптимизации знают, что зачастую это просто не требуется. Обычно веб-сайты являются шаблонными, и для принятия обоснованных решений по всему сайту будет достаточно пробного сканирования типов страниц из разных разделов.

Итак, зачем сканировать 5 миллионов URL, если 50 тысяч достаточно? С помощью нескольких простых настроек вы можете избежать траты ресурсов и времени на них (подробнее о настройке сканирования в ближайшее время).

Следует помнить, что сканирование больших сайтов требует ресурсов, но также требует много времени (и затрат для некоторых решений). Веб-сайт с 1 миллионом страниц при средней скорости сканирования 5 URL-адресов в секунду будет сканировать более двух дней. Вы можете сканировать быстрее, но большинство веб-сайтов и серверов не хотят, чтобы сканирование выполнялось быстрее, чем такая скорость.

При рассмотрении масштаба необходимо учитывать не только уникальные страницы или собранные данные, но и внутренние ссылки на веб-сайте. SEO Spider записывает каждую входящую или исходящую ссылку (и ресурс), что означает, что веб-сайт на 100 тыс. Страниц, на каждой странице которого имеется 100 ссылок на весь сайт, фактически означает запись более 10 миллионов ссылок.

Однако, учитывая вышесказанное, бывают случаи, когда необходимо полное сканирование. Возможно, вам придется сканировать большой веб-сайт целиком, или, возможно, веб-сайт находится на корпоративном уровне с 50 миллионами страниц, и вам нужно сканировать больше, чтобы даже получить точный образец.В этих сценариях мы рекомендуем следующий подход к сканированию крупных веб-сайтов.

1) Перейти к хранилищу базы данных

Мы рекомендуем использовать SSD и переключиться в режим хранения базы данных. Если у вас нет SSD, мы настоятельно рекомендуем инвестировать. Это самое крупное обновление, которое вы можете сделать для машины при сравнительно небольших вложениях, и которое позволяет сканировать в огромных масштабах без ущерба для производительности.

Пользователи могут выбрать сохранение на диск, выбрав «режим хранения базы данных» в интерфейсе (через «Конфигурация> Система> Режим хранения»).

Если у вас нет SSD (купите его сейчас!), Вы можете пропустить этот шаг и просто следовать остальным рекомендациям в этом руководстве. Стоит отметить, что вы можете использовать внешний SSD с USB 3.0, если ваша система поддерживает режим UASP.

2) Увеличьте выделение памяти

SEO Spider в стандартной комплектации выделяет всего 1 ГБ ОЗУ для 32-разрядных машин и 2 ГБ ОЗУ для 64-разрядных. В режиме хранения в памяти это должно позволить вам сканировать от 10 до 150 тыс. URL-адресов веб-сайта. В режиме хранения базы данных это должно позволить вам сканировать примерно 1-2 миллиона URL-адресов.

Объем выделенной оперативной памяти будет влиять на количество URL-адресов, которые вы можете сканировать как в режиме памяти, так и в режиме хранения базы данных, но гораздо более существенно в режиме хранения в памяти.

Для режима хранения ОЗУ мы обычно рекомендуем минимум 8 ГБ ОЗУ для сканирования крупных веб-сайтов с несколькими сотнями тысяч страниц. Но чем больше у вас оперативной памяти, тем лучше!

Для хранения базы данных 4 ГБ ОЗУ позволяют сканировать 2-3 миллиона URL-адресов, 8 ГБ ОЗУ позволяют сканировать до 5 миллионов URL-адресов и 16 ГБ для 10 миллионов.Все это приблизительные значения, так как это зависит от сайта.

Обычно мы рекомендуем изначально выделить 4 ГБ, так как SEO Spider будет использовать до объема, выделенного вами в памяти, перед сохранением на диск. Итак, если вы хотите сохранить на диск раньше и оставить оперативную память доступной для других приложений и системы, не выделяйте лишнее.

Вы можете настроить распределение памяти в SEO Spider, щелкнув «Конфигурация> Система> Распределение памяти».

Мы всегда рекомендуем выделять как минимум на 2 ГБ меньше доступной оперативной памяти.Если вы выделите свою общую оперативную память, у вас может возникнуть сбой, так как вашей ОС и другим приложениям также потребуется оперативная память для работы.

SEO Spider будет использовать память только тогда, когда это необходимо, и это просто означает, что у вас есть максимум, доступный вам, если и когда вам это нужно.

Если вы не настроили память и не достигли предела выделения памяти, вы получите следующее предупреждение.

Это предупреждение о том, что SEO Spider достиг текущего распределения памяти, и его необходимо увеличить, чтобы сканировать больше URL-адресов, иначе он станет нестабильным.

Чтобы увеличить объем памяти, прежде всего, вы должны сохранить сканирование через меню «Файл> Сохранить». Затем вы можете настроить выделение памяти, а затем открыть сохраненное сканирование и снова возобновить сканирование.

Чем больше памяти вы можете выделить, тем больше вы сможете сканировать. Поэтому, если у вас нет машины с большим объемом оперативной памяти, мы рекомендуем использовать более мощный компьютер или увеличить объем оперативной памяти.

3) Отрегулируйте, что сканировать в конфигурации

Чем больше данных будет собрано и чем больше будет сканироваться, тем больше будет требоваться память.Таким образом, вы можете рассмотреть варианты сокращения потребления памяти для «более легкого» сканирования.

Отмена выбора следующих параметров ссылок на ресурсы в разделе «Конфигурация> Паук> Сканирование» поможет сэкономить память —

1. Сканирование и сохранение изображений.
2. Сканирование и сохранение CSS.
3. Сканирование и сохранение JavaScript.
4. Сканирование и сохранение SWF.

Обратите внимание: если вы выполняете сканирование в режиме рендеринга JavaScript, вам, скорее всего, потребуется включить большинство этих параметров, иначе это повлияет на рендеринг.См. Наше руководство «Как сканировать веб-сайты, использующие JavaScript».

Отмена выбора любой из следующих ссылок на страницы в разделе «Конфигурация> Паук> Сканирование» также поможет сэкономить память —

1. Сканирование и сохранение внешних ссылок.
2. Сканируйте и храните канонические файлы.
3. Сканирование и пагинация магазина.
4. Сканирование и сохранение Hreflang.
5. Сканирование и сохранение AMP.

Вы можете отменить выбор несущественных атрибутов для сохранения в разделе «Конфигурация> Паук> Извлечение», чтобы сэкономить память, например, мета-ключевые слова.Или просто элементы, которые вы не проверяете, например структурированные данные.

Мы также рекомендуем отключить функцию пользовательских позиций ссылок через «Конфигурация> Пользовательские> Позиции ссылок». Это использует больше памяти, сохраняя XPath каждой ссылки, найденной при сканировании, для классификации ее положения (навигация, боковая панель, нижний колонтитул и т. Д.).

Существуют также другие варианты, которые будут использовать память, если она используется, поэтому не используйте следующие функции —

1. Пользовательский поиск.
2. Пользовательское извлечение.
3. Интеграция с Google Analytics.
4. Интеграция с Google Search Console.
5. Интеграция PageSpeed ​​Insights.
6. Орфография и грамматика.
Интеграция показателей ссылок
7. (Majestic, Ahrefs и Moz).

Это означает меньше данных, меньшее сканирование и меньшее потребление памяти.

4) Исключить ненужные URL-адреса

Используйте функцию исключения, чтобы избежать сканирования ненужных URL-адресов. Сюда могут входить целые разделы, фасетные фильтры навигации, определенные параметры URL-адреса или бесконечные URL-адреса с повторяющимися каталогами и т. Д.

Функция исключения позволяет полностью исключить URL-адреса из сканирования путем предоставления списка регулярных выражений списка (regex). URL-адрес, соответствующий исключению, вообще не сканируется (он не просто «скрыт» в интерфейсе). Также стоит иметь в виду, что это будет означать, что другие URL-адреса, которые не соответствуют исключенному, но могут быть доступны только с исключенной страницы, также не будут сканироваться. Так что используйте исключение с осторожностью.

Мы рекомендуем выполнить сканирование и упорядочить URL-адреса на вкладке «Внутренние» в алфавитном порядке и проанализировать их на наличие шаблонов и областей для потенциального исключения в режиме реального времени.Как правило, прокручивая список в режиме реального времени и анализируя URL-адреса, вы можете составить список URL-адресов для исключения.

Например, сайты электронной коммерции часто имеют фасетную навигацию, которая позволяет пользователям фильтровать и сортировать, что может привести к появлению большого количества URL-адресов. Иногда их можно сканировать в другом порядке, что приводит к множеству или бесконечному количеству URL-адресов.

Давайте возьмем сценарий из реальной жизни, например, Джона Льюиса. Если вы сканируете сайт со стандартными настройками, из-за их многочисленных аспектов вы можете легко сканировать отфильтрованные страницы, как показано ниже.

При выборе этих фасетов генерируются URL-адреса, например —

https://www.johnlewis.com/browse/men/mens-trousers/adidas/allsaints/gant-rugger/hymn/kin-by-john-lewis/selected-femme/homme/size=36r/_/N -ebiZ1z13yvxZ1z0g0g6Z1z04nruZ1z0s0laZ1z13u9cZ1z01kl3Z1z0swk1

По этому URL-адресу указано несколько брендов, выбран размер брюк и вариант доставки. Также есть грани цвета, посадки брюк и многого другого! Различное количество комбинаций, которые можно выбрать, практически безгранично, и их следует рассматривать как исключение.

Упорядочив URL-адреса на вкладке «Внутренний» в алфавитном порядке, можно легко определить подобные шаблоны URL для их потенциального исключения. Мы также видим, что URL-адреса из фасетов Джона Льюиса в любом случае имеют значение «noindex». Следовательно, мы можем просто исключить их сканирование.

После того, как у вас есть образец URL-адресов и вы определили проблему, обычно нет необходимости сканировать все аспекты и комбинации. Они также могут быть канонизированы, запрещены или не индексированы, поэтому вы знаете, что они уже были «исправлены», и их можно просто исключить.

5) Сканирование в разделах (субдоменах или подпапках)

Если веб-сайт очень большой, его можно сканировать по разделам. По умолчанию SEO Spider будет сканировать только введенный субдомен, а все другие обнаруженные субдомены будут рассматриваться как внешние (и появятся на вкладке «внешние»). Вы можете сканировать все поддомены, но, очевидно, это займет больше памяти.

SEO Spider также можно настроить для сканирования вложенной папки, просто введя URI вложенной папки с путем к файлу и убедившись, что «проверять ссылки вне начальной папки» и «сканировать вне начальной папки» не выбраны в разделе «Конфигурация> Spider».Например, чтобы сканировать наш блог, вам нужно просто ввести https://www.screamingfrog.co.uk/blog/ и нажать «Пуск».

Обратите внимание, что если в конце подпапки нет косой черты, например, «/ blog» вместо «/ blog /», SEO Spider в настоящее время не распознает ее как подпапку и не будет сканировать ее внутри. Это. Если версия подпапки с завершающей косой чертой перенаправляет на версию без косой черты, то применяется то же самое.

Чтобы просканировать эту подпапку, вам нужно будет использовать функцию включения и ввести регулярное выражение этой подпапки (.* blog. * в этом примере).

6) Сузьте сканирование, используя Include

Вы можете использовать функцию включения, чтобы контролировать, какой URL-адрес будет сканировать SEO Spider с помощью регулярного выражения. Он сужает поиск по умолчанию, сканируя только те URL-адреса, которые соответствуют регулярному выражению, что особенно полезно для крупных сайтов или сайтов с менее интуитивной структурой URL-адресов.

Сопоставление выполняется с версией URL-адреса, закодированной в URL. Страница, с которой вы запускаете сканирование, должна иметь исходящую ссылку, которая соответствует регулярному выражению, чтобы эта функция работала.Очевидно, что если не существует URL-адреса, соответствующего регулярному выражению на стартовой странице, SEO Spider ничего не просканирует!

В качестве примера, если вы хотите сканировать страницы с https://www.screamingfrog.co.uk, у которых есть ‘search’ в строке URL, вы просто включите regex:. * Search. * В функцию ‘include’ .

Это позволит найти страницы / search-engine-marketing / и / search-engine-optimisation /, поскольку в них обоих есть слово search.

7) Ограничьте сканирование для лучшей выборки

Доступны различные ограничения, которые помогают контролировать сканирование SEO Spider и позволяют получать образцы страниц со всего сайта, не сканируя все.К ним относятся —

• Limit Crawl Total — Ограничьте общее количество просканированных страниц. Просмотрите сайт, чтобы получить приблизительную оценку того, сколько может потребоваться для сканирования широкого набора шаблонов и типов страниц.
• Ограничить глубину сканирования — ограничьте глубину сканирования ключевыми страницами, чтобы получить достаточную глубину для получения выборки всех шаблонов.
• Ограничить максимальную длину URI для сканирования — избегайте сканирования неправильных относительных ссылок или очень глубоких URL-адресов, ограничивая длину строки URL-адреса.
• Limit Max Folder Depth — Ограничьте сканирование по глубине папки, что может быть более полезно для сайтов с интуитивно понятной структурой.
• Ограничить количество строк запроса — ограничить сканирование множества аспектов и параметров по количеству строк запроса. Установив ограничение строки запроса на «1», вы разрешаете SEO Spider сканировать URL с одним параметром (например? = Цвет), но не больше. Это может быть полезно, когда к URL-адресам можно добавлять различные параметры в разных комбинациях!

8) Купите внешний SSD с USB 3.0 (+)

Если у вас нет внутреннего твердотельного накопителя и вы хотите сканировать большие веб-сайты в режиме хранения базы данных, тогда вам может помочь внешний твердотельный накопитель.

Важно убедиться, что на вашем компьютере есть порт USB 3.0, а ваша система поддерживает режим UASP. Большинство новых систем работают автоматически, если у вас уже есть оборудование USB 3.0. При подключении внешнего твердотельного накопителя убедитесь, что вы подключаетесь к порту USB 3.0, в противном случае чтение и запись будут очень медленными.

USB 3.0 обычно имеют синий цвет внутри (как рекомендовано в их спецификации), но не всегда; и вам, как правило, потребуется подключить USB-кабель с синим концом к синему USB 3.0 порт. После этого вам нужно переключиться в режим хранения базы данных, а затем выбрать расположение базы данных на внешнем SSD (диск «D» в примере ниже).

Просто!

9) Запустите SEO Spider в облаке с SSD и большим количеством оперативной памяти

Если вам все еще нужно сканировать больше, но у вас нет мощной машины с SSD или большим количеством оперативной памяти, подумайте о запуске SEO Spider в облаке, убедившись, что у него есть SSD, вы переходите в режим « хранилище базы данных ». и выделение глупых объемов оперативной памяти.

Мы рекомендуем несколько действительно исчерпывающих руководств —

10) Не забывайте регулярно экономить

Если вы используете SEO Spider в режиме хранения в памяти, мы рекомендуем регулярно сохранять проекты сканирования. Если есть проблема, это означает, что вы не потеряете сканирование.

Вы можете сохранить сканирование, нажав «Стоп», а затем «Файл> Сохранить». Как только сканирование завершит сохранение, просто нажмите «возобновить», чтобы потом продолжить сканирование снова!

Если вы используете режим хранения базы данных, как рекомендовано, вам не о чем беспокоиться.Сканирования автоматически сохраняются, и если у вас возникнет проблема, сканирование должно быть доступно для возобновления в разделе «Файл> Сканирования».

Счастливого ползания!

Веб-сайты действительно уникальны, но основные принципы, изложенные выше, должны позволить вам сканировать большие веб-сайты более эффективно.

Если у вас есть какие-либо вопросы относительно нашего руководства по сканированию больших веб-сайтов, просто свяжитесь с нашей службой поддержки.

Руководство владельца большого сайта по управлению краулинговым бюджетом

Обзор

В этом руководстве описывается, как оптимизировать сканирование Google очень больших и часто обновляемых сайтов.

Если на вашем сайте не так много страниц, которые быстро меняются, или если кажется, что ваши страницы сканируются в тот же день, когда они опубликованы, вам не нужно читать это руководство; Достаточно просто поддерживать карту сайта в актуальном состоянии и регулярно проверять покрытие индекса.

Если у вас есть контент, который был доступен какое-то время, но никогда не индексировался, это другая проблема; вместо этого используйте инструмент проверки URL-адресов, чтобы выяснить, почему ваша страница не индексируется.

Кто это руководство для

Это расширенное руководство, предназначенное для:

• Крупные сайты (1 миллион + уникальных страниц) с умеренно часто изменяющимся содержанием (раз в неделю), или
• Средние и большие сайты (10 000+ уникальных страниц) с очень быстро меняющимся содержанием (ежедневно).

Обратите внимание, что приведенные здесь числа являются приблизительной оценкой , чтобы помочь вам классифицировать ваш сайт. Это не точные пороги.

Общая теория ползания

Интернет — это почти бесконечное пространство, превосходящее возможности Google по изучению и индексации всех доступных URL. В результате существуют ограничения на то, сколько времени робот Googlebot может тратить на сканирование любого отдельного сайта. Количество времени и ресурсов, которые Google выделяет на сканирование сайта, обычно называют краулинговым бюджетом сайта. Обратите внимание, что не все просканированное на вашем сайте обязательно будет проиндексировано ; Каждая страница должна быть оценена, объединена и оценена, чтобы определить, будет ли она проиндексирована после сканирования.

Бюджет сканирования определяется двумя основными элементами: ограничение объема сканирования и требование сканирования .

Ограничение емкости сканирования

Робот Googlebot хочет сканировать ваш сайт, не перегружая ваши серверы. Чтобы предотвратить это, робот Googlebot вычисляет предел емкости сканирования , то есть максимальное количество одновременных параллельных подключений, которые робот Googlebot может использовать для сканирования сайта, а также временную задержку между выборками. Это рассчитано на покрытие всего вашего важного контента без перегрузки серверов.

Предел емкости сканирования может увеличиваться или уменьшаться в зависимости от нескольких факторов:

• Состояние сканирования: Если сайт в течение некоторого времени отвечает быстро, предел увеличивается, что означает, что для сканирования можно использовать больше подключений. Если сайт замедляется или отвечает ошибками сервера, лимит снижается, и робот Googlebot меньше сканирует.
• Ограничение, установленное владельцем сайта в Search Console: Владельцы веб-сайтов могут дополнительно уменьшить количество сканирований своего сайта роботом Googlebot. Обратите внимание, что установка более высоких лимитов не приведет к автоматическому увеличению сканирования.
• Пределы сканирования Google : У Google много машин, но не бесконечное количество машин. Нам все еще нужно делать выбор, используя имеющиеся у нас ресурсы.

Спрос на сканирование

Google обычно тратит на сканирование сайта столько времени, сколько необходимо, учитывая его размер, частоту обновления, качество страницы и релевантность по сравнению с другими сайтами.

Факторы, которые играют важную роль в определении спроса на сканирование:

• Воспринимаемый инвентарь: Без вашего ведома робот Googlebot попытается просканировать все или большую часть известных ему URL-адресов на вашем сайте.Если многие из этих URL-адресов дублируются или не должны сканироваться по какой-либо другой причине (удалены, неважны и т. Д.), Это тратит много времени Google на сканирование вашего сайта. Это фактор, который вы можете лучше всего контролировать.
• Популярность: URL-адресов, которые более популярны в Интернете, как правило, сканируются чаще, чтобы они оставались более свежими в нашем индексе.
• Устойчивость: Наши системы хотят повторно сканировать документы достаточно часто, чтобы улавливать любые изменения.

Кроме того, общесайтовые события, такие как перемещение сайта, могут вызвать увеличение потребности в сканировании, чтобы переиндексировать контент по новым URL-адресам.

Итого

Взяв вместе емкость сканирования и потребность в сканировании, Google определяет бюджет сканирования сайта как набор URL-адресов, которые робот Googlebot может и хочет сканировать. Робот Googlebot будет сканировать ваш сайт меньше, даже если предел объема сканирования не достигнут, если спрос на сканирование низкий.

Google определяет количество краулинговых ресурсов для каждого сайта в зависимости от его популярности, ценности для пользователя, уникальности и производительности.Единственный способ увеличить ваш краулинговый бюджет — это увеличить ваши возможности для сканирования и (что более важно) повысить ценность содержания вашего сайта для поисковиков.

Лучшие практики

Следуйте этим рекомендациям, чтобы максимально повысить эффективность сканирования:

• Управляйте инвентарем URL: Используйте соответствующие инструменты, чтобы сообщить Google, какие страницы сканировать, а какие нет. Если Google тратит слишком много времени на сканирование URL-адресов, которые не подходят для индекса, робот Googlebot может решить, что не стоит тратить время на просмотр остальной части вашего сайта (или увеличить для этого ваш бюджет).
  • Объедините дублированный контент. Удалите дублированный контент, чтобы сосредоточить сканирование на уникальном контенте, а не на уникальных URL-адресах.
  • Блокировать сканирование URL-адресов, которые не следует индексировать. Некоторые страницы могут быть важны для пользователей, но не должны отображаться в результатах поиска. Например, страницы с бесконечной прокруткой, которые дублируют информацию на связанных страницах, или версии одной и той же страницы, отсортированные по-разному. Если вы не можете объединить их, как описано в первом пункте, заблокируйте эти неважные (для поиска) страницы с помощью robots.txt или инструмент Параметры URL (для дублированного контента, доступного с помощью параметров URL). Не используйте noindex , так как Google все равно будет запрашивать, но затем отбрасывает страницу, когда видит тег noindex, теряя время сканирования. Не используйте robots.txt для временного освобождения краулингового бюджета для других страниц; используйте robots.txt для блокировки страниц или ресурсов, сканирование которых, по вашему мнению, не рекомендуется. Google не будет переносить этот высвободившийся бюджет сканирования на другие страницы, если Google уже не достигнет лимита обслуживания вашего сайта.
  • Вернуть 404/410 для безвозвратно удаленных страниц. Google не забудет URL, о котором он знает, но 404 — сильный сигнал не сканировать этот URL снова. Однако заблокированные URL-адреса будут оставаться частью вашей очереди сканирования намного дольше и будут повторно сканироваться при снятии блокировки.
  • Устранение мягких ошибок 404. Сканирование Soft 404 будет продолжаться, что приведет к растрате вашего бюджета. Проверьте отчет об индексировании на наличие мягких ошибок 404.
  • Держите карты сайта в актуальном состоянии. Google регулярно читает вашу карту сайта, поэтому обязательно включите все содержание, которое вы хотите, чтобы Google сканировал. Если ваш сайт содержит обновленное содержание, мы рекомендуем использовать тег .
  • Избегайте длинных цепочек переадресации , которые отрицательно влияют на сканирование.
• Сделайте ваши страницы более удобными для загрузки. Если Google сможет загружать и обрабатывать ваши страницы быстрее, мы сможем читать больше контента с вашего сайта.
• Отслеживайте сканирование вашего сайта. Следите за тем, не возникало ли у вашего сайта проблем с доступностью во время сканирования, и ищите способы повысить эффективность сканирования.

Отслеживайте сканирование и индексирование вашего сайта

Вот основные шаги для отслеживания профиля сканирования вашего сайта:

1. Посмотрите, не возникает ли у Googlebot проблем с доступностью на вашем сайте.
2. Посмотрите, есть ли у вас страницы, которые не сканируются, но должны быть.
3. Посмотрите, нужно ли сканировать какие-либо части вашего сайта быстрее, чем они уже есть.
4. Повысьте эффективность сканирования вашего сайта.
5. Не допускайте чрезмерного сканирования вашего сайта.

1. Посмотрите, не возникает ли у Googlebot проблем с доступностью на вашем сайте

Повышение доступности вашего сайта не обязательно увеличит ваш краулинговый бюджет; Google определяет наилучшую скорость сканирования на основе запроса на сканирование, как описано ранее. Однако проблемы с доступностью не позволяют Google сканировать ваш сайт столько, сколько ему нужно.

Диагностика:

Используйте отчет «Статистика сканирования», чтобы просмотреть историю сканирования вашего сайта роботом Googlebot.Отчет показывает, когда Google обнаружил проблемы с доступностью на вашем сайте. Если для вашего сайта появляются сообщения об ошибках или предупреждениях доступности, найдите в графиках Доступность хостов случаи, когда запросы робота Googlebot превышают красную граничную линию, нажмите на график, чтобы увидеть, какие URL-адреса не работают, и попытайтесь сопоставить их с проблемами на вашем сайте. сайт.

Обработка:

• Прочтите документацию к отчету «Статистика сканирования», чтобы узнать, как найти и решить некоторые проблемы с доступностью.
• Блокировать сканирование страниц, если они не должны сканироваться. (см. Управление запасами )
• Увеличьте скорость загрузки и рендеринга страницы. (см. Повысьте эффективность сканирования вашего сайта )
• Увеличьте емкость сервера. Если кажется, что Google постоянно сканирует ваш сайт с максимальной загрузкой, но у вас все еще есть важные URL, которые не сканируются и не обновляются так, как им нужно, наличие дополнительных ресурсов для обслуживания может позволить Google запросить больше страниц на вашем сайте .Проверьте историю доступности вашего хоста в отчете «Статистика сканирования», чтобы узнать, часто ли скорость сканирования Google превышает лимит. Если да, увеличьте ресурсы обслуживания на месяц и посмотрите, увеличилось ли количество запросов на сканирование за тот же период.

2. Проверьте, не сканируются ли какие-либо части вашего сайта, но должно быть

Google проводит на вашем сайте столько времени, сколько необходимо, чтобы проиндексировать весь высококачественный полезный для пользователей контент, который может найти. Если вы думаете, что роботу Googlebot не хватает важного контента, либо он не знает о нем, контент заблокирован для Google, либо доступность вашего сайта ограничивает доступ Google (или Google пытается не перегружать ваш сайт).

Запомните разницу между , сканирующим , и , индексирующим . Эта страница помогает Google эффективно сканировать вашего сайта, а не о том, попадают ли найденные страницы в индекс.

Диагностика:

Search Console не предоставляет историю сканирования вашего сайта, которую можно отфильтровать по URL-адресу или пути, но вы можете проверить журналы своего сайта, чтобы узнать, просканированы ли определенные URL-адреса роботом Googlebot. Проиндексированы ли просканированные URL-адреса или нет — это другая история.

Помните, что для большинства сайтов новые страницы будут замечены минимум через несколько дней; большинству сайтов не следует ожидать сканирования URL в тот же день, за исключением сайтов, чувствительных ко времени, таких как новостные сайты.

Обработка:

Если вы добавляете страницы на свой сайт, и они не сканируются в течение разумного периода времени, либо Google не знает о них, контент заблокирован, ваш сайт достиг максимальной производительности, либо вы вышли из строя. краулинговый бюджет.

1. Сообщите Google о своих новых страницах: обновите карты сайта, чтобы они отображали новые URL-адреса.
2. Изучите свои правила robots.txt, чтобы убедиться, что вы случайно не блокируете страницы.
3. Если все ваши непросканированные страницы имеют параметры URL, возможно, ваши страницы были исключены из-за настроек в инструменте Параметры URL; К сожалению, нет способа проверить наличие такого исключения, поэтому мы обычно не рекомендуем использовать этот инструмент.
4. Проверьте свои приоритеты сканирования (a.к.а. разумно используйте свой краулинговый бюджет). Управляйте своим инвентарем и повышайте эффективность сканирования вашего сайта.
5. Убедитесь, что у вас не закончилась обслуживающая способность. Робот Googlebot сократит сканирование, если обнаружит, что ваши серверы не отвечают на запросы сканирования.

Обратите внимание, что страницы могут не отображаться в результатах поиска, даже если их сканировать, если контент не является достаточным или не востребован пользователем.

3. Проверьте, сканируются ли обновления достаточно быстро

Если нам не хватает новых или обновленных страниц на вашем сайте, возможно, это потому, что мы их не видели или не заметили, что они обновляются.Вот как вы можете помочь нам быть в курсе обновлений страницы.

Обратите внимание, что Google старается проверять и индексировать страницы достаточно своевременно. Для большинства сайтов это три дня и более. Не ожидайте, что Google проиндексирует страницы в тот же день, когда вы их публикуете, если только вы не являетесь новостным сайтом или не имеете другого важного, крайне чувствительного ко времени содержания.

Диагностика:

Изучите журналы своего сайта, чтобы узнать, когда определенные URL сканировались роботом Googlebot.

Чтобы узнать дату индексации, используйте инструмент проверки URL-адресов или выполните поиск в Google обновленных URL-адресов.

Обработка:

Сделать:

• Используйте карту сайта для новостей, если на вашем сайте есть новости. Пингуйте в Google, когда ваша карта сайта опубликована или изменилась.
• Используйте тег в файлах Sitemap, чтобы указать, когда индексированный URL был обновлен.
• Используйте простую структуру URL, чтобы помочь Google найти ваши страницы.
• Предоставьте стандартные ссылок для сканирования, которые помогут Google найти ваши страницы.

Избегать:

• Отправка одной и той же неизмененной карты сайта несколько раз в день.
• Ожидается, что робот Googlebot просканирует все, что есть в карте сайта, или просканирует их немедленно. Файлы Sitemap — это полезные советы для робота Googlebot, а не абсолютные требования.
• Включение URL-адресов в ваши карты сайта, которые не должны отображаться в поиске. Это может привести к потере вашего краулингового бюджета на страницах, которые не следует индексировать.

4. Повысьте эффективность сканирования вашего сайта

Увеличьте скорость загрузки страницы

Сканирование Google ограничено пропускной способностью, временем и доступностью экземпляров Googlebot.Если ваш сервер быстрее отвечает на запросы, мы сможем просканировать больше страниц на вашем сайте. Тем не менее, Google хочет сканировать только высококачественный контент, поэтому простое ускорение низкокачественных страниц не побудит Googlebot сканировать большую часть вашего сайта; и наоборот, если мы посчитаем, что на вашем сайте отсутствует качественный контент, мы, вероятно, увеличим ваш бюджет на сканирование этого контента.

Вот как вы можете оптимизировать свои страницы и ресурсы для сканирования:

• Предотвратить загрузку больших, но неважных ресурсов роботом Googlebot с помощью robots.текст. Обязательно блокируйте только некритические ресурсы, то есть ресурсы, которые не важны для понимания значения страницы (например, декоративные изображения).
• Убедитесь, что ваши страницы загружаются быстро.
• Остерегайтесь длинных цепочек переадресации, которые негативно влияют на сканирование.
• Имеет значение как время ответа на запросы сервера, так и время, необходимое для отображения страниц, включая время загрузки и выполнения встроенных ресурсов, таких как изображения и сценарии.Помните, что для индексирования требуются большие или медленные ресурсы.

Скрыть URL-адреса, которых не должно быть в результатах поиска

Рациональное использование ресурсов сервера на ненужных страницах может снизить активность сканирования важных для вас страниц, что может вызвать значительную задержку в обнаружении нового или обновленного контента на сайте.

Блокировка или скрытие уже просканированных страниц от повторного сканирования не приведет к перемещению вашего краулингового бюджета на другую часть вашего сайта, если Google уже не достигнет пределов обслуживания вашего сайта.

Отображение на вашем сайте большого количества URL-адресов, которые не должны сканироваться поисковой системой, может негативно повлиять на сканирование и индексирование сайта. Обычно эти URL-адреса попадают в следующие категории:

• Фасетная навигация и идентификаторы сеанса: (Фасетная навигация обычно представляет собой дублированный контент с сайта; идентификаторы сеанса и другие параметры URL, которые просто сортируют или фильтруют страницу, не предоставляют новый контент.) Используйте robots.txt, чтобы заблокировать фасетные страницы навигации. Если вы обнаружите, что Google сканирует на вашем сайте значительное количество по существу повторяющихся URL-адресов с разными параметрами, рассмотрите возможность блокировки параметризованного повторяющегося содержания.
• Дублированное содержание. Помогите Google определить дублированный контент, чтобы избежать ненужного сканирования.
• Мягкие страницы 404: возвращает код 404, когда страница больше не существует.
• Взломанные страницы: обязательно проверьте отчет о проблемах безопасности и исправьте или удалите все обнаруженные взломанные страницы.
• Бесконечные пространства и прокси: заблокируйте их сканирование с помощью robots.txt.
• Низкое качество и спам: очевидно, следует избегать.
• Страницы корзины покупок, страницы с бесконечной прокруткой и страницы, на которых выполняется действие (например, страницы «зарегистрироваться» или «купить сейчас»).

Do:

• Используйте robots.txt, если вы считаете, что мы вообще не должны сканировать ресурс или страницу.
• Если общий ресурс повторно используется на нескольких страницах (например, общее изображение или файл JavaScript), ссылайтесь на ресурс с одного и того же URL-адреса на каждой странице, чтобы Google мог кэшировать и повторно использовать один и тот же ресурс без необходимости запрашивать один и тот же ресурс несколько раз. раз.

Избегать:

• Добавление или удаление страниц или каталогов в robots.txt, чтобы «высвободить» дополнительный бюджет сканирования для вашего сайта. Используйте robots.txt только для страниц или ресурсов, которые не должны появляться в Google в течение длительного времени.
• Вращение карт сайта или использование других механизмов временного сокрытия, чтобы «высвободить больше бюджета».

предупреждение Аварийное сокращение ползания

Робот Googlebot имеет алгоритмы, предотвращающие перегрузку вашего сайта запросами на сканирование. Однако, если вы обнаружите, что Googlebot перегружает ваш сайт, вы можете сделать несколько вещей.

Диагностика:

Следите за своим сервером на предмет чрезмерных запросов робота Googlebot к вашему сайту.

Обработка:

В экстренной ситуации мы рекомендуем следующие шаги, чтобы замедлить массовое сканирование от робота Googlebot:

1. Вернуть 503/429 коды результатов HTTP временно для запросов робота Google, когда ваш сервер перегружен. Робот Google будет повторять попытки по этим URL в течение примерно 2 дней. Обратите внимание, что возвращение кодов «нет доступности» в течение более чем нескольких дней приведет к тому, что Google будет постоянно замедлять или прекращать сканирование URL-адресов на вашем сайте, поэтому вам следует предпринять следующие дополнительные действия.
2. Уменьшите скорость сканирования вашего сайта роботом Googlebot. Это может занять до двух дней, и для этого требуются разрешения владельца ресурса Search Console. Делайте это только в том случае, если вы видите длительное повторяющееся чрезмерное сканирование со стороны Google в отчете «Статистика сканирования» на диаграмме Доступность хоста> Использование хоста .
3. Когда скорость сканирования снижается, перестать возвращать 503/429 для запросов сканирования; возврат 503 в течение более 2 дней приведет к тому, что Google исключит 503 URL из индекса.
4. Отслеживайте сканирование и пропускную способность хоста с течением времени и, если необходимо, снова увеличьте скорость сканирования или разрешите скорость сканирования по умолчанию.
5. Если проблемный сканер является одним из сканеров AdsBot, вероятно, проблема в том, что вы создали цели динамической поисковой рекламы для своего сайта, которые Google пытается сканировать. Это сканирование будет повторяться каждые 2 недели. Если у вас нет серверных мощностей для обработки этих сканирований, вам следует либо ограничить целевые рекламные объекты, либо увеличить пропускную способность для показа.

Мифы и факты о ползании

Сжатие файлов Sitemap может увеличить мой краулинговый бюджет.

• Не будет. Заархивированные карты сайта по-прежнему необходимо получать с сервера, поэтому вы не сэкономите много времени или усилий со стороны Google, отправляя сжатые карты сайта.

Google предпочитает более свежий контент, поэтому мне лучше продолжить настройку моей страницы

• Контент оценивается по качеству независимо от возраста.Создавайте и обновляйте свой контент по мере необходимости, но нет никакой дополнительной пользы в том, чтобы искусственно отображать свежие страницы путем внесения тривиальных изменений и обновления даты страницы.

Google предпочитает старый контент (он имеет больший вес) свежему контенту

• Неверно: Если ваша страница полезна, она полезна, будь то новая или старая.

Google предпочитает чистые URL-адреса и не любит параметры запроса

Маленькие сайты сканируются не так часто, как большие

• Неверно: Если на сайте есть важный контент, который часто изменяется, мы сканируем его часто, независимо от размера.

Чем ближе ваш контент к главной странице, тем он важнее для Google

• Отчасти верно: Домашняя страница вашего сайта часто является самой важной страницей на вашем сайте, поэтому страницы, связанные непосредственно с главной страницей, могут рассматриваться как более важные и, следовательно, сканироваться чаще. Однако это не означает, что эти страницы будут иметь более высокий рейтинг, чем другие страницы вашего сайта.

Чем быстрее загружаются и отображаются ваши страницы, тем больше возможностей Google может сканировать

• Верно… в том, что наши ресурсы ограничены комбинацией времени и количества ползучих ботов. Если вы сможете предоставить нам больше страниц за ограниченное время, мы сможем сканировать больше из них. Однако мы можем уделять больше времени сканированию сайта, на котором есть более важная информация, даже если он работает медленнее. Вероятно, для вас важнее сделать ваш сайт быстрее для пользователей, чем сделать его быстрее, чтобы увеличить охват сканирования. Гораздо проще помочь Google сканировать нужный контент, чем каждый раз сканировать весь ваш контент.
• Обратите внимание, что сканирование сайта включает как получение, так и отображение содержимого. Время, потраченное на рендеринг страницы, учитывается как время, потраченное на запрос страницы. Таким образом, ускорение рендеринга ваших страниц также увеличит скорость сканирования.

Управление версиями URL — хороший способ побудить Google повторно сканировать мои страницы

• Отчасти верно: Использование версионного URL-адреса для вашей страницы, чтобы побудить Google сканировать ее снова, вероятно, сработает, но часто в этом нет необходимости и приведет к потере ресурсов сканирования, если страница фактически не будет изменена.Как правило, карта сайта со значением — лучший способ указать Google на обновленное содержание. Если вы действительно используете версионные URL-адреса для обозначения нового содержимого, вам следует изменять URL-адрес только тогда, когда содержимое страницы изменилось значимо.

Скорость и ошибки сайта влияют на мой бюджет сканирования

• True: Ускорение сайта улучшает работу пользователей, а также увеличивает скорость сканирования. Для робота Googlebot быстрый сайт является признаком исправных серверов, поэтому он может получать больше контента при том же количестве подключений.С другой стороны, значительное количество кодов результатов HTTP 5xx (ошибки сервера) или тайм-аутов соединения сигнализируют об обратном, и сканирование замедляется.
• Рекомендуем обратить внимание на отчет «Статистика сканирования» в Search Console и сохранить минимальное количество ошибок сервера.

Ползание — фактор ранжирования

• Неверно: Повышение скорости сканирования не обязательно приведет к улучшению позиций в результатах поиска. Google использует множество сигналов для ранжирования результатов, и хотя сканирование необходимо для того, чтобы страница была в результатах поиска, это не сигнал ранжирования.

Количество альтернативных URL-адресов и встроенного контента в бюджете сканирования

• Верно: Как правило, любой URL, сканируемый роботом Googlebot, засчитывается в бюджет сканирования сайта. Альтернативные URL-адреса, такие как AMP или hreflang, а также встроенный контент, такой как CSS и JavaScript, включая выборку XHR, могут потребовать сканирования и потребуют бюджета сканирования сайта.

Я могу управлять роботом Googlebot с помощью директивы crawl-delay

• Ложь: Нестандартные роботы с задержкой сканирования.txt не обрабатывается роботом Googlebot.

Директива nofollow влияет на краулинговый бюджет

• Отчасти верно: Любой просканированный URL влияет на бюджет сканирования, поэтому, даже если ваша страница помечает URL как nofollow, его все равно можно просканировать, если другая страница вашего сайта или любая страница в Интернете не помечены как ссылка как nofollow.

Как создать лучшую структуру URL-адресов [для больших сайтов]

На больших сайтах может возникнуть беспорядок… быстро.Наличие согласованной структуры URL-адресов является ключом к вашему здравомыслию как оптимизатору поисковых систем. Вот что вам нужно знать.

Веб-сайты, независимо от их размера, должны иметь последовательную и четкую структуру URL-адресов. Это лучший способ не только для SEO, но и для удобства пользователей на вашем сайте.

Что бы вы предпочли прочитать?

5 ключевых факторов для наилучшей структуры URL-адресов

Для веб-сайтов любого размера, которые планируют иметь многоуровневые категории или хорошо продуманные блоги, важно определить структуру URL-адресов перед созданием любого контента.Это позволит вам установить иерархию навигации вашего сайта, улучшить взаимодействие с пользователем и соответствующим образом спланировать контент. Вот несколько ключевых факторов, которые следует учитывать при выборе структуры:

1. Напишите структуру URL-адресов для пользователя, а не для Google

   В конечном итоге URL-адрес должен быть написан для людей, а не для ботов. Как видно из приведенного выше примера, более короткий URL-адрес более приятен для человеческого глаза.

   Хотя Google будет читать и интерпретировать любой из двух URL-адресов, он с большей вероятностью оценит более короткий URL-адрес по сравнению с более сложным, поскольку он соответствует намерениям пользователя и другим факторам ранжирования, таким как таргетинг на ключевые слова.

2. Использование функциональных URL-адресов

   Функциональные URL-адреса — это URL-адреса с гибким форматом, в которых пользователь может просто удалить часть URL-адреса, понимая, что каждая подпапка также должна быть отдельной страницей, на которую они могли бы вернуться.

   Их структура будет выглядеть примерно так:

   https://awebsite.com/ leve1 / level2 / level3 /

3. Отразите основные ключевые слова в URL-адресе

   Если ваша основная панель навигации или категории блога содержат ключевые слова, по которым вы пытаетесь получить рейтинг, используйте те же ключевые слова в URL-адресе.

   Например, целевая страница подкатегории блога по уходу за волосами может выглядеть так:

   https://awebsite.com/blog/hair-care

   Сама запись в блоге может выглядеть так:

   https: //awebsite.com/blog/blonde-hair-care-tips

4. Не форсируйте структуру короткого URL, если она не удобна для пользователя

   Если укороченная структура просто не подойдет для такого размера вашего сайта, лучше иметь хорошо организованную, удобочитаемую структуру, чем беспорядочную!

5. Минимизируйте глубину клика, когда это применимо.

   Мы знаем, что страницы, расположенные дальше от домашней страницы, считаются «менее важными», но это не означает «менее ранжируемые».”

   В идеале, если страницы основных категорий и подкатегорий находятся на расстоянии 3–4 кликов от домашней страницы, это все равно подходит для большого сайта и не должно иметь негативных последствий для SEO, если структура согласована и чиста.

Начните с планирования ваших блогов в подпапке

Допустим, ваш веб-сайт планирует иметь довольно хорошо продуманный блог с указанными ниже категориями и подкатегориями:

/ blog / subfolder, например:

Эта структура не только очень функциональна — пользователь может удалить часть URL-адреса и вернуться на целевую страницу до нее — но также четко сообщает пользователю и Google, где они находятся на сайте, и как контент связан.

Спросите себя: «Насколько развиты будут категории моих блогов?»

Будут ли ваши целевые страницы категорий и / или подкатегорий функционировать в качестве навигационного узла для контента, с которого можно ссылаться, или вы планируете использовать эти целевые страницы для размещения собственного контента?

Если вы склоняетесь к первому варианту, тогда вам нужно, чтобы вся эта ссылка передавалась на фактическое содержание вашего блога, верно?

Верно!

Затем давайте перейдем к некоторым вариантам структуры URL, которые вы можете выбрать в зависимости от размера и спроса на контент вашего сайта.

Отражение категорий в структуре URL-адресов

Ниже приведен пример блога веб-сайта, его подкатегорий и того, как URL-адреса могут быть структурированы тремя различными способами:

1. Использование подпапки «категории» по умолчанию

   Немного больше веб-сайты, такие как основанные на электронной коммерции, на самом деле будут отражать это как / category / в своих URL-адресах, чтобы помочь организовать продукты и контент. Точно так же с некоторыми темами WordPress ваши сообщения в блоге могут быть организованы в рамках настраиваемых вами категорий.

   Это может показаться привлекательным для наших сверхструктурированных людей, однако иногда по умолчанию создается подпапка / category / в вашем URL-адресе вместо настраиваемой / blog / one (если вы этого хотите).

   В зависимости от темы и настроек вашего сайта вам придется вручную изменить эту структуру URL-адресов по умолчанию через настройки постоянной ссылки WordPress, настройки плагина Yoast или через .htaccess.

   В идеале, если эта структура работает для вашего веб-сайта, целевая страница каждой категории должна находиться на расстоянии ~ 2–3 кликов от главной страницы, а страницы подкатегорий — не более чем в четырех кликах.

   Плюсы:

   Это позволяет вам организовать и архивировать все содержимое категории блога в этой подпапке «/ category /». Если вы используете целевые страницы для обеспечения равных ссылок и размещаете на них фактический контент, это также упростит отчетность и отслеживание страниц.

   Минусы:

   Давайте будем реальными — URL длинный при переходе на целевые страницы подкатегорий и даже длиннее, когда пользователь переходит к фактическому сообщению в блоге. Это увеличивает глубину клика для сообщений в блоге примерно до 4+ кликов от главной страницы.

2. Использование подпапки настраиваемой категории

   Рассмотрите возможность не использовать подпапку по умолчанию «/ category /» вообще, а вместо этого просто используйте основное ключевое слово навигации в качестве подпапки. Вы увидите, что URL-адреса можно сжать, чтобы не повторять основное ключевое слово, как в / blog / hair / hair-Trends, и это по-прежнему делает URL-адрес очень чистым и функциональным.

   Плюсы:

   URL сразу укорачивается. Это одинаково эффективно как для пользователя, так и для понимания Google структуры сайта.

   Минусы:

   Единственный недостаток здесь может заключаться в том, что, если для вас важно отслеживать фактическую эффективность целевой страницы подкатегории, это может быть менее прямым, поскольку они не будут помещены в универсальную / категорию / подпапку.

3. Использование дополнительных подпапок для подкатегорий блогов

   Возможно, ваш веб-сайт меньше и не будет нуждаться в многоуровневых категориях блогов. Есть также множество крупных сайтов, которые вообще не используют папки подкатегорий, и это может быть отличным вариантом для вас, если ваш главный интерес заключается в повышении ссылочного веса на контент вашего блога.

   Это может выглядеть примерно так, как показано ниже, или подкатегории не могут существовать вообще, что будет означать, что все ссылки идут прямо на письменный контент, находящийся в / blog /.

   Плюсы:

   Пропуск подпапок — это чистый способ сосредоточиться на содержании блога и увеличить ссылочную массу и рейтинг прямо на блоги и / или страницы категорий верхнего уровня. Подпапки категорий предназначены исключительно для навигации по сайту, и при этом не теряется SEO или пользовательский опыт.

   Минусы:

   Главный минус тут вопрос предпочтений, правда.Если ваши подкатегории имеют значение для содержимого и структуры вашего сайта, вы можете рассмотреть возможность сохранения подпапок по всей структуре URL-адресов.

   Эта структура URL-адреса также менее функциональна, поскольку пользователь не может просто удалить последний след строки URL-адреса и вернуться на предыдущую целевую страницу.

   Однако реализация хлебных крошек в любом случае является лучшей практикой SEO, и ее следует использовать независимо от структуры URL-адреса.

Итак, какая структура URL лучше всего подходит для SEO?

Самый честный ответ, который мы можем дать, — это зависит от обстоятельств!

Здесь следует учитывать три основных момента:

• Насколько велик ваш сайт и как будут построены страницы категорий и подкатегорий вашего блога
• Где будет размещаться большая часть контента вашего сайта (т.е. / blog /)
• Как вы будете расставлять приоритеты для контента для увеличения трафика и рейтинга

В конечном счете, мы всегда рекомендуем создать макет вашего сайта, будь то временный сайт разработчиков, или даже нарисованный на доске или липкий заметки. Рассмотрите навигацию верхнего уровня и любые подкатегории, которым вы, возможно, захотите следовать.

Определите, как вы расставляете приоритеты для своего контента, принимая во внимание глубину клика для самых важных страниц. Тогда у вас будет хорошее начало для определения того, какая структура URL лучше всего соответствует размеру вашего сайта и целям SEO.

Показать ссылки:

мифов о WordPress и почему крупные компании используют настраиваемые сайты

Жаклин Сорезе

WordPress хорошо известен как малый и средний бизнес. Однако существует множество мифов и заблуждений об использовании систем управления контентом WordPress ( CMS ) для веб-сайтов с высоким трафиком или крупных корпоративных компаний. WordPress используется на 29,2% всех веб-сайтов в Интернете, в результате чего рыночная доля составляет ошеломляющие 60%.В этом есть что-то такое, что делает эту платформу настолько мощной, что 54 из 100 ведущих компаний Inc.5000 запускают на ней свои веб-сайты.

От компаний из списка Fortune 500, таких как eBay , Sony , GM и UPS , , до национальных новостных конгломератов, таких как Time, Forbes, CNN, Reuters и NYT, The NYT к техническим новостям, таким как The Next Web , Venture Beat , Samsung , IBM и TechCrunch, Известные бизнес-пользователи — повсюду развертываются привлекательные сайты с полномасштабными стратегиями контента, разработанными и поддерживаемыми WordPress CMS (система управления контентом) и корпоративный WordPress.com VIP-платформа.

В этой статье мы рассмотрим :

1. Примеры известных и успешных брендов, использующих WordPress.
2. Мифы о том, что WordPress небезопасен для веб-сайтов крупных корпораций.
3. Мифы о том, что WordPress работает медленно или не может обрабатывать слишком много запросов к базе данных или высокий трафик.
4. Мифы о том, что WordPress не масштабируется для больших пользовательских сайтов.
5. Почему создание собственных тем WordPress — лучший вариант, чем, особенно с точки зрения функциональности, если вы ищете уникальный тематический веб-сайт без резака для файлов cookie.
6. Поисковая оптимизация (SEO) дает преимущества при использовании адаптивных сайтов WordPress с HTML5.
7. Подходит ли платформа WordPress CMS для вашего бизнеса или компании?

1) Почему хорошо зарекомендовавшие себя бренды выбирают индивидуальные веб-сайты WordPress?

Даже Мэтт Каттс, бывший специалист по связям с веб-мастерами Google, гуру в области веб-оптимизации, вел личный блог, построенный на WordPress. Мэтт отмечает, что только 4% веб-сайтов оптимизированы для мобильных устройств.С другой стороны, Мэтт упоминает, что теперь Google может сканировать мобильные сайты в дополнение к сайтам для настольных компьютеров или ноутбуков. Он рассказывает об известном новостном веб-сайте поисковых систем под названием Search Engine Land, который также создан с помощью WordPress и создан Дэнни Салливаном, который теперь покинул SEL, и работает на Google, по сути, становясь новым связующим звеном для веб-мастеров для Google. Вот лишь несколько авторитетных сайтов, которые используют WordPress :