Компания Яндекс — Принципы — Принципы ранжирования поиска Яндекса
Интернет состоит из миллионов сайтов и содержит экзабайты информации. Чтобы люди могли узнать о существовании этой информации и воспользоваться ей, существуют поисковые системы. Они реализуют право человека на доступ к информации — любой информации, которая нужна в данный момент. Поисковая система — это техническое средство, с помощью которого пользователь интернета может найти данные, уже размещенные в сети.
Пользователи ищут в интернете самые разные вещи — от научных работ до эротического контента. Мы считаем, что поисковая система в каждом случае должна показывать подходящие страницы — от статей по определенной теме до сайтов для взрослых. При этом она просто находит ту информацию, которая уже есть в интернете и открыта для всех.
Яндекс не является цензором и не отвечает за содержание других сайтов, которые попадают в поисковый индекс. Об этом было написано в одном из первых документов компании «Лицензия на использование поисковой системы Яндекса», созданном еще в 1997 году, в момент старта www.yandex.ru: «Яндекс индексирует сайты, созданные независимыми людьми и организациями. Мы не отвечаем за качество и содержание страниц, которые вы можете найти при помощи нашей поисковой машины. Нам тоже многое не нравится, однако Яндекс — зеркало Рунета, а не цензор».Информация, которая удаляется из интернета, удаляется и из поискового индекса. Поисковые роботы регулярно обходят уже проиндексированные сайты. Когда они обнаруживают, что какая-то страница больше не существует или закрыта для индексирования, она удаляется и из поиска. Для ускорения этого процесса можно воспользоваться формой «Удалить URL».В ответ на запрос, который пользователь ввел в поисковой строке, поисковая система показывает ссылки на известные ей страницы, в тексте которых (а также в метатегах или в ссылках на эти сайты) содержатся слова из запроса. В большинстве случаев таких страниц очень много — настолько, что пользователь не сможет просмотреть их все. Поэтому важно не просто найти их, но и упорядочить таким образом, чтобы сверху оказались те, которые лучше всего подходят для ответа на заданный запрос — то есть, наиболее релевантные запросу. Релевантность — это наилучшее соответствие интересам пользователей, ищущих информацию. Релевантность найденных страниц заданному запросу Яндекс определяет полностью автоматически — с помощью сложных формул, учитывающих тысячи свойств запроса и документа. Процесс упорядочивания найденных результатов по их релевантности называется ранжированием. Именно от ранжирования зависит качество поиска — то, насколько поисковая система умеет показать пользователю нужный и ожидаемый результат. Формулы ранжирования строятся также автоматически — с помощью машинного обучения — и постоянно совершенствуются.
Качество поиска — это самый важный аспект для любой поисковой системы. Если она будет плохо искать, люди просто перестанут ей пользоваться.
Поэтому мы не продаем места в результатах поиска.
Поэтому на результаты поиска никак не влияют политические, религиозные и любые другие взгляды сотрудников компании.
Пользователи просматривают страницу результатов поиска сверху вниз. Поэтому Яндекс показывает сверху, среди первых результатов, те документы, которые содержат наиболее подходящие пользователю ответы — то есть наиболее релевантные заданному запросу. Из всех возможных релевантных документов Яндекс всегда старается выбрать наилучший вариант.
С этим принципом связано несколько правил, которые Яндекс применяет к некоторым типам сайтов. Все эти правила работают полностью автоматически, их выполняют алгоритмы, а не люди.
1. Существуют страницы, которые явно ухудшают качество поиска. Они специально созданы с целью обмануть поисковую систему. Для этого, например, на странице размещают невидимый или бессмысленный текст. Или создают дорвеи — промежуточные страницы, которые перенаправляют посетителей на сторонние сайты. Некоторые сайты умеют замещать страницу, с которой перешел пользователь, на какую-нибудь другую. То есть когда пользователь переходит на такой сайт по ссылке из результатов поиска, а потом хочет снова вернуться к ним и посмотреть другие результаты, он видит какой-то другой ресурс.
Такие ресурсы не представляют интереса для пользователей и вводят их в заблуждение — и, соответственно, ухудшают качество поиска. Яндекс автоматически исключает их из поиска или понижает в ранжировании.
2. Бывает, что в том или ином документе есть полезная информация, но воспринимать ее сложно. Например, есть сайты, которые содержат popunder-баннеры (они перемещаются по экрану вслед за прокруткой страницы и закрывают ее содержание, а при попытке закрытия такого баннера открывается новое окно) и clickunder-рекламу (она неожиданно для пользователя открывает рекламную страницу при любом клике по сайту, в том числе — по ссылкам). С нашей точки зрения, оба этих вида рекламы мешают навигации по сайту и нормальному восприятию информации. Поэтому сайты с такой рекламой располагаются в поисковой выдаче ниже, чем сайты, на которых пользователь может найти ответ на свой вопрос без лишних проблем.
3. По запросам, которые не подразумевают явно потребность в эротическом контенте, Яндекс ранжирует сайты для взрослых ниже или вообще не показывает их в результатах поиска. Дело в том, что ресурсы с эротическим контентом часто используют достаточно агрессивные методы продвижения — в частности, они могут появляться в результатах поиска по самым разнообразным запросам. С точки зрения пользователя, который не искал эротики и порнографии, «взрослые» результаты поиска нерелевантны, и, к тому же, могут шокировать. Более подробно об этом принципе можно почитать здесь.4. Яндекс проверяет индексируемые веб-страницы на наличие вирусов. Если обнаружилось, что сайт заражен, в результатах поиска рядом с ним появляется предупреждающая пометка. При этом зараженные сайты не исключаются из поиска и не понижаются в результатах поиска — может быть, на таком ресурсе находится нужный пользователю ответ, и он все равно захочет туда перейти. Однако Яндекс считает важным предупредить его о возможном риске.
Основная метрика качества поиска Яндекса — это то, насколько пользователю пригодились найденные результаты. Иногда по запросам пользователей невозможно определить, какой ответ ему подойдет. Например, человек, задавший запрос [пушкин], возможно, ищет информацию о поэте, а возможно — о городе. Точно так же человек, который набрал запрос [iphone 4], может быть, хочет почитать отзывы и ищет форумы, а может быть, хочет купить и ищет магазины. Среди первых результатов поиска должны найтись ответы для всех случаев. Поэтому Яндекс старается сделать страницу результатов поиска разнообразной. Поиск Яндекса умеет определять многозначные запросы и показывает разнообразные ответы. Для этого используется технология «Спектр».Компания Яндекс — Технологии — Ранжирование и машинное обучение
Сейчас уже сложно придумать такой запрос, по которому находится меньше десятка страниц. А по многим запросам результатов поиска — миллионы. И со временем их становится всё больше — интернет очень быстро растет. Поэтому поисковой системе уже недостаточно просто показать все страницы со словами из запроса — чтобы найти подходящий ответ, человеку придется листать десятки страниц с результатами поиска. Поисковая система должна расположить найденные страницы в нужном порядке — так, чтобы сверху оказались наиболее подходящие пользователю (наиболее релевантные). Этот процесс — упорядочивание результатов поиска в соответствии с запросом пользователя — называется ранжированием. Именно ранжирование определяет качество поиска — то есть качество ответа на вопрос, заданный в поисковой строке.
Каждый день Яндекс отвечает на десятки миллионов запросов. Около четверти из них — неповторяющиеся. Поэтому невозможно написать для поисковой системы такую программу, в которой предусмотрен каждый запрос и для каждого запроса известен лучший ответ. Поисковая система должна уметь принимать решения самостоятельно, то есть сама выбирать из миллионов документов тот, который лучше всего отвечает пользователю. Для этого нужно научить ее обучаться.
Задача научить машину обучаться существует не только в поисковых технологиях. Без машинного обучения невозможно, например, распознавать рукописный текст или речь. Термин «машинное обучение» появился еще в 50-х годах. Этот термин обозначает попытку научить компьютер решать задачи, которые легко даются человеку, но формализовать путь их решения сложно. В результате машинного обучения компьютер может демонстрировать поведение, которое в него не было явно заложено.
Поисковая система должна научиться строить правило, которое определяет для каждого запроса, какая страница является хорошим ответом на него, а какая — нет. Для этого поисковая машина анализирует свойства веб-страниц и поисковых запросов. У всех страниц есть какие-то признаки. Некоторые из них — статические — связаны с самой страницей: например, количество ссылок на эту страницу в интернете. Некоторые признаки — динамические — связаны одновременно с запросом и страницей: например, присутствие в тексте страницы слов запроса, их количество и расположение.
У поискового запроса тоже есть свойства, например, геозависимость — это означает, что для хорошего ответа на этот запрос нужно учитывать регион, из которого он был задан. Свойства запроса и страницы, которые важны для ранжирования и которые можно измерить числами, называются факторами ранжирования. Для точного поиска важно учитывать очень много разных факторов.
Кроме факторов ранжирования поисковой системе необходимы образцы — запросы и страницы, которые люди считают подходящими ответами на эти запросы. Оценкой того, насколько та или иная страница подходит для ответа на тот или иной запрос, занимаются специалисты — асессоры. Они берут поисковые запросы и документы, которые поиск находит по этим запросам, и оценивают, насколько хорошо найденный документ отвечает на заданный запрос. Из запросов и хороших ответов составляется обучающая выборка. Она должна содержать самые разные запросы, причём в тех же пропорциях, в которых их задают пользователи. На обучающей выборке поисковая система устанавливает зависимость между страницами, которые асессоры посчитали релевантными запросам, и свойствами этих страниц. После этого она может подобрать оптимальную формулу ранжирования — которая показывает релевантные запросу сайты среди первых результатов поиска.
На примере это выглядит так. Допустим, мы хотим научить машину выбирать самые вкусные яблоки. Асессоры в этом случае получают ящик яблок, пробуют их все и раскладывают на две кучи, вкусные — в одну, невкусные — в другую. Из разных яблок составляется обучающая выборка. Машина пробовать яблоки не может, но она может проанализировать их свойства. Например, какого они размера, какого цвета, сколько сахара содержат, твердые или мягкие, с листиком или без. На обучающей выборке машина учится выбирать самые вкусные яблоки — с оптимальным сочетанием размера, цвета, кислоты и твердости. При этом могут возникать какие-то ошибки. Например, поскольку машина ничего не знает про червяков, среди выбранных яблок могут оказаться червивые. Чтобы ошибок было меньше, нужно учитывать больше признаков яблок.
В поисковых технологиях машинное обучение применяется с начала 2000-х годов. Разные поисковые системы используют разные модели. Одна из проблем, которые возникают при машинном обучении — переобучение. Переобучившаяся машина похожа на студента, который перезанимался — например, прочитал очень много книжек перед экзаменом по психологии. Он мало общается с живыми людьми и пытается объяснить простые поступки слишком сложными моделями поведения. И из-за этого поведение друзей для него всегда неожиданно.
Как это выглядит: когда компьютер оперирует большим количеством факторов (в нашем случае это — признаки страниц и запросов), а размер обучающей выборки (оценок асессоров) не очень велик, компьютер начинает искать и находить несуществующие закономерности. Например, среди всех оцененных страниц могут оказаться две с какой-то сложной комбинацией факторов, например, с размером 2 кб, фоном фиолетового цвета и текстом, который начинается на букву «я». И обе эти страницы окажутся релевантными запросу [яблоко]. Компьютер начнет считать эту случайную комбинацию факторов важным признаком релевантности запросу [яблоко]. При этом все важные документы про яблоки, которые такой комбинацией факторов не обладают, покажутся ему менее релевантными.
Для построения формулы ранжирования Яндекс использует собственный метод машинного обучения — Матрикснет. Он устойчив к переобучению.
Ранжирование сайта – все факторы Яндекс и Google
Давайте попробуем разобраться, что такое ранжирование сайта, от чего оно зависит, сколько факторов ранжирования насчитывается в Яндекс и Google, как на него можно повлиять и почему вообще это так важно? Обо всем по порядку!
Ранжирование сайта – определениеПрежде всего попытаемся дать определение данному понятию.
Определение Яндекс (взято из миссии компании на официальном сайте):
Чтобы понять всю суть, вы также должны иметь представления о таких определениях, как: поисковая система, поисковый запрос, релевантность, индексация.
- «Поисковая система — это техническое средство, с помощью которого пользователь интернета может найти данные, уже размещенные в сети.»
- Поисковый запрос и процесс поиска – «В ответ на запрос, который пользователь ввел в поисковой строке, поисковая система показывает ссылки на известные ей страницы, в тексте которых (а также в метатегах или в ссылках на эти сайты) содержатся слова из запроса. В большинстве случаев таких страниц очень много — настолько, что пользователь не сможет просмотреть их все.»
- «Релевантность — это наилучшее соответствие интересам пользователей, ищущих информацию. Релевантность найденных страниц заданному запросу Яндекс определяет полностью автоматически…»
- Ранжирование в Яндекс – это «процесс упорядочивания найденных результатов по их релевантности».
Полный материал вы можете посмотреть тут. Также дополнительно по теме ранжирования в Яндексе можно посмотреть интервью с Александром Садовским, который с 2005-го возглавлял отдел веб-поиска, с июня 2012 года — отдел поисковых сервисов в Яндексе.
Рис. 1
Определение Google (взято из Справки – Search Console Google):
Базовые понятия для понимания сути те же, поскольку принцип работы обеих поисковых систем в целом схож.
«Когда пользователь вводит запрос, Google на основе ногочисленных факторов ищет в своем индексе самые подходящие результаты. К таким факторам относятся местоположение, язык, тип устройства пользователя (обычный компьютер или телефон) и т. д. … Ранжирование выполняется по заданным алгоритмам, и Google не повышает рейтинг страниц за плату.»
Полностью информацию по теме работы поиска Google можно почитать тут. В этом же материале есть небольшие рекомендации о том, как повлиять положительно на ранжирование сайтов в поисковой системе Google.
Наше собственное определение ранжирования
Как уже было сказано выше, для четкого понимания данного определения, необходимо полностью представлять всю картину работы поисковых систем.
Попробуем описать процесс простыми словами:
- Пользователь приходит в поисковую систему Яндекс или Google, чтобы найти ответ на свой вопрос – он вводит «поисковый запрос».
- Поисковая система – это совокупность информации, которая уже имеется в интернете, т.е. условно говоря «библиотека» или «рубрикатор» имеющихся в интернете (проиндексированных) данных и документов.
- На вопрос пользователя Яндекс и Google среди огромного количества данных пытаются найти наиболее подходящие ответы – наиболее релевантные данные и документы в зависимости от различных факторов, о которых мы расскажем дальше.
- Ранжирование – это выстраивание ответов на поисковый запрос пользователя в числовом порядке, где 1й ответ – самый релевантный ответ, 2й – менее релевантный, 4й, 5й …. 10й – еще меньше соответствуют вопросу пользователя.
Более профессиональным языком:
Ранжирование в поисковых системах называют сортировку сайтов в поисковой выдаче. Ранжирование производится на основе релевантности документов поисковому запросу. Под релевантностью понимается соответствие документа интенту, который пользователь выразил с помощью поискового запроса.
Итак, мы определились с понятием термина. Теперь поговорим о том, от чего же зависит ранжирование в поиске Яндекс и Google. В среде SEO-специалистов такую зависимость принято называть факторами ранжирования.
Прежде всего опишем данные факторы в целом – сами принципы их появления, а дальше постараемся выделить наиболее значимые данные для каждого из поисковиков.
Рис. 2
Базовые принципы ранжирования в поисковикахБазовые принципы выстраивания результатов поиска по релевантности в обоих поисковых системах заключаются в том, чтобы наиболее релевантные данные (наиболее подходящие ответы на вопросы пользователя) занимали более высокие позиции в выдаче.
Как уже стало понятно, распределение позиций строится на основе релевантности каждого результата.
Релевантность, как правило, является функцией от набора переменных (т.е. факторов). В виде факторов берутся различные числовые характеристики, которые должны помогать различать релевантные документы и нерелевантные. Во многих поисковых системах итоговая функция релевантности – это достаточно простая комбинация небольшого количества факторов – 5-15 штук. Ряд комплексных факторов используется самостоятельно в качестве отдельной функции ранжирования.
Базовые принципы ранжирования в Яндекс и GoogleВ отличие от такого базового стандартного подхода, в поисковых системах Яндекс и Google используется значительно большее количество переменных для результирующей функции. Так, например, ранжирование коллекции текстовых факторов базируется более чем на 150 переменных.
Основной момент, который больше всего влияет на итоговое ранжирование, это способ комбинации всех факторов, т.е. итоговый состав функции релевантности. Для составления этой итоговой формулы поисковики сегодня используют методы машинного обучения, что позволяет в итоге легко корректировать качество поиска, добавляя новые переменные (факторы).
Основные группы факторовСуществует более 1200 факторов, влияющих на ранжирование. При этом в классической схеме можно выделить 5-6 основных групп, на которые делят все данные факторы:
- Хостовые – данные о возрасте сайта, название домена, доменная зона
- Технические – коды ответов сервера, наличие дублей, скорость загрузки
- Текстовые – текстовая релевантность в различных зонах документа
- Ссылочные – внешние ссылочные связи сайта
- Коммерческие – ассортимент, наличие цен, телефонов, офиса, доставки и т.д.
- Поведенческие (внутренние и внешние) – время на сайте, глубина просмотра, CTR на выдаче
В различных вариантах SEO-специалисты выделяют также дополнительные группы факторов, влияющих на поисковую выдачу:
- Социальные
- Региональные
Данные факторы в классической группировке просто распределяются в другие группы, например, региональные – в текстовые, социальные – в ссылочные и поведенческие.
Основные и самые значимые факторы ранжирования в ЯндексФормула ранжирования в Яндекс – это закрытая информация, которая является коммерческой тайной поисковой системы. Самих факторов ранжирования очень много – порядка 1200.
Поэтому ниже мы попытаемся дать список факторов, которые на наш взгляд являются наиболее значимыми для попадания сайта в ТОП-10 в Яндексе.
Хостовые:
- Возраст домена
- История домена
- Название домена
- Доменная зона
- Срок продления домена
- Количество страниц в индексе
- Скрытие данных Whois
Стоит понимать, что факторы данной группы в основном являются относительными.
Т.е. для понимания, насколько данные факторы важны для ранжирования конкретного сайта в Яндексе, можно сказать, только проведя сравнительный анализ продвигаемого сайта с конкурентами.
Это касается таких показателей, как возраст домена, количество проиндексированных страниц и т.п.
Ряд параметров, как история домена, в целом являются статичными, и тут они одинаковы для всех – чем меньше у домена было смен владельцев, тем лучше.
Хотя, это не значит, что новый зарегистрированный домен, который не имеет истории, лучше, чем так называемый «дроп» с историей.
- Коды ответа сервера
- Скорость загрузки сайта
- Наличие мобильной версии
- Чистота кода (отсутствие больших блоков CSS и JS)
- Наличие SSL сертификата (защищенного соединения)
- Корректная индексация и настройка файла robots.txt
- Корректная карта сайта sitemap.xml
- Отсутствие дублей страниц
- Отсутствие цепочек редиректов внутри сайта
- Оптимизация размера картинок и видео
- Место нахождения сервера относительно целевой аудитории
- Соседи по ip
Технические параметры сайта такие, как коды ответа сервера (обычно должны быть 200 ОК), наличие мобильной версии, быстрота загрузки, наличие безопасного https соединения (особенно при приеме оплаты на сайте и получении данных пользователей), корректная настройка индексации – все это важные факторы.
НО, тут стоит понимать, что все это в целом – база, без которой невозможно получить заметный результат в продвижении сайта, если она будет сделана неправильно.
Можно получить сколько угодно много внешних ссылок на свой сайт, но, если он будет полностью состоять из дублей контента, положительного результата в продвижении добиться не получится.
Поэтому список данный группы – обязателен для проработки у любого сайта, особенно в больших сайтах-каталогах и интернет-магазинах.
Текстовые:
- Вхождение запросов в различных формах и последовательности в различные зоны: title, description, h2-h6, основной контент, текстовые фрагменты, ссылки на странице
- Уникальность текстов
- Наличие LSI слов и комбинаций
- Длина текста
- Отсутствие ошибок
- Наличие нумерованных списков и перечислений
- Язык повествования – профессиональный или «водянистый»
- Языковое соответствие
- Соответствие интенту запроса – геозависимость, коммерческость запросов
Данная группа факторов в Яндексе на текущий момент имеет весомое значение.
Именно с этой группы начинается первичное попадание продвигаемой страницы в зону видимости – когда документ (страница) сайта проходит так называемы «кворум», т.е. документ набирает достаточно «баллов», чтобы попасть в ТОП-50 – ТОП-30 по определенному поисковому запросу.
Оптимизацию данной группы факторов стоит начинать с подбора релевантной семантики и ее кластеризации.
Дальше на основе этого строить всю текстовую оптимизацию под Яндекс, вписывая нужные вхождения в различные зоны документа:
- Title
- Description
- h2
- Заголовки h3-H6
- Списки перечисления
- Основной текст страницы
- Текстовые фрагменты и описания
При оптимизации данной группы не стоит забывать и о наличии фильтров, например: переспам, переоптимизация, баден-баден, из-за которых документ может получить дисконтирование в ранжировании за переоптимизацию в текстовых зонах.
Ссылочные:
- Количество внешних ссылок на сайт
- Анкор лист
- Скорость прироста ссылок
- Авторитетность ссылающихся сайтов
- Количество ссылающихся доменов
- Тематическая близость донора и акцептора ссылок
- Возраст донора
- Заспамленность донора
- Санкции на доноре
- Возраст донора
- Количество исходящих ссылок на внешние сайты
- Качество сайтов, на которые идут исходящие ссылки
Ссылочные факторы на сегодняшний день в Яндексе, на мой взгляд, не играют такой существенной роли в получении ТОПа, как раньше.
Тут много причин:
- Борьба с покупными ссылками (Минусинск)
- Отсутствие практики и культуры естественным образом ссылаться на понравившиеся или полезные материалы в зоне Рунета
- Сохранение практики использования покупных ссылок среди оптимизаторов.
При оптимизации данной группы важны:
- Сравнительный анализ с конкурентами
- Понимание необходимости ссылочного в конкретной тематике в принципе
- Работа с внутренними ссылочными факторами
Коммерческие:
- Ассортимент товаров или услуг
- Способы оплаты
- Наличие и способы доставки
- Наличие цен и указание валюты на сайте
- Структура каталога
- Упоминание бренда в сети
- Наличие отзывов
- Наличие адреса и офиса
- Наличие различных номеров телефонов – местных городских и 8-800
- Наличие нескольких фотографий товара или услуги
- Наличие видео-обзоров
- Наличие кнопки заказа для магазинов и корзины
Данная группа была и остается важной для попадания в ТОП-10 Яндекса.
Если вы хотите максимально эффективно и быстро попасть и задержаться на первых местах выдачи в Яндексе, работайте в первую очередь над этими факторами.
Самыми важными из коммерческих под Яндекс, на мой взгляд, являются:
- Ассортиментная группа
- Наличие адресов и телефонов
- Наличие цен
- Структура сайта и каталога
Стоит отметить, что на сегодняшний день стало сложнее попасть в Справочник Яндекса, не имея реального офиса, т.к. стали более строгими методы проверки телефонов, офисов и т.д. Массово для данных проверок используются асессоры.
В свою очередь, подтвержденные географические данные (адреса и телефоны) важны при определении геозависимости в ранжировании, что является весомым фактором для оптимизации сайта.
Поведенческие:
- Время на сайте
- Показатель отказов
- Глубина просмотра
- CTR сниппета в поисковой выдаче
- Единственный клик на выдаче
- Last click на выдаче
- Прямые переходы на сайта по type-in
Последняя группа в списке, но не по значимости – это точно про поведенческие факторы.
Именно они на сегодняшний день являются одними из самых значимых и «влиятельных» изо всех перечисленных групп.
Можно даже сказать, что они пришли в Яндексе на смену ссылочным факторам.
Если раньше недобросовестные оптимизаторы покупали ссылки, то сегодня некоторые из них пытаются «накручивать» поведенческие в Яндексе.
Не стоит только забывать об ответных мерах – понижение сайта и приведение трафика из Яндекса практически к нулевым показателям на срок от 6 до 9 месяцев.
Также, после снятия фильтра за ПФ, трафик полностью обычно не восстанавливается.
Если же вы честный оптимизатор и хотите улучшать видимость своего сайта в выдаче Яндекса – то улучшение пользовательских факторов не запрещенными способами – это то, что может дать реальный и заметный рост позиций и трафика.
Основные и самые значимые факторы ранжирования в GoogleGoogle – это отдельная поисковая система, кроме того мульти-региональная. Поэтому, значимость групп факторов для ранжирования в ней будет своя, отличная от Яндекса.
Ниже, основываясь на том же самом списке факторов, постараюсь выделить наиболее значимые под Google на сегодня:
Хостовые:
- Возраст домена
- История домена
- Название домена
- Доменная зона
- Срок продления домена
- Количество страниц в индексе
- Скрытие данных Whois
Хостовые факторы под Google на сегодняшний день гораздо важнее, чем под Яндекс.
Если в Яндекс так или иначе, можно сделать сайт, провести масштабные работы по ассортименту, коммерческим, текстовым факторам и получить ТОП и трафик, то в Google такая история не получится.
Чтобы ранжироваться в нем, нужно получить первоначальный траст, а это напрямую связано, в том числе с возрастом домена и документов сайта.
Плюс в Google есть так называемая песочница, в которую сайт может попасть при слишком агрессивных попытках «оптимизации».
Плюс, в последние апдейты, такие, как Medic Update и YMYL (Your Money Your Life) более четко проявились некоторые факторы авторитетности сайтов и авторства.
Т.е. в медицинской тематике, и тематиках связанных со здоровьем и финансами стало еще важнее доказать Google, что ваш сайт экспертный и ему можно доверять, что информация на нем является проверенной и подтвержденной.
Технические:
- Коды ответа сервера
- Скорость загрузки сайта
- Наличие мобильной версии
- Чистота кода (отсутствие больших блоков CSS и JS)
- Наличие SSL сертификата (защищенного соединения)
- Корректная индексация и настройка файла robots.txt
- Корректная карта сайта sitemap.xml
- Отсутствие дублей страниц
- Отсутствие цепочек редиректов внутри сайта
- Оптимизация размера картинок и видео
- Место нахождения сервера относительно целевой аудитории
- Соседи по ip
Основное отличие с Яндексом в этой группе факторов под Google в том, что рендеринг сайта, т.е. обход, сканирование и интерпретация контента поисковыми роботами различается.
В Google сайт, в том числе различные «мусорные» страницы фильтраций и сортировок могут быстрее оказаться в индексе.
Поэтому важно точнее определяться с тем, что должно и чего не должно быть в индексе.
А также важно более четко устанавливать правила по индексации сайта.
Например, файл robots.txt Google частенько игнорирует при индексации, поэтому нужно использовать другие методики: meta-robots tag, x-robots tag.
Важно также помнить, что по заявлениям представителей Google, карта sitemap.xml является одним из основных источников добавления новых страниц в индекс, поэтому важна ее правильная настройка и отсутствие ошибок.
Как и для Яндекс, техническая оптимизация под Google – это просто база, которая должна быть!
Особенно важно помнить про наличие мобильной версии (Mobile First Index) и скорость загрузки, как весомые факторы.
Текстовые:
- Вхождение запросов в различных формах и последовательности в различные зоны: title, description, h2-h6, основной контент, текстовые фрагменты, ссылки на странице
- Уникальность текстов
- Наличие LSI слов и комбинаций
- Длина текста
- Отсутствие ошибок
- Наличие нумерованных списков и перечислений
- Язык повествования – профессиональный или «водянистый»
- Языковое соответствие
- Соответствие интенту запроса – геозависимость, коммерческость запросов
Текстовая оптимизация под Google имеет свои отличительные особенности. Тот контент, который в Яндексе легко может попасть под фильтр Баден-Баден в Google может прекрасно ранжироваться и занимать ТОП.
Хотя и в Google сейчас стала более очевидной борьба с переспамом, например, алгоритм Google Fred (аналог Бадена в Яндексе).
В целом, большее вхождение exact match запросов по-прежнему характерно для оптимизации под Google.
Также со стороны данного поисковика придается больше значение уникальности текстов, сложнее «пролезть» с различными дорвее-подобными сайтами и копипастами.
После июньского Core Update 2019 года стали более важны свежесть контента, некоторые поведенческие факторы, такие как брендовые поиски и last click.
Ссылочные:
- Количество внешних ссылок на сайт
- Анкор лист
- Скорость прироста ссылок
- Авторитетность ссылающихся сайтов
- Количество ссылающихся доменов
- Тематическая близость донора и акцептора ссылок
- Возраст донора
- Заспамленность донора
- Санкции на доноре
- Возраст донора
- Количество исходящих ссылок на внешние сайты
- Качество сайтов, на которые идут исходящие ссылки
Ссылочные факторы ранжирования в Google были и остаются крайне важными. Я видел и вижу большое количество проектов, которые имеют большой объем трафика в Яндексе, но при этом практически не получают позиций в ТОПе и трафика из Google.
И в большинстве случаев ключевой момент – отсутствие заметного ссылочного профиля.
Наличие связей с качественными, трастовыми доменами с возрастом и ссылки с них на ваш сайт – было и остается крайне важным и влиятельным фактором для вывода вашего сайта на 1‑е позиции в Google. Все хостовые факторы доноров ссылок также имеют большое значение.
Коммерческие:
- Ассортимент товаров или услуг
- Способы оплаты
- Наличие и способы доставки
- Наличие цен и указание валюты на сайте
- Структура каталога
- Упоминание бренда в сети
- Наличие отзывов
- Наличие адреса и офиса
- Наличие различных номеров телефонов – местных городских и 8-800
- Наличие нескольких фотографий товара или услуги
- Наличие видео-обзоров
- Наличие кнопки заказа для магазинов и корзины
Значение данной группы факторов оценить достаточно сложно. Точно можно сказать только одно – влияние данных параметров на позиции сайта в Яндекс гораздо сильнее, чем аналогичное влияние в Google.
Одной из причин может быть то, что географическая принадлежность документа в Google до сих пор не всегда важна и не всегда точно соотносится с запросом пользователя.
На примере сайта с 14 регионами, сделанном на подпапках, в Google следующая картина – по коммерческим запросам ранжируются совершенно различные категории с различной географической привязкой.
Кроме того, это обусловлено тем, что для Google до сих пор основными показателями для ранжирования являются ссылочные факторы.
Поведенческие:
- Время на сайте
- Показатель отказов
- Глубина просмотра
- CTR сниппета в поисковой выдаче
- Единственный клик на выдаче
- Last click на выдаче
- Прямые переходы на сайта по type-in
Поведенческие факторы в Google работают, на мой взгляд, менее заметно чем в Яндекс.
Если в Яндексе можно поработать над поведенческими факторами ранжирования и получить заметный результат, то в Google такой явной корреляции добиться сложно.
Хотя, по заявлениям некоторых экспертов, после последнего Core Update в Google в июне 2019 года данная группа факторов стала более влиятельной.
Усилилось значение таких параметров, как поиск бренда сайта или компании, а также показатели ПФ на поисковой выдаче, например, показатели last click.
Как повлиять на ранжирование сайта?В отличие от картинки ниже, влияние на ранжирование в Яндекс и Google – это не какая-то магия или трюки с поисковой выдачей. Поисковые системы – это инструменты, своего рода рубрикаторы или каталоги, которые призваны помочь пользователям отыскать необходимую информацию среди огромного потока данных, имеющихся в интернете.
Соблюдение правил поисковых систем, планомерная работа над сайтом и улучшением его показателей, воздействие на наиболее значимые факторы – вот и все что требуется, чтобы ваш сайт занимал 1-е места в ТОП-10 поисковиков и все время прирастал в объемах пользователей, которые его посещают.
Выше мы подробно разобрали самые значимые и основные параметры, которые учитываются при ранжировании в поисковых системах Яндекс и Google.
Попробуем подвести небольшие итоги, ответив на вопрос: что влияет на ранжирование сайтов и как получить 1-е места в ТОПе с помощью SEO-оптимизации?
Как повлиять на ранжирование сайта в Яндексе?В целом, подробный ответ выше. Если вы проработаете каждый из указанных значимых факторов, не создавая переспама и переоптимизации, то у вас должен получиться положительный результат.
Самые значимые показатели, над которыми стоит работать под Яндекс:
- Технические – необходима база, без которой хороший результат не получится
- Текстовые – один из самых весомых факторов
- Ссылочные – (внешние) далеко не всегда и не везде важны применительно к Яндексу
- Коммерческие – крайне важны, стоит уделять пристальное внимание данной группе
- Поведенческие (внутренние и внешние) – могут иметь большое значение и давать заметный результат, если не прибегать к запрещенным методам, а целенаправленно работать над их улучшением
Самые значимые параметры, которым стоит уделять особое внимание при оптимизации под Google:
- Хостовые – очень важны. Если есть сайт с возрастом, и новый сайт, лучше рассмотрите сайт с возрастом и историей.
- Технические – необходима база, без которой хороший результат не получится
- Текстовые – средняя значимость, наравне с Яндексом, имеются свои особенности оптимизации
- Ссылочные – крайне важны, наиболее значимый фактор для Google
- Поведенческие (внутренние и внешние) – набирают значимость после последних апдейтов 2019 года, стоит рассматривать в перспективе
1. Сколько факторов ранжирования у Яндекс?
Эта информация – коммерческая тайна компании Яндекс. Причем не известно, как точное количество, так и сами факторы. По разным оценкам, эта цифра составляет порядка 1200 факторов.
Но, т.к. ранжирование сайтов происходит автоматически по формуле и на основе алгоритмов, то знание точной цифры в целом ничего не даст.
Для успешной оптимизации под Яндекс важно:
- Понимать общие принципы
- Знать наиболее весомые факторы, которые мы выделили выше
- Думать не как все и делать немного больше конкурентов
2. Что такое поведенческие факторы ранжирования?
Поведенческие факторы или ПФ – делятся на 2 группы – внутренние и внешние.
Внутренние – это те действия, которые совершаются пользователями внутри сайта.
Внешние – это любые действия на поисковой выдаче. Общий список значимых факторов данной группы дан выше.
Наиболее значимые из них:
- Время на сайте
- Показатель отказов
- CTR на выдаче
- Type-in трафик, т.е. переходы по прямому вводу адреса сайта
3. Как не зависеть от изменения поисковых алгоритмов и сделать так, чтобы сайт всегда оставался в ТОП-10 Яндекс и Google?
Работайте в первую очередь над «удовлетворенностью» пользователя вашего сайта. Яндекс так долго твердил об этом, но на сегодняшний день это действительно так.
При попадании сайта в ТОП-10 в Яндексе – самыми важными становятся поведенческие факторы сайта. Грубо говоря, чтобы сайт переместился с 10й позиции на 1ю, у него должно:
- Вырасти количество кликов по ссылке на сайт из поиска (CTR на выдаче)
- Снизится количество отказов на сайте и возвратов на поиск
- Вырасти время и глубина просмотров внутри сайта
- Вырасти количество type-in заходов
- Вырасти доля поисков по бренду компании или сайта
Если все эти показатели у вашего сайта постоянно улучшаются, если они становятся лучше, чем у конкурентов, то никакие точечные изменения поисковых алгоритмов ему будут не важны и не страшны!
Факторы ранжирования в Яндексе | Полезная информация QUPE
Факторы ранжирования — это параметры, по которым Поисковые системы оценивают страницы сайтов и определяют их позицию в выдаче. В алгоритмах Яндекса используется больше сотни факторов. И чем большему количеству соответствует анализируемая страница, тем выше будет её позиция в выдаче. Разумеется, среди такого большого количества есть критически важные, просто важные и второстепенные. Конечно, это не значит, что стоит учитывать только основные, а остальные игнорировать. Качественное продвижение требует учёта даже малозначительных элементов. Но для начала разберёмся, на основании чего работают алгоритмы Яндекса и какие факторы учитывает поисковая система при оценке страниц.
7 критически важных факторов
- Наиболее важным фактором считается релевантность страницы запросу пользователя. То есть если пользователь вводит запрос «купить ноутбук», он должен получить коммерческий документ, в котором представлен список ноутбуков и есть возможность для покупки. Если пользователь вводит запрос «какой ноутбук выбрать веб-дизайнеру», в выдаче он должен получить некоммерческие страницы, на которых содержится информация о характеристиках, преимуществах разных моделей, описании плюсов и минусов и т.д.
- Второй по важности фактор — оптимизированность Title. Title — это тег, который помогает поисковым системам понять, о чём страница. Именно он отображается в выдаче по запросу пользователя. Кроме того, Title влияет на привлекательность сайта (CTR), поэтому его грамотную проработку не стоит игнорировать.
- Наличие цен. Поисковые системы отдают предпочтение тем коммерческим страницам, на которых есть цены на все предложенные товары. Так как задача ПС — быстро найти решение насущной для пользователя проблемы, они стараются предлагает ему наиболее удобные варианты. Не стоит забывать и о том, что отсутствие цен сказывается на позициях по запросам «цена», «стоимость», «заказать» и т.д.
- Функционал «купить/заказать», который обязательно должен быть у интернет-магазинов. Задача коммерческого сайта — продать продукт. Когда на сайте реализован функционал «купить/заказать», ПС понимают, что перед ними интернет-магазин, а не каталог товаров. Помимо реализации самого функционала, на странице должны присутствовать текстовые вхождения слов «купить», «заказать».
- Адаптированная версия сайта — сегодня она должна быть у любого ресурса, который хочет иметь хорошие позиции в выдаче. Большая доля трафика сейчас приходится на мобильные устройства, поэтому страницы должны открываться на смартфонах и планшетах корректно.
- Ассортимент товаров и услуг в интернет-магазинах. Чем больше ресурс может предложить пользователю, тем выше он ранжируется ПС. Объяснение простое: такой сайт сможет дать аудитории подходящее решение её проблем.
- Страница контактов — если на сайте нет контактной информации, он не вызывает доверия ни у пользователей, ни у поисковых систем. Для Яндекса наличие страницы «Контакты» очень важно при ранжировании.
О важности текстового фактора
Текстовый фактор не попал в группу критически важных факторов ранжирования, но о нём стоит поговорить отдельно. Поисковые системы ценят качественный контент на странице. Чем больше полезной информации содержит ресурс, тем выше его ранжирует поисковик. Основные требования к текстам — это информативность, уникальность и незаспамленность.
Бессмысленные тексты с высоким уровнем спама и низкой уникальностью могут привести к весьма неприятным последствиям — поисковая система применит к ресурсу санкции, и он вообще не попадёт в выдачу.
Для хорошего ранжирования в Яндексе нужны следующие текстовые факторы:
- вхождения из продвигаемых запросов;
- структурированный текст, в котором есть заголовки, подзаголовки, списки.
Также для Яндекса ссылки на страницу с авторитетных источников — важный фактор ранжирования.
На какие факторы средней важности нужно обращать внимание
Не критичные, но тоже существенные факторы средней важности могут сыграть большую роль при продвижении. Среди них можно выделить:
- оптимизированный заголовок h2;
- наличие ЧПУ в URL страниц;
- наличие данных об организации в Яндекс.Справочнике.
Информацию о своей компании можно разместить в Яндекс.Справочнике бесплатно, поэтому использовать эту возможность для повышения доверия ПС просто необходимо. В Справочнике можно указать различную информацию об организации, начиная от контактных данных и заканчивая наличием в офисе Wi-Fi и парковки рядом. Чем больше данных организация разместит, тем проще пользователям будет найти её. Если профиль компании будет заполнен на 90% или больше, она получит особый знак Яндекса о подтверждённой владельцем информации.
Таким образом, факторами первичной важности являются те, которые отвечают за решение проблем пользователей. То есть в первую очередь Яндекс оценивает то, насколько полезен и удобен ресурс. Если владельцы сайтов задают направлением SEO-продвижения ориентацию именно на потребности пользователей, то, вероятно, их страница будет высоко оценена роботами ПС.
Проработка каждого отдельного аспекта в поисковом продвижении требует большого профессионализма. Задача специалистов состоит в том, чтобы сделать сайт максимально соответствующим факторам ранжирования, а для этого необходимо выявить слабые места, найти проблемы и устранить их.
Что еще влияет на ранжирование в Яндексе?
Что нового мы можем поведать вам о ранжировании Яндекса? Большинство рекомендаций по оптимизации сайта прописаны в справке Яндекса для вебмастеров. И они в первую очередь касаются технической стороны сайта. Однако многим известно, что Яндекс стремится улучшить качество поиска не только на основе релевантности контента и технической оптимизации ресурса, а еще и общем качестве сайта с точки зрения пользователя.
В этой статье мы рассмотрим факторы, которые так или иначе влияют на ранжирование сайтов в Яндексе, но не относятся к технической составляющей сайта.
1. Первый экран Пользователи жаждут получить четкий (быстрый, точный, полный, полезный, хороший) ответ на свой запрос. И вряд ли кому-то понравится совершать еще какие-то лишние действия на сайте для поиска ответов на свои вопросы. Поэтому страницы следует оформлять таким образом, чтобы информация, которая интересует пользователя (релевантная его запросу), была видна сразу же. Если это, например, страница товара, то изображение, описание, характеристики, цена, краткая информация о доставке и оплате должны быть видны сразу — на, так называемом, первом экране. Следует избавляться от огромных баннеров и слайдеров, занимающих значительную часть первого экрана. Ведь пользователь не за этим пришел на страницу.
2. Регион организации и доставки Если пользователь ищет какой-либо товар, то удобство доставки для него играет далеко не последнюю роль. Ведь куда проще (логичнее, целесообразнее, удобнее) заказывать товар там, где его доставят максимально быстро и дешево (или вообще бесплатно).
В случае интернет-магазинов, похоже, важный фактор ранжирования — это регион магазина и регионы доставки. Вполне очевидно, что магазины, которые находятся в регионе пользователя или осуществляют доставку в регион пользователя, представляют больший интерес и их следует ранжировать выше. Выдача должна максимально соответствовать ожиданиям пользователя.
3. Оформление текстов Никто не любит, когда нужная информация подана в неудобном для восприятия виде. Пользователи предпочтут посещать сайты с хорошо изложенным, структурированным, легким для понимания контентом. Следует это учитывать и позаботиться о структуре текста, правильной иерархии заголовков, наличии качественных изображений и элементов цепляющих глаз читателя (списки, таблицы). Приветствуется конкретика и точность информации.
4. Комментарии и отзывы Очень важно дать пользователям возможность высказать свое мнение. Наличие формы для написания комментария (отзыва), а также эти самые комментарии (отзывы) — фактор, положительно влияющий на ранжирование в Яндексе. Получается, что пользователь, пришедший на сайт, получает не только полный и развернутый ответ на свой запрос в виде качественного хорошо поданного контента, но и мнение или опыт других пользователей. Комментарии и отзывы могут быть очень полезны, так как дают расширенную информацию об объекте (товаре, услуге, предмете, явлении и т.д.) в виде чужого опыта. Это дополняет основной контент и потому страницы с наличием отзывов (комментариев) имеют заслуженное право ранжироваться выше тех страниц, где такая полезная дополнительная информация отсутствует.
Стоит отметить, что на многих сайтах хоть и реализована возможность оставлять комментарии (отзывы), но требует от пользователя регистрации. Далеко не все готовы тратить время на то, чтобы заполнять длинные формы регистрации и проходить все круги авторизации. Поэтому желательно предлагать возможность оставлять комментарии и отзывы без регистрации, но с защитой от спама. Оптимальный вариант — «подтягивание» информации из аккаунта социальной сети для написания комментария или отзыва.
5. Смежные объекты Пользователю может понадобиться дополнительный материал по искомому объекту или смежным объектам (товарам, услугам, компаниям, предметам, явлениям и т.п.). Допустим, пользователь искал определенный товар и после ознакомления с материалами о нем, заинтересовался информацией о производителе этого товара. Или после ознакомления с информацией о фильме, пользователя заинтересовала информация о режиссере этого фильма или актерах. При поиске тура в определенную страну пользователя может заинтересовать информация о курорте, отеле и достопримечательностях. Наличие исчерпывающей информации о смежных объектах и организация легкого доступа к ней на просматриваемом сайте — признак качественного ресурса, достойного ранжироваться выше.
6. Медиаконтент Наверное, стоит отдельно выделить важность наличия медиаконтента. Ведь далеко не все предпочитают читать текст. Многие пользователи предпочтут посмотреть фотографии или видеообзор. Удобно организованный на странице медиаконтент позволит удовлетворить большинство пользователей.
7. Контактная информация Важна полнота контактной информации. Отсутствие или сильная ограниченность контактных данных на сайте вызывает недоверие пользователей. К примеру, если на странице контактов интернет-магазина не указан физический адрес офиса (магазина, шоурума), то это значительно снижает доверие к магазину. Снижает доверие пользователей:
- отсутствие физического адреса;
- отсутствие городского номера телефона;
- email не на домене сайта;
- отсутствие общей информации о компании.
Чем полнее будут контактные данные, тем больше пользователи будут доверять ресурсу. Это косвенный признак качества ресурса, а поисковые системы стремятся ранжировать качественные сайты выше. На странице контактов следует максимально полно указывать контактную информацию:
- полное название организации;
- страна, индекс, город, адрес;
- телефоны;
- email на домене сайта;
- ICQ, Skype;
- график работы;
- схема проезда.
Не будет лишним размещение свидетельства (лицензии) организации, информации о руководстве, справочной информации об организации. Если есть филиалы в разных городах, то стоит указать полные контактные данные каждого филиала.
Вывод
Всё, что делается для удобства (комфорта) пользователя и призвано завоевать его доверие, найдет свое отражение (ответную реакцию) в улучшении ранжирования сайта. Ведь это те мелочи, которые в целом повышают качество сайта, а Яндекс всегда стремится повысить качество выдачи, ранжируя выше полезные трастовые сайты.
как поставить машинное обучение на поток (пост #2) / Блог компании Яндекс / Хабр
Мы продолжаем серию публикаций о нашем фреймворке FML, который автоматизировал работу с машинным обучением и позволил разработчикам Яндекса использовать его в своих задачах проще и чаще. Предыдущий пост рассказывал о том, что такое функция ранжирования и как мы научились строить её, имея на входе лишь достаточно большое число оценок от асессоров и достаточно разнообразный набор признаков (факторов) документов по большому количеству запросов.Из этого поста вы узнаете:
- Почему нам нужно подбирать новую формулу ранжирования очень часто, и как именно нам в этом помогает FML;
- Как мы разрабатываем новые факторы и оцениваем их эффективность.
Подбор формулы ранжирования
Одно дело — подобрать формулу один раз, а совсем другое — делать это очень часто. И мы расскажем о причинах того, почему в наших реалиях так необходимо второе.
Как уже было упомянуто, интернет быстро меняется и нам нужно постоянно повышать качество поиска. Наши разработчики непрерывно ищут, какие новые факторы могли бы нам помочь в этом. Наши асессоры каждый день оценивают тысячи документов, чтобы оперативно обучать алгоритмы новым видам закономерностей, появляющимся в интернете, и учитывать изменения в полезности уже оцененных ранее документов. Поисковый робот собирает в интернете массу свежих документов, что постоянно меняет средние значения факторов. Значения могут изменяться даже при неизменных документах, так как алгоритмы расчета факторов и их реализация постоянно совершенствуются.
Чтобы оперативно учитывать в формуле ранжирования этот поток изменений, нужен целый технологический конвейер. Желательно, чтобы он не требовал участия человека или был для него максимально простым. И очень важно, чтобы внесение одних изменений не мешало оценке полезности других. Именно таким конвейером и стал FML. В то время, как Матрикснет выступает «мозгом» машинного обучения, FML является удобным сервисом на его основе, использование которого требует гораздо меньше специальных знаний и опыта. Вот за счёт чего это достигается.
Во-первых, под каждую конкретную задачу, с которой к нам приходит разработчик, FML рекомендует параметры запуска Матрикснета, наилучшим образом соответствующие условиям и ограничениям задачи. Сервис сам подбирает настройки, оптимальные для конкретного объёма оценок — например, помогает выбрать целевую функцию (pointwise или pairwise) в зависимости от размера обучающей выборки.
Во-вторых, FML обеспечивает прозрачную многозадачность. Каждая итерация подбора формулы — это многочасовой расчёт, требующий полной загрузки нескольких десятков серверов. Как правило, одновременно происходит подбор десятка разных формул, а FML управляет нагрузкой и обеспечивает каждому разработчику изоляцию его расчётов от расчётов коллег, чтобы они не мешали друг другу.
В-третьих, в отличие от Матрикснета, который нужно запускать вручную, FML обеспечивает распределённое выполнение ресурсоёмких задач на кластере. Это включает и использование всеми единой и самой свежей версии библиотек машинного обучения, и раскладку программы на все машины, и обработку возникающих сбоев, и сохранение уже проведённых расчётов, и верификацию результатов в случае перезапуска вычислений.
Наконец, мы воспользовались тем, что на вычислительно сложных задачах можно получить весьма существенный выигрыш в производительности, если запускать их на графических процессорах (GPU) вместо процессоров общего назначения (CPU). Для этого мы адаптировали Матрикснет под GPU, за счет чего получили более чем 20-кратный выигрыш в скорости расчётов на единицу стоимости оборудования. Особенности нашей реализации алгоритма построения деревьев решений позволяют нам использовать высокую степень параллелизма, доступную на GPU. Благодаря тому, что мы сохранили программные интерфейсы, которыми пользуется FML, нам удалось предоставить коллегам, работающим над факторами, новые вычислительные мощности, не изменяя привычных процессов разработки.
Несколько слов про GPUВообще преимущество процессоров GPU над CPU раскрывается на задачах с большой долей вычислений с плавающей точкой, и машинное обучение среди них ничем не выделяется. Вычислительная производительность измеряется в IOPS для целочисленных вычислений и FLOPS для вычислений с плавающей точкой. И, если вынести за скобки все издержки на ввод-вывод, включая общение с памятью, именно по параметру FLOPS графические процессоры давно ушли далеко вперёд по сравнению с обычными. На некоторых классах задач выигрыш в производительности по сравнению с процессорами общего назначения (CPU) составляет сотни раз.Но именно потому, что далеко не все распространённые алгоритмы подходят под вычислительную архитектуру GPU и не всем программам необходимо большое число вычислений с плавающей точкой, вся отрасль продолжает использовать CPU, а не переходит на GPU.
О нашем GPU-кластере и суперкомпьютерахПрямо сейчас производительность GPU-кластера в Яндексе составляет 80 Tflops, но в скором времени мы планируем расширить его до 300 Tflops. Мы не называем наш кластер суперкомпьютером, хотя по сути он им является. Например, по элементной базе он очень близок к суперкомпьютеру «Ломоносов», самому мощному в России и Восточной Европе. Ряд компонент в нашем случае даже более современные. И хотя мы уступаем «Ломоносову» по числу вычислительных узлов (а значит и производительности), после расширения наш кластер с большой вероятностью войдёт в первую сотню самых мощных в мировом рейтинге TOP500 Supercomputer Sites и в первую пятёрку самых мощных суперкомпьютеров в России.Разработка новых факторов и оценка их эффективности
Факторы в ранжировании играют даже более важную роль, чем умение подбирать формулу. Ведь чем более разнопланово признаки будут различать разные документы, тем более действенной сможет быть функция ранжирования. В стремлении повышать качество поиска мы постоянно ищем, какие новые факторы могли бы нам помочь.
Их создание — очень сложный процесс. Далеко не любая идея выдерживает в нём проверку практикой. Иногда на разработку и настройку хорошего фактора может уйти несколько месяцев, а процент гипотез, подтверждённых практикой, крайне невелик. Как у Маяковского: «В грамм добыча, в год труды». За первый год работы FML для десятков тысяч проверок различных факторов с разными комбинациями параметров были допущены к внедрению лишь несколько сотен.
Долгое время в Яндексе для работы над факторами нужно было, во-первых, глубоко понимать устройство поиска вообще и нашего в частности и, во-вторых, иметь неплохие знания о машинном обучении и информационном поиске в целом. Появление FML позволило избавиться от первого требования, ощутимо снизив тем самым порог входа в разработку факторов. Количество специалистов, которые теперь могут ею заниматься, выросло на порядок.
Но в большом коллективе потребовалась прозрачность процесса разработки. Раньше каждый ограничивался лишь проверками, которые сам считал достаточными, а качество измерял «на глазок». В результате получение хорошего фактора оказывалось скорее предметом искусства. А если гипотеза фактора отвергалась, то по прошествии времени нельзя было ознакомиться с тестами, по которым было принято решение.
С появлением FML разработка факторов стала стандартным, измеримым и контролируемым процессом в большом коллективе. Появилась и перекрёстная прозрачность, когда все смогли увидеть, что делают коллеги, и возможность контролировать качество проведённых ранее экспериментов. Кроме того, мы получили такую систему контроля качества производимых факторов, которая допускает плохой результат с гораздо меньшей вероятностью, чем на ведущих мировых конференциях в области информационного поиска.
Для оценки качества фактора мы делаем следующее. Разбиваем (каждый раз новым случайным образом) множество имеющихся у нас оценок на две части: обучающую и тестовую. По обучающим оценкам мы подбираем две формулы — старую (без тестируемого фактора) и новую (с ним), а по тестовым — смотрим, какая из этих формул лучше. Процедура повторяется много раз на большом количестве разных разбиений наших оценок. В статистике этот процесс принято называть перекрёстной проверкой (cross-validation). Нам она позволяет убедиться в том, что качество новой формулы лучше старой. В машинном обучении такой метод известен как уменьшение размерности с использованием wrappers. Если оказывается, что в среднем новая формула даёт заметное улучшение качества по сравнению со старой, новый фактор может стать кандидатом на внедрение.
Но даже если фактор доказал свою полезность, нужно понять, какова цена его внедрения и использования. Она включает в себя не только время, которое разработчик потратил на проработку идеи, его реализацию и настройку. Многие факторы необходимо рассчитывать непосредственно в момент поиска — для каждого из тысяч документов, найденных по запросу. Поэтому каждый новый фактор — это потенциальное замедление скорости ответа поисковой системы, а мы следим, чтобы она оставалась в очень жёстких рамках. Это значит, что внедрение каждого нового фактора должно быть обеспечено увеличением мощности кластера, отвечающего на запросы пользователей. Есть и другие аппаратные ресурсы, которые нельзя расходовать безгранично. Например, себестоимость хранения в оперативной памяти каждого дополнительного байта на документ на поисковом кластере составляет порядка 10 000 долларов в год.
Таким образом, нам важно отбирать из многих потенциальных факторов только те, у которых соотношение прироста качества к издержкам на оборудование будет самым лучшим — и отказываться от остальных. Именно в измерении прироста качества и оценке объёма дополнительных затрат и состоит следующая после подбора формул задача FML.
Цена измерения и его точностьПо нашей статистике, на оценку качества факторов перед их внедрением уходит существенно больше вычислительного времени, чем на подбор самих формул. В том числе потому что формулу ранжирования нужно многократно переподбирать на каждый фактор. Например, за прошлый год примерно на 50 000 проверок было потрачено около 10 млн машиночасов, а на подбор формул ранжирования — около 2 млн. То есть большая часть времени кластера тратится именно на проведение исследований, а не на выполнение регулярных переподборов формул.Как на любом зрелом рынке, каждое новое улучшение даётся гораздо тяжелее, чем предыдущее, и каждая следующая «девятка» в качестве стоит кратно дороже предыдущей. У нас счёт идёт на десятые и сотые доли процента целевой метрики качества (в нашем случае это pFound). В таких условиях приборы измерения качества должны быть достаточно точными, чтобы уверенно фиксировать даже такие малые изменения.
Говоря про аппаратные ресурсы, мы оцениваем три составляющих: вычислительную стоимость, объём диска и объём оперативной памяти. Со временем у нас даже выработались «разменные курсы»: насколько мы можем ухудшить производительность, сколько байт диска или оперативной памяти готовы заплатить за повышение качества на 1%. Расходование памяти оценивается экспериментально, прирост качества берётся из FML, а уменьшение производительности оценивается по результатам отдельного нагрузочного тестирования. Тем не менее, некоторые аспекты не удаётся оценивать автоматически — например, не привносит ли фактор сильную обратную связь. По этой причине существует экспертный совет, который имеет право вето на внедрение фактора.
Когда приходит время внедрения формулы, построенной с использованием новых факторов, мы проводим A/B-тестирование — эксперимент на небольшом проценте пользователей. Он нужен, чтобы убедиться в том, что новое ранжирование «нравится» им больше, чем текущее. Окончательное решение о внедрении принимается на основе пользовательских метрик качества. В каждый момент времени в Яндексе проводятся десятки экспериментов, и мы стараемся сделать этот процесс незаметным для пользователей поисковой системы. Таким образом мы добиваемся не только математической обоснованности принимаемых решений, но и полезности нововведений на практике.
Итак, FML позволил поставить на поток разработку факторов в Яндексе и дал возможность их разработчикам понятным и регламентированным образом и относительно небольшими усилиями получать ответ на вопрос о том, достаточно ли хорош новый фактор для рассмотрения к внедрению. О том, как мы следим за тем, чтобы качество фактора со временем не деградировало, расскажем в следующем — последнем — посте. Из него же вы узнаете о том, где ещё применима наша технология машинного обучения.
Как будет работать поиск в 2021? YATI – новый алгоритм ранжирования Яндекс | Радиопортал
Классическая техника обучения трансформеров предполагает демонстрацию им неструктурированных текстов. То есть берется текст, в нем маскируется определенный процент слов, а перед трансформером ставится задача угадывать данные слова. Для YATI задача была усложнена: ему показывался не просто текст отдельного документа, а действительные запросы и тексты документов, которые видели пользователи. YATI угадывал, какой из документов понравился пользователям, а какой нет. Для этого использовалась экспертная разметка асессоров, которые оценивали релевантность каждого документа запросу по сложной шкале.
После этого Яндекс брал массив полученных данных и дообучал трансформер угадывать экспертную оценку, обучаясь, таким образом, ранжировать. В результате поисковой алгоритм был существенно улучшен и Яндекс вышел на рекордный уровень в качестве поиска.
Преимущества YATI и трансформеров
В отличие от предшествующих нейросетевых алгоритмов Яндекса Палех и Королёв, YATI умеет предсказывать не клик пользователя, а экспертную оценку, что являет собой фундаментальную разницу.
Кроме этого, преимущества трансформеров заключаются в следующем:
- поиск работает не только с запросами и заголовками, но и способен оценивать длинные тексты;
- присутствует «механизм внимания», выделяющий в тексте наиболее значимые фрагменты;
- учитывается порядок слов и контекст, то есть влияние слов друг на друга.
Теперь, к примеру, когда вы будете искать билеты на самолет из Екатеринбурга в Москву, поисковик поймет, что вам нужно именно из Екатеринбурга в Москву, а не наоборот. Помимо того, Яндекс стал лучше распознавать опечатки.
YATI намного лучше предшественников работает со смыслом запроса, алгоритм направлен на более глубокий анализ текста, понимание его сути. Это значит, что поисковик будет точнее понимать, какая информация является наиболее релевантной запросу пользователя.
Говоря о ранжировании, можно спрогнозировать, что смысловая нагрузка контента возымеет более значимую роль. То есть экспертные тексты, полностью раскрывающие ответ на запрос пользователя, будут всё больше и чаще попадать в ТОП.
Особенности YATI:
1. Переформулирование запросов и «пред-обучение на клик». Яндекс имеет базу из 1 млрд. переформулированных запросов: [1 формулировка] → без клика → [2 формулировка]. Так, модель учится предсказывать вероятность клика.
2. Оценки на Яндекс.Толоке. Использование оценок толокеров.
3. Оценки асессоров. Использование экспертных оценок релевантности.
4. Данные, которые подаются на вход:
- текст запроса;
- расширение запроса;
- «хорошие» фрагменты документа;
- стримы для документа: анкор-лист, запросный индекс для документа.
YATI и Google Bert
Одним из последних обновлений главного конкурента в области поиска Яндекса Google стало внедрение алгоритма BERT. Эта нейронная сеть также, как и YATI, решает задачу анализа поисковых запросов и их контекста, а не отдельный анализ ключевых запросов. То есть BERT анализирует предложение целиком.
И YATI, и BERT ориентированы на лучшее понимание смысла поискового запроса. Однако, как утверждают специалисты Яндекс, алгоритм YATI лучше справляется со своими задачами, поскольку кроме текста запроса анализирует еще и тексты документов, а также учится предсказывать клики.
Ниже в таблице представлено сравнение качества алгоритмов, основанных на нейронных сетях, в задаче ранжирования, где “% NDCG” – нормированное значение метрики качества DCG по отношению к идеальному ранжированию на датасете Яндекс. 100% здесь означает, что модель располагает документы в порядке убывания их настоящих офлайн-оценок.
Вместе с тем, требуется отметить, что BERT решает существенно большее количество задач, среди которых распознавание «смысла» текста лишь одна из множества других. На BERT базируется большое семейство языковых моделей:
С точки же зрения компьютерной лингвистики, BERT и YATI – довольно похожие алгоритмы.
Как изменится ранжирование в условиях действия Яндекс YATI
Владельцев ресурсов, а также всех, кто занимается продвижением сайта, очевидно, должен интересовать вопрос, как YATI повлияет на способы оптимизации. Если исходить из утверждения, что новый алгоритм обеспечивает более 50% вклада в ранжирование, то можно предположить, что «смысл» окончательно победил возможности SEO-специалистов в проработке текстов, а значит оптимизировать ничего не нужно. А также можно решить, что такие факторы, как «точное вхождение», «Title» и «добавить ключей» больше не имеют влияния.
Данные суждения будут поспешны и ошибочны. Новый алгоритм не отменяет старые факторы ранжирования, а лишь дополняет их более качественным анализом текстов. Дело в том, что изначально для улучшения распределения, поиск Яндекс обучался на редких запросах, где документов и без того недостаточно. И когда речь идет о 50%-ом вкладе в ранжирование, то имеются ввиду именно редкие запросы. Борьба между «смыслом» и «вхождением», где «смысл» начал побеждать, видна именно на них.
А вот ситуация по ВЧ-запросам, по средне- и низкочастотным не претерпела значительных изменений. Это означает, что техническую оптимизацию, привлечение естественных ссылок и улучшение поведенческих факторов как на поиске, так и на сайте – забрасывать не нужно.
Исследования независимых специалистов показывают, что значимость фактора «точное вхождение в тексте» по НЧ-запросам после запуска YATI ничуть не ослабла, а, напротив, увеличила свою значимость. А вот тут ситуация с точным вхождением поменялась – явного влияния в ТОП-10 теперь нет, хотя вне его оно сохраняется.
Среднее значение ключевого фактора ТОП-10 и вне его:
Среднее значение фактора здесь находится в районе единицы. То есть, если имеется одно вхождение, значит этого вполне достаточно.
Фактор «наличие всех слов из запроса в тексте» также не потерял своего значения. Выборка коммерческих запросов в Яндексе демонстрирует, что существенной разницы между НЧ и СЧ+ВЧ запросами нет. Тем не менее, наблюдается взаимосвязь между попаданием в ТОП и наличием всех слов запроса в документе. Значение этого фактора составляет 0.8, то есть, работает это для 80% сайтов.
Проверка фактора «слова в Title» после YATI показывает рост среднего значения этого фактора. То есть в выдаче стали чаще встречаться документы, Title которых содержит все слова в запросе, но вместе с тем, здесь наблюдается заметное понижение взаимосвязи с позицией.
Практические советы
Итак, перейдем к конкретным рекомендациям по оптимизации сайта в условиях работы алгоритма YATI:
- Адаптируйтесь под YATI. Увеличивайте количество слов, встречаемых в контексте со словами из запроса. К таковым могут относиться слова из подсветки выдачи, а также слова, задающие тематику и встречаемые у конкурентов, но отсутствующие на продвигаемой странице.
- Расставляйте акценты в тексте и форматируйте его. В текстах свыше 12-14 предложений обязательно требуется использовать заголовки, выносить в них и в выделенные фрагменты тематические и ключевые слова.
- Выполняйте анализ и оптимизацию запросного индекса и для документов, и для сайта в целом в Яндекс.Вебмастере. Проверяйте релевантность запросов, по которым были как переходы на заданный URL, так и только показы без переходов. Данные всего сайта, как и прежде, также сказываются на факторах для заданной страницы. Поэтому проверки имеют смысл в разрезе всего сайта, а не только URL.
- Расширяйте семантическое ядро для продвижения в сторону НЧ-запросов. Синонимичные и, так называемые, вложенные запросы помогают в продвижении по более общим и близким по смыслу.
- Выполняйте конкурентный анализ. Анализируйте показы страниц конкурентов по запросам. Изучайте чужие тексты: какие тематические слова и фразы в них используются, какова структура и т.п.
- Проводите классическую оптимизацию: текст, точные вхождения, слова в Title.
Заключение
Трансформеры значительно улучшили качество поиска в Яндексе и вывели его на новый рекордный уровень. Применение тяжелых моделей, основанных на работе нейронных сетей, способных приближать структуру естественного языка и лучше учитывать семантические связи между словами в тексте, помогает пользователям все чаще встречаться с эффектом «поиска по смыслу», а не по словам.
Тем не менее несмотря на то, что YATI преподносится и по праву считается прорывной технологией, принципы работы поиска в Яндексе всегда формируются эволюционным, а не революционным образом. То есть, его обновление выполняется путем последовательного добавления новых факторов ранжирования к старым, а не радикальной сменой всех основ. Это означает, что поисковая оптимизация с приходом YATI не потеряла своей актуальности, а лишь требует некоторых корректировок ряда своих методов.
Управляющий директор группы компаний Яндекс Тигран Худавердян о внедрение алгоритма YATI в интервью на конференции YaС 2020
Яндекс — Технологии — Персонализированный поиск
Персонализированный поиск извлекает результаты и предлагает поисковые предложения индивидуально для каждого пользователя в зависимости от его интересов и предпочтений. Интернет-пользователи в России, например, набирая на Яндексе запрос [nevermind], могут с таким же успехом искать альбом Nirvana, как и желающие узнать, что означает это слово. Персонализированный поиск будет знать разницу и будет действовать соответственно.
Персонализированный поиск Яндекса основан на языковых предпочтениях пользователя, его истории поиска и его кликах в результатах поиска.История поиска пользователя сообщает поисковой системе, что в настоящее время может быть актуально для этого конкретного пользователя. Тот, кто ищет в Интернете бесплатное программное обеспечение, книги или музыку, скорее всего, заинтересуется этим типом контента как таковым. Те пользователи, которые часто посещают сайты на английском языке, могут по достоинству оценить результаты поиска именно на этом языке. Поскольку личные предпочтения со временем меняются, Яндекс учитывает только относительно свежую историю поиска за период в несколько месяцев, чтобы предлагать пользователям персонализированные результаты поиска и делать персонализированные поисковые предложения.
Поисковые подсказки
В отличие от обычных поисковых подсказок, персонализированные поисковые подсказки нацелены индивидуально на каждого пользователя сети. Угадывая, что искатель может найти, Яндекс предлагает потенциальные поисковые запросы на основе того, что искали в Интернете другие люди со схожими онлайн-предпочтениями. Поисковая система классифицирует каждого в одну из примерно 400 000 групп пользователей с более или менее общими интересами. Эта классификация гибкая — она меняется для каждого пользователя в соответствии с изменениями в его поведении в сети.
На практике пользователи Интернета повторяют около 25% своих поисковых запросов и часто нажимают те же результаты поиска. Такое поведение можно интерпретировать как переход на часто посещаемые веб-сайты или просмотр популярных или лично релевантных веб-документов. Яндекс предлагает пользователям ярлык для избранного контента, показывая им недавно сделанные запросы и их любимые веб-сайты в поисковых предложениях, когда они вводят первую букву своего нового запроса.
При выборе поисковых предложений для конкретного пользователя Яндекс также смотрит, какие поисковые запросы выполнялись ранее в течение всей поисковой сессии.Таким образом, поисковая система будет знать, что Кристофер Ллойд, вероятно, был бы лучшим предложением для поиска «c» в поле поиска, чем любой другой, если бы искатель раньше искал «Назад в будущее».
Персональные результаты
Помимо персонализированных поисковых предложений, Яндекс помогает своим пользователям достигать целей поиска, предоставляя им наиболее релевантные результаты поиска. При этом поисковая система использует специальный персонализированный алгоритм ранжирования, который она пересчитывает в соответствии с постоянно меняющимися интересами и языковыми предпочтениями каждого пользователя.
Алгоритм персонализированного ранжирования позволяет поисковой системе понять, насколько каждый из полученных результатов соответствует ожиданиям пользователя. Результаты поиска оцениваются и ранжируются в соответствии с их полезностью для конкретного пользователя сети. Один и тот же поисковый запрос, сделанный двумя разными людьми, вызовет одни и те же результаты, ранжированные по-разному в соответствии с их индивидуальными интересами. Заядлый геймер и любитель художественных фильмов, например, увидят в верхней части результатов поиска ссылки на веб-сайты, соответствующие их интересам, даже если они оба будут искать «Сталкер».
Алгоритм ранжирования Яндекс учитывает долгосрочные, среднесрочные и краткосрочные интересы каждого пользователя. Все это так или иначе влияет на результаты поиска. Долгосрочные интересы отражают язык, местоположение, демографические данные пользователя, постоянные потребности или предпочтения, в то время как краткосрочные интересы выражают то, что важно для пользователя прямо сейчас. Даже если вы более или менее всегда интересуетесь музыкой и фильмами, вы можете неожиданно обнаружить, что ищете компьютерную игру в Интернете, и это будет только один раз.На меняющиеся поисковые интересы приходится более половины всех поисковых запросов на Яндексе.
Чтобы быть в курсе долгосрочных интересов пользователей, Яндекс анализирует их историю поиска за два последних месяца и последнюю неделю. Краткосрочные интересы отслеживаются в режиме реального времени путем просмотра текущих поисковых сеансов, что позволяет поисковой системе отслеживать поисковые намерения пользователя. Когда кто-то с давним интересом к чтению выполняет поиск по названию популярного сайта со списком фильмов, Яндекс может с уверенностью предположить, что этот человек ищет экранизацию:
Яндекс использует собственную технологию доставки данных в реальном времени обработка запросов.Эта технология позволяет собирать данные и отправлять их поисковой системе каждые семь секунд, так что каждый клик или поиск, выполняемый пользователем на Яндексе, учитывается и напрямую влияет на результаты поиска.
Персонализированный поиск по умолчанию включен для каждого более или менее часто выполняющего поиск пользователя. Чем больше запросов сделает пользователь, тем лучшие результаты и предложения может предоставить поисковая система. Персонализированный поиск деактивируется, если не хватает поисковых запросов, на которых может быть основана персонализация, и активируется снова, когда начинают поступать запросы.Персонализацию также можно включить или отключить вручную в настройках поисковой системы.
В настоящее время персонализация на Яндексе лучше всего работает для поиска на русском языке, но по мере того, как поисковая система накапливает статистику поиска на других языках, другие пользователи также смогут в полной мере насладиться ею.
«Рейтинг без ссылок» — битва за лучшие органические результаты поиска
Возможно ли, что в будущем ссылки больше не будут фактором ранжирования? Некоторые крупные поисковые системы уже рассмотрели эту возможность.Мы проанализируем, как некоторые из крупнейших поисковых систем, Google и Яндекс (самая большая поисковая система в России), решали эту проблему.
Яндекс объявил, что российская поисковая система больше не будет учитывать ссылки как фактор ранжирования. По словам представителей «Яндекса», алгоритм «без ссылки» уже запущен, он учитывает только набор коммерческих ключевых слов и работает только в некоторых регионах.
Яндекс и их политика запрета ссылок
Прежде чем сказать, что то, что происходит в России, остается в России, позвольте мне сказать вам, почему это изменение в алгоритме Яндекса может иметь международное влияние.Российская интернет-индустрия может вас не интересовать, но, будучи таким крупным игроком, Яндекс может указать, в каком направлении движутся поисковые системы.
Кредит изображения: Forex.co
Для начала расскажу, что такое Яндекс и почему нас это должно волновать. Хотя почти в любой точке земного шара Google является синонимом Интернета, есть места, которые делают исключение из этого правила.Под «местами» я подразумеваю Россию, самую большую страну в мире.
В России Google занимает только 25 процентов рынка, в то время как Яндекс занимает около 60 процентов российского рынка поиска и является крупным игроком в Украине, Казахстане, Беларуси и Турции.
Яндекс внедряет новейшие передовые технологии поисковых систем, и если они пробуют подход «без ссылок», это может означать, что у них есть что-то стоящее.
Почему Яндекс отбрасывает ссылки как фактор ранжирования?
Российская коммерческая поисковая выдача в Яндекс и Google — одни из самых спамовых ключевых слов, где методы черной SEO используются для быстрого ранжирования сомнительных сайтов.Учитывая ситуацию, Александр Садовский, руководитель поисковой службы Яндекса, объявил в декабре прошлого года на Интернет-конференции по бизнесу в Москве, что алгоритм Яндекса будет «свободным от ссылок» примерно в этом году.
Представитель из России отметил тот факт, что это изменение касается только коммерческих запросов и будет работать только в Московской области. Это составляет примерно 10 процентов поисковых запросов Яндекса.
Подчеркивая важность Яндекса, давайте обратим внимание на решение ведущей российской поисковой системы не рассматривать ссылки для коммерческих запросов как фактор ранжирования.
Яндекс предлагает алгоритм, который может ранжировать веб-сайты по более чем 800 факторам, одновременно сводя на нет такие концепции, как стратегия построения ссылок, платные ссылки или ценность ссылки. Все это не имеет значения для Яндекса, когда он решает, какие сайты ранжировать.
Садовский также упомянул, что новый алгоритм будет исключать сигналы из социальных сетей. Сильное изменение, не так ли?
Это изменение означает, что ссылки больше не учитываются при ранжировании сайтов, и они используют только данные на странице и данные о поведении пользователей.
Будет ли Google удалять ссылки в ближайшем будущем?
В начале статьи я упоминал, что решение Яндекса касается не только России, но и всей международной поисковой индустрии, так как оно может урегулировать новую тенденцию в поисковой экосистеме. Мэтт Каттс в прошлом месяце обсуждал, не поигрался ли Google с идеей исключения обратных ссылок из своего алгоритма.
Вот часть его ответа:
У нас нет такой версии, которая была бы общедоступной, но мы проводили подобные эксперименты внутри компании, и качество выглядело намного хуже.Оказывается, что обратные ссылки, даже несмотря на некоторый шум и определенно много спама, по большей части по-прежнему являются действительно большим преимуществом с точки зрения качества результатов поиска. Итак, мы поэкспериментировали с идеей отключения релевантности обратных ссылок, и, по крайней мере, на данный момент, релевантность обратных ссылок все еще действительно помогает с точки зрения обеспечения того, чтобы мы возвращали самые лучшие, наиболее релевантные и самые актуальные результаты поиска.
Что такое замена ссылки в формуле рейтинга?
Считайте эти первые шаги экспериментами.Яндекс тестирует почву для возможной экстраполяции этого изменения на всю Россию, и Google действительно придерживается этой идеи. Возможно, в будущем эти попытки вдохновят остальные поисковики.
Значение ссылки равно нулю, создание ссылок бесполезно … но какое теперь значение? Что нужно учитывать при попытке получить хорошее место в поисковой выдаче?
По словам Александра Садовского, больше внимания следует уделять поведению пользователей на сайтах.Мы должны обратить внимание на факторы удобства использования, показатель отказов, возможность сканирования и качество трафика.
Однако, допустим, у меня есть новый сайт. Тогда что? Как мне вообще начать генерировать трафик с «политикой отсутствия ссылок»? Представитель Яндекса дает нам несколько советов:
- Рекламировать офлайн
- Купить интернет-рекламу
- Прямая почтовая рассылка
- Электронный маркетинг
Вся идея состоит в том, чтобы привлечь трафик на ваш сайт, чтобы Яндекс мог анализировать и интерпретировать этот трафик любыми доступными способами.Вероятно, они будут использовать данные внутренней аналитики, внешние данные от интернет-провайдеров и поставщиков трафика, чтобы отслеживать активность в Интернете и делать на их основе выводы. Маловероятно, чтобы они могли сканировать весь Интернет-трафик, чтобы увидеть, что делает каждый пользователь, но если они смогут сканировать большую его часть и экстраполировать из нее достоверную информацию, это может быть вдвое больше.
Связи будущего
Поскольку Google заигрывал с идеей отключения релевантности обратных ссылок, это могло означать, что ссылки могут терять свою актуальность.«По крайней мере, сейчас», как подчеркивает Каттс, входящие ссылки являются важным показателем, который очень помогает в получении релевантных результатов. По его словам, «по крайней мере, на данный момент актуальность обратных ссылок все еще помогает».
Google постоянно совершенствует свои алгоритмы и ищет способы улучшить результаты без влияния.
В начале поисковиков ссылки вообще не учитывались. Если мы совершим небольшое путешествие во времени, то увидим, что около 16 лет назад ранжирование основывалось исключительно на факторах страницы.
По мере того, как спамерство стало действительно легким, поисковые системы изменили правила игры и начали принимать во внимание ссылки, придавая им вотум доверия, поскольку ими было труднее манипулировать. По мере того, как ландшафт все больше и больше меняется, поисковые системы обсуждают различные показатели, чтобы сделать поиск более релевантным и обеспечить положительный опыт для своих пользователей.
По мере усложнения контекста обратные ссылки приобретают все большее значение.Трудно сказать, будут ли ссылки исключены из уравнения, но может случиться так, что ссылки, о которых мы знаем, сегодня могут измениться, и ссылки могут стать более сложными объектами. Сеть знаний может изменить концепцию ссылки, поскольку этот алгоритм пытается понять контент и соединить точки.
Однако на данный момент обратные ссылки являются важной частью головоломки SEO.
Даже если поисковые системы перестанут считать ссылки фактором ранжирования, они всегда будут важны для трафика, который они отправляют.
Заключение
С моей точки зрения, будущее поиска принесет новые революционные алгоритмы. Чтобы исключить ссылки как фактор ранжирования, поисковым системам потребуется другой мощный показатель, чтобы заменить его.
Ссылки как сигнал сообщают системе, кто о ком говорит. Вот почему они так важны. Единственным потенциальным показателем в настоящее время могут быть «данные интернет-трафика».
Если они пойдут по пути поведения пользователей для ранжирования сайтов, им потребуется доступ к действительно большому объему данных в Интернете, чтобы охватить большинство пользователей Интернета.Google уже получает данные о трафике от:
- Браузер Google Chrome.
- Google Search Engine (показатель отказов).
- Панель инструментов Google.
- Google Analytics.
- Проект Google Fiber ISP.
- Любая служба Google, которую вы включаете на свой сайт, может анализировать данные о вашем трафике.
- Google Бесплатный Wi-Fi.
- Google AdSense.
У них уже есть много данных о трафике. Даже в этом случае кажется, что этого недостаточно, чтобы иметь возможность экстраполировать его на всю сеть и ранжировать любой сайт на основе политики «фактора ранжирования без ссылок».
Без ссылок в качестве фактора ранжирования вам придется в основном сосредоточиться на том, как улучшить взаимодействие с пользователями на вашем сайте и предоставлять все более качественные продукты и сайты.
Не сосредотачивайтесь исключительно на Google как на основном источнике трафика! Диверсифицируйте… со ссылками или без них в качестве сигнала ранжирования.
В надежде, что лучшее еще впереди, как, по вашему мнению, будет выглядеть SEO-ландшафт без ссылок в качестве показателя ранжирования?
PRANK: Прогнозирование движения на основе ранжирования | от Самостоятельной команды Яндекса | Yandex Self-Driving Group
Прогнозирование траекторий движения других объектов в транспортном потоке имеет решающее значение для безопасного и комфортного вождения.Безопасность и комфорт пассажира в беспилотном автомобиле зависят от того, насколько хорошо он может решить задачу прогнозирования движения. Разница в потенциальных траекториях движения любого данного объекта почти бесконечна. И это делает эту проблему такой сложной. Эта крайняя степень вариативности вызвана, с одной стороны, неопределенностью намерения объекта: повернет ли он вправо или влево, или продолжит движение по тому же пути? С другой стороны, это еще больше усложняется неопределенностью в том, как это намерение может материализоваться: если повернуть направо, какую полосу движения он выберет?
К проблеме прогнозирования движения при самостоятельном вождении обычно подходят с двух сторон: прогнозирование намерения объекта или прогнозирование его будущей траектории.Подходы, основанные на намерениях, предоставляют полезную информацию для системы планирования движения беспилотного транспортного средства, но они не указывают точно, какие траектории может принять объект. Вот почему подходы этого типа часто полностью игнорируются в пользу методов прогнозирования траектории движения или используются в сочетании с этими методами.
Методы прогнозирования траектории движения могут прогнозировать либо наиболее вероятные будущие траектории объекта, либо распределение вероятностей по возможным траекториям объекта, либо набор распределений по местоположению объекта в каждый момент времени.Хотя эти методы потенциально могут уловить сложную природу будущего прогнозирования движения, стоимость сложного обучения и процедур вывода, задействованных в этом процессе, очень высока. И наоборот, относительно простая генеративная модель хороша для фиксации часто встречающихся моделей движения, таких как движение вперед или плавные повороты, но она не так хорошо работает в сложных сценариях.
Группа самостоятельного вождения Яндекса стремится разработать эффективный с вычислительной точки зрения метод, позволяющий преодолеть эти ограничения и прогнозировать сложные маневры с небольшими затратами.
Основная идея: метод оценки
Один из разработанных нами подходов к прогнозированию будущей траектории называется PRANK, что означает прогнозирование движения на основе ранжирования. Мы опубликовали документ, обобщающий наш метод на NeurIPS 2020. Ключевая идея этого метода заключается в том, что вместо того, чтобы синтезировать прогнозы нейронной сети с нуля, мы можем выбрать их из очень большого набора возможных траекторий движения, которые наблюдались система восприятия, работающая в нашем парке.Этот подход имеет несколько преимуществ по сравнению с традиционным генеративным моделированием:
- Прогнозируемые нами траектории на самом деле следовали некоторым реальным автомобилям, поэтому наши прогнозы имеют тенденцию быть физически правдоподобными;
- Наш набор траекторий содержит множество сложных маневров, которые модель может выбрать;
- Принято считать, что оценка решения часто в вычислительном отношении проще, чем его создание, поэтому наша нейронная сеть может решать более легкую задачу и, таким образом, может лучше обучаться.
Несколько качественных примеров работы PRANK можно увидеть на следующих изображениях. На этих изображениях мы показываем траектории из набора траекторий с прозрачностью, представляющей их апостериорные вероятности. Красный и синий цвета используются для отображения различных режимов в соответствии с нашей моделью, а зеленая линия показывает истинную траекторию полета. Можно видеть, что PRANK может успешно захватывать мультимодальные апостериорные распределения, в которых моды возникают из-за неопределенности в желаемом направлении движения или запланированной скорости в этом направлении.
Brave признан самым приватным браузером, а Microsoft Edge и Яндекс — наименее приватным благодаря телеметрии, нарушающей конфиденциальность
В новом исследовании профессора Дугласа Дж. Лейта из Тринити-колледжа в Дублине были протестированы различные браузеры на предмет утечек конфиденциальности, связанных с отправкой данных обратно на серверы их производителей. Brave стал самым приватным браузером, в то время как новые браузеры на основе хрома Microsoft Edge и Yandex оказались наиболее нарушающими конфиденциальность браузерами. Такой результат связан с использованием телеметрии, нарушающей конфиденциальность.Их телефонные звонки на дом и другие секретные методы отслеживания позволяют им отслеживать пользователей при установке браузера.
Организация исследования
Чтобы протестировать различные браузеры на предмет утечки данных телеметрии, исследователь разбил исследование на пять различных сценариев.
- При первом запуске браузеров после новой установки
- При закрытии и перезапуске браузера
- Когда пользователь вставляет URL-адрес в адресную строку
- Когда пользователь вводит URL-адрес в адресную строку
- Когда браузеры простаивают
По словам профессора Лейта, «В первой (наиболее закрытой) группе находится Brave, во второй — Chrome, Firefox и Safari, а в третьей (наименее закрытой) группе — Edge и Яндекс.”
Самый приватный браузер
Используя настройки по умолчанию, Brave оказался самым приватным браузером из всех тестов. По мнению проф. Лейт, Brave отправил наименьшее количество данных, используя готовые настройки. Веб-браузер не помечает данные телеметрии идентификаторами, которые могут позволить разработчику браузера отслеживать пользователей. Самый частный браузер также не отслеживает IP-адрес пользователя или посещенные веб-сайты.
Малые частные браузеры
Google Chrome, Firefox и Safari составляют 85% рынка браузеров.В отличие от наиболее приватных браузеров, этим браузерам удалось попасть во вторую категорию с точки зрения конфиденциальности пользователей. Браузеры помечают идентификаторы данных телеметрии, которые позволяют их создателям отслеживать пользователей при перезапусках браузера. Уникальные идентификаторы в данных телеметрии также позволяли Google, Mozilla и Apple отслеживать пользователей при переустановках браузера.
Кроме того, браузеры делили страницы, которые посещали пользователи, со своими создателями. Функция автозаполнения поиска в этих браузерах отправляет данные на внутренние серверы в режиме реального времени по мере ввода пользователем.Хотя эта функция по умолчанию включена автоматически, пользователи могут ее отключить. Firefox идет дальше и поддерживает открытый WebSocket, связанный с уникальным идентификатором. Этот сокет может получать push-уведомления, а также отслеживать пользователей.
Хотя Safari поставляется с неинвазивными настройками по умолчанию, его стартовая страница включает несколько сторонних служб отслеживания, таких как социальные сети. Браузер Safari позволяет сторонним службам, таким как Facebook и Twitter, устанавливать файлы cookie без согласия пользователя.
Профессор отметил, что, хотя пользователи могут отключать функции телеметрии в Firefox и вносить изменения в настройки конфиденциальности в Chrome и Safari, пользователям требуются специальные знания. Это требование сделало работу браузеров намного хуже по сравнению с Brave, самым приватным браузером.
Производители браузеров должны предоставить пользователям контроль над домашним процессом звонков. Предпочтительным вариантом является наличие неинвазивных настроек по умолчанию, предотвращающих отправку данных браузером. Это позволит многим пользователям, которым не хватает дополнительных знаний о настройке параметров конфиденциальности своих браузеров, оставаться защищенными по умолчанию.
Самые агрессивные браузеры, использующие телеметрию, нарушающую конфиденциальность
Профессор обнаружил, что наиболее важные функции телеметрии, нарушающие конфиденциальность, были в новом браузере Microsoft Edge и Яндекс. Функции телеметрии в этих браузерах не только используют уникальные идентификаторы, но и связаны с оборудованием устройства, а не с установками браузера. Эта форма отслеживания позволяет производителям браузеров отслеживать пользователей при перезапусках браузера, а также при новых установках. Кроме того, эта форма отслеживания позволила Microsoft и Яндексу связать отслеживание в браузере с различными приложениями, а также с идентификационными данными в Интернете.Яндекс отследил хеш серийного номера оборудования и MAC-адреса. Точно так же новый Microsoft Edge собирал UUID оборудования пользователей, который нельзя изменить без изменения оборудования.
«Насколько мы можем судить, это поведение не может быть отключено пользователями», — сказал профессор Лейт.
Кроме того, браузеры собирали и отправляли обратно информацию, введенную в функцию автозаполнения поиска.
Что еще хуже, профессор обнаружил, что браузеры отправляют назад страницы, не связанные с функцией автозаполнения поиска.Это было доказательством того, что у Microsoft и Яндекс были другие секретные методы отслеживания пользователей.
Знай своих 10 лучших пауков и ботов
Боты и ботнеты обычно ассоциируются с киберпреступниками, крадущими данные, личные данные, номера кредитных карт и т. Д. Но боты также могут служить добрым целям. Отделение хороших ботов от плохих также может иметь большое значение в том, как вы защищаете веб-сайт своей компании и обеспечиваете получение на ваш сайт того интернет-трафика, которого он заслуживает.
Большинство хороших ботов — это, по сути, поисковые роботы, рассылаемые с крупнейших мировых веб-сайтов для индексации контента своих поисковых систем и платформ социальных сетей. Вы ХОТИТЕ, чтобы эти боты навестили вас. Они приносят вам больше бизнеса! Отключение их как часть стратегии по блокировке плохих ботов — проигрышная стратегия.
Вот 10 самых важных хороших ботов, о которых вы должны знать сейчас, в порядке, обратном их вероятности посещения любого веб-сайта. Убедитесь, что ваша стратегия безопасности приветствует этих ботов (или, по крайней мере, знайте, почему вы решили их заблокировать)!
Узнайте больше о 10 лучших хороших ботах
1.Googlebot — Googlebot — это робот Google для сканирования веб-страниц (иногда также называемый «пауком»). Робот Googlebot использует алгоритмический процесс: компьютерные программы определяют, какие сайты сканировать, как часто и сколько страниц нужно получить с каждого сайта. Процесс сканирования Googlebot начинается со списка URL-адресов веб-страниц, созданного в результате предыдущих процессов сканирования и дополненного данными Sitemap, предоставленными веб-мастерами. Когда робот Googlebot посещает каждый из этих веб-сайтов, он обнаруживает ссылки (SRC и HREF) на каждой странице и добавляет их в свой список страниц для сканирования.Новые сайты, изменения существующих сайтов и мертвые ссылки отмечаются и используются для обновления индекса Google.
2. Baiduspider — Baiduspider — робот китайской поисковой системы Baidu. Baidu (китайский: 百度; пиньинь: Bǎidù) — ведущая китайская поисковая система для веб-сайтов, аудиофайлов и изображений.
3. MSN Bot / Bingbot — выведен из эксплуатации в октябре 2010 г. и переименован в Bingbot. Это робот для сканирования веб-страниц (тип интернет-бота), развернутый Microsoft для обеспечения Bing (поисковой системы).Он собирает документы из Интернета для создания индекса с возможностью поиска для Bing (поисковой системы).
4. Яндекс-бот — Яндекс-бот — это поисковый робот Яндекса. Яндекс — российская интернет-компания, которая управляет крупнейшей поисковой системой в России, с долей рынка в этой стране около 60%. Яндекс занял пятое место по величине поисковой системы в мире с более чем 150 миллионами запросов в день по состоянию на апрель 2012 года и более 25,5 миллионами посетителей.
5. Soso Spider — Soso.com — китайская поисковая система, принадлежащая Tencent Holdings Limited, которая хорошо известна своим другим творением QQ. По данным Alexa Internet, по состоянию на 13 мая 2012 года Soso.com занимает 36-е место по посещаемости в мире и 13-е место по посещаемости в Китае. В среднем на Soso.com ежедневно просматривается 21 064 490 страниц.
6. Exabot — Exabot — поисковый робот ExaLead из Франции. Компания ExaLead, основанная в 2000 году пионерами поисковых систем, компанией Dassault Systèmes, предоставляет программное обеспечение для поиска и единого доступа к информации.
7. Sogou Spider — Sogou.com — это китайская поисковая система. Он был запущен 4 августа 2004 года. По состоянию на апрель 2010 года он занимал 121 место в рейтинге Alexa в Интернете. Sogou обеспечивает индекс до 10 миллиардов веб-страниц.
8. Google Plus Share — Google Plus позволяет делиться рекомендациями с друзьями, контактами и остальной частью Интернета — в поиске Google. Кнопка +1 помогает инициализировать возможности мгновенного обмена в Google, а также дает возможность публично выразить свое одобрение.
9. Facebook External Hit — Facebook позволяет своим пользователям отправлять ссылки на интересный веб-контент другим пользователям Facebook. Частично то, как это работает в системе Facebook, включает временное отображение определенных изображений или деталей, относящихся к веб-контенту, таких как заголовок веб-страницы или встроенный тег видео. Система Facebook получает эту информацию только после того, как пользователь предоставит ссылку.
10. Google Feedfetcher — используется Google для захвата каналов RSS или Atom, когда пользователи решают добавить их на свою домашнюю страницу Google или в Google Reader.Feedfetcher собирает и периодически обновляет эти инициированные пользователями каналы, но не индексирует их в поиске по блогам или других поисковых службах Google (каналы появляются в результатах поиска только в том случае, если они были просканированы роботом Googlebot).
Хотите узнать больше о ботах?
Посетите эти ссылки, чтобы узнать больше о:
SE Ranking Connector
SE Ranking — это облачная платформа для специалистов по SEO и интернет-маркетингу, которая предоставляет полный набор инструментов для всестороннего анализа.
SE Ranking предлагает своим пользователям множество уникальных ценностных предложений, которые включают точные результаты ранжирования для большинства поисковых систем с расширенным анализом ключевых слов, группировку ключевых слов, возможность показывать, какая страница вашего веб-сайта ранжируется, и отслеживать результаты Google Local и карты .
Платформа полезна как для опытных гуру SEO и маркетинга, так и для новичков.
Проектов
- Сводная статистика — Получение сводной статистики проекта.Доступные показатели:
- Total up — Общее количество позиций, которые поднялись в поисковой выдаче
- Total down — Общее количество позиций, которые упали в поисковой выдаче
- Today Average — Средняя позиция на дату последней проверки рейтинга
- Среднее за вчера — Средняя позиция на дату предыдущей проверки рейтинга
- Топ 5 — Ключевые слова в ТОП 5
- Top 10 — Ключевые слова в ТОП 10
- ТОП 30 — Ключевые слова в ТОП 30
- Видимость — Прогноз движения
- Процент видимости — Видимость в%
- DA — Администрация домена Moz
- Яндекс X — Количество страниц в индексе Яндекса
- Обзор ключевых слов — Получите общую статистику по ключевым словам проекта.Также включает в себя широкий спектр специфических функций Google, которые верны или ложны в зависимости от появления в результатах поиска. Например: Сеть знаний, избранные фрагменты, популярные новости, изображения, видео, обзоры . Доступные показатели:
- Имя — Имя запроса Объем
- — Объем поиска
- Конкурс
- Рекомендуемая ставка — цена за клик
- KEI — Индекс эффективности ключевого слова
- Результаты — количество результатов по заданному ключевому слову в Google
- Тенденция ключевых слов — Получите статистику проверки рейтинга ключевых слов в проекте за указанный период времени.Доступные показатели:
- Дата
- Должность — Текущая позиция
- Изменение — изменение позиции по сравнению с предыдущей датой (может быть отрицательным)
- Цена — Цена рассчитана на основе настроек финансового отчета
- Paid Position — Позиция в платной поисковой выдаче Google
- Is Map — указывает, где была найдена позиция
- Положение карты — положение в блоке карт с включенной опцией « Отображать обычные результаты поиска и результаты поиска по картам ».
- Ключевые слова 10 самых популярных — Получите список 10 лучших результатов по ключевому слову, которое отслеживается в проекте.Доступные показатели:
- Position — Позиция в поисковой выдаче
- URL — URL страницы
- Алекса
- DA — Администрация домена Moz
- Обратных ссылок — Всего обратных ссылок
- Домены — Количество ссылающихся уникальных доменов
- Яндекс X — Индекс качества сайта от Яндекса, показывающий, насколько сайт конкурента полезен для посетителей
- Keyword Top 100 — Получите список 100 лучших результатов по ключевому слову, которое отслеживается в проекте.Доступные показатели:
- Position — Позиция в поисковой выдаче
- URL — URL страницы
Конкуренты проекта
- Keyword Trend — Получите статистику по позициям ключевых слов конкурентов, которые были добавлены в проект. Доступные показатели:
- Должность — Текущая позиция
- Изменение — изменение позиции по сравнению с предыдущей датой (может быть отрицательным)
- Цена — Цена рассчитана на основе настроек финансового отчета
- Paid Position — Позиция в платной поисковой выдаче Google
- Is Map — указывает, где была найдена позиция
- Положение карты — положение в блоке карт с включенной опцией « Отображать обычные результаты поиска и результаты поиска по картам ».
- Лучшие конкуренты — Найдите данные о сайтах, которые попали в ТОП-10 по каждому из отслеживаемых запросов.Доступные показатели:
- Domain — Домен конкурента
- Видимость — Видимость конкурентов
- Алекса
- DA — Администрация домена Moz
- Обратных ссылок — Всего обратных ссылок
- Домены — Количество ссылающихся уникальных доменов
- Яндекс X — Индекс качества сайта от Яндекса, показывающий, насколько сайт конкурента полезен для посетителей
- Список сайтов — выводит список всех сайтов в учетной записи.
Объем поиска
- Ключевые слова — Получите данные об объеме поиска для указанного региона и списка ключевых слов (одно ключевое слово в строке):
Аналитика
- SEO Potential — Позволяет оценить потенциальный объем трафика, стоимость трафика, количество новых клиентов.Доступные показатели:
- Traffic — Прогноз движения
- Стоимость трафика — Стоимость трафика
- Leads — Количество клиентов
- Цена лидов — Ориентировочная прибыль
- Доступные фильтры :
- Top N — Расчет на основе результатов Top N
- Цена — Ориентировочный доход от одного клиента
- Скорость — преобразование в продажи
Проекты Обратные ссылки
- Список — получить список обратных ссылок веб-сайта.
- Сводная статистика — Получите сводную статистику обратных ссылок веб-сайта.
Проекты Конкуренты
- Keyword Trend — Получите статистику по позициям ключевых слов конкурентов, которые были добавлены в проект.
- Лучшие конкуренты — Найдите данные о сайтах, которые попали в ТОП-10 по каждому из отслеживаемых запросов.
Аудит проектов
- Отчет — Получите отчет о проверке.Доступные показатели:
- Оценка
- Взвешенная оценка
- Страницы
- Предупреждения
- Ошибки
- Пройдено
- Обратные ссылки
- Индекс Google
- Индекс Bing
- Индекс Yahoo
- Индекс Яндекс
- Срок годности
- Статус — получить статус по результатам аудита. Доступные показатели:
- Время начала
- Время окончания
- Страницы
- Предупреждения
- Ошибки
- Пройдено
Доступ
Добавить от менеджера
Соединитель ранжирования SE доступен в диспетчере соединителей на верхней ленте:
Перейдите в категорию SEO и установите SE Рейтинг:
Ключ API
SE Ranking предлагает 14-дневную бесплатную пробную версию (без использования кредитных карт), когда вы можете протестировать все основные функции и SE Ranking Connector без каких-либо ограничений.
- Войдите в учетную запись пользователя.
- Зайдите в Настройки -> API.
- Нажмите кнопку «Создать ключ API».
- В панели задач коннектора SE Ranking нажмите «Настройки» и вставьте ключ:
Внести вклад
Этот набор соединителей находится на GitHub с открытым исходным кодом.
См.
Официальная документация
ресурса
Что такое SEO? 10 факторов ранжирования, которые вам необходимо знать
Поисковая оптимизация (SEO) — это создание или улучшение веб-сайтов, которые нравятся пользователям поисковых систем и роботам поисковых систем.Роботы должны учитывать технические факторы, а людям — факторы опыта. SEO часто требует консультаций с разработчиками и дизайнерами, ответственными за создание веб-сайта, и авторами, ответственными за контент. Результатом правильно выполненных SEO-рекомендаций на веб-сайте является увеличение количества пользователей, приходящих из поисковых систем (органический поисковый трафик).
В этой статье много говорится о Google, потому что им принадлежит ~ 92% мирового рынка поисковых систем. Хороший рейтинг в Google обычно означает хороший рейтинг в других поисковых системах, таких как Yahoo, Bing или DuckDuckGo.Могут быть некоторые незначительные отличия, если вы хотите хорошо ранжироваться в международных поисковых системах, таких как Яндекс (Россия), Baidu (Китай) или Naver (Южная Корея).
Какие факторы важны для ранжирования в поиске?
Начиная сверху, они расположены в порядке необходимости.
- Доступность для поисковых систем
- Уникальный Содержимое
- Ссылки (внутренние и внешние)
- Ключевое слово / тема фокус
- Пользовательское намерение
- User Experience (совместимость устройства, скорость, пользовательский интерфейс)
- Fresh содержание
- CTR (CTR)
- Опыт, авторитетность, надежность ( EAT )
- Поисковая система правила (не нарушайте правила)
SEO и как работают поисковые системы
Роботы
Робот поисковой системы — это программа, которая «сканирует» веб-страницы по ссылкам.«Бот» собирает (или индексирует) код на странице и связи (ссылки) между страницами. Структура слов и кода на странице дает контекст собранной информации.
SEO требует понимания перспективы робота поисковой системы. Другими словами, как поисковый робот просматривает веб-сайт или домен целиком? Какие метаданные есть на страницах? Как страницы связаны между собой? Рассмотрим, как поисковая система просматривает всю коллекцию веб-сайтов в Интернете.
Лучший способ понять, как работают поисковые роботы, — это использовать их самостоятельно! Существует несколько популярных вариантов, как локально устанавливаемых (Screaming Frog, Sitebulb, Xenu’s Link Sleuth), так и облачных (Botify, DeepCrawl, OnCrawl). Многие инструменты SEO (Moz, Ahrefs, SEMrush и т. Д.) Используют ботов для сканирования Интернета для создания своих наборов данных.
Люди
Google говорит: «Делайте страницы в первую очередь для пользователей, а не для поисковых систем». Это их принцип №1, и в этом есть смысл. Сочувствие — это ключ. Важно учитывать настроение, намерения и общий опыт пользователей при поиске в Интернете. Поисковый продукт Google популярен только потому, что он обеспечивает высококачественное содержание. Если страница бесполезна или не вызывает восторга у человека, она не будет иметь высокого рейтинга в современной поисковой системе.
Это практически все, что вам нужно знать! (Но продолжайте читать, если хотите узнать подробности.)
Алгоритмы
Поисковые системы используют собственные алгоритмы (множество маленьких алгоритмов, работающих вместе) для ранжирования результатов поиска на основе качества и соответствия страницы ресурса поисковому запросу.Вы можете изучать патенты, объявления и мнения экспертов, но Google держит свои алгоритмы в строжайшем секрете.
факторов SEO можно в общих чертах разделить на внутренние и внешние. Факторы на странице — это то, что владелец веб-сайта может контролировать, например, собственный веб-сайт или другие принадлежащие ему свойства, такие как бизнес-каталоги и социальные профили. Внешние факторы — это внешние сигналы, обнаруживаемые на веб-сайтах или в базах данных, которые влияют на поисковый рейтинг, например внешние ссылки с других веб-сайтов, настроения или собранные данные о поведении.
1. Доступность
Прежде всего, поисковым системам (SE) необходим доступ к веб-сайту и всем его страницам. Если сканер SE не может найти и проиндексировать страницу, у него нет шансов на ранжирование в результатах поиска. Должно быть легко понять, о чем страница. Есть несколько причин, по которым сканер поисковой системы может столкнуться с трудностями при доступе к странице или ее понимании:
- Robots.txt запретить
- Мета-теги (noindex, nofollow)
- Коды состояния ошибки (состояние не 200)
- Неверные канонические теги
- Неиндексируемый контент (javascript / flash / видео)
- Обходной бюджет
- Нет ссылок на страницу
Роботы.txt находится в корне вашего домена (domain.com/robots.txt). Он сообщает роботам (также известные как боты, поисковые роботы, пауки), какие страницы они могут сканировать, а какие — нет. Запрещение страницы не исключает ее из индекса поисковой системы. Запрещенные страницы могут по-прежнему отображаться в результатах поиска, если обнаружены по другим сигналам, например по ссылкам. Большинство ботов будут следовать этим директивам, хотя они и не обязаны это делать. Основные боты поисковых систем, такие как googlebot или bingbot, всегда должны следовать правилам. Вы можете проверить, доступны ли страницы с помощью инструмента тестирования роботов Google Search Console (требуется учетная запись GSC).
Тег noindex meta robots исключает страницу из поискового индекса. Этот тег указывает поисковому роботу не включать страницу в свой поисковый индекс, поэтому она не будет отображаться в результатах поиска. Страницы Noindex по-прежнему доступны для сканирования и по-прежнему передают значение ссылки через страницу. Некоторые недавние заявления представителей Google указывают на то, что страницы с тегами noindex со временем могут сканироваться реже, вплоть до того, что они не будут сканироваться.
Коды состояния .Код состояния 200 OK — это сервер, сообщающий запрашивающей машине, что запрос был успешным. Страница должна возвращать этот статус, чтобы поисковая система могла сканировать и проиндексировать ее. Другие коды включают 3xx (коды перенаправления, такие как 301, 301 и 307), 4xx (коды ошибок, такие как 404, 410) и 5xx (ошибки сервера, такие как 500, 503, 504). Каждое семейство кодов состояния включает несколько кодов для немного разных ситуаций. Не показывать 200 или 301 на ненайденной странице, показывать правильный статус, 404 не найден.
Канонические теги сообщают поисковым роботам, какая дублированная страница является правильным URL-адресом для индексации.Если канонический тег неверен, это вызовет путаницу для сканера поисковой системы. Канонические теги — это «подсказки» для Google, а не директивы, поэтому они могут использовать другие сигналы для выбора канонического, если возникнет путаница. Узнайте больше о причинах дублирования контента ниже в разделе «Уникальный контент».
Если контент зависит от процессов рендеринга на стороне клиента, процессов (javascript, flash) или не в текстовой форме (изображение, видео, аудио), поисковые роботы испытывают трудности с его пониманием.Современные поисковые системы, такие как Google, могут обрабатывать и отображать javascript, но для этого требуется огромное количество ресурсов в масштабе (весь Интернет). Из-за требуемых ресурсов рендеринг javascript выполняется как отдельный процесс в приоритетной очереди. Страница должна рассматриваться как важная страница высокого качества, чтобы иметь приоритет для рендеринга. Оптимальный способ обслуживания страницы для поисковых роботов — это визуализировать весь HTML-код на стороне сервера, прежде чем он попадет на клиентский компьютер (компьютер пользователя или веб-сканер).
Бюджет сканирования / скорость сканирования
Сканирование каждого веб-сайта в Интернете — сложная задача, требующая большого количества вычислительных ресурсов, поэтому Google должен расставить приоритеты или составить бюджет, как они тратят ресурсы каждый день. Скорость сканирования устанавливается для каждого веб-сайта в зависимости от размера, скорости, популярности и частоты ее изменений. Может быть просканировано больше страниц, если они загружаются быстрее или если страницы очень популярны. Со временем Google будет сканировать меньше страниц, если просканированные страницы имеют низкое качество или бесполезны для возврата в результаты поиска.Если робот Googlebot обнаруживает много ошибок или перенаправлений во время сканирования, это может отрицательно повлиять на скорость сканирования.
Когда поисковая система испытывает трудности со сканированием сайта или использует только страницы низкого качества, это может сделать сайт более низким в целом и отрицательно повлиять на все рейтинги в домене.
Нет ссылок на страницу
Сканер поисковой системы не найдет страницу, пока не найдет ссылку на нее. Если ссылок мало и они расположены далеко друг от друга или скрыты глубоко на сайте, эта страница может никогда не быть найдена.Узнайте больше об улучшении ссылок и структуры сайта в разделе «Ссылки» ниже.
2. Уникальный контент
Если одна и та же страница или в основном одна и та же страница может быть найдена по другому URL-адресу (любая небольшая разница), это считается повторяющейся страницей. Поисковые системы определяют лучший или самый оригинальный результат и отфильтровывают другие повторяющиеся результаты. Довольно много дублированного контента создается в Интернете как намеренно (кража, копирование и распространение контента), так и непреднамеренно (настройка CMS, настройки домена / сети).
Несколько распространенных случаев непреднамеренного дублирования:
- Параметры запроса / коды UTM / коды отслеживания
- Различные домены или субдомены, указывающие на одни и те же страницы (версии без www или с www) Протокол
- (https против http)
- Структура URL (завершающая косая черта или нет)
- Различная капитализация
Вышеупомянутые проблемы приводят к незначительным изменениям URL-адреса, который может по-прежнему загружать ту же страницу. Лучший способ исправить повторяющиеся страницы — это перенаправить на каноническую версию.Также рекомендуется использовать канонический тег; это указывает поисковой системе консолидировать значение канонического URL-адреса. Google отфильтровывает повторяющиеся URL-адреса; не наказываются . Если дублирующиеся URL-адреса не управляются правильно, значение ссылки может быть разделено на между различными вариантами URL-адреса.
Google очень хорошо определяет первоначального издателя контента. Если весь ваш веб-сайт состоит из контента, скопированного из других источников, вам будет сложно достичь каких-либо результатов в поисковой выдаче.У поисковых систем есть инструменты для выявления почти дубликатов, таких как копирование коротких фрагментов текста из различных источников (шинглинг) или небольшое изменение формулировки существующего контента (вращение). Тактика, предполагающая дублирование существующего контента, не сработает. Создайте что-нибудь уникальное (и ценное), если вы хотите получать трафик из поисковых систем.
3. Ссылки (внутренние и внешние)
Google изменил правила игры поисковой системы, ранжируя страницы по популярности (ссылки, указывающие на них), а не по упрощенным измерениям появления ключевых слов на странице.Ларри Пейдж, соучредитель Google, разработал систему подсчета очков под названием PageRank, которая измеряет важность веб-страницы по количеству ссылок, указывающих на нее во всемирной паутине. Каждая страница создает ценность (также известную как ценность страницы, ценность поиска, ценность ссылки, объем ссылок, авторитет страницы), определяемую количеством и качеством ссылок, указывающих на страницу.
Качество связи оценивается по:
- Авторитет страницы ссылки
- Актуальность
- Доверие
- Размещение на странице, контекст
- Якорный текст
- Количество остальных ссылок на странице
- nofollow
Значение ссылки — рекурсивно , потому что авторитет страницы в значительной степени определяется количеством и качеством ссылок, указывающих на нее.Другими словами, на авторитетных страницах есть ссылки на другие авторитетные страницы.
Релевантность ссылки важна по двум причинам: 1) релевантность страницы, на которую указывает ссылка, и 2) поддержание актуальности страницы с течением времени по отношению к ссылкам, указывающим на нее. Если владелец сайта радикально изменит или удалит страницу, существующие ссылки, указывающие на нее, потеряют всякую ценность, потому что теряется актуальность.
Доверие можно измерить по тому, насколько близко домен находится к набору доверенных доменов, уровню вредоносности, обнаруженной в домене, и настроениям пользователей в обзорах, найденных на других сайтах.
Размещение ссылки на странице может определять ее относительную ценность (нижний колонтитул = низкий; поле повторяющейся ссылки на каждой странице = низкое; контекстная ссылка в статье = высокое; список связанных ссылок = среднее; ссылки в основной навигации = помогает указать структуру сайта или организацию).
Текст привязки — это текст, на который имеется ссылка. Эти ключевые слова помогают поисковой системе лучше понять, о чем связана страница.
Количество ссылок на странице имеет значение, поскольку значение страницы делится между всеми ссылками на странице.Если страница имеет теоретическое значение 6 и имеет три ссылки на ней, то значение 2 (минус коэффициент демпфирования) проходит через каждую ссылку на целевую страницу. PageRank значительно сложнее, но это простой способ понять основную концепцию.
Nofollow — это метатег, который сообщает поисковым системам не доверять ссылке, что означает, что значение ссылки не будет проходить через нее. Google недавно изменил свое руководство по nofollow, указав, что он рассматривается как «подсказка», а не как директива, поэтому существует вероятность того, что некоторые ссылки nofollow могут использоваться для ранжирования.
Структура сайта (внутренние ссылки)
Структура сайта определяется настройкой внутренних ссылок от домашней страницы к тематическим страницам, статьям или конечным страницам и везде. Основная навигация сайта, нижний колонтитул, контекстные ссылки, темы, типы контента, архив и разбивка на страницы — все это влияет на структуру сайта. Значение внешней ссылки может указывать на сайт на любой странице, но часто на главной странице сайта есть больше всего внешних и внутренних ссылок, указывающих на нее. Значение ссылки передается по всему сайту через внутренние ссылки, поэтому важно, чтобы внутренние ссылки распределяли значение ссылки равномерно по всему сайту, особенно по страницам с контентом, которые могут хорошо ранжироваться в поисковой выдаче.
Думайте о структуре сайта как о «уровнях» или кликах за пределами главной страницы, также называемых глубиной сканирования. Используйте поисковый робот для проверки глубины сканирования , чтобы определить, есть ли у вас страницы, которые находятся далеко от домашней страницы или других точек входа. Узнайте больше о глубине сканирования и одном из способов ее улучшения с помощью карт сайта XML и HTML.
Страницы веб-сайта с наибольшим количеством внутренних ссылок будут рассматриваться как самые важные страницы на этом сайте. Убедитесь, что вам понятно, какие страницы у вас самые важные. Убедитесь, что самые важные для вас страницы также являются наиболее важными для вашей аудитории.
4. Ключевое слово / тематическая направленность
Поисковые системы должны понимать суть страницы. Это начинается с ключевых слов. Ключевое слово — это слово или фраза, представляющие концепцию. Поисковые системы публикуют ежемесячные объемы поиска по ключевым словам, чтобы помочь создателям контента понять, что ищут люди.
Ранжировать по ключевым словам с большим объемом поиска сложно, но если вы не настроите таргетинг на некоторый объем поиска, вы будете писать то, что никто не ищет.
Keyword research также включает анализ конкурентов. Проверьте страницы результатов поисковой системы по ключевым словам, которые вы исследуете! Если вы нацелены на большое количество ценных ключевых слов, вы, вероятно, столкнетесь с жесткой конкуренцией. Знайте, что вам придется создать что-то лучше, чем страницы с самым высоким рейтингом.
Как бизнес, вы можете подумать, что хотите ранжироваться по какому-то ключевому слову с большим объемом, но если вы не понимаете намерение пользователя в запросе (см. Ниже), вы могли бы приложить много усилий только для того, чтобы привлечь людей, которые не нужно и не хочу ваше решение.
Используйте свое исследование, чтобы определить целевое ключевое слово и использовать его вариации в заголовках и во всем контенте. Убедитесь, что ваше письмо звучит естественно, а не роботизировано и не повторяется. Не пытайтесь заполнить страницу нерелевантным или неестественным языком только для того, чтобы втиснуть туда ключевые слова.
Основываясь на ключевых словах, тема включает несколько ключевых слов и подтем. На заре поисковых систем было важно сосредоточиться на определенном ключевом слове для каждой страницы, но с развитием обработки естественного языка поисковые системы лучше понимали концепцию страницы и значение запроса.Поисковые системы сканировали огромные массивы текста, чтобы построить объекты, чтобы понять, как слова и предметы связаны, сгруппированы и связаны друг с другом. Страница теперь может ранжироваться по сотням или тысячам ключевых слов, даже если они специально не упомянуты на странице.
Одним из факторов, влияющих на рейтинг страницы, является то, насколько полно она охватывает тему. Поймите подтемы, которые охватываются (или должны быть освещены) по теме, и убедитесь, что у вас есть наиболее полная страница.
Обратное утверждение состоит в том, что страница не должна охватывать множество тем.Один URL-адрес должен представлять одну концепцию или тему (включая подтемы), чтобы страницу можно было рассматривать как ресурс или ответ на поисковый запрос. Поисковой системе будет сложно понять, о чем страница, если на одной странице или URL-адресе освещено много разных тем.
Инструменты исследования ключевых слов
Ознакомьтесь с этим списком бесплатных инструментов исследования ключевых слов и еще одним списком лучших инструментов для поиска ключевых слов.
5. Намерение пользователя
Явное и подразумеваемое намерение
Намерение пользователя — это конкретная цель, которую пользователь имеет в виду при использовании поисковой системы.Намерение может быть явным или подразумеваемым. Если в запрос включено намерение, например «купить настольные игры», это явное или явное намерение пользователя совершить покупку.
Многие запросы имеют подразумеваемое намерение. Рассмотрим запрос: «пятно от красного вина». Вероятно, кажется очевидным, что кому-то нужна информация о том, как очищает пятно от красного вина. Это подразумеваемое намерение, и вы можете увидеть это в результатах поиска.
Машинное обучение сообщает о намерении пользователя
Google использует машинное обучение для больших наборов данных, чтобы понять подразумеваемое намерение в масштабе.Отслеживая, на какие результаты люди чаще нажимают, они могут предсказать намерения пользователей, которые явно не указаны.
Понять, как Google интерпретирует намерения пользователя, так же просто, как проверить результаты поиска. Например, выполните поиск по запросу «настольные игры», и вы увидите магазины, продающие настольные игры, потому что этот запрос имеет большое намерение сделать покупки или покупки. Обратите внимание, что есть несколько списков рейтинга «лучших настольных игр», потому что запрос также подразумевает, что пользователь еще не решил, какую игру купить.
Тестируйте варианты запросов и просматривайте результаты, чтобы лучше понять различные намерения пользователей. Если вы хотите, чтобы ваша веб-страница ранжировалась по запросу, вы должны соответствовать намерениям основного пользователя.
Делай, знай, иди
Google называет самые простые намерения пользователей в своих Рекомендациях по оценке качества как «Делай, знай, иди»:
- Do: Transactional (хочу сделать или что-то купить)
- Знайте: информационное (что это? Или как это работает?)
- Go: Навигация (где находится веб-сайт? Где что-то находится? Также называется намерением «веб-сайт»)
Дополнительные функции SERP отображаются, когда намерение для функции высокое.Поисковые запросы, указывающие на потребность в местном предприятии или достопримечательностях рядом с поисковиком, получают «местное намерение» и показывают пакеты карт Google. Поиск по запросу «лабораторные щенки» обычно показывает заметный набор изображений, потому что намерение для фотографий велико. Многие запросы имеют большое значение для видео, и отображается карусель видео. Понимание того, где это происходит, может помочь разработать успешную контент-стратегию.
Переломное намерение
Во многих случаях запрос может иметь много разных целей, это называется «раздробленное намерение».Google представит различные намерения пользователя по нечеткому запросу. Чаще всего это встречается по широким запросам, таким как «собака», где вы увидите руководства и вопросы по уходу за собаками, видео с собаками, список пород собак и общую информацию о собаках.
Сравните тип результатов для аналогичного запроса «щенки», где пользовательское намерение больше связано с усыновлением щенка и милыми фотографиями.
Усовершенствования в области обработки естественного языка
Чтобы понять намерения пользователя, машина должна сначала понять, как слова в запросе соотносятся друг с другом.Обработка естественного языка (NLP) позволяет компьютерам понимать субъект, предикат и объект (SPO), а также более сложные отношения слов, значения, модификаторы и сущности. Подобный набор слов в другом контексте или порядке может означать совершенно разные вещи:
- Автомобиль выезжает из сарая.
- Дерево сбросило листья.
Запуск Google алгоритма Hummingbird помог им лучше понять «разговорный поиск» или семантический поиск. Это позволяет поисковой системе понять смысл ключевых слов или фраз через контекст и логику.
Сеть знаний Google позволила им понять, как вещи (или сущности) связаны между собой. Это база данных о людях, местах и предметах, о том, как они связаны друг с другом и что эти отношения означают. Google объявил о запуске своего тематического уровня в своей сети знаний, который «разработан для глубокого понимания тематического пространства и того, как интересы могут развиваться с течением времени по мере роста осведомленности и опыта».
Google может понять, чего хочет пользователь, когда он набирает такой запрос, как «Что это за фильм о тигре в лодке?» Google может понять структуру отправки и применить свой график знаний к фильмам и объектам (вещам) в фильмах.
Создание контента, предназначенного для выполнения намерений пользователя, — это ставить пользователя на первое место. Создавайте контент, чтобы удовлетворить потребности искателя, а не ваши. Люди положительно отзываются, когда вы помогаете им в достижении их целей!
6. Пользовательский опыт (UX)
Каков пользовательский опыт по отношению к системе, веб-сайту или приложению?
User Experience — это все чувства и восприятия, которые возникают у пользователя при использовании системы или продукта. Он включает в себя каждый шаг, который пользователь должен предпринять, чтобы взаимодействовать с системой или манипулировать ею для успешного достижения цели.Пользовательский опыт — это восприятие, а восприятие субъективно. У каждого человека есть уникальный набор личных переживаний, которые определяют то, как они взаимодействуют с миром, но создание отличного пользовательского опыта связано с определением общих потребностей и практик конкретных групп пользователей. Целью должно быть создание узнаваемого и отвечающего ожиданиям опыта. Идеальный опыт работы с системой или продуктом — ясный, простой в использовании, эффективный, удобный и, в конечном счете, полезный.
Общие советы пользователя
Не изобретайте велосипед, используйте простые узнаваемые элементы.Убедитесь, что важные элементы видны. Выделите, где необходимо внимание. Создавайте организационные иерархии от простого к сложному или от широкого к конкретному. Поймите различные цели, пути и задачи, которые пользователи могут захотеть выполнить. Не ставьте блокираторы на пути к выполнению задачи, такие как блокирование или отвлечение читателя от основного содержания на странице. Визуализируйте шаги, необходимые для выполнения задачи, найдите способы сократить количество шагов и ускорить выполнение. Уменьшите трение, возражения или проблемы, которые могут замедлить или лишить пользователя мотивации выполнить задачу.
Чем отличается пользовательский опыт
Пользовательский опыт НЕ заключается в том, чтобы заставить пользователя делать то, что вы от него хотите. Если единственная цель — подтолкнуть людей к регистрации или покупке, это может не привести к положительному опыту пользователей. Поймите, чего хочет пользователь, дайте ему это. Решайте свои маркетинговые цели, устраняя препятствия, расширяя возможности, предлагая соблазн и предоставляя знания и контекст.
Как оценить «опыт поиска»
Само собой разумеется, что поисковые системы заботятся об опыте пользователя.Найдите время, чтобы лично увидеть, как выглядит поисковый процесс для вашей аудитории: введите поисковый запрос, найдите релевантный результат, посетите страницу, отсканируйте и прочитайте посещенную страницу, выполните задачу на странице и найдите связанный контент на тот же сайт, который соответствует намерениям пользователя.
Помолвка, пожалуй, самый мощный сигнал
Помолвка / inˈɡājmənt / : акт привлечения: состояние занятия \
Вовлеченность: привлекает внимание или интерес,
Вовлечена: участвует в деятельности
Мерриам-Вебстер
Привлекает самый мощный и привлекательный контент.Это вызывает интерес и активность. Каковы некоторые качества , привлекающего контент веб-сайта ?
- Интерактивный
- Интересное
- Уникальный
- Визуально приятный
- Легко читается
- Выполняет задания
- Решает проблемы
- восхитительный
Создавайте контент, с которым пользователи могут взаимодействовать, нажимать, выбирать параметры, настраивать их вид, открывать для себя и узнавать больше. Статья может привлекать внимание, или в нее могут быть добавлены привлекательные элементы, но постарайтесь выйти за рамки просто статьи.Подумайте о других типах контента, таких как викторины, опросы, опросы, инструменты, калькуляторы, интерактивная инфографика, конкурсы, задачи, награды и обсуждения (форум, комментарии, живые блоги, AMA).
Люди, естественно, захотят делиться интересным и интересным контентом со своими друзьями и коллегами. Контент с высокой вовлеченностью всегда будет вызывать больше сигналов усиления (ссылки и репосты).
Скорость веб-сайта — это часть пользовательского опыта
Время загрузки веб-страницы также является фактором взаимодействия с пользователем.Большое внимание было уделено оптимизации скорости веб-сайта с тех пор, как Google объявил, что это легкий фактор ранжирования в 2010 году. В обновлении 2018 года учитывалась скорость мобильной веб-страницы, тогда как раньше рассматривалась только версия сайта для настольных ПК.
Google продолжает выделять обновление «затронет только страницы, которые обеспечивают самую медленную работу пользователей, и затронет только небольшой процент запросов … Намерение поискового запроса по-прежнему является очень сильным сигналом, поэтому медленная страница может по-прежнему занимать высокие позиции, если у него отличный, релевантный контент. ”Тем не менее, оптимизация скорости на веб-сайте может помочь в привлечении пользователей, и важность этого фактора ранжирования со временем будет расти.
Если вам интересно, почему ваши страницы не имеют высокого рейтинга, не начинайте с обвинения в скорости страницы. Гораздо более вероятно, что вам нужно создавать более качественный контент, отвечающий намерениям пользователей.
Инструмент Google PageSpeed Insights проверяет, насколько быстры ваши страницы, и определяет места, где можно повысить скорость. Еще один отличный инструмент для тестирования производительности веб-сайта — WebPageTest.
Страницы ошибок влияют на работу пользователей
Неработающие ссылки создают неудобства для пользователей. Проверяйте свою страницу после публикации, не создавайте случайно плохие ссылки. Интернет — это постоянно меняющаяся система, и через несколько лет страницы могут быть закрыты или повреждены.
Google Search Console сообщает об этом как об ошибках покрытия индекса, или вы можете сканировать свой собственный сайт, чтобы обнаружить любые неработающие ссылки, внутренние или внешние. Не позволяйте своему сайту прийти в упадок, проверяйте ссылки и исправляйте их, если они перестают работать.Поддерживайте свои страницы в течение длительного времени и настройте перенаправление при изменении собственных URL-адресов. Это поможет уменьшить количество ошибок, а также сохранить ценность внешних ссылок, созданных сайтом.
Факторы юзабилити мобильных устройств
Google понимает, что люди используют разные устройства для поиска в Интернете. Веб-сайты должны быть созданы так, чтобы они хорошо работали как на больших, так и на маленьких экранах. В 2015 году поисковые запросы с мобильных телефонов превысили поисковые запросы с компьютеров, составив примерно 60/40 (мобильные / настольные).В том же году Google запустил «обновление для мобильных устройств», которое повысило рейтинг веб-сайтов с хорошими мобильными возможностями в мобильном поиске.
Совсем недавно, в 2018 году, Google перешла на «индексирование в первую очередь с мобильных устройств», при котором они сканируют и индексируют веб-сайты с помощью агента для смартфона, чтобы лучше понять работу страницы на мобильном телефоне.
Хотя общий объем поиска выше для мобильных устройств по сравнению с настольными компьютерами, для многих веб-сайтов B2B настольные / портативные компьютеры по-прежнему представляют большую часть их трафика, потому что люди, как правило, используют ноутбуки и настольные компьютеры с большими экранами на своем рабочем месте.Стоит проверить, какие устройства чаще обращаются к вашему сайту. Если вы используете Google Analytics, вы можете найти этот отчет в Аудитории> Мобильные> Обзор.
Google рекомендует адаптивный веб-сайт, который растягивается и подходит для мониторов разного размера, сохраняя при этом один и тот же код страницы для всех. Адаптивный сайт будет использовать CSS для изменения стиля шаблона страницы в разных окнах просмотра или ширине экрана.
Самое важное, что нужно понимать при индексировании с ориентацией на мобильные устройства, — это поддержание паритета между мобильной и настольной версиями.Google может упускать важную информацию, если ваша мобильная страница предоставляет другой интерфейс или показывает меньше контента или ссылок, чем версия для ПК. Обязательно следуйте всем рекомендациям Google по индексации с ориентацией на мобильные устройства.
7. Свежее содержание
Чаще всего люди ищут недавно опубликованный контент по определенной теме. Старый контент со временем устаревает, ссылки устаревают, идеи обновляются, а прогресс продолжается. Это не означает, что старый контент является негативным, но веб-сайт, который не публикует новый контент в регулярном темпе, будет рассматриваться как менее авторитетный по сравнению с веб-сайтом, который публикует новый качественный контент в быстром темпе.
Последние новости!
Как и в старые времена, издатель, который узнает о новостях, завоюет авторитет своей аудитории. Google разработал свои алгоритмы специально для того, чтобы замечать и ценить свежий контент.
Веб-сайты, которые могут поддерживать высокий уровень производства контента при сохранении качества, естественно, зарекомендуют себя как авторитет в своей области. Будьте первым, кто публикует новые разработки, извлекайте выгоду из тенденций, происходящих прямо сейчас, потому что завтра это будет что-то новое.
Даже если ваш бизнес не связан с публикацией новостей, вы можете воспользоваться преимуществами актуальных тем, согласовав свой контент с последними новостями, сезонными / праздничными тенденциями или крупными событиями. Что касается последних двух: сезонных и событийных, планируйте свой контент заранее и будьте готовы к публикации в нужное время.
Сообщество FTW!
Некоторые веб-сайты создают свежий контент, поощряя пользовательский контент (UGC). Это могут быть отзывы пользователей, рейтинги, видео или вопросы и ответы. Сайты социальных сетей и форумы создают много пользовательского контента.Веб-сайты, которые ценят свое сообщество и поощряют взаимодействие, получают естественный рост SEO. Google ценит участие, потому что люди его ценят.
Поддерживать активное сообщество непросто, но вот несколько советов:
- Обязательно отслеживайте и удаляйте спам.
- Решайте споры и поддерживайте позитивное взаимодействие.
- Пользователи, как правило, более заинтересованы в том, чтобы присоединиться к уже идущему онлайн-обсуждению, поэтому вам нужны участники обсуждения.
- Найдите способы «посеять» увлекательные дискуссии.
- Определите «опытных пользователей» в вашем сообществе, которые часто публикуют сообщения, хотят помочь и начинают беседы. Развивайте отношения с активными пользователями и дайте им возможность поддерживать дружелюбное сообщество.
Алгоритм свежести
Google объявил в 2011 году, что у них есть алгоритмы, которые определяют «запрос заслуживает свежести» (QDF). Это означает, что они могут использовать математические модели для определения запросов, в которых недавно опубликованный контент должен иметь преимущество перед более старым контентом.
8. CTR
.Что такое CTR?
CTR — это процент пользователей, которые нажимают на ваш результат поиска после того, как он им показан. Впечатления — это количество раз, когда был показан результат. Формула CTR:
. Клики ÷ Показы = CTR
Заявление об ограничении ответственности: представители Google неоднократно заявляли, что CTR не является сигналом ранжирования. Они сказали, что это не прямой фактор ранжирования , но может ли это быть косвенный фактор ранжирования ? Это действительно важно?
Логично, что Google не может использовать CTR в качестве прямого фактора ранжирования, потому что было бы слишком легко использовать этот сигнал: просто наймите миллионы людей, чтобы они нажимали на результаты поиска! Спойлер, это не работает.
Даже если рейтинг кликов никак не учитывается Google, ваш веб-сайт все равно зависит от людей, нажимающих на него. Клики — это трафик. Google использует эти данные, чтобы каким-то образом информировать свои результаты поиска, и если вы можете найти способы улучшить свой CTR, вам следует делать это, чтобы улучшить впечатление от вашего сайта.
Повышение CTR
Если вы хотите повысить рейтинг кликов, вам нужно улучшить то, как ваша страница будет отображаться в результатах поиска. Есть несколько способов сделать это:
- Улучшения мета-заголовка и мета-описания
- Выберите короткие, удобочитаемые URL-адреса
- Свежесть, дата публикации
- Структурированные данные для получения богатого результата
- Отображение в других функциях поиска, фрагментах, блоках знаний, пакетах или каруселях
- Используйте актуальные, привлекательные изображения
Позиция или ранг в результатах поиска является наиболее важным фактором при определении CTR.
Средний CTR можно определить, просмотрев большие наборы данных. Распределение CTR в поисковой выдаче — это, как правило, один и тот же запрос для запроса, но есть некоторые различия между мобильными и настольными устройствами и между разными типами запросов. Из-за множества различных функций поиска, брендированных и небрендовых, может быть сложно определить средний CTR. AdvancedWebRanking — это отличный ресурс, который вы можете использовать для определения среднего CTR по позиции в рейтинге для различных ситуаций.
Если посмотреть на общий органический CTR, интересно посмотреть, как быстро падает CTR:
Рейтинг | CTR |
1 | 30% |
2 | 13% |
3 | 7% |
4 | 4% |
5 | 3% |
6 | 2% |
7 | 2% |
Продвинутый веб-рейтинг
Если вы можете превзойти средний CTR для своего рейтинга, это лучший сценарий.Это один из многих факторов, которые могут указывать на то, что ваш результат заслуживает более высокого рейтинга.
Есть несколько исследований и наблюдений за последние годы, которые коррелируют CTR с более высоким рейтингом. Все приходят к выводу, что усилия по повышению CTR трафика стоят того.
9. Опыт, авторитетность, надежность (E-A-T)
E-A-T — это концепция, впервые использованная Google в ее Руководстве по оценке качества (QRG). Этот документ используется для помощи командам экспертов Google по оценке качества, которыми руководят сторонние компании.Оценщики качества обучены оценивать и оценивать качество веб-страниц по отношению к поисковому ранжированию.
Рейтинги качества используются не для создания алгоритмов Google, а для тестирования последних изменений алгоритмов. По сути, они описывают, как быть качественной веб-страницей. Это обязательные к прочтению рекомендации, которые помогают нам понять систему ранжирования, которую хочет создать Google.
E-A-T пересекается с множеством других факторов, перечисленных выше, это важная концепция, которую нужно понимать для SEO, даже если она не является прямым фактором ранжирования.У Google нет оценки E-A-T, но работа над улучшением в этих областях приведет к более качественному контенту, который получит более высокие оценки в тысячах «детских алгоритмов», работающих вместе.
Google объясняет, как они используют сигналы E-A-T, в своем техническом документе «Как Google борется с дезинформацией в Интернете» (см. Стр. 12, «Как алгоритмы Google оценивают опыт, авторитет и надежность?»).
Многие из основных обновлений алгоритмов Google направлены на повышение ценности качественного контента.Еще в 2011 году, когда было выпущено их обновление Panda, качество контента стало в центре внимания. Google рекомендовал подумать над несколькими вопросами, связанными с E-A-T. Google обновил свои рекомендации свежими вопросами о качестве в недавнем сообщении 2019 года об обновлениях основного алгоритма. Это должно быть важно. Изучите эти вопросы и критически взгляните на свой веб-сайт. Возможно, вам придется попросить кого-нибудь ответить на них за вас.
Экспертиза
Google знает, что люди ищут контент экспертного уровня.Об опыте можно частично судить по тому, как веб-сайты ссылаются на ваш контент (ссылки). Алгоритмы могут оценивать компетентность автора в определенных темах из-за того, сколько автор пишет по теме и популярности этих статей. Продуктивному, опытному автору может быть легче получить рейтинг в поисковой выдаче, чем больше он будет писать. Обязательно предоставьте поисковой системе надежную информацию об авторах, квалификации, опыте, социальных сетях и контактной информации. В зависимости от доступной информации можно связать автора со всем контентом, который он написал на разных веб-сайтах.
Есть некоторые темы, которые, по мнению Google, требуют очень высокого уровня знаний для хорошего ранжирования. Они называют эти темы темами «Ваши деньги или ваша жизнь» (YMYL). Сайты, которые предоставляют юридические, медицинские или финансовые консультации, будут соответствовать более высоким стандартам. Более поздние обновления алгоритмов были сделаны для усиления этого сигнала, особенно для веб-сайтов, публикующих информацию о здоровье.
Авторитетность
Авторитет — это в основном ссылки. Чем больше других веб-сайтов ссылается на какой-либо сайт, тем более популярным этот сайт будет казаться Google.Это похоже на любой конкурс популярности среди людей, авторитет имеет тенденцию расти, когда о человеке упоминают.
Надежность
Измерение доверия в Интернете может быть непростой задачей, но есть несколько способов, с помощью которых поисковая система может использовать данные для обеспечения надежности. Близость к надежному набору веб-сайтов может использоваться для измерения надежности. Идея заключается в том, что надежные сайты обычно ссылаются на другие надежные сайты, а ненадежные сайты не получают ссылок с надежных сайтов.Набор надежных веб-сайтов можно выбрать вручную или с помощью алгоритма — какие характеристики являются общими для сайтов, которые, как мы знаем, заслуживают доверия?
Другой сигнал, который может измерить поисковая система, — это настроение. На ненадежном сайте может быть много ссылок, указывающих на него, но контекст вокруг этих ссылок может быть очень негативным. Старая пословица по-прежнему звучит правдоподобно, любая реклама — это хорошая реклама, но Google предпринял попытки обесценить веб-сайты, которые продвигают негативный или мошеннический опыт.
Что такое качественный контент?
Когда мы говорим о типе страницы, которая занимает высокие позиции в поисковых системах, часто используются слова «качественный контент», но что именно мы подразумеваем под качественным контентом? Если принять во внимание все 9 приведенных выше факторов, они охватывают большую часть того, что считается качественным контентом.
- Техническое качество — доступно, без ошибок, без ошибок
- Уникальный — полезный и информативный контент, а не дублирующий контент
- Ссылки — лайки одобрения, показатели качества
- Тематическое освещение — всестороннее понимание подтем
- Будьте источником, который решает проблему лучше всего
- Сделайте впечатления приятными — интересный, хороший дизайн, никаких нежелательных впечатлений
- Новый контент, обновленный контент, своевременный, свежий, высокий уровень производства с течением времени
- Заставляет людей нажимать и продолжать нажимать, чтобы перейти к более
- Уровень эксперта — создан автором с опытом работы по теме, цитаты, ссылки
Если вы хотите глубже погрузиться в эту тему, прочтите этот невероятный ресурс о качественном содержании от Патрика Стокса.
10. Рекомендации для поисковых систем
Google владеет 92% международного рынка поисковых систем, поэтому следование их руководящим принципам имеет первостепенное значение. Так все подытоживают, не нарушайте правил, иначе вас нет!
Мы уже рассмотрели большинство этих общих рекомендаций выше, но стоит посмотреть, как Google говорит об этом. Это краткая версия руководства Google для веб-мастеров:
- Помогите Google найти ваши страницы
- Ссылка на страницы
- Используйте карту сайта , XML и HTML подходят
- Ограничьте количество ссылок на странице до разумного (~ 2000 максимум)
- Запрещает сканирование бесконечного пространства роботом Googlebot
- Помогите Google понять ваши страницы
- Создание информационных страниц (текст, форматирование, метаданные)
- Подумайте о ключевых словах, которые люди будут использовать для поиска ваших страниц.Включите их в заголовок, а атрибуты alt должны быть описательными, точными и конкретными
- Дизайн веб-сайта с четкой иерархией или организацией
- Следуйте лучшим практикам для изображений, видео и структурированных данных
- Убедитесь, что ваша CMS (WordPress, Wix и т. Д.) Создает страницы и ссылки, которые поисковые системы могут сканировать.
- Убедитесь, что ресурсы сайта, влияющие на отображение страницы (JS, CSS), доступны для сканирования
- Убедитесь, что сканерам поисковых систем не нужно обрабатывать множество идентификаторов сеансов или параметров URL.
- Сделать важным содержимым видимым по умолчанию .Контент, скрытый за вкладками или расширяемыми разделами, будет считаться менее важным.
- Убедитесь, что рекламные ссылки на вашем сайте не влияют на поисковый рейтинг, используя robots.txt, rel = «nofollow» или rel = «sponsored»
- Помогите посетителям использовать ваши страницы
- Используйте текст вместо изображений для отображения важных имен, контента или ссылок.
- Убедитесь, что все ссылки ведут на действующие веб-страницы.
- Оптимизация веб-страниц для скорости .
Обязательно продолжайте читать все общие рекомендации, рекомендации по содержанию и, возможно, самое важное, рекомендации по качеству, которые говорят вам, чего не следует делать .Вы будете наказаны Google, если нарушите эти правила. Для разработчиков: ознакомьтесь со статьей Начало работы с поиском: руководство для разработчиков.
Компания Google опубликовала свои рекомендации по оценке качества, которые очень помогают понять, что делать, чтобы создавал качественные страницы . Думайте об этих рекомендациях как о том, как Google хочет, чтобы его поисковая система определяла качество . Прочтите это очень внимательно!
Будьте в курсе новых новостей от Google в блоге Search Central и на @googlewmc.Читай между строк. Бросьте вызов любой теории. Разберитесь, как работают поисковые системы. Думайте как поисковая машина.
Следите за представителями Google, они дают лучшие подсказки о том, как занять высокие позиции в поиске.
Джон Меллер — @JohnMu
Гэри Иллис — @methode
Мартин Сплитт — @ g33konaut
Дэнни Салливан — @searchliaison
Почему SEO так важно?Улучшение присутствия в Интернете жизненно важно для повышения узнаваемости бренда.Если вы приложите все усилия, чтобы создать отличный веб-сайт, это принесет пользу вашему бизнесу в долгосрочной перспективе. Результаты SEO продолжительны и устойчивы.
По мере того, как вы наращиваете свои усилия и ваш авторитет растет, вы обнаружите, что становится легче с течением времени получать новые позиции в рейтинге , потому что ваш мощный домен и веб-сайт распределяют авторитет между всеми вашими страницами.