Развитие алгоритмов ранжирования яндекс: Алгоритмы Яндекса – история обновления алгоритмов ранжирования с 2005-2021 год

08.09.1984 alexxlab

Содержание

Компания Яндекс — Принципы — Принципы ранжирования поиска Яндекса

Интернет состоит из миллионов сайтов и содержит экзабайты информации. Чтобы люди могли узнать о существовании этой информации и воспользоваться ей, существуют поисковые системы. Они реализуют право человека на доступ к информации — любой информации, которая нужна в данный момент. Поисковая система — это техническое средство, с помощью которого пользователь интернета может найти данные, уже размещенные в сети.

Пользователи ищут в интернете самые разные вещи — от научных работ до эротического контента. Мы считаем, что поисковая система в каждом случае должна показывать подходящие страницы — от статей по определенной теме до сайтов для взрослых. При этом она просто находит ту информацию, которая уже есть в интернете и открыта для всех.

Яндекс не является цензором и не отвечает за содержание других сайтов, которые попадают в поисковый индекс. Об этом было написано в одном из первых документов компании «Лицензия на использование поисковой системы Яндекса», созданном еще в 1997 году, в момент старта www. yandex.ru: «Яндекс индексирует сайты, созданные независимыми людьми и организациями. Мы не отвечаем за качество и содержание страниц, которые вы можете найти при помощи нашей поисковой машины. Нам тоже многое не нравится, однако Яндекс — зеркало Рунета, а не цензор».

Информация, которая удаляется из интернета, удаляется и из поискового индекса. Поисковые роботы регулярно обходят уже проиндексированные сайты. Когда они обнаруживают, что какая-то страница больше не существует или закрыта для индексирования, она удаляется и из поиска. Для ускорения этого процесса можно воспользоваться формой «Удалить URL».

В ответ на запрос, который пользователь ввел в поисковой строке, поисковая система показывает ссылки на известные ей страницы, в тексте которых (а также в метатегах или в ссылках на эти сайты) содержатся слова из запроса. В большинстве случаев таких страниц очень много — настолько, что пользователь не сможет просмотреть их все. Поэтому важно не просто найти их, но и упорядочить таким образом, чтобы сверху оказались те, которые лучше всего подходят для ответа на заданный запрос — то есть, наиболее релевантные запросу. Релевантность — это наилучшее соответствие интересам пользователей, ищущих информацию. Релевантность найденных страниц заданному запросу Яндекс определяет полностью автоматически — с помощью сложных формул, учитывающих тысячи свойств запроса и документа. Процесс упорядочивания найденных результатов по их релевантности называется ранжированием. Именно от ранжирования зависит качество поиска — то, насколько поисковая система умеет показать пользователю нужный и ожидаемый результат. Формулы ранжирования строятся также автоматически — с помощью машинного обучения — и постоянно совершенствуются.

Качество поиска — это самый важный аспект для любой поисковой системы. Если она будет плохо искать, люди просто перестанут ей пользоваться.

Поэтому нам важно постоянно совершенствовать алгоритмы ранжирования и делать их устойчивыми к внешнему влиянию (например, к попыткам некоторых вебмастеров обмануть поисковую систему).

Поэтому мы не продаем места в результатах поиска.

Поэтому на результаты поиска никак не влияют политические, религиозные и любые другие взгляды сотрудников компании.

Пользователи просматривают страницу результатов поиска сверху вниз. Поэтому Яндекс показывает сверху, среди первых результатов, те документы, которые содержат наиболее подходящие пользователю ответы — то есть наиболее релевантные заданному запросу. Из всех возможных релевантных документов Яндекс всегда старается выбрать наилучший вариант.

С этим принципом связано несколько правил, которые Яндекс применяет к некоторым типам сайтов. Все эти правила работают полностью автоматически, их выполняют алгоритмы, а не люди.

1. Существуют страницы, которые явно ухудшают качество поиска. Они специально созданы с целью обмануть поисковую систему. Для этого, например, на странице размещают невидимый или бессмысленный текст. Или создают дорвеи — промежуточные страницы, которые перенаправляют посетителей на сторонние сайты. Некоторые сайты умеют замещать страницу, с которой перешел пользователь, на какую-нибудь другую. То есть когда пользователь переходит на такой сайт по ссылке из результатов поиска, а потом хочет снова вернуться к ним и посмотреть другие результаты, он видит какой-то другой ресурс.

Такие ресурсы не представляют интереса для пользователей и вводят их в заблуждение — и, соответственно, ухудшают качество поиска. Яндекс автоматически исключает их из поиска или понижает в ранжировании.

2. Бывает, что в том или ином документе есть полезная информация, но воспринимать ее сложно. Например, есть сайты, которые содержат popunder-баннеры (они перемещаются по экрану вслед за прокруткой страницы и закрывают ее содержание, а при попытке закрытия такого баннера открывается новое окно) и clickunder-рекламу (она неожиданно для пользователя открывает рекламную страницу при любом клике по сайту, в том числе — по ссылкам). С нашей точки зрения, оба этих вида рекламы мешают навигации по сайту и нормальному восприятию информации. Поэтому сайты с такой рекламой располагаются в поисковой выдаче ниже, чем сайты, на которых пользователь может найти ответ на свой вопрос без лишних проблем.

3. По запросам, которые не подразумевают явно потребность в эротическом контенте, Яндекс ранжирует сайты для взрослых ниже или вообще не показывает их в результатах поиска. Дело в том, что ресурсы с эротическим контентом часто используют достаточно агрессивные методы продвижения — в частности, они могут появляться в результатах поиска по самым разнообразным запросам. С точки зрения пользователя, который не искал эротики и порнографии, «взрослые» результаты поиска нерелевантны, и, к тому же, могут шокировать. Более подробно об этом принципе можно почитать здесь.

4. Яндекс проверяет индексируемые веб-страницы на наличие вирусов. Если обнаружилось, что сайт заражен, в результатах поиска рядом с ним появляется предупреждающая пометка. При этом зараженные сайты не исключаются из поиска и не понижаются в результатах поиска — может быть, на таком ресурсе находится нужный пользователю ответ, и он все равно захочет туда перейти. Однако Яндекс считает важным предупредить его о возможном риске.

Основная метрика качества поиска Яндекса — это то, насколько пользователю пригодились найденные результаты. Иногда по запросам пользователей невозможно определить, какой ответ ему подойдет. Например, человек, задавший запрос [пушкин], возможно, ищет информацию о поэте, а возможно — о городе. Точно так же человек, который набрал запрос [iphone 4], может быть, хочет почитать отзывы и ищет форумы, а может быть, хочет купить и ищет магазины. Среди первых результатов поиска должны найтись ответы для всех случаев. Поэтому Яндекс старается сделать страницу результатов поиска разнообразной. Поиск Яндекса умеет определять многозначные запросы и показывает разнообразные ответы. Для этого используется технология «Спектр».

YATI новый алгоритм Яндекса | Интернет-агентство Малевич в Нижнем Новгороде

В конце прошлого 2020 года компания Яндекс ввела новый алгоритм ранжирования, эффект которого основан на нейронном преобразовании запросов. Аббревиатура YATI переводится с английского как «еще один трансформер, имеющий улучшения». Новая технология, основанная на семантическом компоненте, оценивает близость запроса и искомой страницы.

Данный алгоритм проходит самообучение по трансферному принципу, то есть в первую очередь происходит решение одной задачи, для которого собираются данные, позволяющие трансформеру решить именно ее. После этого та же информация применяется во второй раз, но уже для решения иных задач. Изначально «Яти» предобучается на большом количестве простых и не всегда правдоподобных сведений от посетителей Яндекс.Толока. По окончании первого этапа, трансформером получается уже больше экспертной информации от специально обученных консультантов поисковика, но в меньшем количестве.

Одной из характерных особенностей YATI является предсказание пользовательского клика. Данная метрика является дополнительной и учитываемой при ранжировании сайтов.

Новый алгоритм анализирует текстовые запросы и страницы, выводящиеся по ним. По мнению издателей, делает он это эффективнее алгоритмов «Палех» и «Королев», которые при совместной работе оказывают меньшее воздействие на поисковую выдачу. Стоит понимать, что использование нейросетей не отменяет общие поисковые правила, по которым происходит ранжирование. Однако если выводить результаты поиска только по алгоритму YATI, то качество отбора (по оффлайн-метрике) снизиться максимум на 5%.

По мнению экспертов Яндекса, выход «Яти» стал самым значимым событием для поисковика за последнее десятилетие, после запуска Matrixnet. Стоит напомнить, что до 2016 г. порядка 95% вводимых в Яндекс слов вообще не учитывалось – алгоритмы их просто игнорировали.

Постоянное совершенствование поисковых систем и Core Updates

Весь прошлый год, особенно осень, поисковую систему Яндекса постоянно штормило. Регулярный мониторинг обновлений с помощью «Пиксель Тулс» позволяет выделить некоторые регулярные изменения в поисковой системе, которых ежегодно бывает до 500, и основные перемены, непосредственно связанные с алгоритмом сортировки, называемые Core (основные обновления). Последние влияют на большую часть поисковых запросов и часто затрагивают переобучение поисковой формулы или новый подход к ней.

Все поисковики уведомляют СЕО об основных обновлениях по-разному. Например, Google, у которой в прошлом году было три обновления главного алгоритма, предупреждала перед их вводом вкратце и в соцсетях. Яндекс сам не анонсирует релизы, но раскрывает более подробную информацию в публикуемых о них статьях.

«Яти» был анонсирован в ноябре прошлого года. Однако, по данным «Пихель Тулс», ошибок в росте средних параметров выбросов поисковика в том месяце не было. Результаты наблюдались в конце сентября, что могло говорить как раз о вводе данного алгоритма.

Принципы ранжирования и нейросети

Нейронные сети представляют собой способ машинного обучения, применяемый в поисковых системах с 2000-х гг.

В 2009 г. Яндексом был введен «Снежинск» – алгоритм, работа которого основана на MatrixNet (тот самый принцип машинного обучения).

В 2016 г., при представлении алгоритма «Палех», Яндексом впервые было озвучено о применении нейронных сетей. Откровенно говоря, поисковик стал использовать нейронные сети раньше – к примеру, в сервисе Яндекс.Переводчик. В то время специалистами Яндекса было сделано признание в том, что одной из целей поисковика является получение моделей, основанных на нейросетях, способных улавливать смысл пользовательских запросов и страниц в степени, сравнимой с человеческим пониманием.

Алгоритм «Палех» стал значительным шагом в развитии поисковой системы на пути к технологии «Яти» – так же, как и «Королев», введенный в 2017 году. Он был создан для сравнения текстовых запросов, введенных в строку, и страничных заголовков. Обучение проводилось на нескольких примерах (как положительных, так и неэффективных) из ранее собранных статистических данных. Поскольку алгоритмы поисковиков не могут читать тексты, поиск соответствия осуществлялся путем численного сравнения.

«Палех» был сравнительно тяжелым, поэтому он применялся лишь на более поздних этапах классификации, приблизительно к ста пятидесяти наилучшим документам из уже отфильтрованного набора.

«Королев» действовал по тому же принципу, что и «Палех», но после его ввода вектор стал вычисляться заранее, в автономном режиме, что позволило применять его к большему числу документов. Работает это по следующей схеме:

автономный алгоритм производит вычисления страничного вектора, сохранив его в базе индексов,
пользователь вписывает в строку запрос,
запрос форматируется в вектор, умножается на готовые боковые векторы и вычисляется его релевантность.

В том случае, если векторы не были бы рассчитаны заранее – невозможно было бы применить нейросети к большему числу страниц, не влияя на время доставки результатов для пользователя в его запросе.

Кроме действий по векторному сравнению, «Королев» начал сравнивать новые запросные векторы с другими запросными векторами, для которых понятен наилучший ответ. Если бы они стояли близко друг от друга, то итог был бы одинаковым.

Следует понимать, что нейросети не могут полностью заменить всю формулу классификации поиска. Коэффициенты, рассчитанные с их помощью, являются лишь «некоторыми» в целом объеме факторов, используемых для построения финальной формулы. В результате, когда мы даем запрос, то можем увидеть ответные документы, соответствующие как по семантике, так и по точному вхождению.

Если упрощенно, то каждый из факторов движется в своем направлении. В результате происходит так называемая «борьба» смысловых и обычных факторов – ответственных за смысл и за текст.

К остальным факторам относятся поведенческие, ссылочные и факторы хостинга. Это является доказательством того, что поисковик не заменил уже существующие инструменты новым алгоритмом, а действует на улучшение уже существующих новыми технологиями. Факторы, ответственные за смысл, играют важную роль, когда прямых ответов на конкретный запрос пользователя немного.

Внедрение Google ПО Word2vec и алгоритма Bert могут ознаменовать аналогичные вехи в развитии этой поисковой системы.

Конкурирующие алгоритмы: BERT и YATI

У конкурирующего поисковика Google есть также трансформер BERT, работающий с остальными алгоритмами, действующими при ранжировании. Данная нейросеть анализирует поисковые запросы и их контекст, а не отдельные ключевые вхождения. То есть, «Берт» полностью анализирует предложение.

Надо сказать, что данная технология может решать большое количество поставленных перед ней задач, поскольку используется также для понимания «смысла» текста. Эта технология лежит в основе достаточного большого семейства языковых моделей.

По описаниями «Яти» и «Берт» понятно, что оба являются трансформерами и стремятся лучше понять смысл пользовательского запроса. При этом «Яти» выглядит более выигрышно, поскольку, помимо анализа запросов, он также анализирует тексты самих документов, и при этом учится прогнозировать клики. Отсюда напрашивается вывод о том, что «Яти» является более важным обновлением, чем «Берт».

С позиции IT-лингвистики, «Берт» и «Яти» являются родственными алгоритмами. И Яндекс к этому алгоритму пришел не сразу. Первым шагом, как уже упоминалось, был «Палех», который научился понимать текстовый смысл. То же самое применилось в алгоритме «Королев». Вероятно, именно по этой причине «Яти» был объявлен достаточно скромно, без громких заявлений о том, что поисковик умеет еще лучше понимать текстовый смысл.

Способен ли YATI справиться с накруткой поведенческих факторов

Когда Яндекс сделал поведение пользователей одним из факторов ранжирования, поведенческие факторы быстро научились накручивать – имитировать клики, заказы и звонки через формы связи. В 2020 г. поисковик перестал угрожать санкциями за мошенничество и ввел меры по борьбе с ним (антифрод). В течение месяца сотни сайтов вышли из выдачи, годами накручивая ПФ для показа в топе. В 2021 году данная тенденция сохранится.

Обстановка с накруткой поведенческих факторов в конце 2020 г. была весьма проблематичной. Соответствующие санкции были введены в начале осени прошлого года. Яндекс наказывает ресурсы, чьи ПФ кажутся неестественными, а некоторые проекты потеряли видимость с момента запуска «Яти».

Яндекс, как и Google, постепенно тянет трафик на свои сервисы, что уже невозможно игнорировать. Так же невозможно перехватить трафик с более качественным контентом, надежными ссылками и поведенческими факторами. Нет смысла сражаться с великаном – нужно просто пользоваться сервисами и получать трафик от них. Яндекс позволяет, к примеру, бронировать столик прямо с карты, приглашать пользователей на вебинары, предлагать услуги специалистов своего сервиса, рассказывать о событиях для жителей районов, продвигать свои материалы через Дзен и т. д.

Что сделать на сайте прямо сейчас, как оптимизировать сайт под YATI

Появление «Яти» не отменяет оптимизацию – заголовки и теги все так же учитываются. Здесь нужно понимание того, что «Яти» не вычеркивает введенные ранее классификационные коэффициенты, а лишь дополняет их качественной функцией в виде текстового анализа. Поэтому оптимизация, наращивание естественной ссылочной массы и улучшение ПФ продолжают работать.

Нужного эффекта в выдаче можно добиться, работая над ресурсом в комплексе:

Увеличьте число совместимых слов в текстовом контенте своего ресурса с словами пользовательского поиска. К ним могут относиться подсвеченные слова и фразы, а также используемые конкурирующими ресурсами, которых нет на вашей странице.
Расставьте акценты на текстовом содержимом, отформатируйте его. Если текст имеет более 14 предложений, то необходимо использовать заголовки с использованием ключевых и относящихся к тематике слов.

Проведите анализ и оптимизацию индекса запросов для отдельных страниц, а также для всего ресурса в целом через Яндекс. Вебмастер.
Проверьте соответствие запросов, с которых был переход по определенному URL-адресу, и одних лишь показов, без переходов. Информация по всему ресурсу по-прежнему влияет на факторы для конкретной страницы. Поэтому необходимы проверки по всему сайту, а не только по адресу.
Расширьте семантическое ядро, чтобы перейти к низкочастотным запросам. Помогут продвинуться слова-синонимы и т.н. «вложенные» запросы. К примеру, «сео продвижение сайтов» сработает и для «сео сайта», и для «SEO-продвижение».

Проведите анализ конкурирующих ресурсов. Проанализируйте показы конкурирующих страниц на основе поисковых требований.
Изучайте сторонние материалы: какие из тематических слов и словосочетаний в них применяются, их лингвистическая структура и т.д.
Выполните традиционную оптимизацию текстового материла, введите точные вхождения ключевиков, заголовков.

Выводы

Трансформеры заметно улучшили качество поисковой выдачи в Яндексе, выведя его на более высокий уровень. Использование тяжелых технологий на основе нейросетей, способных учитывать естественную языковую структуру, семантику между словами одного текста, помогает находить нужные результаты по его смыслу, а не по тексту.

С учетом того, что «Яти» нацелен на анализ и понимание смысла написанного, можно сделать предположение, что текстовое содержимое будет играть важную роль в классификации ресурсов. Поэтому все чаще появляется профессиональный текстовый контент, дающий квалифицированный ответ на пользовательские поиски.

Невзирая на то, что «Яти» считается инновационной технологией, поисковые инструменты Яндекса, как правило, создаются постепенно, эволюционируя, а не меняясь кардинальным образом. Т.е., обновление осуществляется путем постоянного добавления новых классифицирующих факторов к предыдущим, а не кардинально революционным изменением основ. С появлением «Яти» оптимизация не теряет актуальности, а лишь требует небольшой корректировки.

«Яти», безусловно, изменит вывод результатов запроса, но так как системе необходимо обучение, это займет некоторое время. Поэтому пока еще существует возможность внести нужные корректировки в свой ресурс и переработать продающие тексты, сохранив и улучшив свои позиции при окончательном переходе поисковика на новый формат.

Как работают методы SEO-продвижения сайтов с учетом обновления алгоритмов Яндекс и Google. SEO 2022 / 2023 / 2024 году, тренды.

Сегодня много говорится о том, что продвижение сайтов в поисковых системах (SEO) стало сложным и дорогим каналом привлечения клиентов, работает не так эффективно, или вообще не работает, некоторые даже утверждают, что наступает закат эпохи SEO, и из поисковых систем больше нельзя получать клиентов, а будущее только за платной таргетированной или контекстной рекламой.

Бизнес-блог Экзитерра и SEO-специалисты агентства собрали все «за» и «против», чтобы представить читателю действительную картину, что из себя представляет SEO в 2022 году и какие есть тренды SEO на 2023-2024 год.

Развитие SEO к 2022 году — в чем суть

Суть SEO-продвижения заключается в подстройке сайта (оптимизации) под алгоритмы поисковых систем так, чтобы как можно точнее попасть в их предпочтения (факторы ранжирования).

Алгоритмы ранжирования сайтов у Яндекса и Google постоянно развиваются, делая поисковую выдачу разнообразной, точнее, персонализированной и т.д. Алгоритмы поисковых систем становятся более сложными, наряду с техническими возможностями и математическим аппаратом, задействующим нейронные сети, обучение, искусственный интеллект и BigData.

Методы же SEO вынуждены также усложняться, чтобы учитывать новые факторы ранжирования. Эволюция алгоритмов поиска Яндекса и Google влечет за собой развитие методов SEO. Вслед за поисковыми алгоритмами, SEO оптимизация претерпевает усложнения и сегодня имеет не просто «техническое» содержание. Сегодня SEO-продвижение сайтов — сложный процесс, который должен охватывать такие области как программирование, копирайтинг, маркетинг, дизайн, юзабилити, анализ данных и т.д.

В связи с таким усложнением требования к командам, предлагающим услуги SEO, значительно повысились за последние годы. Сегодня SEO-специалист в одиночку практически в «поле не воин», либо должен обладать таким широким спектром компетенций и опытом, как 5-7 человек.

В нашем агентстве над проектом по SEO-продвижению сайта работают от 4 до 6 человек, а так же подключаются ряд сотрудников с исключительными компетенциями: например, отраслевые копирайтеры-эксперты, фотограф, дизайнер по инфографике и т.п. Да-да, контент и дизайн — теперь тоже область интересов SEO.

Более того, сегодня необходимо тесное взаимодействие SEO-команды с компанией клиента: маркетологом, отделом продаж, директором/собственником.

Как поменялся алгоритм поисковых систем Яндекс и Google

Как я писал выше, методы SEO подстраиваются под обновление алгоритмов поисковых систем. Яндекс целенаправленно работает над тем, чтобы Поиск работал «лучше». Поэтому его обновления — руководство к действию для маркетологов, SSO- и SEO-специалистов. Долгое время важным сигналом ранжирования для поисковых систем была релевантность страниц. В конце прошлого года у Яндекса появились новые метрики, главная идея которых — более точно оценивать качество ресурса, чтобы помочь пользователю найти лучшее решение своей задачи.

Новую метрику качества назвали Proxima (Проксима) — Proxima комбинируется из множества сигналов: коммерческих, лояльностных, конверсионных, экспертных, вызывающих доверие пользователя.

Сигналы доверия к сайту

Поисковой системе важно, чтобы в ответах на свои запросы по данным тематикам пользователи видели контент, которому они могут доверять. Эти же сигналы впоследствии были применены к навигационным запросам (сайты-мануалы), а затем и ко всем остальным. Похожие факторы доверия работают и в Google (алгоритм E-A-T).

Сигналы ценности ресурса

Сайты без выраженной ценности для пользователя теперь будут ранжироваться ниже. В чем заключается ценность? Например, в экспертизе поставщика услуг: это отражается на качестве вашего продукта, вашем УТП, опыте и позиционировании.

Алгоритм Антикачество

Алгоритм «Антикачество» Яндекса ставит ниже определенные типы недобросовестных сайтов по жалобам пользователей относительно недобросовестных действий администрации сайта.

«Профицит» — метрика качества поиска

В идею метрики встроена логика «как можно быстрее решить задачу пользователя» — метрика характеризует успешность решения задачи пользователями на вашем ресурсе.

Работает ли SEO как маркетинговый канал продвижения?

Тем компаниям, которые столкнулись с неэффективным SEO-продвижением своих сайтов, вероятно, не повезло с подрядчиком — неопытная команда или SEO-специалист-фрилансер просто не способен дать серьезный результат в обозримые сроки до 1 года. Это и порождает разговоры о неэффективности SEO.

В связи с усложнением методов SEO и растущей конкуренцией результаты SEO-продвижения в 2022 году измеряются месяцами (если мы говорим о «белых» методах): от 3-6 месяцев для несложных рынков, до 12 месяцев и более для высококонкурентных.

К тому же как и любой другой рекламный или маркетинговый канал, для получения лучшего результата, продвижение сайтов методами SEO требует поэтапной настройки и «докрутки» до высоких показателей. Например, если вы сделали лендинг и настроили контекстную рекламу, вам понадобится несколько недель или месяцев, чтобы добиться высоких конверсий и стабильности результата — вам придется несколько раз менять тексты, улучшать конверсионные элементы, пробовать разные заголовки объявлений и т.д. Точно так же и в SEO — начав поисковую оптимизацию сайта, вам предстоит череда итерационных улучшений, которые, несомненно, приведут к позициям сайта в ТОП-10, высокому целевому трафику и конверсиям в лиды.

Несомненно, SEO работает, а поисковый маркетинг станет для вас основным источником новых клиентов, если вы выберите надежного SEO-партнера, проявите терпение и вместе с агентством включитесь в работу над сайтом.

Какие подходы и методы SEO больше не работают

Начнём разбираться, какие подходы и методы в SEO больше не работают. Вы можете проверить своего SEO-специалиста, задав ему несколько вопросов про неработающие методы, чтобы проверить его компетенции.

Первый неработающий метод SEO, это некачественные ссылки. Большое количество ссылок с нецелевых ресурсов даст вам меньше отдачи, чем одна, но качественная ссылка с проверенного и известного сайта.

Этот же принцип касается закупки ссылок. Если перед вами стоит выбор: купить 10 дешёвых ссылок с каких-то неизвестных ресурсов или купить одну ссылку, но с хорошего тематического сайта, то лучше выбрать второй сценарий и купить одну ссылку.

Второй метод, который больше не работает в SEO — это накрутка поведенческих характеристик. Еще в 2009 году Яндекс ввёл алгоритм ранжирования по поведенческим характеристикам, и отдавал приоритетные позиции в выдаче тем сайтам, у которых эти характеристики были выше, чем у конкурентов. Это привело к тому, что владельцы сайтов начали искусственно накручивать поведенческие характеристики.

Это давало результат, вплоть до 2020-2021 годов, когда Яндекс начал блокировать ресурсы, которые используют накрутку поведенческих факторов. Поэтому лучше не использовать её в SEO-продвижении. В долгосрочной перспективе риски при этом будут выше, чем сиюминутная потенциальная отдача. Либо будьте готовы менять домен ресурса, например, каждые 3-6 недель. Стратегия рискованной накрутки поведенческих факторов будет загонять сайт под фильтр и чтобы не терять трафик и продажи — придется менять домен, а это невозможно для компаний и брендов.

Третий метод, который больше не работает в SEO — это SEO-тексты и переспам ключевыми словами, когда в тексты, использующиеся на сайтах, добавляется слишком много ключевых слов. Это приводит к ухудшению качества текста и снижению его читабельности.

Если вы по-прежнему пишите на своём сайте, что-то типа «купить окна Москва дёшево с установкой», то пора понять, что в 2022-2023-2024 году это не работает и ведет к пессимизации! Вероятно, ваш сайт уже переспамлен ключевыми словами, и вы не получаете значительный объём трафика.

Четвёртый подход, который уже не работает в SEO — это мусорный контент, который написан только ради получения трафика. Одно время было популярно писать статьи, которые состояли из большого количества ключевых слов и небольшого объема полезной для посетителей сайта информации. В результате получалось, что люди заходили на сайт, не получили ответов на свои вопросы и шли искать их на других ресурсах.

Поисковые системы это поняли, и стали отдавать преимущество в выдаче тем ресурсам, на которых размещена информация, отвечающая на конкретные запросы клиентов и способная удерживать их внимание.

Мы рассмотрели методы SEO, которые больше не работают в 2022 году. Теперь расскажем о том, какими подходами вам надо руководствоваться, чтобы получить стабильный рост позиций сайта, а также какие конкретно методы SEO продолжают работать и приносить трафик и клиентов.

Как поменялись методы SEO в 2022 и какие подходы будут эффективны в 2023-2024 годах

Рассмотрим, какие подходы в SEO принесут вам стабильность и долгосрочный результат, если вы будете придерживаться их в работе.

Первый подход, который работает в SEO и будет продолжать работать ещё долго, за счет своей универсальности — системный подход к продвижению. Это, наверное, главный фактор успеха в SEO сейчас. Если вы постоянно, например, 1-2 раза в неделю наполняете свой сайт новым контентом на протяжении многих лет, это даст вам огромную базу читателей и клиентов. Можно вести тематический блог на сайте с полезными статьями, в которых посетители смогут найти ответы на свои вопросы, и это приведёт к вам много новых клиентов. Такая работа с контентом может быть частью вашего контент-маркетинга, который очень способствует SEO-продвижению сайта.

Второй подход, который работает сейчас в SEO — это оптимизация под мобильную аудиторию. Мобильный трафик с каждым годом становится всё больше и больше. Уже сейчас больше половины посетителей сайтов просматривают их с мобильных устройств, тогда как пару лет назад эти цифры были порядка 20-30% от общего количества.

Поэтому рекомендуется как можно быстрее проверить, как выглядит страница вашего сайта с различных устройств и планшетов. Поисковые системы очень ценят ресурсы, которые думают о своих посетителях и оптимизируют свой контент для их удобства.

Третий подход, который работает сейчас в SEO — это постоянная аналитика. Аналитика — это ваш компас в SEO, и когда вы не будете понимать, куда двигаться, вы всегда сможете посчитать цифры и составить правильную стратегию продвижения.

Какие показатели необходимо анализировать по SEO? Прежде всего, это количество посетителей, пришедших из поисковых систем. При этом нужно отдельно посчитать, сколько посетителей пришло к вам из Яндекса и сколько из Google.

Также нужно анализировать глубину просмотра, сколько страниц вашего сайта в среднем просматривают читатели за один сеанс, и сколько в среднем времени они проводят на вашем сайте, каков процент отказов и т.д.

Четвёртый подход, который работает сейчас в SEO — это органический рост поведенческих характеристик. Отслеживая аналитику и понимая свои показатели, вы можете на них влиять.

Например, вы можете увидеть, что за один сеанс посетители в среднем просматривают 1,2 страницы вашего сайта. Зная этот показатель, вы можете попробовать его улучшить. Например, вы можете добавить на свои страницы ссылки на другие полезные статьи и исследования с вашего сайта, которые полезно будет изучить вашим посетителям. Это инструмент называется перелинковкой. Он позволяет нарастить один из ключевых показателей вовлечённости аудитории — глубину просмотра.

Пятый подход, который работает сейчас в SEO — это полезный контент, написанный для решения реальных проблем целевой аудитории. Ключевое правило SEO-продвижения, которое необходимо понять и запомнить — это то, что ваш контент должен нести пользу клиентам.

Сейчас в SEO побеждают те ресурсы, которые помогают пользователям решать их проблемы через контент, услуги или товары, которые предоставляет компания. Весь ваш маркетинг должен быть направлен на то, чтобы удовлетворить запрос клиента. Это ключевой принцип, который будет работать всегда. В рамках такой стратегии компания Экзитерра, например, выпускает электронные книги по маркетингу — брошюры, помогающие аудитории решить локальную проблему на конкретную тему.

Тренды SEO 2022. Какие методы будут работать лучше для продвижения сайта?

Тренд № 1. Пишите тексты для людей, а не для роботов поисковых систем. Ещё 5-10 лет назад тексты, написанные для поисковых роботов, были актуальны. И до сих пор в Топ поисковой выдачи в Яндекс и Гугл можно найти сайты с сеошными текстами, написанными для роботов.

Это может работать в случае с сайтами, которые работают давно и имеют большое количество брендовых запросов. Но для продвижения нового сайта такая тактика не подходит. Пишите полезные тексты для людей, а не для роботов.

Поисковые системы сейчас легко определяют, читают люди текст или нет, задерживаются ли на нём или нет.

Тренд № 2. Свежий и актуальный контент. Поисковые системы любят свежий контент, поэтому постоянно размещайте новые статьи и видео на сайте, какими бы хорошими ни были старые.

Нужно хотя бы раз в год обновлять основной текст о компании на сайте, добавлять в него что-то новое, ставить другую дату публикации, новую картинку и изображение. Любой контент на сайте хотя бы раз в год должен обновляться, и, конечно, должны постоянно появляться новые и полезные статьи.

Тренд № 3. Длинные тексты. Раньше были актуальны небольшие и средние тексты, но сейчас лучше всего работают лонгриды — длинные тексты. Они привлекают больше посетителей и удерживают больше внимания. Чем больше текст, тем больше трафика можно получить.

Тренд № 4. Решение цели посетителя и пользовательский опыт. Поисковые системы научились разбираться, что делает человек на сайте, решил ли он на вашем сайте свою проблему, сделал ли он конверсионные действия, оставил ли заявку, нажал ли на кнопку «перезвонить мне», перешёл ли в соцсети, посещал ли после вашего сайта какие-то другие ресурсы, или ваш сайт был финальным в его поиске и помог решить ему проблему.

Делайте свой сайт максимально удобным в использовании и полезным для целевой аудитории, и поисковые системы это обязательно оценят.

Тренд № 5. Экспертность, авторитетность, доверие. В некоторых тематиках, например, в медицинской сфере, очень важен фактор – экспертность контента. В других сферах сейчас это тоже очень важно.

Для того, чтобы повысить доверие посетителей к размещённой на сайте информации, нужно привлечь эксперта в вашей сфере, указать все его регалии, и размещать его комментарии и оценки ваших товаров и услуг.

Поисковые системы это обязательно оценят. Чтобы сайт попал в Топ-10 в поисковой выдаче, нужно, чтобы размещённый на нём контент отчасти или полностью генерировали и создавали эксперты. Это поможет завоевать доверие пользователей, что это важно.

Тренд № 6. Скорость и производительность сайта. Это фактор удобства использования сайта. Оценить его можно, например, с помощью такого ресурса, как Google PageSpeed Insights. Изучите данные своего сайта на этом ресурсе и отправьте их программисту, чтобы он их улучшил.

Ваш сайт должен не просто быстро работать, не просто быстро должны загружаться картинки и скрипты на сайте, важно также, чтобы пользователь мог максимально быстро найти ответ на свой вопрос. Если этого не произойдёт, он просто перейдёт на другой ресурс.

Для этого на сайте должен быть правильно настроены поиск, фильтры и меню.

Тренд № 7. Отказ от устаревших способов получения ссылок. Каким бы идеальным ни был ваш сайт, если на него нет ссылок в поисковых системах, он не попадёт в Топ выдачи. Если ваш сайт никто не обсуждает, значит, он никому не нужен, и позиций хороших у него тоже не будет.

Задача заключается в том, чтобы люди начали говорить про ваш сайт. Тренд этого года заключается в том, что все ссылки, которые вы будете получать, должны быть максимально естественны. Ресурс, где вы получили ссылку, должен совпадать с вашей по тематике. Количество этих ссылок должно расти плавно и регулярно.

Особенно ценны ссылки с упоминанием вашей компании, размещённые на сайтах-отзовиках.

То, что точно не будет работать в текущем году — это дешёвые, купленные ссылки. Поисковые системы научились их отслеживать, и в лучшем случае они просто не будут их учитывать, а в худшем они начнут понижать ваш сайт в выдаче. Поэтому лучше одна хорошая ссылка, чем десять плохих.

Тренд № 8. Видео-контент. Многие пользователи сегодня хотят получать информацию о товарах и услугах через видео, потому что так намного быстрее, и понятнее, и удобнее. И это позволяет задержать человека на сайте. Используйте SEO-продвижение при размещении видео в YouTube. Это может стать одним из самых больших источников трафика для вас.

Тренд № 9. Визуализация контента. Для многих людей визуальные характеристики товаров, услуг и сайтов гораздо важнее, чем функциональные. Сделайте так, чтобы на сайте была размещена не только полезная, но и красивая информация с картинками, фото, видео и инфографикой.

Тренд № 10. Яндекс Дзен и Google Discover. Используйте возможности, которые предоставляют такие блог-платформы контента, как Дзен и Google Discover, а также российские блог-платформы, которые не заблокируют из-за санкций, например, российскую Wsem.ru. Просто размещайте на этих платформах полезную информацию, уже размещённую на сайтах и в блогах.

Это позволит вам без лишних затрат, потому что вы уже написали статьи на своём сайте, получить большой объём трафика от аудитории, непосредственно заинтересованной в ваших товарах и услугах.

Методы SEO? Которые точно работают, так как перешли к нам с прошлого года

Тренд 11. Голосовой поиск. Некоторые вещи, которые работали ранее, их тоже нужно внедрять для того, чтобы ваш сайт попал в ТОП. Итак, первое что очень важно, это невероятно массовый голосовой поиск, который не так распространён в странах СНГ, но очень распространён в США. Это отложило очень сильный отпечаток на то, как ведут себя поисковые системы. Потому что прямо сейчас люди для того, чтобы найти ответ на свой вопрос, начинают зачитывать вопросы.

В России это пока не слишком распространено, мы больше привыкли набирать запросы на клавиатуре. Так вот, фишка продвижения 2021-2022, и вероятно в 2023 году заключалась в том, что короткие запросы «шины» или «купить шины» они уже приносят достаточного количества заказов и клиентов.

Более 70% трафика сосредоточено именно в длинных запросах, «купить конкретные шины, конкретного бренда и размера для конкретного автомобиля». Именно эти запросы дают сейчас 70% трафика и этот тренд сохранится и в 2022 году.

Тренд 12. Разнообразие источников трафика, как фактор ранжирования SEO. Очень важно, чтобы было разнообразие источников трафика. Важно не только углубляться в SEO-продвижение, но и использовать другие источника трафика, чтобы эффективнее улучшить его ранжирование в поисковых системах. Например, сигналы из социальных систем, рекомендательных систем, реклама, переходы по ссылкам из других сайтов, СМИ и т. д.

Тренд 13. Брендовые запросы и популярность бренда по оценке поисковых систем. Конечно, важны также брендовые запросы. Не только переходы по брендовым запросам, когда люди ищут вашу компанию, но и упоминание вашей компании по названию бренда или сайта. Чем больше таких упоминаний, тем выше вы будете ранжироваться в поисковых системах.

Тренд 14. Влияние репутации — отзывов и рейтинга компании. Поисковая система Яндекс официально заявила в прошлом году, что в результатах поиска будут выше ранжироваться более надежные компании и сайты, которым больше доверяют люди и у которых выше рейтинг репутации. Так, собранные отзывы на сайте Яндекс.Карты, Маркет, и множестве сайтов-отзовиках являются фактором ранжирования для Яндекса. Рекомендуем вам всерьез заняться репутацией в интернете и SERM.

SEO-оптимиZация сайта – на 20% дешевле!

Ваш сайт должен быть выше конкурентов. Особенно в кризис. Zакажите в «ЭкZитерра» SEO Za рубли со скидкой 20%. Мы найдём для вас клиентов, невзирая на кризис! ДА Победе!

Получить консультацию

Лучшие статьи

Смешная реклама: как использовать юмор, мемы в рекламе. 40+ смешных примеров «Тинькофф», YOTA, IKEA и других

Как писать отзывы и стоит ли? 13 ошибок в написании отзывов о компании, товарах и услугах

Продающие тексты: 17 классических шаблонов с примерами

Лонгрид как инструмент маркетинга

Реальные причины увольнения «по собственному желанию»

SERM: Как легально убрать негатив из интернета и улучшить репутацию компании

Проблемы в коллективе: как выстраивать отношения с «трудными» сотрудниками?

Милитари-нейминг — почему у российского вооружения «весёлые» названия

Наиболее запоминающиеся рекламные ролики

Шок-реклама: на грани фола

Эволюция логотипов брендов: 44 логотипа, которые знал твой прадед

Агрессивная реклама: 40 шокирующих и креативных баннеров

Продвижение косметики. Стратегия рекламы и продвижения бренда косметики «NDA»

Секс в рекламе. Креативные примеры баннеров. 18+

SERM — управление репутацией в поисковых системах

Как увеличить посещаемость сайта: бесплатные способы привлечения трафика

Как удалить отзывы сотрудников о работодателе с тематических сайтов

Плакаты о мотивации и труде в СССР: актуально всегда!

Способы удаления негативной информации в интернете

Please enable JavaScript to view the comments powered by Disqus.

Как работают текстовые факторы ранжирования в алгоритмах поиска Яндекс и Google? – статьи про интернет-маркетинг

Последнее обновление: 23 сентября 2021 года

5961

Независимый SEO-эксперт Алексей Чекушин, создатель just-magic.org, рассмотрел данную тему на нашей конференции Оptimization 2019. Об изменениях, которые произошли с тех пор, вы сможете узнать на конференции Оptimization 2020.

Время прочтения: 8 минут

Тэги: Optimization, SEO, факторы ранжирования

О чем статья?

Нейросети развиваются и приближаются к Natural Language Processing (NLP, «обработка естественного языка»). Но пока мы еще только двигаемся к пониманию текста поиском.
Чтобы написать хороший seo-текст, нужно понимать, в каком направлении развиваются текстовые факторы и насколько быстро, а также в чем различие классических текстовых факторов и их нового поколения.
Алгоритм Яндекса Палех/Королев и модель Google BERT меняют требования к работе с ключевыми и релевантными словам.

Классические и new-gen факторы ранжирования

Рекомендации представителей поисковых систем можно свести к двум утверждениям: пишите тексты для пользователя и не делайте SЕО-тексты. Это было бы на 100% верно, если бы мы с вами жили в гипотетическом мире, где уже развита NLP. Пока такие заявления опережают время лет на 5-10.

Сегодня мы рассмотрим классические и new-gen текстовые факторы. Это независимые друг от друга величины. Хорошие классические текстовые факторы никак не влияют на new-gen и наоборот. Для понимания, какой информацией оперирует поиск, можно использовать распространенные в сети формулы TF-IDF, ВМ25, вариации на тему ВМ25 с машиноподобранными весами и так далее. Мы сегодня обойдемся без них. Статистику по факторам ранжирования можно посмотреть в нашем исследовании.

Классические текстовые факторы — модель «мешок слов»

Представьте: мы взяли текст, вытряхнули из него все слова, сложили в мешок, встряхнули и пересчитали. То есть на этапе сбора информации модель уничтожает всю информацию о самом тексте, его связность, и получает просто набор слов. При этом теряется:

Рассмотрим правило «мешка слов» на примере предложения: «Это щенок и он очень мил».

Конечно, можно использовать синонимы, но это очень маленькое расширение, к тому криво работающее. Попробуйте задать в поиске Яндекса запросы «мобильный телефон» и «сотовый телефон». Вы увидите, что даже такие примитивные синонимы могут оказаться не взаимными.

Аудит сайта и поискового пространства

Проанализируем состояние вашего сайта и поискового пространства вокруг него. Найдем ошибки, которые мешают привлечь пользователей. Дадим рекомендации.

Как работать с классическими текстовыми факторами при новых алгоритмах?

Раньше принцип работы был очень прост: спамь ключевыми словами как можно больше, число ограничивалось только антиспамом. Затем появилось машинное обучение, и возникла необходимость укладываться в некие диапазоны вхождений. Сделаем больше слов — потеряем в ранжировании, сделаем совсем много – попадем под антиспам.

«В высококонкурентной тематике без классических текстовых факторов не обойтись. С появлением алгоритма Палех/Королев стало больше работы, так как уровней информации для учета стало больше»

Размер диапазона непонятен SEO-специалисту, если он раньше с этим запросом не работал. Попытки технического угадывания приводят к большой дисперсии (разнообразию) результатов в выдаче. Плюс на результат влияют и другие факторы, большинство которых мы отсечь не можем. Не стоит уповать на операторы типа intext — они давно перестали работать.

Поэтому мы используем старый добрый текстовый анализ, адаптируя его под новые условия.

Менее важно точно затачивать страницы по вхождениям. Задача «примерно туда попасть», а сколько это «примерно» — определяется по текстовому анализатору. Даже самые опытные SEOшники на «глаз» угадывают хуже, чем текстовые анализаторы, с точки зрения последующего ранжирования.

Важен отбор запросов для анализа из группы. В Палех/Королев немного изменились правила группировок, а это очень важная часть ранжирования в Яндексе.

Оптимизироваться может не только текст. Раньше везде, в том числе в интернет-магазинах, мы были вынуждены делать тексты. Теперь мы можем оперировать не только текстам

New-gen текстовые факторы: модель DSSM

Здесь рассмотрим алгоритм Яндекса Палех/Королев, который действует с зимы 2018/2019 года. Это один и тот же алгоритм, который работает с разными зонами. Для него использовалась предложенная Microsoft модель DSSM (deep structured semantic model). Эта модель оперирует следующими параметрами: буквенные триграммы, слова и биграммы (пары слов). В итоге:

В оценку идут все слова, а не только содержащиеся в запросе. Если модель «мешок слов» 97% слов просто выбрасывала, теперь оценивается все. Несмотря на то, что потеряна основная структура текста, немного остается в биграммах. Таким образом, используется значительно больше данных.
Модель натренирована на вхождения НЕ слов и биграмм запроса. Нейросеть специально обучали для того, чтобы она не искала классические текстовые факторы, а дополняла их.
Анализируется «важный» контент страницы (алгоритм Королев). Правда, какая часть контента считается важной, пока известно только Яндексу, точнее, его нейросетям.

В любом случае, мы теперь теряем не два уровня информации, а только один — о расположении слов. Это шаг на пути к NLP.

Влияние DSSM на СЕО

Сейчас уже до 40% всех запросов уникальны, то есть не повторяются хотя бы дважды в течение всего периода наблюдений. В итоге, если ввести в поиск какой-либо рандомный невысокочастотный запрос, мы можем увидеть некие паттерны в title и текстах. Их можно выделять визуально либо автоматически и использовать для дополнительной технической текстовой оптимизации.

Были случаи, когда добавление одного слова в title, причем слова не из запроса и не являющегося синонимом, вытаскивало текст из топ 15 в топ 3. Можно предположить, что при очередном переобучении достоверность фактора возросла, соответственно, возросла его значимость в общей формуле. Вот тут можно посмотреть успешный кейс по поднятию поискового трафика и конверсии за счет текстовой оптимизации.

«Использование биграмм и паттернов формирует положительное ранжирование. Статистически значимым оказывается добавление этих слов в title, тексты и другой контент страницы»

Существуют разные методики автоматического выделения. Из выдачи по соответствующему запросу выделяются определенные текстовые паттерны, используя алгоритмы, определяющие тематическую близость. Поиск оценивает не только текст. Оценивается и дополняющий его контент.

Например, в интернет-магазинах есть представление, буквально созданное для размещения всяких биграмм Королева. Нельзя гарантировать, что оно работает, так как никто не знает, какие конкретно зоны выделятся Королевым. Однако в реальности добавление слов, не содержащихся в запросе, но соответствующих ему по тематике, улучшает ранжирование.

Новая работа с группировками

Кто работал с продвижением под Яндексом, знает, что группировка запросов — самый важный этап. Если сделана ошибка в группировке, то дальше можно не оптимизировать — ничего не поможет.

Теперь предпочтительно делать так:

Меньше одинаковых слов в запросах. Посмотрите на пример на картинке. Только слово «зимняя» эти запросы и объединяет. Раньше такого большого разброса в конкурентных тематиках не было.
Большие кластеры, больше низкочастотных запросов на страницы.
Гораздо сложнее деоптимизировать страницу. Раньше, если запрос вел «не туда», вы убирали ключевые слова с оптимизированной страницы. Теперь, поскольку ранжируются не только ключевые слова, убрать страницу из поиска по запросу стало трудно. Иногда проще смириться и оставить ее Яндексу так, как он считает нужным.

Модель BERT от Google — следующий шаг к NLP

BERT (Bidirectional Encoder Representations from Transformers) — алгоритм Google, который был анонсирован в 2018 году и запущен в октябре 2019. На тот момент он работал только с английским языком и обрабатывал 10% запросов. БЕРТ является следующим этапом развития нейросетей по сравнению с Палехом/Королевым.

В чем его основные отличия и применение?

Bidirectional означает, что алгоритм «читает» текст как слева направо, так и справа налево. То есть он использует даже больше информации, чем человек.
Обучение его строится на простом принципе маскирования. Берут текст, закрывают одно слово, и модель пытается по контексту «угадать» слово, которое там заложено.
За счет этого BERT имеет большое число применений. Если Палех/Королев просто ищут соответствие запросу, то BERT может искать ответ на вопрос (Q/A). То есть, если задать вопрос, то алгоритм из куска текста, в котором содержится этот вопрос, вытащит ответ. Также он способен проверять гипотезу: мы можем сформулировать гипотезу, задать ответ, а BERT скажет, да или нет.

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

«Не сказать, что BERT существенно изменил работу наших SEO-специалистов с текстом: мы и раньше советовали писать человекопонятные тексты для пользователей, и дальше планируем придерживаться этого подхода. Ни о каких накрутках и перенасыщении ключами уже давно речи не идет (во всяком случае, наши специалисты давно к этому пришли. И, как подтверждают результаты – не зря). Определяйте интенты согласно группировке запросов, работайте со смыслом и структурой текста, пользуйтесь данными поисковых подсказок и синонимами».

BERT использует еще больше данных, чем Палех/Королев. Он учитывает не только все слова, не содержащиеся в запросе, он учитывает и информацию о расположении слов. Тем не менее, говорить о понимании поиском текста пока рано. Так, для решения задачи Q/A мы даем алгоритму кусок текста, в котором этот ответ содержится. Тогда он, с высокой вероятностью, может выделить запрос. Но сам найти ответ в интернете пока не может.

Блиц-интервью с Алексеем Чекушиным

— Как быстро поисковики обсчитывают все текстовые фичи?

Всё считается довольно быстро. Обучение нейросети происходит заранее, так что прогон текста — достаточно быстрое вычисление. В отношении Яндекса, когда вы видите, что ваш результат обновился в поиске, значит, все значимые факторы, кроме тех, что требуют накопления во времени, по нему уже посчитаны. Другой вопрос, учтены ли они, тут может быть небольшая разница между предварительным ранжированием и основным. Что касается Google, возможно, есть небольшая задержка в 15-30 минут. В любом случае, счет не идет на дни или месяцы.

— Какие кластеризаторы можно порекомендовать SEO-специалисту?

Практически все они работают по одной схеме. Их работа сводится к анализу того, что есть в топе, без глубокого анализа, насколько оно связано с самим запросом. Можно выбрать тот, с которым вам удобнее работать.

— Как оптимизировать под BERT?

На момент создания доклада это было неизвестно. Скорее всего, какой-то опыт уже будет озвучен на Оptimization 2020.

Выводы:

Говорить о понимании текста поиском пока рано. Модель BERT — еще один шаг в этом направлении, в ближайшее время увидим, насколько он успешный.
Работая над оптимизацией, следует использовать больше слов, не входящих в запрос, но соответствующих тематике. Биграммы и поисковые паттерны могут быть успешны как в title, так и на других уровнях текста.
Особое значение приобретает группировка запросов. Оптимизировать следует не только контент, но и другие ниши для вхождения.
Если раньше текст оценивался по одному параметру, то новые модели учитывают все больше уровней информации, в том числе – поведенческие факторы.

Как маркетплейс OZON работает над продвижением в поиске

#SEO, #интернет-магазины, #Optimization

Как продвигать медицинский сайт и привлекать новых клиентов?

#Optimization, #SEO, #медицина

Роль SEO в разработке SPA-сайтов

#Optimization, #SEO, #интернет-магазины

Статью подготовила Татьяна Минина. Профессиональный журналист, копирайтер. Увлечения: журналистика, текст, SEO, спорт.

Алгоритм YATI от Яндекс | Convert Monster

Поисковые алгоритмы постоянно улучшаются, чтобы сделать выдачу более релевантной. На заре Интернета веб-сайтов было не так много, а для продвижения достаточно было использовать ключевую фразу несколько раз в тексте, чтобы оказаться в топе списка поисковиков. Со временем количество сайтов увеличилось, появились SEO-оптимизаторы, некоторые из них стали предлагать темные методы продвижения, чтобы обмануть поисковые системы (далее ПС).

В том числе для борьбы с нечестными методами продвижения были улучшены первые алгоритмы ранжирования. Теперь, чтобы попасть в топ, мало закупить ссылки, требуется выполнить дополнительные работы над сайтом для улучшения поведенческих факторов.

C развитием искусственного интеллекта и технологии нейронных сетей был придуман новый алгоритм YATI. Он предназначен для того, чтобы точно анализировать релевантные статьи и выдавать страницы, соответствующие запросам пользователей. Даже если в статье отсутствуют точные вхождения в поисковый запрос пользователя, нейронная сеть все равно может найти нужную информацию. Поисковый алгоритм стал анализировать контент как человек. Достаточно указать описание своего запроса и можно получить готовый ответ. Вот пример, где в строке задано описание фильма:

На сегодняшний день поисковые роботы используют машинное обучение для нахождения информации. Данные алгоритмы стали применяться с 2000 года, спустя девять лет Yandex анонсировал Снежинск, который работает на основе MatrixNet.

До 2016 года во время поиска часть текста игнорировалось, поэтому в топ зачастую попадали не совсем подходящие запросы. Ситуация изменилась, когда запустили алгоритм Палех, суть которого заключается в поиске контента не только по основным ключевым словам, но и по фразам, схожим по смыслу.

В 2017 году вышел новый вид алгоритма Королев, который способен анализировать поведение пользователя и собирать статистику по посещаемым страницам. Также он умеет отвечать на более сложные вопросы и выводить подходящие страницы.

В ноябре 2020 был анонсирован алгоритм YATI. Принцип работы значительно улучшился, если сравнивать с предыдущими версиями. Далее вы узнаете, какие изменения в SЕО ждут владельцев сайтов после внедрения нового алгоритма.

Новый алгоритм YATI разрабатывался 10 лет, и теперь он способен анализировать тексты, находить информацию, применяя нейросети-трансформеры. Разработчики обещают, что YATI изменит поиск и позволит искать контент лучше, чем Палех и Королев.

Отличительные характеристики YATI

Что означает «трансформеры»? Выше был приведен пример, где пользователь, не зная названия фильма, вводил описание и получал точный ответ по своему запросу. Трансформеры были представлены в Google Brain в 2017 году в качестве архитектуры для глубокого анализа нейронных сетей. Спустя некоторое время Яндекс запустил свой алгоритм YATI (Yet Another transformer with Improvement), что переводится как «еще один преобразователь с улучшением». Его прямым конкурентом является BERT от Гугла.

По параметрам поиска они практически одинаковые. В Яндексе утверждают, что YATI – это доработанный BERT, и по своим возможностям он превосходит конкурента, но, скорее всего, данное преимущество работает только в русскоязычном сегменте, так как у поисковика от Гугла всегда были некоторые сложности при анализе русских текстов.

Зачем внедрили YATI?

Основная цель нововведений – улучшить поиск, чтобы пользователи смогли находить ответы на более сложные вопросы.

Алгоритм создан для оценки вводимых запросов, анализа и показа точной информации. Теперь у владельцев ресурсов появился шанс продвинуться, используя высокочастотные запросы. Для этого потребуется доработать свои тексты и внести правки, связанные с современными улучшениями.

Многие авторы статей по SEO придерживались мнения, что чем объемнее контент, тем лучше будут продвигаться страницы. Есть ошибочное представления, что ПС отдают предпочтения только объемным текстам. На самом деле, это не совсем так. И чтобы удержать верхнюю строчку в поисковой выдаче, нужно выполнить следующее:

Ответить максимально развернуто на вопрос посетителя, например, если он интересуется «как вырастить огурцы в парнике», то следует описать подробную инструкцию к процессу и неважно, какой объем текста будет предоставлен для ознакомления, главное, не меньше 3000 символов.
Время проведения на сайте – здесь учитывается, на сколько посетители задерживаются на странице. Если текст объемный, то время на прочтение понадобится больше. Бывает ситуация, когда автор блога нашел тему, но материала для полноценной статьи мало, тогда, чтобы задержать пользователя, можно предоставить ему обучающее видео по теме с YouTube. Время просмотра видео тоже учитывается в качестве времени, проведенного на сайте.
Переход по внутренним ссылкам – если разместить на странице веб-ссылку, то пользователи будут переходить по ней. Можно разделить одну статью на две части и предлагать каждую по-отдельности, предварительно сделав перелинковку.

Стоит отметить, что text долгое время не полностью учитывался при ранжировании. Во время индексации робот Яндекс выбирал только 5-10 %, остальной материал игнорировался. Работал он поверхностно, считывал документы, отмечал заголовки, а также участки текста c точным вхождением ключевых слов и предложений, где есть синонимы ключей.

Когда выпустили новый алгоритм YATI, ситуация изменилась, ранжирование улучшилось на 96 %. Статьи стали анализироваться в полном объеме. Ниже расскажем, какие изменения коснутся работы sео-оптимизаторов в 2021 году в связи с новым алгоритмом YATI.

Оптимизация контента с учетом нововведения YATI

Если придерживаться правил написания текста и оптимизации, можно вывести страницы в топ по основным ключевым словам. Результатом станет привлечение рекламодателей и клиентов, повышения продаж с сайта. Список требований, которые нужно выполнить для попадания в ТОП.

Пишите понятно. Чтобы информация легко воспринималась, не стоит использовать сложные темы, иначе пользователи могут вернуться в поисковую выдачу и продолжить поиски, что отрицательно скажется на поведенческих факторах.
Разбейте контент на смысловые блоки, чтобы материал легче воспринимался.
Выделяйте заголовки и подзаголовки, но не ключевые слова, т.к. сейчас это уже неактуально.
Нумерованные и маркированные списки нужны для перечисления и описания нескольких терминов.
Добавляйте синонимы, слова и фразы из подсветки выдачи Yandex. Делайте морфологические вхождения ключевых слов. Допустимо между ключами вставлять дополнительные слова, тем самым разбавляя запрос.
Низкочастотные и среднечастотные ключи требуется добавлять в органическом виде. Это нужно для попадания на верхние позиции.
Заголовки и подзаголовки должны содержать ключевые запросы.

Для объемных статей форматирование является обязательным условием. Каждый абзац нужно разбить на четыре-пять строчек. Если текст небольшой и содержит всего десять предложений, например, короткое описание товара, в таком случае форматирование необязательно.

Основные моменты написания коммерческих seo-текстов

Коммерческие тексты – это описание товаров или услуг. Обычно у них есть свои особенности, например, небольшое количество символов и насыщенность ключевых фраз в абзаце. Из-за этого могут возникнуть проблемы при ранжировании новым алгоритмом YATI. Чтобы продвинуть свои товары, нужно сделать следующее.

Составить подробное описание продукции;
Указать характеристики товара и услуг;
Дать возможность голосовать и оставлять отзывы;
Добавить в описание изделия параметры: размер, назначение и т.д.

Если изучить SЕО, то складывается впечатление, что никаких изменений с новым алгоритмом не произошло, но стоит учитывать тот факт, что YATI сортирует поисковую выдачу только на 50 %, остальные факторы ранжирования остались прежними.

Так были изменения в работе алгоритма или нет?

Большинство веб-мастеров на сегодняшний день раскручивают проекты, придерживаясь старых правил. Только половину работы берет на себя новый алгоритм, остальное продвижение нужно делать старыми способами, а именно улучшать параметры сайта. Вот несколько простых советов:

Поднять ИКС – делается это с помощью размещения ссылок на сторонних ресурсах.
Количество страниц сайта – здесь требуется регулярно заполнять веб-сайт новыми статьями.
Юзабилити и структура ресурса. Чем удобнее будут расположены меню и возможность получить доступ к контенту, тем лучше. Идеальный вариант – не более трех щелчков до статьи, начиная с главной страницы.
Только оригинальные статьи. Чтобы заполнять сайт качественными sео-статьями, нужно хорошо разбираться в теме или обучаться в процессе. Главное – это уникальность. Параметр уникальность должен быть в районе 90-100 %. Проверить ее можно, например, с помощью text.ru.
Ссылочная масса – это ссылки, размещенные на внешних источниках. Главное, придерживаться правила «не количество, а качество». Лучше разместить 5 ссылок на авторитетных ресурсах, чем сотню на сомнительных веб-сайтах с плохой репутацией.
Трафик – количество пользователей, которые ежедневно заходят на ресурс, влияет сразу на несколько показателей. Время, проведенное на веб-сайте, об этом мы писали выше. Удержать читателя можно двумя способами: разместить объемную статью или видеоролик для просмотра. Если контент интересный, то многие могут поделиться им в социальных сетях, что привлечет дополнительный трафик.
Поведенческие факторы, другими словами ПФ, – основной параметр, которому следует уделить особое внимание. Чтобы его улучшить, нужно в первую очередь проанализировать сайт и внести правки в работу ресурса. Например, для информационного ресурса важно оценить, увеличивается ли время, проведенное на сайте, уменьшается ли процент отказов, стали ли пользователи больше писать комментарии и делиться информацией в социальных сетях.
ПФ для интернет-магазина. Если пользователь пытается пройти поэтапное оформление заказа, а у него ничего не получается, то из-за этого в магазине будет или низкая конверсия, или она будет полностью отсутствовать. В таком случае рекомендуется лично проверить форму на наличие ошибок. Также нужно следить за тем, чтобы «цель» была настроена корректно. Настраивается это с помощью сервиса Яндекс.Метрика. Пример на картинке:

В 2021 году профессиональные sео-оптимизаторы рекомендуют улучшать ПФ. Разумеется, не стоит использовать разные способы накрутки. Еще до официального запуска YATI поисковики понизили в выдаче многие веб-сайты именно из-за этого.

Отзывы веб-мастеров

В интернете встречаются разные высказывания по поводу нового алгоритма. Большинство из которых являются отрицательными. Многие считают, что ничего не изменилось, и веб-сайты, которые прочно утвердились на первых позициях много лет назад, так и будут занимать верхние строчки. Есть и те, кто скептически относится ко всем нововведениям и считает, что после апгрейда поисковая выдача рухнет, и в топ выйдут некачественные сайты. Вот комментарии по теме, которые можно встретить в интернете:

Подведем итоги. Новый алгоритм способен с помощью нейронных сетей анализировать контент, почти также, как это делают люди, и выводить более точную информацию. Хоть он и берет на себя половину всей работы, не стоит забывать и о классике продвижения, которая разрабатывалась и оттачивалась годами.

Yandex YATI — новый поисковой алгоритм Яндекса

С завидной постоянностью Яндекс продолжает под новый год внедрять новые алгоритмы поискового ранжирования. Анонсировав на конференции YaC-2020 алгоритм «YATI», Yandex приступил к следующему этапу развития технологии нейросетей. С новым продуктом, по заверению самого Яндекса, релевантность поиска и ранжирования стала многократно лучше и подобный прорыв сотрудники корпорации называют самым значимым за последние десять лет. YATI способен не просто найти информацию, исходя из ключевого слова, он понимает, что ищет пользователь, выводя интент запроса на новый уровень.

Общее описание алгоритма «Яти»

Новый алгоритм Яндекса «YATI» (в переводе с английского «Ещё один (очередной) трансформер с улучшениями») это прямой последователь алгоритмов «Палех»-«Королев»-«Вега», основная задача которого выстраивать взаимосвязь между ключевым запросом пользователя, его ожиданием от выдачи (интентом) и непосредственно контентом самого ресурса.

Постоянно анализируя поисковую выдачу, «Яти» самообучается и начинает сам устанавливать взаимосвязи документа и намерения человека вбивающего запрос в поиск. Он способен не только учитывать порядок фраз и контекст, но и правильно понимать смысл многозначных словосочетаний, находя в контенте наиболее важные части слов. Подобным образом работает алгоритм «BERT», появившийся годом ранее у корпорации Google. Очевидно, что Яндекс следил за работой конкурента и на основе работы Берта вносил изменения в свой продукт.

Подробнее об алгоритме Yandex Vega

Подробнее об алгоритме Google BERT

Основные преимущества YATI

Для правильного формирования результатов в поиске, алгоритмам поисковых систем, как мы говорили ранее, необходимо научиться находить связи текста со страницы веб-сайта и запросом пользователя. Иными словами, по ряду факторов алгоритм должен определять наличие или отсутствие в документе (странице) ответа (совпадения информации) на запрос юзера. Если ответ имеется, то далее определяется на сколько он релевантный. Столь сложный процесс объясняется очень просто, человек знает истинный смысл своего ключевого запроса и ему достаточно найти на странице необходимую информацию. Поисковая система же понимает только выполнение (или не выполнение) условия, заранее прописанного для неё.

Особенность YATI заключается в возможности формирования экспертной оценки, а не простого угадывания клика пользователя, как это делали предыдущие программы Яндекса. Помимо этого можно выделить другие преимущества Яндекс Яти:

Алгоритм способен обработать большой объем контента страницы, выделяя в нем ключевые фрагменты, но первостепенно он обращает внимание именно на заголовки;
Яти значительно лучше понимает интент запроса, он анализирует текст, выделяя суть;
Яти научился оценивать зависимость слов между собой, учитывать контекст и порядок; словоформ.
Лучше стало распознавание ошибок и опечаток.

Чтобы лучше понять возможности YATI давайте рассмотрим реальный пример. Раньше набирая в поисковике запрос «билеты Санкт-Петербург Москва», в выдаче мы видели сайты, где нам показывались все билеты, как в Москву, так и из Москвы. Сейчас Яндекс понимает, что мы имеем в виду только обратный билет и показывает веб-сайты релевантные запросу.

Заключение и выводы

Презентация нового алгоритма и его запуск не отменяет общих правил оптимизации веб-сайта, даже если работа YATI действительно будет составлять 50% ранжирования поиска. Для частотных запросов внедрение нового алгоритма это очень долгий и трудный процесс, плюс необходимо время на самообучение и обкатку, поэтому скорее всего изменения в ближайшее время будут только на НЧ запросах, а значит все мероприятия по качественной внутренней и внешней оптимизации остаются в силе. Упор на естественность текста, поведенческие и коммерческие факторы.

Алгоритмы искусственного интеллекта и машинного обучения Яндекса

Ранее в этом месяце Google представила свой последний алгоритм искусственного интеллекта, BERT, который, как говорят, является самым большим обновлением Google со времен RankBrain и влияет на 10% всех поисковых запросов.

BERT означает представление двунаправленного энкодера от трансформаторов. Преобразователи относятся к моделям, обрабатывающим слова по отношению ко всем другим словам в предложении, таким как сопоставление ключевых слов и синонимов.

BERT подробно освещался в Search Engine Journal Роджером Монтти и Мэттом Саузерн.

Однако алгоритмы искусственного интеллекта и машинного обучения Google — не единственные, которые используются поисковыми системами во всем мире.

Машинное обучение — это общий термин, охватывающий широкий спектр алгоритмов, которые обучаются на основе наборов данных для предоставления:

рекомендаций.
Решения.
Предсказания.

Широко используется для ряда задач не только поисковыми системами, но и:

Рекомендации по музыке и фильмам на стриминговых платформах.
Прогнозы использования энергии в разных штатах.

Поисковые системы используют это для обработки данных из Интернета и некоторых автономных источников в случае Яндекса, чтобы предоставить пользователям лучшие результаты поиска и опыт.

Прошло десять лет с тех пор, как Яндекс впервые представил машинное обучение в поиске с запуском Matrixnet.

С тех пор поисковая система продолжала улучшать свои возможности искусственного интеллекта и машинного обучения с дальнейшими обновлениями, включая Палех и Королев.

Matrixnet, 2009

Matrixnet работает, беря тысячи переменных и «факторов ранжирования» и присваивая им различные веса на основе:

Местоположение пользователя.
Поисковый запрос.
Установленные намерения пользователя

Это сделано для того, чтобы предоставить пользователю более релевантные и точные результаты.

Ощутимое влияние Matrixnet заключалось в том, что для более коротких запросов с несколькими распространенными интерпретациями некоммерческий контент стал более заметным на страницах результатов поиска по сравнению с более коммерческим контентом (и коммерческими веб-сайтами).

Это связано с тем, что новый алгоритм ядра стал учитывать домен как целую экосистему, а не отдельные страницы и их непосредственные ссылки.

В тот же период, когда Яндекс запустил Матрикснет, поисковая система также приняла меры для предоставления пользователям более качественных результатов в зависимости от их местоположения. (Нет смысла кому-то во Владивостоке получать локальные результаты по Москве, так как это 113 часов на машине!)

Сделали это через алгоритм Арзамаса, который в том же году заменил Снежинск, а затем в 2010 году через Обинск.

Последнее позволило Яндексу лучше понять регион, в котором находится сайт, даже если веб-мастера не указали регион в Инструментах Яндекса для веб-мастеров.

Это заметно повлияло на веб-сайты с дорвеями местоположения и спамом с локальными ссылками.

Палех, 2016

В 2016 году (через год после RankBrain) Яндекс представил алгоритм Палеха. Палех использовал глубокие нейронные сети, чтобы лучше понять смысл поискового запроса.

Алгоритм использует нейронные сети, чтобы увидеть связи между запросом и документом, даже если они не содержат общих слов.

Эта технология наиболее полезна для сложных запросов, таких как поиск фильмов по неточным описаниям их сюжетов.

Королев, 2017

Основываясь на алгоритме Палеха, Яндекс выпустил обновление Королев в августе 2017 года. смысл страниц, в отличие от того, как Палех работал только с заголовками. Он также улучшает 150 страниц, которые анализировал Палех, благодаря своей способности работать с 200 000 страниц одновременно».

Подобно тому, как работает RankBrain, Korolyov становится более эффективным и точным с каждой дополнительной точкой данных, которую он получает, и все результаты затем возвращаются в основной алгоритм Matrixnet.

Одновременно с объявлением Королева Яндекс также сообщил, что Matrixnet начал:

Учитывать данные с их краудсорсинговой платформы Толока (представьте себе вариант Amazon’s Mechanical Turks).
Обрабатывать большие объемы анонимных пользовательских данных для дальнейшего улучшения и изменения наборов данных, с которыми работают алгоритмы машинного обучения.

Королев также ввел в поиск понятие семантических (контекстных) векторов, позволяющее выполнять «смысловой анализ» при отправке запроса пользователем. Это позволило поиску учитывать воспринимаемое значение всех запросов, которые привели пользователей на определенные страницы.

Это означало, что:

На этапе индексации каждая страница была преобразована в семантические/контекстные векторы.
Новые запросы могут быть поняты быстрее и эффективнее, с более точными результатами, чтобы не создавать отрицательных результатов поиска.

CatBoost, 2017

В 2018 году Яндекс представил преемника алгоритма машинного обучения Matrixnet — CatBoost.

По сравнению с Matrixnet CatBoost (с открытым исходным кодом) способен:

Более точные прогнозы.
Большая диверсификация результатов.
Вспомогательные нечисловые переменные, такие как типы облаков, породы кошек и виды растений.

CatBoost использует технику машинного обучения, известную как повышение градиента, и обычно решает проблемы регрессии и классификации, которые визуально проявляются в виде деревьев решений.

На сегодняшний день CatBoost также используется вне поисковой системы Яндекса такими организациями, как Cloudflare и CERN.

Он используется там, где требуется повышение градиента на деревьях решений с уменьшенным риском переобучения, для таких задач, как борьба с заполнением учетных данных с помощью ботов.

Оптимизация для алгоритмов искусственного интеллекта Яндекса

Алгоритмы машинного обучения Яндекса — это лишь небольшая часть обновлений, которые поисковая система делала на протяжении многих лет для борьбы со ссылочным спамом и некачественным контентом, как и Google.

Как и в случае с процессами Google RankBrain (а теперь и BERT), нет реального способа напрямую оптимизировать алгоритмы машинного обучения, поскольку они учитывают Интернет в целом.

Как всегда, важно создавать контент, который приносит пользу пользователю, соответствует цели поиска и написан на естественном языке и для людей, а не для машин.

Дополнительные ресурсы:

Яндекс SEO: интервью с поисковой командой Яндекса
Полное руководство по Яндекс SEO
9 часто задаваемых вопросов о Яндекс SEO и контекстной рекламе, ответы

Категория Международный поиск

Яндекс выпускает обновление алгоритма, Вега

Яндекс, крупнейшая поисковая система в России, объявила о своем новом обновлении алгоритма под названием «Вега», которое представило «1500 улучшений для поиска Яндекса». Самое существенное и самое примечательное изменение в этом обновлении, по мнению Яндекса, заключается в том, что организация добавляет в поиск больше человеческих элементов. Следующим изменением стала возможность удвоить размер своего поискового индекса, не влияя на скорость вывода запросов.

Андрей Стыскин, глава Поиска Яндекса, так сказал об обновлении: «В Яндексе наша цель — помочь потребителям и компаниям лучше ориентироваться в онлайн и офлайн мире. Благодаря этому обновлению поиска пользователи Рунета помогают нам в этом».

Яндекс SEO

Прежде чем подробно рассмотреть Vega, давайте рассмотрим особенности Яндекс SEO. Несмотря на то, что между Google и Яндексом есть сходство, у российской поисковой системы есть свои правила и нюансы, которые следует учитывать при структурировании и создании вашего русскоязычного сайта:

Получение индексации в Яндексе: Чтобы контент проиндексировался в Яндексе, необходимо отправить карту сайта через Яндекс.Вебмастер.
JavaScript и CSS: Яндекс объявил в блоге для веб-мастеров, что они начали сканировать JavaScript и CSS, а в более поздней статье поддержки они рассказали, как Яндекс обрабатывает сайты AJAX в ноябре 201 года.
Hreflang и XML Sitemaps: реализация карты сайта XML не будет работать в Яндексе, а разметка поддерживается Яндексом.
Теги уровня страницы: Яндекс поддерживает метатеги ключевых слов как элемент HTML. Для определения релевантности страницы поисковым запросам можно использовать следующее:
Маскировка: Яндекс выпустил обновление своего алгоритма с Находкой в 2008 году, чтобы избежать и распознать маскировку гораздо более действенным способом.
Всплывающие окна: Яндекс обновил свой основной алгоритм для обработки сайтов с навязчивыми всплывающими окнами в 2012 году. Позже, в 2014 году, он был обновлен, чтобы быть значительно более строгим к всплывающим окнам, которые мешают работе клиента и доступности контента.

SEO на странице

8-SP1: В 2008 году был выпущен официально названный алгоритм 8-SPI1. За это время в истории Яндекса более авторитетные сайты позиционировались выше из-за своего возраста, и этот алгоритм попытался изменить это, чтобы дать более свежим страницам возможность занимать верхние позиции. Этот алгоритм также изменил способ взвешивания обратных ссылок как фактора ранжирования, так как уменьшил их емкость.
Фильтр AGS: Это обновление алгоритма было представлено в сентябре 2008 г. и обновлено в 2009 г., 2013, 2014 и 2015. Первая итерация алгоритма работала с дублирующимся и некачественным контентом. Более поздние обновления подразумевали, что Яндекс может понизить рейтинг сайтов, нацеленных на привлечение трафика для показов рекламы на странице, и оштрафовать сайты, ориентированные на продажу и размещение ссылок.
Рейкьявик и Калининград: Рейкьявик (2011 г.) и Калининград (2012 г.) были начальными этапами персонализации поиска. История поиска, файлы cookie и действия пользователей начали влиять на персонализированные результаты поиска.
Thematic Index Citation (TIC): Яндекс использует оценку TIC, чтобы проанализировать очевидную известность сайта, актуальную важность и сделать вывод об авторитетности. Здесь вы можете сделать вывод о сходстве с PageRank.

Чтобы улучшить свой показатель TIC, убедитесь, что у вас есть:

Отличные внутренние ссылки, которые повышают ценность для пользователя, а не произвольные ссылки на основные экземпляры каждого слова на странице и так далее.
Создавайте высококачественный контент, отвечающий потребностям пользователей.
Убедитесь, что содержимое значимо.

Выпуск обновления алгоритма Vega

Вот самое важное, что вам следует знать об обновлении Vega.

Добавление человеческих элементов в обучение алгоритма

Яндекс сообщил, что обновил алгоритм ранжирования с помощью нейронных систем, подготовленных на основе информации, предоставленной настоящими специалистами в нескольких областях, что обеспечивает пользователям лучшие результаты по их запросам. Похоже, у Яндекса есть специалисты, подкрепляющие расчеты ИИ сигналами о том, какими должны быть наилучшие результаты, и машины используют этот подлинный человеческий вклад для создания превосходного конечного продукта для проиндексированных списков. Как и Google, Яндекс дополнительно использует оценщиков качества — оценщиков — для проверки новых изменений в расчетах.

Как бы то ни было, российская поисковая система сделала все возможное, наняв специалистов для проверки работы оценщика для повышения точности. Таким образом, поскольку эти специалисты ручаются и проверяют обучающие данные Яндекса, они, вероятно, будут более точными.

Поисковые запросы и предварительный рендеринг

Еще одно интересное и актуальное обновление Яндекса — использование алгоритмов для прогнозирования того, что спросит клиент, и «предварительного рендеринга» результатов для этого поискового вопроса. Хотя это было заявлено в отношении обновления Vega, оно было выполнено в марте 2019 года. . Одним из уникальных преимуществ этой конкретной функции является то, что она сокращает время, необходимое клиентам для поиска ответов на вопрос.

Яндекс также сообщил, что внедряет в поиск службу вопросов и ответов. Они, вероятно, связывают людей с ответами на их запросы от квалифицированных специалистов через свою новую систему вопросов и ответов, Яндекс.Q.

Поисковая индексация и кластеризация

Раньше Яндекс просматривал весь индекс в поисках ответа на запрос. Учитывая все обстоятельства, не больше. Яндекс представил исключительно увлекательный метод работы с тематически сопоставимыми страницами сайта. Вместо того, чтобы просматривать весь файл в поисках ответа, Яндекс сгруппировал страницы в тематические кластеры.

Технология кластеризации Яндекса позволила Яндексу удвоить свой индекс до 200 миллиардов страниц, не влияя на скорость выбора страницы сайта.

Это исключительно интересно, потому что кажется, что алгоритмы ранжирования, которые начинаются с начальных локалей, можно связать в качестве делегатов тем. Страницы сайта, на которые больше ссылок дальше, считаются менее важными. Страницы, которые находятся ближе к затравкам темы, считаются более уместными.

Краудсорсинг

Еще одним ярким элементом обновления алгоритма Яндекса являются краудсорсинговые рейтинги результатов поиска. Google использует временных подрядчиков, которые обучены правилам оценки качества Google, чтобы судить об их элементах поиска. Яндекс зависит от своей публичной платформы поддержки под названием Яндекс.Толока. Хотя это может показаться несколько менее контролируемым, чем стратегия Google, Яндекс дает оценщикам правила для повышения точности оценок.

В отличие от стратегии Google, краудсорсинг Яндекса менее контролируем. Как бы то ни было, российская поисковая система дает правила рейтинга для повышения точности рейтинга.

Отдельные лица, или «оценщики», уже давно помогали обучать своих стадий ИИ через публично поддерживающую стадию Яндекс.Толоку. Используя наши правила оценки предметов, оценщики в Яндекс. Толоке выполняют действия, которые помогают им найти наиболее подходящие результаты для явных запросов.

Заключение

Яндекс — ведущая поисковая система в России, и из-за более поздних правовых изменений они дополнительно закрыли дыру на мобильных устройствах. С обновлением Vega Яндекс продолжает делать поиск самым точным и быстрым способом взаимодействия российских пользователей с наиболее актуальными данными в Интернете. Сопоставляя навыки искусственного интеллекта с информацией о настоящих специалистах, Яндекс объединяет лучшее из искусственного и человеческого понимания, чтобы связать людей с наиболее релевантными данными.

Конфликт вокруг Яндекс.Новостей в России

В России с 2011 года агрегатор Яндекс.Новости (Яндекс.Новости) — российский аналог Google News — подозревается в политической предвзятости в контексте протестов против фальсификаций на выборах, за которыми последовал украинский кризис. В этой статье сначала описываются проблемы, связанные с автоматизированными системами рекомендаций по новостям, их роль в качестве «алгоритмических привратников» и вопросы, которые они поднимают с точки зрения разнообразия новостей и возможных манипуляций. Затем анализируются разногласия, возникшие вокруг Яндекс.Новостей, особенно после того, как власти решили регулировать его работу с помощью закона, принятого в 2016 году. Наконец, проводится аудит агрегации Яндекс.Новостей в 2020 году посредством количественного анализа. своей базы данных источников и Топ-5 результатов, представленных на главной странице Яндекса. Он показывает несоответствие между разнообразием российской онлайн-медиасферы и узостью медийной выборки Яндекс.Новостей. Это исследование вносит свой вклад в социологию цифровых платформ и изучение «управления с помощью алгоритмов», показывая, как агрегатор новостей Яндекса является ключевым активом в общей дисциплине российского правительства в отношении средств массовой информации и цифровой общественной сферы в рамках постоянных усилий по утверждению «цифровой суверенитет».

Содержимое

Введение
1. Алгоритмический привратник в экосистемах цифровых медиа: контекст и проблемы
2. Яндекс.Новости как политическая полемика: определение «правильной» агрегации новостей
3. Рейтинги Яндекса как ворота к алгоритму и его преобразованиям
Заключение

Введение

Россия — одна из немногих стран мира, где Google не доминирует в индустрии онлайн-поиска. В 2020 году русскоязычный аналог «Яндекса» занимал чуть менее половины доли рынка (около 45 процентов) [1]. Яндекс уже давно пользуется определенной степенью автономии, и его основатели даже в разные моменты выражали политическое несогласие с Кремлем. Однако как лидер национальной экономики и как ключевой игрок в организации информации он находится под пристальным вниманием. Это особенно актуально после протестов 2011–2012 гг. и Borogan, 2015; Wijermars and Lehtisaari, 2020).

В качестве примера можно привести агрегатор «Яндекс.Новости» («Яндекс.Новости») — российский аналог Google News, запущенный в 2004 г., — которому посвящена эта статья. Когда они впервые появились, поисковые системы и системы рекомендаций, такие как агрегаторы, были разработаны как инструменты, которые сделают разнообразный контент в Интернете более управляемым. Однако, как показало большое количество исследований, эти платформы занимают стратегическое место и стали ключевыми посредниками в передаче информации конечным пользователям 9.0273 qua граждан. Таким образом, они обладают формой власти в формировании восприятия социальной реальности, точное определение которой ученые, политики и гражданское общество все еще находятся в процессе. В качестве вклада в эти усилия мы хотели бы сместить перспективу в сторону менее изученного российского контекста. Наше исследование показывает, как российские власти прямо и косвенно пытались дисциплинировать систему рекомендаций по новостям, предоставляемую Яндексом, в рамках более широких усилий по установлению контроля над распространением информации.

Сначала мы представляем роль и обязанности агрегаторов новостей в цифровых медиа-экосистемах. Опираясь на более знакомую модель Новостей Google, мы изложили проблемы, возникающие в связи с автоматическими рекомендациями новостей, как часть более широкого набора вопросов, касающихся роли поисковых систем и платформ социальных сетей в обеспечении разнообразия СМИ (Helberger, 2019) и в формировании публичной сферы посредством «алгоритмического контроля» (Napoli, 2014; Nechushtai and Lewis, 2019). Алгоритмы часто критикуют за их непрозрачность и необъяснимость (Pasquale, 2015; Saurwein, 9).0273 и др. , 2015) и, несмотря на давние заявления о нейтралитете со стороны этих субъектов, теперь становится все более очевидным, что вопросы, связанные с курированием новостей, носят не только технический или коммерческий характер.

Затем мы приступаем к критическому анализу платформы Яндекс.Новости и ее алгоритма (Китчин, 2017; Сивер, 2019), который опирается на два разных типа доказательств: анализ противоречий и аудит алгоритма.

Во второй части мы представляем политические разногласия, разгоревшиеся вокруг Яндекс.Новостей в 2010-е годы. Опираясь на социальные исследования науки и техники (STS), мы рассматриваем противоречия, связанные с социотехническими системами, как привилегированный путь исследования (Latour, 2005; Marres, 2007). Мы смотрим на внимание, привлекаемое агрегатором, и на возражения, выдвинутые политиками и конечными пользователями, уделяя особое внимание авариям, нарушениям и предполагаемым неисправностям; они представляют собой ключевые элементы для понимания роли этого алгоритмического «черного ящика» как оспариваемого производителя значения (Bucher, 2016). В 2016 году законы, направленные против агрегаторов новостей, вынудили Яндекс ограничить результаты, отображаемые на его странице новостей, только официально зарегистрированными СМИ (Daucé, 2017). Опираясь на интервью с нынешними и бывшими сотрудниками компании Яндекс, со специалистами по поисковой оптимизации (SEO), а также с российскими журналистами и редакторами, столкнувшимися с платформой, мы показываем, что существуют три конкурирующие интерпретации того, что представляет собой «правильные» результаты агрегирования. Первый отстаивается самим Яндексом как «объективный» результат работы его алгоритмов. Другой — критика со стороны властей, для которых «Яндекс.Новости» могут продвигать «непатриотичные», «фейковые» или иным образом проблемные новости. Последнее выдвигают журналисты, редакторы и SEO-специалисты, которые полагаются на свое понимание того, что можно считать «достойным освещения в печати», чтобы критиковать платформу.

В третьей части, чтобы протестировать сам алгоритм, мы сравниваем огромную базу данных партнеров Яндекс. Новости с рейтингами новостей, предоставленными алгоритмом для Топ-5 новостей, представленных на главной странице Яндекса [2]. Мы показываем несоответствие между разнообразием российской онлайн-медиасферы в базе данных и узостью выборки СМИ, представленной рейтингами Яндекс.Новости в 2020 г., в которой доминирует исключительно небольшой набор из всего 14 СМИ (информационные агентства, государственные СМИ и частные издания, «лояльные» правительству). Затем мы противопоставляем ограниченность результатов агрегатора разнообразию контента, циркулирующего в социальных сетях. Этот контраст предполагает существование двух сфер онлайн-медиа: в первой преобладают «зарегистрированные» СМИ, агрегированные «Яндекс.Новости», а во второй — социальные сети, где «альтернативные» медиа-источники могут выделить пространство.

Это исследование представляет собой тематическое исследование «управления с помощью алгоритмов» (Musiani, 2013; Just and Latzer, 2017; см. также Gillespie, 2018) и способствует пониманию того, как системы рекомендаций по новостям могут быть подвержены определенным предубеждениям (Kulshrestha, et al. , 2019; Trielli and Diakopoulos, 2019) или могут быть подвержены тонкой политической фильтрации (Jiang, 2014). Дело Яндекса также дает представление об особенностях российской интернет-политики как утверждения «цифрового суверенитета» (Nocetti, 2015; Musiani, 9).0273 и др. , 2019). Он раскрывает новые «кодексы поведения», включающие как компьютерный код, так и юридический код (Lessig, 1999), которые могут быть установлены в сетевой общественной сфере в современных обществах. Это раскрывает как стратегический характер поисковых платформ и алгоритмов сегодня (Pasquale, 2015), так и то, как российское правительство все чаще пытается утвердить свое господство над управлением Интернетом, понимаемым как аспект «информационной безопасности» (Maréchal, 2017). , иллюстрирующий, как можно контролировать информационные инфраструктуры, чтобы косвенно регулировать речь в Интернете (Sivetc, 2019).).

1. Алгоритмический контроль доступа в экосистемах цифровых медиа: контекст и проблемы

1. 1. Автоматизированные системы рекомендаций по новостям, разнообразие новостей и формирование общественной сферы

Агрегатор Яндекс.Новости можно описать как автоматизированную систему рекомендаций по новостям . Наиболее известным примером такого сервиса является агрегатор новостей Google, впервые запущенный в 2002 г. и выведенный из бета-версии в 2006 г. [3]. Первоначально служба была нацелена на предоставление широкого обзора популярных новостей, представляя пользователю «кластеры» связанных статей. Постепенно были разработаны другие языки и издания для стран, а также были добавлены такие функции, как оповещения по электронной почте, персонализация и рекомендации новостей. В 2021 году служба индексирует десятки тысяч новостных веб-сайтов по всему миру и тесно связана с основной службой веб-поиска.

Рекомендательные системы существуют с первых дней существования Интернета и охватывают широкий спектр различных приложений, от покупок и электронной коммерции до музыки, фильмов и новостей (Jannach, et al. , 2011; Ricci, et al. ). , 2015). Они включают в себя автоматическую фильтрацию, которая может основываться на различных параметрах, но обычно опирается на действия пользователей (обратные ссылки, клики, поиски, выбор, предпочтения и т. д.) для аппроксимации выбора релевантной информации, которая, вероятно, будет интересна этому же пользователю или другим пользователям. Системы рекомендаций по новостям полагаются на различные методы, которые могут быть основаны в первую очередь на анализе самого контента (характер публикаций, в том числе, например, его «свежесть»), активности, которую он вызывает (количество кликов, показатели вовлеченности в социальных сетях). средства массовой информации, такие как лайки и публикации и т. д.), формы «совместной фильтрации» и модели интересов в данном сообществе или предпочтения пользователей — последний случай включает персонализацию агрегированных новостей на основе собранных поведенческих данных, которые может быть самоопределяемым или предполагаемым (Карими, и др. , 2018). Как правило, системы рекомендаций по новостям комбинируют эти подходы в разной степени, в зависимости также от того, можно ли легко отследить пользователя (, например, , вошел ли он в систему или иным образом идентифицирован как уникальный пользователь).

Помимо оценки релевантности и продвижения контента, к которому другие проявили интерес, или контента, похожего на ваши предыдущие интересы, для рекомендации новостных материалов также требуется предоставление качественного выбора. Это измерение сложнее определить, поскольку оно включает в себя выборку элементов, которые могут не находиться в пределах прямой видимости или внимания пользователей. Один из ключевых показателей качества основан на разнообразия новостей, которые может предоставить агрегатор. Такой критерий может оцениваться с точки зрения удовлетворенности пользователя; однако он также предполагает гораздо более широкое обсуждение роли и ответственности средств массовой информации как центрального института демократии, которые, как ожидается, будут надлежащим образом информировать граждан, а также обеспечивать разнообразный общественный форум для обсуждения идей и мнений (Helberger, 2019). Более того, ключевыми параметрами этого разнообразия являются такие аспекты, как множественность освещаемых тем, а также разнообразие редакционной политики, идеологических взглядов, жанров повествования и т. д. (Helberger, 9).0273 и др. , 2018). Другая связанная с этим проблема заключается в том, могут ли автоматические рекомендательные системы быть предвзятыми по отношению к определенным типам контента, недопредставляя их в результатах (Kulshrestha, et al. , 2019). Действительно, общая картина может показаться разнообразной, но ключевые вопросы могут быть опущены (, например, , крупный коррупционный скандал), некоторые темы могут иметь сравнительно меньшее значение (, например, , политика или спорт), или их редакционная обработка может преуменьшить их значение. важность ( напр. , сосредоточив внимание на менее важных, но более интересных аспектах).

Очень рано «политика поисковых систем» была представлена как важнейшая проблема, имеющая решающее значение для формирования общественной сферы (Introna and Nissenbaum, 2000). Агрегаторы новостей, которые обеспечивают видимость «автоматически» выбранных новостей, также подверглись тщательному анализу из-за их все более важной роли и растущей силы, которую они используют в медиа-экосистемах. В настоящее время существует множество различных каналов распространения новостей, включая поисковые системы и агрегаторы новостей, а также социальные сети. В результате издатели становятся все более зависимыми от цифровых платформ (Nielsen and Ganter, 2018). Все такие цифровые посредники, по сути, сами стали привратниками наряду с журналистами (Napoli, 2014), часто используя поведение пользователей для формирования общей картины «кураторских потоков» информации (Thorson and Wells, 2016, 2015).

Google, а также Яндекс, как правило, представляют свои услуги как «нейтральные», но такие заявления об объективности подвергались критике по разным причинам. За последнее десятилетие из-за их все более мощных функций персонализации некоторые из основных веб-сервисов и особенно поисковые системы Google подозревались в том, что они заманивают пользователей в ловушку «пузырей фильтров» и «эхо-камер» (Pariser, 2011; Bozdag, 2013). Заставляя пользователей не обращать внимания на определенные типы информации или альтернативные точки зрения, а иногда и усиливая существующие предубеждения или предубеждения, эти службы будут подрывать общественную сферу. Алгоритмы поиска и автоматические рекомендательные системы также подвергались критике за пропаганду возмущения и теорий заговора, например, алгоритм рекомендаций YouTube был представлен как «великий радикализатор» [4]. Однако реальность этих явлений трудно точно оценить (Флаксман, 9).0273 и др. , 2016; Bruns, 2019), особенно для поисковых систем (которые, как было показано, даже увеличивают разнообразие информации, см. Fletcher and Nielsen, 2018). В случае Google News даже функции персонализации не уменьшают разнообразия новостей (Haim, et al. , 2018). Однако, хотя 90 273 отдельных 90 274 пузырей фильтров может быть трудно оценить эмпирически, «алгоритмическое курирование новостей по-прежнему представляет собой проблему разнообразия источников, поскольку оно может сосредоточить внимание общества на узком круге привилегированных источников». [5].

1.2. Дисциплинировать алгоритм, чтобы контролировать новости?

Прежде чем присмотреться к Яндекс.Новостям, стоит отметить, что отношения новостных агентств с Google Новостями были сложными. Агрегаторы новостей обеспечивают видимость новостного контента в обмен на доступ к публикациям, и, хотя Google News является поставщиком трафика (Calzada and Gil, 2020), его также можно рассматривать как самостоятельную точку выхода, извлекающую выгоду из контента (заголовков и «фрагменты» текста), предоставленные средствами массовой информации [6]. Помимо этих вопросов авторского права и бизнес-модели, агрегаторы новостей влияют на публикацию самих новостей: контент должен соответствовать критериям, оцениваемым их алгоритмами с точки зрения актуальности, «свежести», частоты обновлений, метаданных, обратных ссылок, удобства для мобильных устройств и т. д. Редакторы внедрять стратегии поисковой оптимизации (SEO), чтобы гарантировать, что их контент будет эффективно упоминаться и продвигаться, постоянно отслеживая аналитику аудитории, чтобы понять, что «работает», а что нет, какие истории набирают популярность, а другие нет. В зависимости от того, насколько сильно новостной веб-сайт зависит от трафика (и, следовательно, от доходов от рекламы), ему необходимо будет адаптировать свой контент и адаптировать свои стратегии публикации, чтобы быть «подхваченным» платформами, что напрямую влияет на работу. журналистов и традиционное понимание «новостной ценности» или «примечательности» (Boyer, 2013; Belair-Gagnon and Holton, 2018; Diakopoulos, 2019).а).

Таким образом, алгоритмы, используемые этими платформами, можно воспринимать как «невидимую руку», решающую, какие темы будут выделены как актуальные, а какие новостные агентства будут выдвинуты на первый план в соответствии с иногда непостижимыми критериями, что глубоко влияет на природу самой журналистики в процесс, поскольку профессионалы корректируют форму и характер своего опубликованного контента, чтобы удовлетворить эти ограничения (Brake, 2017; Christin, 2020). Роль алгоритмов в сортировке новостей, управлении видимостью и вниманием, формулировании вопросов и повестке дня все чаще подвергается сомнению, особенно с учетом того, что

«Алгоритмы трендов могут отражать то, что популярно, одновременно повышая осведомленность еще более широкого круга людей, фактически помогая привлечь внимание заинтересованной общественности к проблеме.

С другой стороны, могут возникнуть разумные вопросы, когда лента новостей не уведомляет своих пользователей о важных гражданских беспорядках, продолжая при этом развлекать и отвлекать внимание от популярных событий». [7]

Влияние поисковых систем на выбор и предпочтения пользователей может быть далеко идущим, и в серии контролируемых экспериментов было показано, что они даже влияют на колеблющихся избирателей (Epstein and Robertson, 2015).

Учитывая его центральную роль в распространении новостей сегодня, Google регулярно подозревают в предоставлении информации о нелегитимных источниках ( например, , скандальная доска изображений 4chan после стрельбы в Лас-Вегасе в 2017 году) [8] или в политической предвзятости в пользу некоторых типов («левых») новостных источников (Diakopoulos, 2019b). Также утверждалось, что трафик, направляемый поисковыми системами, по-видимому, приносит пользу в основном небольшому числу уже широко известных национальных поставщиков новостей, тем самым укрепляя уже существующие иерархии СМИ и подрывая претензии на больший плюрализм (Hindman, 2018, 2008; Hong and Kim, 2018). Это также может быть в случае с агрегированием новостей: недавно было показано, что для Google News только пять новостных организаций составляют почти половину всех рекомендуемых новостей, и в рекомендациях преобладают устаревшие СМИ (Nechushtai and Lewis, 2019).; см. также Bui, 2010).

В российском политическом контексте вопрос, поднятый агрегатором Яндекс.Новости, стоит еще острее: можно ли им манипулировать по политическим мотивам либо путем прямого вмешательства в результаты, либо путем обмана его алгоритма? Или его можно дисциплинировать с помощью нормативных ограничений для достижения аналогичных результатов? Ответ на эти вопросы включает в себя оценку не только того, достаточно ли разнообразен доступный объем информации, но и того, могут ли некоторые новости, считающиеся важными для широкой публики, при определенных обстоятельствах намеренно не доходить до широкой общественности через агрегатор. На практике этой цели можно было бы достичь, если бы автоматически «рекомендуемые» новости поступали только из контролируемых источников.

2. Яндекс.Новости как политическая полемика: определение «правильной» агрегации новостей

Яндекс.Новости с 2014 года стали мишенью различных политик и правовых инициатив. Таким образом, мы представляем обзор новых правил и обсуждение, которое они вызвали в прессе. Более того, подозрения в отношении сервиса усугублялись наблюдениями журналистов и пользователей, которые во время конкретных событий обнаруживали несоответствие между их общим пониманием того, что считается новостью, и автоматическим отбором, предоставляемым Яндексом. Поэтому мы также рассказываем о случаях подозрительной деятельности, основываясь как на опубликованных журналистских расследованиях, так и на полу-направленных интервью, которые мы взяли с ключевыми фигурами, такими как журналисты, редакторы, SEO-специалисты и бывшие сотрудники Яндекса. Противоречие заставляет некоторых из них разрабатывать стратегии обхода платформы.

2.1. Яндекс. Новости в российском контексте

Яндекс (сокращение от Yet Another iINDEX) — название, данное Аркадием Воложем и Ильей Сегаловичем технологиям полнотекстового поиска с поддержкой русского языка, которые они разработали в Comptek International. Поисковик Яндекс.ру был запущен в 1997 году — примерно в то же время, что и Google, но в совершенно другом экономическом контексте — а контекстная реклама была добавлена в следующем году. Тем не менее, Россия — одна из очень немногих стран, где поиск не монополизирован Google, а доля Яндекса составляет более 45 процентов, что делает его признанным национальным чемпионом российской цифровой экономики. В 2000 году Яндекс стал независимым юридическим лицом, и теперь это частная международная компания, зарегистрированная в Нидерландах. Она котируется на NASDAQ с 2011 г. Это крупнейшая технологическая компания России, выручка которой за пять лет увеличилась более чем втрое: с 60 млрд руб. в 2015 г. до 218 млрд руб. в 2020 г. [9]. ].

По мнению журналистов в 2017 году: «На первый взгляд, Яндекс и Кремль представляют две разные России с небольшим пересечением» [10]. Сооснователь «Яндекса» Илья Сегалович и некоторые его коллеги активно участвовали в акциях протеста против результатов выборов в конце 2011 и 2012 гг. Однако с тех пор российское правительство усилило давление на компанию (Oates, 2013). . Яндекс считается ключевым национальным достоянием, обеспечивающим определенную степень независимости от иностранных (особенно американских) интернет-компаний. Его деятельность сдерживается политическими, юридическими, техническими и экономическими средствами (Vendil Pallin, 2017). В 2009Владельцы Яндекса продали «золотую акцию» (приоритетную акцию) Сбербанку, контролируемому государством российскому сберегательному банку, что дало правительству де-факто права вето по стратегическим вопросам. Однако расхождение в стратегиях недавно привело к передаче этой «золотой акции» недавно созданному Фонду общественных интересов — реструктуризация его управления должна была успокоить как его инвесторов, так и Кремль: этот шаг гарантировал, что «Яндекс» не попадет под иностранный контроль, при этом позволяя ему работать на мировых рынках [11].

Несмотря на критику, определенная степень лояльности к государству также принесла компании определенные преимущества. Например, Яндекс выиграл антимонопольный конфликт с Google и, как ожидается, выиграет от нового российского закона, который делает предустановку российского программного обеспечения на смартфоны обязательной [12]. Согласно этому закону, Google не будет разрешено предварительно устанавливать свои приложения на телефоны Android, что даст Яндексу возможность разрабатывать свои продукты.

Помимо своей системы веб-поиска, Яндекс разработал множество других сервисов, таких как интернет-портал или служба электронной почты, а также более конкретные предприятия, такие как Яндекс.Такси (заказ такси, который объединился с Uber в 2017 году). , Яндекс.Карты (карты и геолокация), Яндекс.Музыка (стриминг музыки) или Яндекс.Еда (доставка еды). Среди них Яндекс.Новости или Яндекс.Новости, агрегатор новостей, который находится в центре нашего исследования.

Яндекс. Новости представляют подборку тем и статей, призванных отразить темы, наиболее широко освещаемые СМИ в данный момент. Для этого он обрабатывает информацию, опубликованную рядом (в основном российских) интернет-СМИ. Яндекс.Новости были запущены в 2004 году и первоначально представляли собой пилотный проект под руководством группы компьютерных ученых и лингвистов, которых наняли для разработки распознавания и извлечения именованных сущностей в новостях [13]. Команда Яндекс.Новостей утверждает, что алгоритм работает без участия человека. Новости от партнеров собираются в темы с помощью процесса кластеризации алгоритмов. Робот анализирует ключевые слова и факты и группирует их по темам, используя три основных критерия: цитируемость, новизна и информативность [14].

Лев Гершензон, бывший начальник службы, окончил кафедру теоретической и компьютерной лингвистики Московского университета социальных наук (РГГУ). Он присоединился к команде разработчиков Яндекс.Новостей в 2004 году, когда в Яндексе работало всего около 200 человек. В то время уже существовали Google News, но, по словам Гершензона, «в Яндексе мы были сильнее и привлекательнее для пользователей. Именно поэтому мы разместили Топ-5 на главной странице, а Google никогда не пытался этого сделать» [15]. Действительно, одним из ключевых аспектов обсуждения Яндекс.Новостей является то, что Топ-5 его агрегированных результатов постоянно представлены на русской версии главной страницы Яндекса, прямо над окном поиска, что обеспечивает этому небольшому выбору новостей массовую ежедневную аудиторию. и привлечение значительного трафика к избранным публикациям (см. рис. 1).

Хотя Google, например, также предоставляет выбор «Главные новости» в своей поисковой системе, они относятся к конкретным запросам и появляются вместе с остальными результатами только после ввода запроса. Таким образом, Топ-5 имеет особое значение для понимания того, как Яндекс как платформа функционирует как система рекомендаций по новостям. В 2017 году, по словам Григория Бакунова, технического директора Яндекса, «ежедневная аудитория пяти новостей, которые появляются на главной странице Яндекса, такая же, как и у главной страницы — примерно 20 миллионов человек, в зависимости от дня. Ежедневно страницу Яндекс.Новости посещают шесть миллионов» [16].
2.2. Юридические ограничения: курирование новостей в домашних условиях
Споры, возникшие после 2012 года, поставили крест на вере в объективность агрегатора. 2012 год стал решающим для свободы слова в России и «переломным моментом» в регулировании Интернета (Lonkila, et al. , 2020). В течение десятилетия публичная сфера, казалось, процветала и оставалась относительно свободной, особенно онлайн. Кульминацией этого стала смелая вспышка оспаривания после всеобщих выборов 2011 года, на которых произошли массовые фальсификации. Волна протестов, также последовавшая за «арабской весной», вызвала резкую реакцию властей, начавших постепенное ужесточение правил публичного выражения мнений (Денисова, 2017).
Одной из наиболее значимых мер стало установление законом в 2012 г. черного списка цензурированных веб-сайтов, доступ к которым от интернет-провайдеров теперь требовался [17]. Первоначально он был нацелен на детскую порнографию, информацию, связанную с производством и распространением наркотиков, а также на информацию, побуждающую к самоубийству. Однако понятие «запрещенная информация» было расширено до «призывов к противоправным действиям» или «пропаганды экстремизма», а в 2014 году использовалось для блокировки оппозиционных веб-сайтов, таких как «Грани.ру», «Каспаров.ру» или блога лидера оппозиции в «Живом журнале». Алексей Навальный. Список ведется и регулярно обновляется Роскомнадзором, органом по надзору за коммуникациями и СМИ, который также выдает лицензии для СМИ в России. Кроме того, поисковые системы больше не разрешали ссылаться на эти веб-сайты. Поэтому Яндексу пришлось удалить их из результатов поиска.
Контроль над публичной сферой вновь усилился в 2014 году, во время конфликта с Украиной и оккупации Крыма. Несогласные взгляды были тщательно изучены в контексте сильной патриотической риторики. Власти начали кампании в СМИ с участием как государственных СМИ, так и ныне печально известной «армии троллей», чтобы разжечь поддержку пророссийских мнений и подорвать доверие к любым проукраинским голосам (Федор, 2015; Мехиас и Вокуев, 2017). В то время — в глобальном контексте, который включал в себя разоблачения Сноудена о нелегальной слежке за Интернетом со стороны американских спецслужб — Путин заявил, что «Яндекс» начинался как проект под влиянием Запада и что Интернет в целом был «особым проектом ЦРУ». .
Яндекс.Новости, в частности, оказались в центре политического спора после того, как власти обвинили их в пристрастности за предоставление информации, которая не соответствовала официальной версии. Сайт «Правда.ру» поинтересовался, зажигает ли «Яндекс» в России «майдан»? (имеется в виду протесты в Киеве, приведшие к смене режима в Украине) [18]. Газета возмутилась заголовками, выбранными агрегатором новостей, и заявила, что необходимо законодательно урегулировать его деятельность. В мае 2014 года пресс-секретарь Путина Дмитрий Песков заявил, что «Яндекс.Новости» должны быть зарегистрированы как СМИ, что поставит их под контроль Роскомнадзора.
Это привело к принятию в 2016 году закона о новостных агрегаторах, призванного распространить контроль на таких посредников и специально нацеленного на Яндекс.Новости [19]. Агрегаторы новостей, которые посещают более миллиона человек в день, несут юридическую ответственность за любой контент, опубликованный в их результатах (и рискуют крупными штрафами в случае нарушений), если выбранные СМИ официально не зарегистрированы в Роскомнадзоре. Между Яндекс.Ньюс и СМИ были заключены официальные соглашения: в 2016 году было создано 6700 новых «товариществ». Закон вступил в силу 1 января 2017 года, и, как следствие, все незарегистрированные СМИ (включая несогласные, такие как «Медиазона») а также все иностранные СМИ (такие как BBC на русском языке, а также изгнанные СМИ, такие как Meduza) исчезли из Топ-5 результатов, представленных на главной странице Яндекса, а также из Яндекс. Новостей.
После принятия закона Татьяна Исаева, возглавлявшая «Яндекс.Новости» с 2012 года, объявила об уходе из компании. В интервью «Медузе» она утверждала, что закон сделал ее работу менее интересной, а сами цели агрегатора — выделить важные новости и донести до пользователя разные точки зрения — подорваны: «Агрегатор действительно предназначен для того, чтобы охватить картину [новостей] одним взглядом. Если эта картина одинакова во всех своих частях, то совершенно непонятно, зачем нужен агрегатор» [20]. Исаева также упомянула, что ситуация в Крыму была критическим моментом для агрегатора, который собирал новости как из России, так и из Украины и представлял радикально разные точки зрения на конфликт:
На одной странице были собраны заголовки, прямо противоречащие друг другу. И было совершенно непонятно, о ком вообще идет речь, когда в одном и том же сюжете одни и те же люди в одном заголовке назывались сепаратистами, в другом заголовке ополченцами, в третьем защитниками, а в четвертом. .. какие-то нехорошие слова . И произошло это потому, что технически сюжеты российского вопроса могли освещаться украинскими СМИ абсолютно на тех же основаниях, что и заголовки российских СМИ. И это, в общем-то, было до сих пор вполне оправдано, потому что в России и на Украине журналисты освещают очень похожие темы. И когда мы увидели это безобразие, то поняли, что искажаем точку зрения людей, потому что служба не была готова к такому повороту — для информационной войны прецедентов не было. [21]
В результате сервис был сделан «невозможным для использования», и Яндекс решил разделить СМИ на «отечественные» и «зарубежные» для каждой из двух стран — а затем убедиться, что «отечественные» СМИ окажется выше в результатах: зарегистрированные российские новостные агентства в России и украинские источники в Украине.
Несмотря на принятие закона, агрегатор Яндекс по-прежнему подвергается критике со стороны властей. В августе 2019 года депутаты российской Думы обвинили Яндекс в распространении «фейковых новостей» после неточной статьи в ежедневной газете 9. 0273 Коммерсантъ попал в топ подборки Яндекс.Новостей. В статье говорилось, что Дума рассматривает вопрос о запрете использования старых автомобилей, что вызвало всеобщее возмущение и побудило депутатов дать разъяснения, согласно которым это была рекомендация, касающаяся только профессиональных автомобилей, а не личных. Тем не менее, новость оставалась на первом месте даже после того, как ее решительно отвергли, что побудило некоторых депутатов нацелиться на агрегатор новостей. Андрей Исяев обвинил «Яндекс» в «умышленном нагнетании общественно-политической ситуации» и «иностранном вмешательстве», а Адальби Шхангошев заявил, что звонил генеральному директору «Яндекса» Елене Буниной и просил ее пересмотреть алгоритм новостного агрегатора, в ответ на что «Яндекс» пригрозил закрыть его служба агрегации [22]. Этот новый скандал возник в сложном для правительства политическом контексте, когда летом оппозиционные движения протестовали против отказа в регистрации на выборах в местную Думу.
2.3. Обманываете алгоритм? Критика и подозрения в адрес Яндекс.Новости
Уже несколько лет журналисты и политические активисты также заявляют о необъективности рейтинга Яндекс.Новостей, но по другим причинам. По их мнению, предвзятость может исходить как от самого агрегатора, который подрывает информацию об оппозиции, так и от официальных лиц, которые научились вводить алгоритм в заблуждение.
По словам одного из наших собеседников, журналист из Коммерсантъ , «алгоритм используется властозависимыми газетами, которые публикуют новости, подталкиваемые алгоритмом» [23]. Эти методы включают в себя расширение границ поисковой оптимизации (SEO) и игру с алгоритмами Яндекс.Новостей путем искусственного создания нескольких источников информации. Их можно понимать как использование уязвимостей платформы для повышения видимости. Аналогичным образом было показано, что веб-сайты с нежелательными новостями повышают свою «обнаруживаемость» в поиске Google (на этот раз за счет оптимизации ключевых слов) в целях дезинформации (Bradshaw, 2019). ). Такие попытки формировать результаты поиска на самом деле так же стары, как и сам поиск, и алгоритмы обычно обновляются через регулярные промежутки времени, чтобы противостоять этим манипуляциям, которые, однако, продолжают возникать.
Во время выборов в Мосгордуму в 2014 году, например, согласно расследованию РБК, десятки неизвестных СМИ писали одни и те же новости о якобы успехах Сергея Собянина, мэра Москвы с 2010 года и кандидата на переизбрание — и новость попала в топ результатов Яндекс.Новостей. Мэрия Москвы научилась влиять на службу [24]. Во-первых, несколько сотен районных газет, городских сайтов и сайтов госорганов (многие из них созданы недавно) были зарегистрированы в «Базе СМИ и официальных источников» Яндекса. Затем любые позитивные новости в пользу мэра Москвы рассылались ОАО «Московские информационные технологии» (принадлежит московским властям) в издательства. Они переписывали новости, чтобы гарантировать, что статьи не будут идентифицированы как дубликаты алгоритмом Яндекса, прежде чем публиковаться на этих местных веб-сайтах.
Независимые журналисты и политические активисты осудили прогрессивное удержание агрегатора субъектами, отстаивающими «патриотические» позиции (законодателями, региональными администрациями, официальными СМИ…). Ведущие защитники онлайн-свобод, которые изначально поддерживали агрегатор Яндекс.Новости, стали скептически относиться к тому, что он может оставаться свободным от политического вмешательства. Они собирают доказательства его предвзятости и осуждают его пристрастность.
«Закон об агрегаторах» 2016 года закрепил эту пристрастность, жестко ограничив источники новостей, которые Яндекс мог продвигать. Например, в марте 2017 года в Москве и по всей России прошли крупные демонстрации. Первоначальные протесты вспыхнули после того, как Фонд борьбы с коррупцией (ФБК) Алексея Навального опубликовал видео-расследование, в котором показаны многочисленные примеры предполагаемых хищений со стороны экс-премьер-министра Дмитрия Медведева. В Москве была арестована тысяча человек — но на удивление, по словам журналиста Алексея Ковалева, протесты почти не упоминались на главной странице Яндекс. Новостей и даже в ленте местных новостей для Москвы [25]. Яндекс утверждал, что его алгоритмы не были подделаны, но что это было следствием закона об агрегаторах, который значительно сократил количество доступных источников, что иллюстрирует, как такая юридическая инициатива может функционировать как механизм косвенного контроля (Wijermars, 2021).
Политические подозрения в отношении новостного агрегатора вновь всплыли в апреле 2020 года. TJournal (российский веб-сайт, посвященный технологиям) показал, что поисковая система Яндекс и сервисы Яндекс.Новости выдавали только негативный контент при поиске Алексея Навального [26]. На вопрос TJournal Яндекс заявил, что приоритет негативных публикаций о Навальном — это «эксперимент». В 2021 году, после того как Навальный вернулся из Германии и был приговорен к тюремному заключению, в Москве вспыхнули демонстрации. Активисты, с которыми мы разговаривали, подчеркнули осторожность Яндекс.Новостей в отношении этих событий. Активист, близкий к Навальному, еще в 2018 году считал, что: «Яндекс.Новости транслируют государственную пропаганду. Агрегатор уничтожен ( Сломан )” [27]. Некоторые из этих наблюдателей отмечают, что Яндекс избегает конфликтов с государственными органами, чтобы не ставить под угрозу свою многоплановую деятельность (Яндекс.Такси, Яндекс.Еда и т. д.) [28].
Все эти подозрения ведут к делегитимации алгоритма в глазах журналистов, а также веб-специалистов и программистов, которые ищут способы обойти его. Некоторые из них сейчас считают сервис бесполезным. Как заметил в 2016 году Лев Гершензон: «Агрегаторы имеют смысл (…) только тогда, когда есть что агрегировать. Если все независимые, интересные, профессиональные публикации федерального масштаба можно пересчитать по пальцам одной руки, то ракетные технологии для их агрегации и обработки не нужны — их можно просто добавить в закладки» [29].]. Идея закрытия сервиса, похоже, рассматривалась самими руководителями Яндекса. По словам известного журналиста А. Плющева из «Эха Москвы»: «Ну, знаете, я как-то разговаривал с А. Воложем, главой «Яндекса», и это было до принятия закона об агрегаторах. И он мне сказал, что если закон примут, то он закроет службу. (…) Ну, закон немного смягчили, и сервис, как видите, не закрыли. Я до сих пор сомневаюсь, что это было правильное решение. Потому что, ну, я думаю, к сожалению, государство сделало все возможное, чтобы манипулировать и СМИ, и добычей в поисковых системах» [30]. В мае 2018 г. в открытом письме генеральному директору Яндекса Елене Буниной А. Плющев посоветовал ей закрыть сервис «Яндекс.Новости» или переименовать его в «Яндекс.Пропаганда» [31].
Другой сценарий касается разработки альтернативного агрегатора. В 2019 году из-за рубежа основатель Telegram Павел Дуров заявил о намерении разработать на своей платформе новостной агрегатор: «У нас есть шанс создать первый эффективный и бесплатный новостной агрегатор в истории Интернета», — сказал Дуров. «Мы можем начать рекомендовать статьи из блока «Рекомендуемые статьи» после прочтения каждой статьи в Telegram, постепенно вводя ее в строй с почасовой подборкой и глобальным поиском по всем новостям мира» [32]. П. Дуров заявил, что его агрегатор будет вне контроля российских спецслужб и политической цензуры, в отличие от местных операторов [33]. Он пригласил разработчиков Яндекс.Новостей принять участие в создании своего сервиса [34] и объявил конкурс на разработку алгоритма от Data Clustering Contest [35].
Подводя итог, можно сказать, что агрегатор претендует на нейтральность и объективность, но, с одной стороны, власти осуждают его стремление распространять недовольство и дестабилизировать политическую ситуацию, а с другой стороны, журналисты, веб-специалисты и активисты подчеркивают его институциональную структуру для продвижения «лояльная» повестка дня. Ни закон, ни правила Яндекса не позволяют понять, как работает алгоритм. Эта неопределенность в отношении относительного веса каждой новости в алгоритме открывает пространство для разногласий между участниками, взаимодействующими с алгоритмом.

3. Рейтинг Яндекса как шлюз к алгоритму и его преобразованиям
В этом разделе мы представляем аудит алгоритма агрегации (Китчин, 2017). В соответствии с аналогичными подходами, когда прямой доступ к алгоритму «черного ящика» или самой обработке данных невозможен (Jiang, 2014; Robertson, et al. , 2018; Nechushtai and Lewis, 2019; Trielli and Diakopoulos, 2019) , он основан на анализе заявленных входных данных, с одной стороны, и наблюдаемых выходных данных, с другой. Таким образом, мы полагались как на источники новостей, предположительно используемые «Яндекс.Новости», так и на результаты, предоставленные его функцией «Топ-5» на главной странице Яндекса, собранные за несколько периодов времени, как подробно описано ниже. Затем мы использовали эту информацию для оценки разнообразия источников в избранных публикациях как ключевого аспекта плюрализма новостей, используя разнообразие источников в этом случае (и из-за сильного предписывающего эффекта Топ-5 Яндекса) в качестве показателя разнообразия воздействия. — , т.е. , внимание, привлеченное этими источниками (Helberger, 2012; Helberger, et al. , 2018).
3.1. Из базы источников Яндекс.Новости в его рейтинги
Хотя сам алгоритм исследовать сложно, можно посмотреть на входные данные, которыми питается агрегатор. База данных «партнерских» СМИ, на которую официально опирается «Яндекс.Новости», находится в открытом доступе в Интернете [36] и впервые была опубликована в марте 2004 года. веб-сайты) [37]. В декабре 2019 г., в него вошли 7 107 веб-сайтов, составляющих медийную панораму, в которой работает Яндекс.Новости. Для сравнения, Google News перечисляет 4500 англоязычных источников. В базу данных Яндекса входят не только СМИ, официально зарегистрированные в Роскомнадзоре, но и зарегистрированные и незарегистрированные СМИ, прогосударственные или независимые источники, российский и зарубежный контент, публичные и частные веб-сайты. Полная база данных очень неоднородна и отражает разнообразие Рунета (табл. 1).

Таблица 1. Описание базы данных Яндекс.Новости по типу источника.
Media Daily newspapers 220 3% 56%
Monthly newspapers 212 3%
Weekly newspapers 661 9%
Еженедельные журналы 78 1%
News agencies 481 7%
Radio 65 1%
Online media 1,957 28%
TV channels 264 4%
Другие интернет-источники Официальные источники 520 7% 44%
Тематические сайты (политика, общество, спорт, культура) 91 . ..0360 2,631 37%
Other 18 0%
Total 7,107 100%

Что касается источников СМИ, то база данных включает официально зарегистрированные СМИ, такие как ежедневные газеты «Российская газета», «Известия», «Московский комсомолец» , государственные информационные агентства (РИА Новости, ТАСС …), веб-сайты телеканалов и интернет-СМИ, а также административные источники и тематические коммерческие веб-сайты. Более того, некоторые газеты зарегистрировали все свои местные отделы новостей, что потенциально придало им больший вес в базе данных. «Комсомольская правда » зарегистрирована 55 раз во всех местных отделениях. Тот же феномен очевиден для Спутник (15), Московский Комсомолец (19 обращений), РИА (28) или официального телеканала ГТРК (46). В Москве местные интернет-СМИ зарегистрированы в каждом районе. Из СМИ, считающихся более либеральными, только «Коммерсантъ», (19) и РБК (18) имеют значительную сеть редакций в регионах. Остальные СМИ обычно имеют только одну редакцию в Москве. Важность региональных СМИ, зарегистрированных в базе данных, позволяет Яндекс.Новости предлагать региональные новостные рейтинги. Это также может привести к повышению рейтинга отдельных новостей за счет эффекта ретрансляции региональных редакций, как обсуждалось ранее в случае с выборами в Мосгордуму в 2014 г.
Независимые СМИ также остаются в базе данных, причем сюда входят даже оппозиционные СМИ, не аккредитованные в Роскомнадзоре, такие как Медуза, Медиазона, Дождь ТВ (tvrain.ru), правозащитная общественная организация ОВД-Инфо , пресс-служба изгнанного бывшего олигарха и политического оппонента Михаила Ходорковского, или даже сайты Каспаров.ру и Грани.ру, запрещенные Роскомнадзором в 2014 году. Однако, как поясняет главный редактор Грани. ру Юлия Березовская: «Это правда, что Яндекс .News предпочли не выгонять нас, несмотря на запрет (в отличие от Rambler News), но настолько «уменьшили» нас (…), что наше присутствие в этом агрегаторе носит лишь символический характер» [38]. Таким образом, общедоступная база данных является пережитком цифровых свобод 2000-х годов. С 2016 года «На главной странице сервиса и в топе на Яндекс.Новости можно показывать только публикации, имеющие регистрацию СМИ. Те, кто не продолжает появляться в результатах поиска Яндекс.Новостей — таких источников около семи тысяч», — поясняет Григорий Бакинов из Яндекса [39].].
База данных отражает разнообразие российского цифрового пространства с географической, тематической и даже политической точек зрения. Вероятно, он обеспечивает работу различных сервисов, предлагаемых Яндексом, в том числе региональных новостных рейтингов и информационных сервисов, настраиваемых приложением «Яндекс.Дзен» — персональным рекомендательным сервисом, создающим ленту контента, автоматически подстраивающуюся под интересы пользователей с 2016 года.
В 2019 году в базе было мало информации об относительном политическом весе СМИ, которые могут попасть в топ-5 Яндекс.Новостей. На вопрос «Откуда можно узнать вес (партнера)?» Яндекс отвечает «нигде». Поскольку мы не можем получить доступ к самому алгоритму, который остается секретным, анализ его вариантов ранжирования позволяет лучше понять результаты, производимые роботом.
В течение июня 2020 года мы провели количественный анализ новостей, отобранных Яндекс.Новости и представленных в ТОП-5 новостей на главной странице Яндекса (таблица 2). Мы проводили систематический парсинг новостей: с 1 по 30 июня 2020 года мы автоматически собирали рейтинги Яндекс.Новостей каждые два часа и вывели в общей сложности 3011 упоминаний [40]. Данные были собраны на сервере во Франции, но мы контролировали возможные функции персонализации и локализации, проверяя в разные моменты новости с результатами, появляющимися для пользователя из России, и не обнаружили никакой разницы. Оказалось, что за этот период в ТОП-5 цитировалась лишь небольшая группа из 14 СМИ — крайне узкая выборка, учитывая более 7000 источников, перечисленных в базе данных Яндекс. Новости. Затем мы расширили анализ на период с июня по декабрь 2020 г. и получили те же результаты, при этом те же 14 медиа попали в топ-5 за этот период. Наконец, мы классифицировали эти 14 СМИ в соответствии с их типом, характером их собственности и их общей редакционной позицией, как подробно описано ниже и выделено цветом в таблице.

Интернет-газета
0 Private (Rambler Media Group/V. Potanin)
.0361
Таблица 2. СМИ, цитируемые в рейтинге Яндекс.Новостей
(1–30 июня 2020 г. и июнь–декабрь 2020 г.).
Table colour code
State media Private “loyal” patriotic media Private “loyal” liberal media Independent registered media Independent non -зарегистрированные СМИ

Media outlet Type Ownership Number of citations
1–30 June 2020 Number of citations
June–December 2020
РИА Новости Агентство печати Государственный 494 3 816
Газета. ру
386 3,282
Izvestia Newspaper Private (National Media Group) 352 2,666
RBK Газета Private (Grigori Beryozkin) 296 2211
Lenta.Ru Lenta.Ru Lenta.Ru Lenta.Ru 267 2,010
RT in Russian Online TV channel State 255 2,222
Kommersant Newspaper Private (Alisher Usmanov) 204 1 593
Regnum Агентство печати Частное (Борис Соркин) 179 103660361
Rossijskaia Gazeta Official government newspaper State 151 1,353
TASS Press agency State 115 1,271
Vesti. ru Служба новостей на телевидении, радио и в Интернете Государственная 96 767
Ведомости Newspaper Private (Ivan Eremin) 81 1,005
BFM.ru Radio Private (Yegor Altman) 67 622
Interfax Агентство печати Частное 56 751

Данные наглядно показывают концентрацию информации о Яндекс.Новости среди нескольких крупных медиа-игроков: государственных информационных агентств, государственных СМИ, ведущих газет и основных интернет-изданий. Было также показано, что в случае Google News чрезмерное представительство конкретных издателей новостей имеет место (Schroeder and Kralemann, 2005; Haim, 9). 0273 и др. , 2018), но не до такой степени. Это гораздо более узкий диапазон, чем результаты, наблюдаемые Nechushtai and Lewis (2019) в случае Google News в США, например, где, хотя небольшой выбор из 14 СМИ также доминировал над агрегатором, длинный хвост других публикаций также фигурировал. в результатах. Trielli and Diakopoulos (2019), изучив блок Google Top Stories в США, обнаружили, что только на 20 источников новостей приходится более половины популярных статей и что при выборе источников можно наблюдать «левый идеологический перекос». ; однако, опять же, значительный длинный шлейф из более чем 650 других источников новостей появлялся по крайней мере один раз в оставшейся половине от общего числа 6 302 ссылок, собранных за период в один месяц.
Более того, хотя между этими 14 крупными СМИ можно обнаружить нюансы, очевидно, что в 2020 году «официально санкционированные» СМИ легче достигли высот Яндекса. Действительно, большинство публикаций в 14 выбранных изданиях связаны с Кремлем: они либо напрямую финансируются государством, либо находятся в частной собственности «лоялистских» деятелей или организаций и, таким образом, косвенно «управляются» властями. С 2014 г. российская медиапанорама обычно делится на «государственные» и «независимые частные» СМИ [41]. Границы этих разных категорий размыты и спорны. Действительно, при четкой идентификации государственных СМИ (РИА Новости, RT, Российская газета , ТАСС, Интерфакс), «независимые частные» СМИ классифицировать сложнее. Чтобы облегчить чтение таблицы 2, мы предлагаем здесь две категории для их классификации. «Частные лояльные «патриотические» СМИ» относятся к общим средствам массовой информации, которые были преобразованы изнутри в результате ухода и замены их редакционных коллективов в период с 2012 по 2014 год. Они официально остаются «фасадными», но подверглись враждебному поглощению с заменой их команд. лояльными властям журналистами (Чупин, Досе, 2017; Даусе, 2020; Ковалев, 2020). В основном это касается «Ленты.ру» или «Газеты.ру». Под «частными лояльными «либеральными» СМИ» понимаются общие новостные и деловые СМИ, которые раньше считались «либеральными», но чьи политические штабы были реорганизованы в период с 2018 по 2020 год (в основном это касается РБК, КоммерсантЪ, Ведомости ). «Яндекс.Новости» работают в условиях экономической и политической перетасовки российского медиапространства, когда различные типы ограничений привели к сужению спектра СМИ (Wijermars and Lehtisaari, 2020). Как следствие, основные источники, используемые «Яндекс.Новости», на основе которых алгоритм рисует картину ежедневных новостей в Сети, претерпели серьезные изменения. И наоборот, независимые средства массовой информации все больше оттесняются на второй план, поскольку они не получают выгоды от трафика, направляемого Яндекс.Ньюс, и, следовательно, не получают доходов от рекламы, что снижает разнообразие охвата, но также делает их менее коммерчески жизнеспособными (Kovalev, 2020; Wijermars, 2021).
3.2. Рейтинг Яндекс.Новостей в российских соцсетях
В западных странах «социальные сети занимают центральное место в том, как люди воспринимают новости» (Hermida, et al. , 2012). В России в начале 2010-х годов произошла конвергенция онлайн-новостей и социальных сетей (Панченко, 2011). Однако с 2016 года мы наблюдаем растущий разрыв между тем, как люди воспринимают новости в Яндекс.Новостях и в социальных сетях. Чтобы показать эту дифференциацию медиапространств, мы опирались на разные источники: анализ аудитории компании «Медиалогия» (измеряющий как цитируемость СМИ, так и их тиражи в социальных сетях) [42], опросы потребления новостей Социологическим центром Левады [42]. 43], а также метрики, производимые самими СМИ.
С января 2017 года «Медиалогия» предлагает два рейтинга СМИ. Первый, рейтинг Citation Index, основан на медиабазе Медиалогии, которая включает около 43 400 источников: телевидение, радио, газеты, журналы, информационные агентства, интернет-СМИ и блоги. Новостные агрегаторы не учитываются при расчете этого рейтинга. Второй основан на гиперссылках, которыми делятся и комментируют в социальных сетях (Twitter, Facebook, ВКонтакте и т. д.) [44]. Как поясняет представитель «Медиалогии»:
Второй рейтинг «появился в ответ на просьбу СМИ сравнить их выступления в социальных сетях. Рейтинг Citation Index показывает качество контента и авторитет СМИ в профессиональной среде, а данные социальных сетей отражают интерес и доверие пользователей к контенту СМИ». [45]
В июне 2020 г. рейтинг Индекса цитирования достаточно соответствовал рейтингу Яндекс.Новостей, тогда как данные социальных сетей существенно различались (см. табл. 3).

.0274
Таблица 3. Четырнадцать самых цитируемых СМИ в ТОП-5 Яндекса, в индексе Medialogia Citation и в социальных сетях в июне 2020 г. авторов) Медиалогия: Индекс цитирования в СМИ Медиалогия: Гиперссылки в социальных сетях
1 РИА Новости TASS RIA Novosti
2 Gazeta. ru RIA Novosti Openmedia.io
3 Izvestia Interfax Meduza.io
4 RBC RBC Russian.rt.com
5 Lenta.ru Izvestia MBKh Media
6 RT in Russian Kommersant RBC.ru
7 Kommersant Russian.rt.com TASS
8 Regnum Rossijskaia Gazeta Ekho Moskvy
9 Rossijskaia Gazeta Vedomosti Znak. com
10 TASS Forbes Zona.media
11 Vesti.ru 360tv.ru Radio Svoboda
12 Vedomosti Komsomolskaia Pravda Tsargrad .TV
13 BFM.RU GAZETA.RU Lenta.RU
14
14
14
14
Anews. com

Table colour code
State media Private “loyal” patriotic media Private “loyal” liberal media Independent registered media Independent non-registered СМИ

В июне 2020 года некоторые интернет-источники, цитируемые в российских социальных сетях, таких как Meduza.io, OpenMedia.io, МБХ Медиа или Медиазона, никогда не появлялись в рейтинге Яндекса, поскольку не были зарегистрированы в Роскомнадзоре [46]. Считается, что большинство из них критически настроены по отношению к государственной политике. Несоответствие между узким набором СМИ в Яндекс. Новости и большим плюрализмом в социальных сетях показывает расхождение между двумя разными медиапространствами в России: веб-сайтами зарегистрированных СМИ, агрегированных Яндекс.Новости, с одной стороны, и новостным контентом из альтернативных незарегистрированных средства массовой информации, циркулирующие в социальных сетях, с другой. По имеющимся данным, эти два медиапространства привлекают разную аудиторию. Исследование медиапотребления, проведенное Социологическим центром Левады в России в феврале 2020 г., показало, что люди старше 40 лет получают информацию в основном с официальных веб-сайтов или телевидения, тогда как более молодые люди (18–39 лет)лет) получают его в основном из социальных сетей [47].
Самые популярные независимые СМИ в социальных сетях отражают предпочтения этой аудитории. Рейтинг также отражает стратегии распространения самих СМИ. Исключены из рейтингов Яндекса с 2016 года, проводят акции по распространению в социальных сетях. Пример Meduza здесь очень показателен. Meduza — рижская интернет-газета, созданная Галиной Тимченко после того, как в 2014 году ее уволили с новостного сайта Lenta.ru. По собственным данным, в 2020 году 69процент его аудитории был моложе 45 лет [48]; кроме того, трафик поступал в основном из прямых подключений и социальных сетей, что считается почетным знаком, поскольку его трафик является «сертифицированным органическим» (рис. 2). Медуза не получает трафик от Яндекс.Новостей (по сравнению с Лентой.ру, Коммерсантъ , РБК, которые больше зависят от агрегатора). Он активно присутствует в социальных сетях, о чем свидетельствуют данные, представленные в его медиа-ките для рекламодателей.

Рисунок 2: Meduza Media Kit, AT HTTPS://meduza.io/static/AdsmaKit.ENGIT-INIATIAKIT-ENGIT-INIATIAKIT-INIATIAKIT-INIATIAKIT-INIATIAMFIT.IORITIAKIT. IONSMAKIT-INIATAM.
Альтернативным, диссидентским или независимым СМИ становится все труднее работать в официально регулируемом российском медийном пространстве, агрегированные Яндекс.Ньюс. Некоторые из них были забанены сразу, а у других резко упал трафик, что повлекло за собой сокращение доходов от рекламы. Большинство из них прибегло к другим бизнес-моделям (платный доступ, подписка, сбор средств и т. д.), что привело к фрагментации альтернативного медиапространства и новому рыночному неравенству в доступе к независимым новостям. Эти СМИ также мигрировали и переместились в другие пространства и новые типы распространения, распространяя свой контент в социальных сетях, таких как Facebook, Twitter, Instagram или Telegram.

Заключение
Недавняя история Яндекс.Новостей в России показывает, как можно использовать регулирование платформы для создания формы «управления с помощью алгоритмов» СМИ и общественной сферой. Первоначально представленный как техническое средство для «объективного» учета разнообразия онлайн-контента, агрегатор вызвал в 2010-е годы технико-политические споры: власти критиковали его за продвижение «непатриотических» или «фейковых» новостей, а журналисты, наоборот, Интернет-специалисты и конечные пользователи все больше подозревали, что неудобных истин было бы трудно достичь своего высшего рейтинга. Принятие в 2016 году закона о новостных агрегаторах, позволяющего отображать сервисом только официально «зарегистрированные» источники, ясно показало намерение одомашнить платформу, чтобы ограничить видимость протестов и недовольства в публичной сфере. Это регулирование имело место в сложной цифровой экосистеме, которая объединяет различные уровни контроля доступа, включая Яндекс.Новости и другие платформы, Роскомнадзор, а также средства массовой информации и журналистов.
Различные типы доказательств, представленные в этом исследовании — регуляторная политика, публичные споры и краткий аудит алгоритма — указывают на то, что Яндекс как система рекомендаций по новостям соблюдает как юридические, так и технические «кодексы поведения», гарантируя, что информация, которую он продвигает, и усиливается остается в узде. В результате в 2020 году сервис предоставил информацию только о 14 СМИ, которые сами находятся под пристальным контролем российских властей через Роскомнадзор. Жесткий контроль над ранжированием алгоритма очевиден по сравнению с новостями Google, которые, хотя и отдают почетное место небольшому набору основных изданий, также учитывают длинный хвост разнообразных публикаций и, в любом случае, не отображают выборку по умолчанию. новости на главной странице поисковой системы. Таким образом, Яндекс.Новости представляют собой лишь фасад информационного плюрализма. Более того, он уже не отражает того многообразия контента, которое до сих пор циркулирует в российском цифровом пространстве. Хотя откровенной цензуры на уровне «Яндекс.Новостей» пока не наблюдается, агрегатор, похоже, является важным винтиком в механизме ужесточения контроля властей над всей российской медиа-экосистемой.
Однако управление с помощью алгоритмов остается несовершенным и имеет место в сложном техническом, политическом, правовом и экономическом контексте, в котором сосуществуют и конкурируют национальные и международные платформы. Журналисты и издатели ищут альтернативные каналы для распространения информации, полагаясь на социальные сети, такие как Telegram или Twitter. Более того, несмотря на новые нормативные ограничения, полемика вокруг «Яндекс.Новостей» периодически возникает в периоды политической напряженности. Российские власти оправдывают свои усилия по контролю над повесткой дня СМИ и восстановлению своего суверенитета над публичной сферой, осуждая информацию, представленную как «непатриотическая», «фейковая» или иным образом сомнительную. Как это ни парадоксально, это исследование также показывает, как игроки СМИ и специалисты по новостям, наряду с новыми препятствиями, с которыми они сталкиваются, постепенно вырабатывают критические взгляды на роль и функционирование платформ и их алгоритмов, раскрывая политические ставки этих ключевых инфраструктур.

Об авторах
Франсуаза Досе — профессор Школы перспективных исследований в области социальных наук (EHESS) и директор Центра исследований России, Кавказа и Восточной Европы (CERCEC).
Электронная почта: dauce [at] ehess [точка] fr
Бенджамин Лавлак — адъюнкт-профессор i3-SES, Telecom Paris, Франция.
Электронная почта: benjamin [точка] loveluck [at] telecom-paris [точка] fr

Примечания
1. Statcounter , https://gs.statcounter.com/search-engine-market-share/all/russian-federation, по состоянию на 20 марта 2021 г.
2. Мы благодарим Фабриса Демартона (CNRS/CERCEC) за помощь в извлечении этой базы данных и извлечении результатов с главной страницы Яндекса.
3. К. Бхарат, «А теперь новости», Официальный блог Google (23 января 2006 г.), https://googleblog.blogspot.com/2006/01/and-now-news.html.
4. З. Туфекчи, «YouTube, великий радикализатор», New York Times (10 марта 2018 г.), https://www.nytimes.com/2018/03/10/opinion/sunday/youtube-politics-radical.html; см. также O’Callaghan, et al. , 2015.
5. Триелли и Дьякопулос, 2019, с. 3.
6. Это вызвало горячие дискуссии в большинстве стран, которые обычно находили урегулирование, за исключением Испании, где сервис закрыт из-за введения «налога на ссылки», требующего от Google уплаты комиссии за отображение текстовых фрагментов.
7. Диакопулос, 2019 г.а, с. 183.
8. А. Робертсон, «После промаха 4chan, не пора ли Google отказаться от главных новостей?» The Verge (3 октября 2017 г. ), https://www.theverge.com/2017/10/3/16413082/google-4chan-las-vegas-shooting-top-stories-algorithm-mistake.
9. Финансовые результаты Яндекса за 2020 год, https://ir.yandex/financial-releases?year=2020&report=q4.
10. Осетинская Э., «Яндекс, история успеха России и высокотехнологичный тигр Путина», статья для Moscow Times (27 сентября 2017 г.), https://themoscowtimes.com/articles/yandex-a-russian-success-story-and-putins-high-tech-tiger-59029.
11. М. Седдон, «Яндекс договаривается о реструктуризации с Кремлем», Financial Times (18 ноября 2019 г.), https://www.ft.com/content/999e3ca6-09db-11ea-bb52-34c8d9dc6d84.
12. 16 марта 2021 года Дума приняла в третьем (окончательном) чтении законопроект о штрафах за продажу смартфонов, планшетов и персональных компьютеров без предустановленного российского программного обеспечения. Законопроект № 757430-7. Изменение статьи 14.8 КоАП РФ, https://sozd.duma.gov.ru/bill/757430-7.
13. Л. Гершензон, интервью с авторами, январь 2020 г.
14. Настоящие принципы доступны по ссылке https://yandex.ru/promo/news/index.
15. Там же.
16. «Протесты не в топе», Радио Свобода — Крым Реалии (29 марта 2017 г.), https://ru.krymr.com/a/28397904.html.
17. Федеральный закон № ФЗ-139 от 28 июля 2012 г.
18. «Яндекс «разжигает» Майдан в России?» Правда , http://www.pravda.ru/topic/yandex-617/, дата обращения 25 августа 2016 г.
19. Федеральный закон № ФЗ-208 от 23 июня 2016 г.
20. Интервью с Татьяной Исаевой, Meduza (24 октября 2016 г.), https://meduza.io/feature/2016/10/24/oschuscheniya-chto-ot-mediasredy-otstali-net.
21. Там же.
22. «Депутаты попали в Яндекс.Новости», Коммерсантъ (16 августа 2019 г.), https://lenta.ru/news/2019/08/16/ya_novosti/.
23. Интервью с Д., Москва, сентябрь 2019 г.
24. Ж. Ульянова, Д. Луганская, «Расследование РБК: как чиновники перехитрили Яндекс», (22 октября 2014 г. ), http://top.rbc.ru/technology_and_media/22/10/2014/5447a659cbb20f1d5d33b94d.
25. А. Ковалев, «Не слышать зла, не видеть зла, не сообщать о зле», Moscow Times (27 марта 2017 г.), https://www.themoscowtimes.com/2017/03/27/hear- не-зло-видит-не-зло-сообщает-не-зло-a57550.
26. «Яндекс всеми своими сервисами рисует образ Навального», TJournal (26 апреля 2020 г.), https://tjournal.ru/news/162614-yandeks-vsemi-svoimi-servisami-risuet-obraz-navalnogo .
27. Интервью с А., активистом Фонда борьбы с коррупцией, Москва, сентябрь 2019 г.
28. Интервью с Д., Москва, сентябрь 2019 г.
29. Гершензон Л. Обобщать нечего, Республика (20 апреля 2016 г.), https://republic.ru/posts/66965.
30. Интервью с Александром Плющевым, Москва, март 2019 г.
31. https://t.me/PlushevChannel/2533.
32. Еременко Е., Брызгалова Е. Дуров создаст агрегатор новостей, Ведомости (7 июня 2019 г.), https://www. vedomosti.ru/technology/articles/2019/06/07/803708-durov-sozdast.
33. См. статью Ксении Ермошиной и Франчески Мусиани в этом номере.
34. Еременко Е. и Брызгалова Е., ст. цит.
35. Первый этап конкурса прошел в ноябре 2019 г., второй этап – в мае 2020 г.
36. См. https://yandex.ru/news/smi.
37. https://yandex.ru/company/press_releases/2004/0311.
38. Переписка с Юлией Березовской, 27 мая 2020 г.
39. «Протесты не в топе», Радио Свобода — Крым Реалии (29 марта 2017 г.), https://ru.krymr.com/a/28397904.html.
40. Мы проанализировали код главной страницы Яндекса и обнаружили, что в любой момент времени было представлено 10 ссылок на новости. Поэтому мы настроили скрипт Node.js для сбора этих 10 ссылок каждые два часа: четыре ссылки занимают места с 1 по 4 в Топ-5, а пятое место, вероятно, занимают шесть других ссылок по очереди. Сценарий использует две основные библиотеки Node: Puppeteer для удаления и Mongoose для регистрации базы данных. После ручного анализа html-кода главной страницы и нескольких других страниц веб-сайта мы написали код javascript для очистки содержимого 10 главных новостей (заголовок, дата, имя источника, исходный URL-адрес, рейтинг на главной странице). Затем данные были зарегистрированы в базе данных Mongodb с использованием библиотеки Mongoose.
41. См., например, «Медиакомпас: меняющийся медиаландшафт России» (2 апреля 2014 г.). Опубликовано Calvert Journal (при поддержке некоммерческой благотворительной организации, зарегистрированной в Великобритании, созданной в 2009 г.) по адресу https://www.calvertjournal.com/features/show/2234/russian-media-independent-compass.
42. Медиалогия — первая в России автоматизированная система мониторинга и анализа СМИ в реальном времени, создана в 2003 году. В 2019 году приобретена банком ВТБ. До сделки основным владельцем была группа IBS, принадлежащая Анатолию Карачинскому и Сергею Мацоцкий. По словам новых владельцев, «Медиалогия» поможет улучшить маркетинговые стратегии своих клиентов («ВТБ Приобрел контрольный пакет в «Медиалогии»», 9). 0273 РБК (17 января 2019 г.), https://www.rbc.ru/rbcfreenews/5c4040da9a7947c79d040b64).
43. Левада-центр — российская неправительственная социологическая и социологическая организация (названа в честь ее основателя профессора Юрия Левады). Он считается одним из немногих независимых центров социологических исследований в России.
44. См. сайт «Медиалогия»: https://www.mlg.ru/ratings/media/federal/5766/.
45. Переписка с Н., сотрудником «Медиалогии», 15 декабря 2020 г.
46. https://www.mlg.ru/ratings/media/socmedia/7492/.
47. Левада-Центр, «Источники новостей и доверие СМИ» (27 февраля 2020 г.), https://www.levada.ru/cp/wp-content/uploads/2020/ 02/СМИ_таблица.pdf. Эти результаты согласуются с исследованием медиапотребления в России, проведенным аудиторской компанией Deloitte в 2020 г. «Медиапотребление в России — 2020» (Медиапотребление в России — 2020) по адресу https://www2.deloitte.com/content/. dam/Deloitte/ru/Документы/технологии-медиа-телекоммуникации/российский/медиа-потребление-россия-2020. pdf.
48. https://meduza.io/static/ads/mediakit-eng.pdf.

Каталожные номера
Валери Белэр-Ганьон и Эйвери Э. Холтон, 2018 г. «Пограничная работа, непрошеные СМИ и аналитика в отделах новостей: анализ роли компаний, занимающихся веб-аналитикой, в производстве новостей», Цифровая журналистика , том 6, номер 4, стр. 492–508.
doi: https://doi.org/10.1080/21670811.2018.1445001, по состоянию на 22 апреля 2021 г.
Доминик Бойер, 2013. Информатика жизни: создание новостей в эпоху цифровых технологий . Итака, Нью-Йорк: Издательство Корнельского университета.
doi: https://doi.org/10.7591/cornell/9780801451881.001.0001, по состоянию на 22 апреля 2021 г.
Энгин Боздаг, 2013 г. «Предвзятость в алгоритмической фильтрации и персонализации», Этика и информационные технологии , том 15, номер 3, стр. 209–227.
doi: https://doi.org/10.1007/s10676-013-9321-6, по состоянию на 22 апреля 2021 г.
Саманта Брэдшоу, 2019 г. «Оптимизация дезинформации: алгоритмы игровой поисковой системы для усиления нежелательных новостей», Обзор политики в отношении Интернета , том 8, номер 4.
doi: https://doi.org/10.14763/2019.4.1442, по состоянию на 22 апреля 2021 г.
Дэвид Р. Брейк, 2017 г. «Невидимая рука необъяснимого алгоритма: как Google, Facebook и другие технологические компании меняют журналистику», In: Jingrong Tong and Shih-Hung Lo (редакторы). Цифровые технологии и журналистика: международный сравнительный анализ . Чам, Швейцария: Palgrave Macmillan, стр. 25–46.
дои: https://doi.org/10.1007/978-3-319-55026-8_2, по состоянию на 22 апреля 2021 г.
Axel Bruns, 2019. Реальны ли фильтрующие пузыри? Кембридж: Polity Press.
Тайна Бухер, 2016. «Ни черный, ни ящик: способы познания алгоритмов», В: Себастьян Кубичко и Энн Каун (редакторы). Инновационные методы исследований в области СМИ и коммуникаций . Чам, Швейцария: Palgrave Macmillan, стр. 81–98.
doi: https://doi.org/10.1007/978-3-319-40700-5_5, по состоянию на 22 апреля 2021 г.
CamLy Bui, 2010. «Как интернет-привратники охраняют наше мнение — включение новостных порталов и ранжирование СМИ и событий», Global Media Journal , том 9, номер 16, стр. 1–41, и на https://www.globalmediajournal.com//open-access/how-online-gatekeepers-guard-our-view-news-portals -inclusion-and-ranking-of-media-and-events.pdf, по состоянию на 22 апреля 2021 г.
Джоан Кальсада и Рикард Гил, 2020 г. «Чем занимаются агрегаторы новостей? Данные Google News в Испании и Германии», Marketing Science , том 39, номер 1, стр. 134–167.
doi: https://doi.org/10.1287/mksc.2019.1150, по состоянию на 22 апреля 2021 г.
Анжель Кристин, 2020. Метрики в действии: журналистика и оспариваемое значение алгоритмов . Принстон, Нью-Джерси: Издательство Принстонского университета.
Иван Чупен и Франсуаза Досе, 2017. «Увольнение журналистов в России: политические конфликты и обычные переговорные процедуры в редакциях», Laboratorium , том 9, номер 2, стр. 39–58.
doi: https://doi.org/10.25285/2078-1938-2017-9-2-39-58, по состоянию на 22 апреля 2021 г.
Франсуаза Досе, 2020 г. «Маскировка Интернета? Дизайн и управление сайтами в России», Digital Icons , номер 20, https://www.digitalicons.org/issue20/disguising-the-internet-website-design-and-control-in-russia, дата обращения 22 апреля 2021 г.
Françoise Daucé, 2017. «Политические конфликты вокруг Интернета в России: дело Яндекс.Новости», Laboratorium , том 9, номер 2, стр. 112–132.
doi: https://doi.org/10.25285/2078-1938-2017-9-2-112-132, по состоянию на 22 апреля 2021 г.
Анастасия Денисова, 2017. «Демократия, протест и публичная сфера в России после антиправительственных протестов 2011-2012 гг.: цифровые медиа на кону», СМИ, культура и общество , том 39, номер 7, стр. 976–994.
doi: https://doi.org/10.1177/0163443716682075, по состоянию на 22 апреля 2021 г.
Николас Дьякопулос, 2019a. Автоматизация новостей: как алгоритмы переписывают медиа . Кембридж, Массачусетс: Издательство Гарвардского университета.
Николас Дьякопулос, 2019b. «Аудит предполагает, что Google отдает предпочтение небольшому количеству крупных СМИ», Columbia Journalism Review (10 мая), https://www.cjr.org/tow_center/google-news-algorithm.php, по состоянию на 22 апреля 2021 г.
Роберт Эпштейн и Рональд Э. Робертсон, 2015 г. «Эффект манипулирования поисковыми системами (SEME) и его возможное влияние на результаты выборов», Proceedings of the National Academy of Sciences of the United States , том 112, номер 33. (18 августа), стр. E4512–E4521.
doi: https://doi.org/10.1073/pnas.1419828112, по состоянию на 22 апреля 2021 г.
Юлия Федор, 2015. «Введение: российские СМИ и война в Украине», Журнал советской и постсоветской политики и общества , том 1, номер 1, стр. 1–2, https://spps-jspps.autorenbetreuung.de/files/00-fedor.pdf, по состоянию на 22 апреля 2021 г.
Сет Флаксман, Шарад Гоэл и Джастин М. Рао, 2016 г. «Пузыри фильтров, эхо-камеры и потребление онлайн-новостей», Public Opinion Quarterly , том 80, номер S1, стр. 298–320.
doi: https://doi.org/10.1093/poq/nfw006, по состоянию на 22 апреля 2021 г.
Ричард Флетчер и Расмус Клейс Нильсен, 2018 г. «Автоматизированная прозорливость: влияние использования поисковых систем на баланс и разнообразие репертуара новостей», Цифровая журналистика , том 6, номер 8, стр. 976–989.
doi: https://doi.org/10.1080/21670811.2018.1502045, по состоянию на 22 апреля 2021 г.
Tarleton Gillespie, 2018. «Регулирование платформ и посредством платформ», В: Джин Берджесс, Элис Марвик и Томас Поэлл (редакторы). Справочник Sage по социальным сетям . Лондон: Sage, стр. 254–278.
doi: http://dx.doi.org/10.4135/9781473984066.n15, по состоянию на 22 апреля 2021 г.
Марио Хаим, Андреас Грефе и Ханс-Бернд Брозиус, 2018 г. «Взорвался фильтрующий пузырь? Влияние персонализации на разнообразие Новостей Google», Цифровая журналистика , том 6, номер 3, стр. 330–343.
doi: https://doi.org/10.1080/21670811.2017.1338145, по состоянию на 22 апреля 2021 г.
Натали Хелбергер, 2019 г. «О демократической роли рекомендателей новостей», Цифровая журналистика , том 7, номер 8, стр. 993–1012.
doi: https://doi.org/10.1080/21670811.2019.1623700, по состоянию на 22 апреля 2021 г.
Натали Хелбергер, 2012 г. «Раскрытие разнообразия как цель политики», Journal of Media Law , том 4, номер 1, стр. 65–9.2.
doi: https://doi.org/10.5235/175776312802483880, по состоянию на 22 апреля 2021 г.
Натали Хелбергер, Кари Карппинен и Люсия Д’Акунто, 2018 г. «Разнообразие воздействия как принцип разработки рекомендательных систем», Информация, коммуникации и общество , том 21, номер 2, стр. 191–207.
doi: https://doi.org/10.1080/1369118X.2016.1271900, по состоянию на 22 апреля 2021 г.
Matthew Hindman, 2018. Интернет-ловушка: как цифровая экономика создает монополии и подрывает демократию . Принстон, Нью-Джерси: Издательство Принстонского университета.
Мэтью Хиндман, 2008 г. Миф о цифровой демократии . Принстон, Нью-Джерси: Издательство Принстонского университета.
Сунман Хонг и Наён Ким, 2018 г. «Сможет ли Интернет способствовать развитию демократии? Поисковые системы, концентрация читателей онлайн-новостей и электронная демократия», Journal of Information Technology & Politics , том 15, номер 4, стр. 388–399.
doi: https://doi.org/10.1080/19331681.2018.1534703, по состоянию на 22 апреля 2021 г.
Лукас Д. Интрона и Хелен Ниссенбаум, 2000 г. «Формирование Интернета: почему важна политика поисковых систем», Информационное общество , том 16, номер 3, стр. 169–185.
doi: https://doi.org/10.1080/01972240050133634, по состоянию на 22 апреля 2021 г.
Дитмар Яннах, Маркус Занкер, Александр Фельферниг и Герхард Фридрих, 2011 г. Рекомендательные системы: введение . Кембридж: Издательство Кембриджского университета.
Min Jiang, 2014. «Бизнес и политика поисковых систем: сравнительное исследование результатов поиска Baidu и Google по интернет-событиям в Китае», Новые СМИ и общество , том 16, номер 2, стр. 212–233.
doi: https://doi.org/10.1177/1461444813481196, по состоянию на 22 апреля 2021 г.
Наташа Джаст и Майкл Латцер, 2017 г. «Управление с помощью алгоритмов: построение реальности с помощью алгоритмического отбора в Интернете», СМИ, культура и общество , том 39, номер 2, стр. 238–258.
doi: https://doi.org/10.1177/0163443716643157, по состоянию на 22 апреля 2021 г.
Можган Карими, Дитмар Яннах и Михаэль Джуговац, 2018 г. «Системы рекомендаций по новостям — обзор и перспективы», стр. Обработка информации и управление , том 54, номер 6, стр. 1203–1227.
doi: https://doi.org/10.1016/j.ipm.2018.04.008, по состоянию на 22 апреля 2021 г.
Роб Китчин, 2017 г. «Критическое мышление об алгоритмах и их исследование», Информация, коммуникация и общество , том 20, номер 1, стр. 14–29.
doi: https://doi.org/10.1080/1369118X.2016.1154087, по состоянию на 22 апреля 2021 г.
Алексей Ковалев, 2020. «Политическая экономика создания новостей в российских СМИ: собственность, кликбейт и цензура», Журналистика (14 августа).
doi: https://doi.org/10.1177/14648841964, по состоянию на 22 апреля 2021 г.
Джухи Кулшреста, Мотаххаре Эслами, Джоннатан Мессиас, Мухаммад Билал Зафар, Саптарши Гош, Кришна П. Гуммади и Карри Карахалиос, 2019 г. «Количественная оценка предвзятости при поиске: исследование политических предубеждений в социальных сетях и веб-поиске», Информационно-поисковый журнал , том 22, номера 1–2, стр. 188–227.
doi: https://doi.org/10.1007/s10791-018-9341-2, по состоянию на 22 апреля 2021 г.
Бруно Латур, 2005. Сборка социального: введение в теорию сетей акторов . Оксфорд: Издательство Оксфордского университета.
Лоуренс Лессиг, 1999. Кодекс и другие законы киберпространства . Нью-Йорк: Основные книги.
Маркку Лонкила, Лариса Шпаковская и Филипп Торчинский, 2020. «Оккупация Рунета? Ужесточение государственного регулирования русскоязычной части Интернета», В: Мариэль Вийермарс и Катя Лехтисаари (редакторы). Свобода слова в новой медиасфере России . Абингдон: Рутледж, стр. 17–38.
Натали Марешаль, 2017. «Сетевой авторитаризм и геополитика информации: понимание политики России в Интернете», СМИ и коммуникации , том 5, номер 1, стр. 29–41.
doi: http://dx.doi.org/10.17645/mac.v5i1.808, по состоянию на 22 апреля 2021 г.
Noortje Marres, 2007. «Вопросы заслуживают большей похвалы: вклад прагматиков в изучение участия общественности в спорах», Social Studies of Science , том 37, номер 5, стр. 759–780.
doi: https://doi.org/10.1177/0306312706077367, по состоянию на 22 апреля 2021 г.
Улисес А. Мехиас и Николай Э. Вокуев, 2017 г. «Дезинформация и СМИ: пример России и Украины», СМИ, культура и общество , том 39, номер 7, стр. 1027–1042.
doi: https://doi.org/10.1177/0163443716686672, по состоянию на 22 апреля 2021 г.
Francesca Musiani, 2013. «Управление с помощью алгоритмов», Internet Policy Review , том 2, номер 3.
doi: https://doi.org/10.14763/2013.3.188, по состоянию на 22 апреля 2021 г.
Франческа Мусиани, Бенджамин Лавлак, Франсуаза Доусе и Ксения Ермошина, 2019 г. «Цифровой суверенитет»: может ли Россия отрезать свой Интернет от остального мира?» The Conversation (28 октября), https://theconversation.com/digital-sovereignty-can-russia-cut-off-its-internet-from-the-rest-of-the-world-125952, доступ 13 Май 2020.
Филип М. Наполи, 2014 г. «Автоматизированные медиа: взгляд институциональной теории на алгоритмическое медиапроизводство и потребление», Теория коммуникации , том 24, номер 3, стр. 340–360.
doi: https://doi.org/10.1111/comt.12039, по состоянию на 22 апреля 2021 г.
Эфрат Нечуштаи и Сет С. Льюис, 2019 г. «Какими привратниками новостей мы хотим, чтобы машины были? Пузыри фильтров, фрагментация и нормативные размеры алгоритмических рекомендаций», Computers in Human Behavior , том 90, стр. 298–307.
doi: https://doi.org/10.1016/j.chb.2018.07.043, по состоянию на 22 апреля 2021 г.
Расмус Клейс Нильсен и Сара Энн Гантер, 2018 г. «Взаимодействие с цифровыми посредниками: тематическое исследование отношений между издателями и платформами», New Media & Society , том 20, номер 4, стр. 1600–1617.
doi: https://doi.org/10.1177/1461444817701318, по состоянию на 22 апреля 2021 г.
Жюльен Ночетти, 2015 г. «Подход России к интернет-политике в духе «диктатуры закона», Обзор интернет-политики , том 4, номер 4.
doi: https://doi.org/10.14763/2015.4. 380, по состоянию на 22 апреля 2021 г.
Сара Оутс, 2013. Революция застопорилась: политические ограничения Интернета на постсоветском пространстве . Оксфорд: Издательство Оксфордского университета.
doi: https://doi.org/10.1093/acprof:oso/9780199735952.001.0001, по состоянию на 22 апреля 2021 г.
Дерек О’Каллаган, Дерек Грин, Маура Конуэй, Джо Карти и Падрайг Каннингем, 2015 г. «Вниз по (белой) кроличьей норе: крайне правые и онлайновые рекомендательные системы», Social Science Computer Review , том 33, номер 4 , стр. 459–478.
doi: https://doi.org/10.1177/0894439314555329, по состоянию на 22 апреля 2021 г.
Эли Паризер, 2011. Пузырь фильтров: что Интернет скрывает от вас . Нью-Йорк: Пингвин Пресс.
Фрэнк Паскуале, 2015. Общество черного ящика: секретные алгоритмы, управляющие деньгами и информацией . Кембридж, Массачусетс: Издательство Гарвардского университета.
Francesco Ricci, Lior Rokach и Bracha Shapira (редакторы), 2015. Справочник по системам рекомендаций . Нью-Йорк: Спрингер.
doi: https://doi.org/10.1007/978-1-4899-7637-6, по состоянию на 22 апреля 2021 г.
Рональд Э. Робертсон, Дэвид Лазер и Кристо Уилсон, 2018 г. «Аудит персонализации и состава страниц результатов поисковых систем, связанных с политикой», WWW ’18: Proceedings of the World Wide Web Conference 2018 , стр. 955–965. .
doi: https://doi.org/10.1145/3178876.3186143, по состоянию на 22 апреля 2021 г.
Флориан Заурвейн, Наташа Джаст и Майкл Латцер, 2015 г. «Управление алгоритмами: варианты и ограничения», инфо , том 17, номер 6, стр. 35–49.
doi: https://doi.org/10.1108/info-05-2015-0025, по состоянию на 22 апреля 2021 г.
Роланд Шредер и Мориц Кралеманн, 2005 г. «Журналистика ex machina — Google News Germany и ее процессы отбора новостей», Journalism Studies , том 6, номер 2, стр. 245c247.
doi: https://doi.org/10.1080/14616700500057486, по состоянию на 22 апреля 2021 г.
Ник Сивер, 2019 г. «Знание алгоритмов», В: Джанет Вертези и Дэвид Рибес (редакторы). digitalSTS: Полевое руководство по изучению науки и техники . Принстон, Нью-Джерси: Издательство Принстонского университета, стр. 412–422.
Людмила Сивец, 2019. «Государственное регулирование онлайн-выступлений в России: роль владельцев интернет-инфраструктуры», Международный журнал права и информационных технологий , том 27, номер 1, стр. 28–49.
doi: https://doi.org/10.1093/ijlit/eay016, по состоянию на 22 апреля 2021 г.
Андрей Солдатов и Ирина Бороган, 2015. Красная паутина: войны Кремля в Интернете . Нью-Йорк: PublicAffairs.
Кьерстин Торсон и Крис Уэллс, 2016 г. «Курируемые потоки: основа для картографирования воздействия СМИ в эпоху цифровых технологий», Communication Theory , том 26, номер 3, стр. 309–328.
doi: https://doi.org/10.1111/comt.12087, по состоянию на 22 апреля 2021 г.
Кьерстин Торсон и Крис Уэллс, 2015 г. «Какое значение все еще имеет привратник: понимание медиа-эффектов в эпоху кураторских потоков», В: Тимоти Вос и Франсуа Хендерикс (редакторы). Привратник в процессе перехода . Нью-Йорк: Рутледж, стр. 25–44.
doi: https://doi.org/10.4324/9781315849652, по состоянию на 22 апреля 2021 г.
Каролина Вендил Паллин, 2017 г. «Контроль над Интернетом через право собственности: пример России», Постсоветские дела , том 33, номер 1, стр. 16–33.
doi: https://doi.org/10.1080/1060586X.2015.1121712, по состоянию на 22 апреля 2021 г.
Mariëlle Wijermars, 2021. «Закон России «Об агрегаторах новостей»: контролируй новостную ленту, контролируй новости», Журналистика (15 января).
doi: https://doi.org/10.1177/14648849219
, по состоянию на 22 апреля 2021 г.
Мариэль Вийермарс и Катя Лехтисаари (редакторы), 2020 г. Свобода слова в новой российской медиасфере . Абингдон: Рутледж.

Редакционная история
Поступила 2 апреля 2021 г.; принято 7 апреля 2021 г.

Этот документ находится под лицензией Creative Commons Attribution-NonCommercial-ShareAlike 4. 0 International License.
Кодексы поведения для алгоритмической рекомендации новостей: полемика Яндекс.Новостей в России
Франсуазы Досе и Бенджамина Лавлака.
Первый понедельник , том 26, номер 5 — 3 мая 2021 г.
https://firstmonday.org/ojs/index.php/fm/article/download/11708/10131
doi: https://dx.doi org/10.5210/fm.v26i5.11708
5 эффективных советов по оптимизации для этой поисковой системы
Когда дело доходит до SEO, мы в основном думаем о Google и его поисковой выдаче. Если мы вообще думаем о чем-то большем, наш разум может обратиться к Bing, принадлежащему Microsoft. Но если вы ориентируетесь на рынки России, вам нужно разбираться в поисковой оптимизации Яндекса. Это потому, что Яндекс — крупнейшая поисковая система в регионе.
Рост Яндекса также можно объяснить российскими антимонопольными правовыми нормами, которые предоставляют опции для поисковых систем по умолчанию на устройствах Android. Интересно отметить, что Яндекс работает не только на российском рынке, но и в большинстве регионов бывшего СССР, таких как Казахстан, Украина и даже в отдельных странах, таких как Турция.
Хорошая вещь в Яндексе, которая привела к его росту, заключается в том, что, как и Google, Яндекс предоставляет другие услуги, такие как браузер, электронная почта, новости, переводчик, карты, а также реклама. Именно поэтому нам нужно уделить особое внимание SEO для Яндекса, если мы хотим создать глобальную SEO-систему или продвигать российские площадки.
Мы составили это руководство после тщательных исследований и личного опыта в этой области. Итак, следите за обновлениями, чтобы узнать эксклюзивную информацию о поисковой системе Яндекс или услугах SEO.
Веб-мастер Яндекса
Как и в Google Search Console, в Яндексе есть аналогичный инструмент для веб-мастеров, с помощью которого вы можете управлять большей частью связанных с Яндексом SEO. Это, безусловно, лучшие SEO-инструменты Яндекса, которые вы можете использовать.
С помощью этого инструмента для веб-мастеров вы можете сообщать поисковой системе почти обо всех изменениях на вашем веб-сайте, начиная от управления картами сайта и заканчивая файлами роботов.
Яндекс и индексация
Получить индексацию на Яндексе непросто и быстро. Вы должны отправить карты сайта на веб-мастер Яндекса. Кроме того, вам нужно будет отправить контент, который вы хотите проиндексировать.
Это не очень хорошая вещь для тех, кто работает в Google. У меня есть веб-сайт, содержимое которого индексируется менее чем за 30 минут. Плохая новость заключается в том, что если у вас свежий сайт, на его индексацию в Яндексе уйдет еще больше времени. Итак, главное терпение.
Яндекс SEO на странице
Действия на странице являются основой действительно функционального SEO. Если вы не можете правильно оформить свою страницу, вы будете бороться с чем-то еще. В Яндексе есть множество алгоритмов, которые помогают отображать результаты в соответствии с поисковым намерением пользователя. Вы можете сравнить алгоритмы Яндекса, чтобы они были на одном уровне с алгоритмами Google.
Клоакинг в Яндексе
Клоакинг в Яндексе невозможен, как и в Google. Все благодаря алгоритмическому обновлению, которое команда Яндекса выпустила в 2008 году, с маскировкой удалось всесторонне бороться. Вы не можете обмануть движок Яндекса, показывая его ботам другую страницу, чем вы показываете фактическому посетителю.
Яндекс и всплывающие окна
Яндекс не относится легкомысленно к раздражающим и назойливым всплывающим окнам. Его алгоритм обнаруживает такие всплывающие окна и быстро принимает меры на таких веб-сайтах. Это еще более строго с веб-сайтами, на которых появляются раздражающие уведомления о лицах. Мой анализ показывает, что Яндекс более строго относится к всплывающим окнам, чем Google.
Яндекс и карты сайта
Яндекс может вычислять и читать XML-карты сайта, как и Google. Это становится важным моментом для упоминания, потому что ранее Яндекс не позволял этого, или, другими словами, не имел такой функциональности.
До 2020 года Яндекс поддерживал только реализацию тега hreflang. Но, к счастью, мы уже прошли этот этап.
Техническое SEO и Яндекс
Яндекс можно сравнить с Google, когда речь идет о технических аспектах SEO. SEO-оптимизация в Яндексе, особенно в России, имеет гораздо больше смысла, чем вложение времени в Google. Несмотря на то, что они похожи, есть различия, которые вы всегда должны учитывать при внедрении Яндекс SEO на своем сайте.
Например, ключевые слова в URL-адресе важны для поисковой оптимизации Яндекса, но не так важны для Google. И хотя внутренняя структура ссылок имеет большое значение для поисковой оптимизации Google, она не так важна для Яндекса.
Поисковая оптимизация изображений в Яндексе
Поисковая оптимизация изображений важна, поскольку все больше и больше людей обращаются к визуальному контенту, чтобы узнать о своих потребностях. По нашей оценке, оптимизация изображений у Google и Яндекса одинакова. Ну а оптимизированные изображения с понятным альтернативным текстом помогут вам получить более высокие позиции в поиске Яндекса. Это потому, что Яндекс знает, что изображения улучшают пользовательский опыт.
На Яндексе изображения могут быть включены в обычные результаты поиска и исключены из результатов поиска изображений, так как Яндекс. Поиск и Яндекс. Изображения — это две разные сущности.
Яндекс Локальное SEO
Россия — большая страна, поэтому локальное SEO становится важным. Инструменты Яндекса для веб-мастеров позволяют пользователям указать регион, в котором они хотят настроить таргетинг на определенный веб-сайт. Именно поэтому пользователи обычно получают хорошие результаты при локальном поиске в поисковой системе Яндекс.
Яндекс и SEO вне страницы
Когда вы думаете о поисковой оптимизации вне страницы, вы думаете о ссылках. Чем больше, тем лучше. Яндекс критически относится к ссылкам, ведущим на веб-сайты. И поисковая система начала наказывать сайты со спам-ссылками в 2005 году, задолго до того, как появилось обновление Penguin.
Вы должны быть осторожны при использовании PBN или обмене ссылками. Излишне говорить, что о спам-линкбилдинге не может быть и речи, когда речь идет о Яндексе.
Создание ссылок и Яндекс
Вы можете ранжировать сайт на Яндексе, не создавая никаких ссылок. Да, это правда, но это история прошлого. В 2013 году Яндекс запустил алгоритм, который позволял ранжировать сайты без ссылок, но он не работал в полной мере. Но на сегодняшний день ссылки важны для ранжирования в поисковой системе Яндекс, поэтому следуйте всем рекомендациям по линкбилдингу.
Яндекс и международное SEO
Яндекс поддерживает реализацию Hreflang через XML-карту сайта. Поскольку это более строгая поисковая система, по сравнению с Google, она не использует IP-перенаправления на основе GEO, чтобы заставить пользователей перейти на определенную версию веб-сайта. Это может привести к форме штрафа.
Исследование ключевых слов и Яндекс
Words — один из лучших инструментов исследования ключевых слов для Яндекса. Он входит в лигу маркетинговых инструментов Яндекса. Инструмент помогает вам разбить поиск по местоположению, что является невероятной функцией. Предоставляемые данные намного точнее и обширнее по сравнению с любым другим инструментом исследования ключевых слов на рынке.
Яндекс и мобильное SEO
Если вы посмотрите вокруг, то заметите, что гораздо больше людей используют смартфоны для поиска чего-либо в Интернете, чем те, кто использует ноутбук. Это сводится к легкости, которую приносят с собой мобильные телефоны.
В России на Android-устройствах есть возможность изменить предпочтительный браузер. Итак, на этом монополия Google на более мелкие интернет-устройства подходит к концу. Около 36% пользователей Android используют Яндекс, отказываясь от Google на российских рынках. Это означает, что мобильное SEO на Яндексе большое.
5 советов по поисковой оптимизации, чтобы добиться успеха на Яндексе
Поисковая оптимизация — сложная задача независимо от поисковой системы, для которой вы ее делаете. Это трудоемко и повторяется. Не только это, вы должны быть дотошны с вашей реализацией. От правильной стратегии контента до правильного выполнения технического SEO, вы должны быть на высоте.
1. Пользовательский опыт имеет значение
Пользовательский опыт важнее обратных ссылок для Яндекса. Это означает, что ваше внимание должно быть всегда сосредоточено на читателе. Если вы сможете дольше удерживать посетителей на своем сайте, вы крупно выиграете. Подумайте о добавлении изображений, видео и аудио на ваш веб-сайт, который захватывает.
2. Создайте надежный контент
Чрезмерно оптимизированный контент, который читается как робот, — это большое «нет-нет». Яндекс к этому очень строг. Избегайте дублирования контента и вкладывайте время и усилия в создание богатого и обучающего контента. Ничто не сравнится с этим, руки вниз.
3. Возраст домена важен
Старые домены хорошо воспринимаются Яндексом. Это означает, что чем больше возраст вашего сайта, тем лучше он будет ранжироваться. Многие SEO-специалисты Яндекса предлагают покупать старые домены, если вы серьезно относитесь к поисковой оптимизации Яндекса.
4. Подлинность — это рейтинг Итак, если вы что-то продаете, убедитесь, что вы ставите своих клиентов в центр внимания.
5. Оптимизация для маленьких экранов
Как я уже говорил, поисковая оптимизация для мобильных устройств важна для Яндекса. Чтобы выиграть здесь, вы должны оптимизировать свой сайт для мобильного экрана. Яндекс уделяет особое внимание сайтам, оптимизированным для мобильных устройств, и ранжирует их выше. Так что не упустите возможность сделать свой сайт адаптивным.
Достаточно, чтобы начать работу с Яндекс SEO?
Это все было с моей стороны в этом посте. Я уверен, что это все хорошие, отличные основы, которые помогут вам начать работу с Яндекс SEO. После начала работы вам обязательно нужно будет присоединиться к сообществам, посвященным поисковой оптимизации Яндекса и помогающим вам узнать больше о поисковой системе. Reddit, Twitter, форумы должны быть вашими лучшими друзьями, если вы хотите добиться успеха.
Отслеживание российских поисковых систем для SEO и контент-маркетинга
Сегодняшняя гостевая запись в блоге будет посвящена обзору российских поисковых систем и методов SEO. Я знаю, что этот рынок не очень известен в США/Европе/Азии, поэтому постараюсь восполнить этот пробел общей информацией. Давайте начнем.
Интернет в России: обзор и статистика

Согласно исследованию comScore, Россия занимает первое место в Европе по количеству пользователей Интернета. По данным ФОМ на осень 2011 г., месячная аудитория Интернета в России составляет 54,5 млн человек – это около 47% всего взрослого населения (прирост год-к-году – 17%). Рост в основном вызван распространением Интернета в регионах.
Согласно недавнему исследованию Яндекса о развитии интернета в регионах России, за последние три года ежемесячная аудитория мобильного интернета увеличилась почти вдвое, тогда как интернет-аудитория в целом увеличилась только на 50%. Если говорить о количестве русскоязычных веб-сайтов, то, по данным регистратора доменных имен Nic.ru, доменная зона .ru в настоящее время насчитывает 3,74 миллиона зарегистрированных доменных имен.
Яндекс как ведущая поисковая система России

Россия — один из немногих рынков поисковых систем со своим локальным лидером — Яндексом, основанным в 1997 году. со сменой руководства начал стремительно терять свою долю в поиске, подписал стратегическое соглашение с Яндексом в 2011 году и прекратил разработку собственной технологии поиска и начал показывать результаты Яндекса в привычном для него оформлении), а также Апорт (тоже основанный в 1996).
Основным конкурентным преимуществом Яндекса является понимание русской культуры и особенностей русского языка, а также обилие успешных для России веб-сервисов, среди которых:
• Вертикальный поиск: картинки, видео, музыка, карты с пробками, новости, поиск людей, поиск товаров (Яндекс.Маркет) и т.д.;
• Сервисы: почта, фото, календарь, платежная система (Яндекс. Деньги), система веб-аналитики (Яндекс.Метрика) и многие другие.
В Советской России Google ищет вас
Игрок №2 на российском рынке – компания Google – открыла офис в России в 2006 году и начала работать над улучшением качества поиска и увеличением количества локализованных сервисов. Сейчас его доля почти в 3 раза меньше доли доминирующего на рынке Яндекса (его ежемесячная аудитория составляет 32,5 млн уникальных посетителей, на март 2012 г., источник – stat.yandex.ru). Кстати, Россия стала первой страной в мире, где Google запустил оффлайн рекламную кампанию (рекламные щиты на улицах и в метро), однако это не помогло ей перехватить инициативу.
Player #3 — Search.mail.ru очень долго использовал поисковый алгоритм Яндекса, но с 2011 года поисковик совмещает собственный алгоритм поиска с результатами Google.
Яндекс выходит на мировой уровень
В прошлом году Яндекс провел IPO на NASDAQ, став публичной компанией. Сейчас Яндекс пытается выйти на новые рынки — осенью 2011 года он запустил турецкую поисковую систему (Yandex. com.tr) вместе с другими сервисами, такими как карты и пробки, адаптированными специально для Турции. Это действительно важный момент в истории, удачи Яндексу в выходе на новые страны 🙂
Обычные и платные результаты поиска в Яндексе
Выдача Яндекса содержит как органические результаты, так и платные контекстные ссылки, информацию о вертикальном поиске и т.д. 4 миллиона долларов, что составляет 85% всей выручки компании — ее глобальный характер напоминает Google.
http://company.yandex.com/investor_relations/financial_releases/2012/2012-02-22.xml
Кстати, Яндекс — единственная поисковая система, которая предлагает пользователям сравнивать результаты поиска из других поисковых систем прямо из на странице выдачи. Так разработчики, вероятно, оценивают качество результатов поиска.
Рынок SEO
Объем рынка поисковой оптимизации в 2011 году, по оценкам некоторых экспертов, оценивается в $250 млн. Что касается самой популярной формы сотрудничества SEO-агентств и консультантов/владельцев бизнеса в России, то оплата за ранжирование используется давно (недостатки этой формы очевидны). Она началась еще во времена раскрутки сайта. заняло 2-4 недели и означало просто покупку большого количества ссылок. Сейчас рынок постепенно переходит на оплату консалтинговых услуг. Есть еще одна бизнес-модель, когда клиент платит за объем трафика из органического поиска (с учетом сезона, брендированных поисковых запросов и стоп-слов).
Как и везде в мире, российские алгоритмы поисковых систем и методы поисковой оптимизации развивались по общему сценарию (сначала упор на текстовую оптимизацию, затем для снижения оптимизационного давления – введение ссылочных факторов, а теперь – большое влияние пользовательских факторов и постепенное внедрение сигналов социальных сетей.)
Алгоритм MatrixNet
В 2009 году Яндекс представил новый алгоритм ранжирования под названием MatrixNet. Он основан на машинном обучении и использовании оценщиков для оценки качества результатов поиска и сочетания факторов ранжирования для различных типов запросов и тем. Также Яндекс начал показывать разные результаты поиска по геозависимым запросам в 1250 регионах России. По словам Ильи Сегаловича, соучредителя и главного технолога, формула ранжирования, составлявшая в 2006 г. 0,02 Кб, в 2010 г. увеличилась до 280 Мб9.0003
Политика в отношении платных ссылок
Задачи продвижения сайта серьезно усложнились с тех пор, как Яндекс начал использовать машинное обучение для отличия платных ссылок от органических (согласно мадридскому отчету, тексты платных ссылок часто содержат определенные шаблоны, характерные для коммерческой тематики, а на страницы, которые содержат эти плотные блоки со ссылками разной тематики, ссылки постоянно добавляются/удаляются, а содержание остается прежним).
Сервисы по продаже SEO-ссылок очень популярны в России — это одно из главных отличий от остального мирового SEO. Sape.ru — самый известный из таких сервисов — он предлагает около 550 тысяч площадок для размещения ссылок. Яндекс постоянно работает над минимизацией SEO-давления, например, ссылки теперь становятся «полностью рабочими» и начинают передавать ссылочный вес обычно через 2-3 месяца после размещения. Но я хочу сказать вам, что качество важнее количества, и поэтому важно привлекать ссылки с качественных сайтов. Ниже вы можете увидеть топ-10 бюджетов на бирже ссылок Sape.ru:
Результаты поиска по коммерческим темам
В декабре 2011 года Яндекс ввел новую формулу ранжирования коммерческих запросов. Теперь приоритет в поисковой выдаче получают не просто интернет-магазины, которые хорошо оптимизированы и имеют большое количество качественных ссылок, а сайты с хорошим ассортиментом, отличным описанием и дополнительной информацией, удобной навигацией, большим количеством платежей и способы доставки, а также качество обслуживания.
В формуле также используются оценки оценщиков и алгоритм, основанный на машинном обучении. Короче говоря, большинство этих функций обычно принадлежат известным брендам, которым доверяют пользователи. По словам Александра Садовского (начальник отдела веб-поиска), «чем качественнее сайт, тем больше на него трафика».
Что может сделать веб-мастер, чтобы улучшить рейтинг своего веб-сайта сегодня?
• Разработка содержания и структуры своего веб-сайта с упором на целевые ключевые слова (wordstat. yandex.ru предоставляет такую информацию и помогает находить похожие запросы, еще один отличный способ — использовать контекстную рекламу для поиска эффективных ключевых слов).
• Добавление своего сайта в сервис Яндекс.Вебмастер и подтверждение права на этот сайт. После этого вы можете просмотреть информацию об индексации вашего сайта и возникающих ошибках, указать целевой регион, увидеть статистику кликов и показов ключевых слов, настроить «быстрые ссылки», которые появляются в выдаче, проверить правильность обработки XML-карты сайта. .
• Отправка данных для расширенных сниппетов (они существуют для таких тем, как рестораны, пиццерии, кафе и кофейни, бары и пабы, спортивные бары, отели, кинотеатры, музеи, аэропорты, фитнес-центры, автошколы). Он также поддерживает разметку Schema.org.

Общие рецепты поисковой оптимизации: запрет индексации служебных и дублирующих страниц (форм входа, например) в robots.txt и использование тегов noindex для блоков контента (есть также специальный тег для закрытия контента сайта от индексации который работает только в Яндексе), устранение дублирования контента, написание уникального качественного контента, улучшение структуры, простота и удобство навигации по сайту, перелинковка.
• Если вы постоянно анализируете статистику посещений поисковых систем с помощью веб-аналитики (например, Google.Analytics или Яндекс.Метрика), оцениваете такие показатели, как показатель отказов, коэффициент конверсии, глубину просмотра, а также адаптируете контент к интересам пользователей, а также протестировав сайт, вы обязательно получите прирост органического качественного трафика.
Фильтры против переоптимизации
Во избежание фильтров и пессимизации сайта в результатах поиска следует быть осторожным с большими SEO-текстами и скоростью получения новых входящих ссылок. Вместо этого вам нужно оптимизировать свой сайт только для тех фраз, которым он соответствует.
Факторами ранжирования, оказывающими наибольшее влияние, являются: рейтинг доверия домена, его возраст, ссылочные факторы, но основной тенденцией, возникшей с внедрением алгоритма Matrixnet, являются пользовательские факторы, в том числе количество кликов в результатах поиска и поведение пользователя после перехода на сайт из поисковой системы. Пока социальные сигналы влияют только на отображение сайта в выдаче и постепенно начинают влиять на ранжирование сайта.
Социальные сети в Яндексе
Социальное SEO — это тенденция оптимизации сайтов, которая широко распространена в России. Яндекс сотрудничает с Facebook, Twitter, а также с лидером рынка – социальной сетью ВКонтакте, аудитория которой составляет 25 миллионов пользователей из России каждый день. Например, в поисковой выдаче отображаются ссылки на социальные сети, которые привязаны к сайту (Яндекс берет их либо с главной страницы, либо с сервиса Яндекс.Адреса), а также последние твиты (для достижения «свежести» и актуальности) и информация о людях, которые поделились ссылкой в Twitter.

Надеюсь, этот пост дал вам общее представление о российском рынке поисковых систем 🙂 Узнайте о возможностях международной поисковой системы DemandSphere и начните отслеживать Яндекс и многое другое прямо сейчас.
10 SEO-советов по оптимизации для Яндекса
Вы когда-нибудь думали о какой-либо другой поисковой системе, кроме Google?
Google — это наша онлайн-энциклопедия, способная найти решение любой сложной проблемы. Если это онлайн-энциклопедия для всего мира, это чистое блаженство для маркетологов, живущих в цифровом пространстве.
Google выступает в качестве маркетинговой платформы для маркетологов, которые могут вести свой бизнес в цифровом формате, используя передовые методы цифрового маркетинга, включая поисковую оптимизацию.
Но что, если у вас не останется выбора для Google? Да серьезно. Что, если однажды вы проснетесь и обнаружите, что Google больше не является вашим онлайн-партнером?
Вам, как маркетологу, это кажется страшным сном. Но вы должны быть готовы с вариантами для каждой ситуации.
Google действительно доминирует почти во всем мире. Тем не менее, есть еще некоторые рынки, которые даже не представлены тенью Google.
Да, речь идет о российском рынке. Рынок полностью находится в руках Яндекса, популярной российской поисковой системы, такой как Google.

Источник изображения: Pixabay
Следовательно, если вы планируете ориентироваться на российский рынок, вам сначала нужно понять процесс поисковой оптимизации Яндекса и то, как ранжировать ваш сайт в их поисковой системе.
Прежде чем мы перейдем к рекомендациям по оптимизации сайта для Яндекса, давайте кратко о нем расскажем.
О Яндексе!

Яндекс это не последняя эволюция. Российская поисковая система была впервые основана в 1990 году, а позже, в 1993 году, она была придумана как «Яндекс», что означает «Еще один индексатор».
Поиск о Яндексе в Google. И вы получите полный обзор оттуда. Может быть, Википедия будет лучшим источником знаний.
Зачем нужно изучать Яндекс SEO?
Все время не может быть, чтобы Россия не была указана в вашем списке целевой аудитории. Для таргетинга на клиентов из России выгодно, чтобы ваш сайт был виден в поисковой системе Яндекс. Простая оптимизация вашего сайта для Google в этом случае не сработает.
Итак, вы готовы изучать SEO-советы Яндекса? Давайте посмотрим.

Умение работать с геотаргетингом: Вы слышали о геотаргетинге? Это метод интернет-маркетинга, при котором оценивается геолокация каждого посетителя веб-сайта и ему предоставляется соответствующий контент. Яндекс настоятельно предпочитает это. В обычных поисковых системах, таких как Google, пользователи независимо от местоположения в мире видят одинаковые результаты. Но в Яндексе такого нет. Например, если пользователь из России, Яндекс предпочтет показывать результаты, более склонные к этой стране. Он будет отдавать приоритет вашему географическому местоположению, а не показывать результаты на основе общего рейтинга. Поиски делятся на две группы: геозависимые и геонезависимые. Геонезависимые поиски — это книги, рецепты, лекарства и т. д. Эти поиски не представлены на основе местоположений. Принимая во внимание, что местные предприятия, институты, услуги, продукты и т. д. сгруппированы по геозависимым поискам. Следовательно, если вы планируете ориентироваться на всю страну и получать от нее огромный трафик, то Яндекс окажется лучшим выбором.
Уделите больше внимания вовлечению пользователей: Часто цитируется, что «вовлечение пользователей напрямую связано с ранжированием в поисковых системах». Гугл говорит нет на это. Однако Яндекс уделяет больше внимания термину «вовлечение пользователей» и переворачивает всю игру. Для Яндекса показатели вовлеченности пользователей являются более важным элементом ранжирования, чем обратные ссылки (поддерживается Google). В нем говорится, что веб-сайты, которые могут удерживать пользователей в течение длительного времени, должны занимать высокие позиции в поисковых системах. Интересный, не так ли? Ключевыми элементами, которым Яндекс хочет уделить больше внимания, являются: — Источники, через которые генерируется огромный трафик.
Ищите запросы или ключевые слова, которые выделяются и могут привлечь больше пользователей на сайт.
Проанализируйте действия потенциальных клиентов или пользователей на вашем сайте. Это поможет вам составить представление о странице, которая получает больше трафика или на которую нужно больше ориентироваться.
Все вышеперечисленные элементы в какой-то мере окружают вовлечение пользователей. Не так ли?
Приоритет контента для Яндекса одинаков: Контент является неотъемлемым элементом любого веб-сайта, поэтому необходимо позаботиться о нем, чтобы обеспечить высокий рейтинг в поисковых системах. Как и Google, Яндекс даже считает контент ключевым аспектом. Спам-контент и плагиат вообще не принимаются поисковой системой. Следовательно, вы должны быть уникальными и мыслить нестандартно при создании соответствующего контента. Яндекс использует два алгоритма. Между ними большое значение имеет фильтр AGS. Это может определить, является ли содержимое дубликатом или нет. Это почти похоже на алгоритм Google Panda. Убедитесь, что вы создаете качественный контент, чтобы ваш сайт занимал высокие позиции в Яндексе.
Проверить возраст домена: Вполне естественно, что новым веб-сайтам требуется достаточно времени, чтобы занять высокие позиции в органическом поиске. Ничего важного. Это происходит для каждого новорожденного веб-сайта. Но если у вас нет терпения и вы хотите занять верхнюю позицию на странице поисковой системы, то лучше купить старый домен и получить высокий авторитет. Вау! В случае с Яндексом проверьте критерии, по которым поисковая система определяет дату создания страниц сайта, просматривая данные кеша поисковой системы. В этом вам может помочь «Аудит сайта». Это поможет вам определить количество страниц, проиндексированных поисковой системой, а также время их индексации.
Здесь имеют значение коммерческие факторы: Для Яндекса на процесс оптимизации коммерческих сайтов влияют определенные важные факторы. Это -Надежность бренда
✔️ Интерфейс веб-сайта
✔️ Ассортимент продукции
✔️ Цены на продукцию
✔️ Способы оплаты
✔️ Политика возврата
✔️ Служба доставки
Служба поддержки клиентов вашего коммерческого веб-сайта следует этим рекомендациям или факторам? Если да, то вам повезло выиграть игру. В противном случае вы должны потерять свою позицию по умолчанию. Это то, что происходит с тем меньшим количеством веб-сайтов, которые не заботятся об этих факторах при создании своих коммерческих веб-сайтов. Вы не должны забывать об этом SEO-совете Яндекса при разработке своего сайта, особенно коммерческого.
Вы просто не можете забыть Мета-теги: Подобно Google, Яндекс даже ищет метатеги, прежде чем ранжировать сайт в органическом поиске. Скорее, вы можете сказать, что он уделяет больше внимания этим метатегам, в отличие от Google. Источник изображения: Pixabay Вещи, которые вам необходимо учитывать при оптимизации вашего веб-сайта для Яндекса, это -мета-теги и мета-описание: Яндекс ограничивает мета-теги до 60 символов, а описание — до 160 символов.
Мета-ключевые слова: Яндекс уделяет больше внимания мета-ключевым словам. Поэтому убедитесь, что вы не избегаете добавления целевых ключевых слов на страницу.
URL: Яндекс принимает как кириллицу, так и латиницу.
Канонический тег: не игнорируйте эти теги, так как они уберегут вас от штрафов за дублированный контент.
Что-то подозрительное в обратных ссылках: Для Google обратные ссылки имеют большое значение для более высокого рейтинга. Но для Яндекса обратные ссылки исключены из механизма ранжирования. Но это не значит, что создавать ссылки бесполезно. Яндекс наказывает те сайты, которые используют спам-ссылки для улучшения поисковых алгоритмов. Обнаружив такие сайты, Яндекс даже не потратит ни секунды, чтобы ограничить процесс ранжирования таких сайтов. Какое решение? Старайтесь создавать настоящие ссылки, которые привлекают трафик на сайт. Но никогда не пытайтесь покупать ссылки, чтобы повысить свой рейтинг.
Мобильные сайты: Идея мобильных сайтов для улучшения поисковой выдачи была представлена в конце 2015 года. Позже, в феврале 2016 года, Яндекс запустил Владивосток, обновление поискового алгоритма. Это позволяет мобильным сайтам занимать высокие позиции в поисковых системах. Кроме того, с внедрением Яндексом Турбо-страниц решить проблему увеличения показателя отказов.
Источник изображения: Pixabay
Таким образом, сделан вывод, что сайт с мобильной версией занимает верхние позиции на страницах результатов поисковой системы. Убедитесь, что вы проверили, свободна ли мобильная версия от ошибок или нет.
9. Индексация требует времени. Пожалуйста, подождите!: Google загружен динамическими функциями, которые позволяют быстро индексировать только что загруженный контент. А Яндекс поддерживает статические страницы, что замедляет процесс индексации.
Источник изображения: Pixabay
Что вы можете сделать, так это проявить терпение, когда вы не видите желаемых результатов своей SEO-кампании. В большей степени вы можете поддержать эту процедуру индексации, отправив свой контент через XML-карту сайта в Яндекс Вебмастер.
10. Что насчет внутренних ссылок?: Помимо обратных ссылок, Яндекс поддерживает даже внутренние ссылки. Вместо того, чтобы сосредотачиваться на навигации и нижнем колонтитуле, попробуйте использовать внутренние ссылки, содержащие оптимизированные анкорные тексты. Эти ключевые слова или ссылки на контент имеют хорошую ценность.
Яндекс не является точной копией Google. Между ними есть как сходства, так и различия. Отсюда важно узнать плюсы и минусы Яндекса, чтобы отличить поисковик от Google.
5 Ключевые преимущества Яндекса
Так как Яндекс почти аналогичен Гуглу, он прост в использовании, прост в понимании.
Трафик на веб-сайты может быть плохим, но относительно конкуренция там даже хуже, чем в Google. Будь то обычный поиск или платный поиск, трафик низкий по сравнению с трафиком через Google.
Вы, должно быть, привыкли к алгоритму Google. Но когда вы столкнетесь с алгоритмом Яндекса, вы будете удивлены, увидев менее изощренную версию. Следовательно, с ним легко обращаться, его легко оптимизировать.
Маркетологи в Google часто избегают получения трафика через платный поиск, так как считают это довольно дорогим. Но платный поиск Яндекса разработан с учетом рентабельности.
Навигация по записям
Предыдущая запись Есть вк: Теперь мы есть ВКонтакте! | ABS International
Следующая запись Что такое 2d в кино: Вопросы и ответы
Добавить комментарий Отменить ответ
Ваш адрес email не будет опубликован. Обязательные поля помечены *
Комментарий *
Имя *
Email *
Сайт

Поиск:
Рубрики
Seo
Wordpress
Дизайн
Заработок
Плагин
Разное
Рекомендац
Сайт
Совет
Советы
Тем
Темы
Урок
Уроки
© Орфографика.рф, 2010 - 2019
Расшифровки, размещенные на сайте, предназначены только для личного, некоммерческого использования.
При перепосте материалов обязательна активная ссылка: «Текст подготовлен компанией Орфографика.рф».
Вопросы и предложения: info@орфографика.рф.