Поисковая система Яндекс (Yandex) — история создания и функциональность поисковика
Яндекс – крупнейшая поисковая система рунета. По состоянию на 2019 год ее применяли для поиска 56% пользователей русскоязычного сегмента сети.
История создания
История поисковой системы началась 23 сентября 1997. Именно тогда она была анонсирована на презентации Softool. Название поисковика придумали его основатели Аркадий Волож и Илья Сегалович. Оно представляет собой несколько слогов из англоязычной фразы «yet another indexer» («еще один индексатор»).
Отличия от Google
Вот основные отличия Yandex от Google:
- Ориентация на российских пользователей. Выдача формируется исходя из интересов российских юзеров и предложений отечественного бизнеса.
- Учет поведенческих факторов. Поисковик при ранжировании сайта анализирует поведение пользователя на сайте и исходя из него размещает ссылку на ресурс в выдаче. В Google это не так выражено, хотя тоже присутствует.
- Ориентация на коммерческие запросы. Яндекс в большей степени ориентирован на коммерческие запросы, а Google – на информационные.
Еще одно важное отличие Yandex – более эффективная работа с картинками. Он лучше ищет и качественнее подбирает изображения.
Алгоритмы ранжирования сайтов
Алгоритмы ранжирования сайтов у Яндекса постоянно меняются. Известно, что в 2022 году введены в действие следующие:
- Proxima. Оценивает общее качество выдачи. Для этого анализирует сразу несколько параметров, среди которых релевантность запросу, лояльность пользователей к сайту, содержимое веб-ресурса и ряд других.
- Профицит. Оценивает эффективность сайтов из выдачи. Если пользователь перешел по ссылке из поисковика и больше не вводил аналогичный запрос, его проблема считается решенной, а поиск — эффективным.
- IndexNow. Это алгоритм индексирования, который определяет релевантность страниц и размещает их в выдаче.
Также Yandex использует алгоритм Баден-Баден, который направлен на выявление переоптимизированных текстовых материалов.
Они понижаются в ранжировании или вовсе исключаются из него. Тексты без переспама, которые выглядят естественно, наоборот, поднимаются в результатах выдачи.
Конечно, это далеко не все алгоритмы поисковой системы, которые используются при формировании выдачи. В действительности их гораздо больше, но это – тема для отдельного материала.
Функциональность
На данный момент основной модуль поисковика расположен по адресу ya.ru. Он предлагает посетителям следующие функции:
- веб-поиск;
- погода;
- поиск по картинке;
- голосовой поиск.
У Yandex есть собственная почтовая служба. Кроме того, в экосистему компании входит множество дополнительных сервисов, среди которых Видео, Еда, Драйв, Диск и многие другие. Часть из них уже фактически не принадлежит Яндексу. Например, сервис «Дзен» и «Новости» приобретены компанией VK, однако при этом отображаются на странице поисковика, открывающейся по адресу Yandex.ru.
Наиболее популярные сервисы
Вот небольшой обзор наиболее популярных сервисов Yandex.
Еда
Этот сервис работает во всех крупных городах страны. Он позволяет заказать готовую еду из популярных ресторанов и продукты из торговых сетей. Это быстро и удобно. А еще на Яндекс-Еде можно экономить за счет акций, проводящихся в экосистеме поисковика.
Почта
Почта на базе Яндекса – это удобно. Ведь создание почтового ящика избавляет от необходимости регистрации в других сервисах поисковой системы.
Карты
Один из самых популярных сервисов, помогающий ориентироваться в городе и на природе. По сравнению с аналогом от Google более точно определяет местоположение пользователя на территории России. Доступен в виде приложения для смартфонов.
Такси
Популярный агрегатор позволяет быстро заказать такси по хорошей цене. Доступен во всех крупных городах РФ.
Значение Яндекса для рунета
Трудно переоценить значение Яндекса для рунета. Ситуация, когда в каком-либо сегменте сети лидирующие позиции занимает национальная поисковая система — редки.
Они сложились только в двух странах – РФ и КНР. В остальных государствах ключевую роль на рынке играют преимущественно американские поисковики.
Не следует забывать и об экосистеме Yandex, с помощью которой можно получить широкий спектр самых разных услуг в России и ряде других стран. Такое предлагает очень мало поисковых систем.
Недаром в РФ Yandex официально объявлен общенациональным транслятором информации. Это формальное признание его значимости.
Занимательные факты
— поисковая система занимает 4-е место в мире по общему количеству обработанных запросов пользователей. 1-е принадлежит Google;
— чтобы Yandex не выкупили иностранные компании, в 2009 году государственная корпорация Сбербанк приобрела его золотую акцию;
— по статистике мужские запросы в Yandex всегда короче женских;
— Яндекс обогнал по численности аудитории Первый канал. Это произошло еще в 2012 году.
Как сделать «Яндекс» стартовой страницей на Android
18 декабря 2022 Ликбез Android
Простая последовательность действий для разных браузеров.
В зависимости от версии Android и наличия предустановленной производителем оболочки способы могут различаться. В «Яндекс Браузере» поисковая система и стартовая страница настроены уже по умолчанию. Достаточно установить приложение из Play Market на смартфон и предоставить необходимые разрешения.
В некоторых браузерах также по умолчанию активирован «Яндекс», но есть и проводники, в которых нельзя редактировать домашние страницы. В большинстве случаев алгоритм похож: чтобы сменить вкладку и поисковую строку, нужно открыть основные настройки приложения и переключить соответствующие пункты.
Как сделать «Яндекс» стартовой страницей в Chrome на Android
- Откройте Google Chrome, нажмите на кнопку с тремя точками и перейдите в настройки.
- Здесь найдите раздел «Главная страница». Активируйте его и выберите нижнюю строку со своим вариантом.
- В строке напишите адрес https://ya.ru/.
- Далее перейдите в настройках к пункту «Поисковая система» и переключите с Google на «Яндекс».
- После закройте все открытые вкладки, перезапустите Google Chrome и нажмите на кнопку «Домой», которая расположена в верхнем левом углу.
Как сделать «Яндекс» стартовой страницей в Firefox на Android
- Запустите Firefox.
- Нажмите на кнопку с тремя точками, выберите «Настройки».
- Перейдите во вкладку «Поиск».
- Тапните по кнопке «Добавление поисковой системы».
- Выберите настройку «Другая» и введите адрес https://ya.ru/search/touch/?text=%s.
Как сделать «Яндекс» стартовой страницей в Opera на Android
В браузере Opera уже после установки «Яндекс» должен быть выбран по умолчанию. Если это не так, то можно быстро переключиться на нужный вариант:
- Откройте Opera, нажмите на значок профиля в правом нижнем углу и перейдите в настройки, тапнув по шестерёнке.
- Пролистайте вниз и выберите «Поисковая система по умолчанию».
- Укажите «Яндекс» и выйдите из настроек.
Как сделать «Яндекс» стартовой страницей в других браузерах на Android
В большинстве других браузеров, которые позволяют настраивать поисковую систему и домашнюю страницу, выбрать свой вариант можно таким образом:
- Нажмите на кнопку с тремя точками или профилем пользователя, расположенную вверху или внизу экрана.
- Из открывшегося списка выберите настройки. Они могут быть указаны словесно либо значком шестерёнки.
- Найдите разделы «Поисковая система» и «Домашняя страница». Возможно, браузер позволит настроить только поиск.
- Из предложенного списка выберите «Яндекс» либо впишите адрес https://ya.ru/.
Читайте также 📱
- 10 приложений для хранения паролей
- 10 функций Chrome на Android, о которых мало кто знает
- Как отключить «Google Ассистента»
- Как проверить состояние аккумулятора на Android
- Как удалить контакты-дубликаты на Android
Массовая утечка кода Яндекса раскрыла факторы ранжирования российской поисковой системы
SEO — это война
org/Person»>
Кевин Парди
— Увеличить / Российский логотип Яндекса, крупнейшей в стране поисковой системы и технологической компании с множеством подразделений, внутри штаб-квартиры компании.
SOPA Images / Getty Images
Почти 45 ГБ файлов с исходным кодом, предположительно украденных бывшим сотрудником, раскрыли основы многих приложений и сервисов российского технологического гиганта «Яндекс». Он также выявил ключевые факторы ранжирования для поисковой системы Яндекса, которые почти никогда не раскрываются публично.
«Гит-исходники Яндекса» были опубликованы в виде торрент-файла 25 января и показывают файлы, якобы снятые в июле 2022 года и относящиеся к февралю 2022 года. Инженер-программист Арсений Шестаков утверждает, что он проверил с нынешними и бывшими сотрудниками Яндекса, что некоторые архивы « наверняка содержат современный исходный код для сервисов компании».
Файлы, в частности, датируются февралем 2022 года, когда Россия начала полномасштабное вторжение в Украину. Бывший руководитель Яндекса сказал BleepingComputer, что утечка была «политической», и отметил, что бывший сотрудник не пытался продать код конкурентам Яндекса. Код защиты от спама также не просочился.
Хотя неясно, имеет ли раскрытие исходного кода Яндекса последствия для безопасности или структуры, утечка 1922 факторов ранжирования в алгоритме поиска Яндекса, безусловно, наделала много шума. Консультант по SEO Мартин Макдональд описал взлом в Твиттере как «вероятно, самое интересное, что произошло в SEO за последние годы» (как отмечает Search Engine Land). В ветке, подробно описывающей некоторые из наиболее заметных факторов, исследователь Алекс Буракс предполагает, что «есть много полезной информации и для Google SEO».
Яндекс, четвертая по объему поисковая система, якобы нанимает нескольких бывших сотрудников Google. Яндекс отслеживает многие факторы ранжирования Google, идентифицируемые в его коде, и активно конкурирует с Google. Российское подразделение Google недавно объявило о банкротстве после потери банковских счетов и платежных сервисов. Буракс отмечает, что первым фактором в списке факторов ранжирования Яндекса является «PAGE_RANK», который, по-видимому, связан с основополагающим алгоритмом, созданным соучредителями Google.
Как подробно описал Буракс (в двух темах), движок Яндекса отдает предпочтение страницам, которые:
- Не слишком старые
- Иметь много органического трафика (уникальных посетителей) и меньше поискового трафика
- В URL-адресе должно быть меньше цифр и косых черт
- Иметь оптимизированный код, а не «жесткую пессимизацию» с «PR=0»
- Размещаются на надежных серверах
- Случается, что это страницы Википедии или ссылки из Википедии
- Размещены или связаны со страницами более высокого уровня в домене
- Иметь ключевые слова в своем URL (до трех)
Вы можете искать и щелкать по всем факторам в скомпилированном поисковом инструменте Роба Усби.
В 2015 году код поисковой системы Яндекса исчез, когда бывший сотрудник попытался продать его на черном рынке за 28 000 долларов, чтобы профинансировать собственный стартап. Удивительно низкая цифра для основного кода основного продукта Яндекса свидетельствовала о том, что он не знал о его реальной ценности. Этот сотрудник был приговорен к двум годам лишения свободы условно, и кодекс никогда не публиковался.
← Предыдущая история Следующая история →
Утечка факторов ранжирования в поиске Яндекса: информация
Сообщество поискового маркетинга пытается разобраться в просочившемся репозитории Яндекса, содержащем файлы, перечисляющие то, что выглядит как факторы ранжирования в поиске.
Некоторые могут искать действенные подсказки SEO, но это, вероятно, не реальная ценность.
По общему мнению, это будет полезно для общего понимания того, как работают поисковые системы.
Если вам нужны хаки или ярлыки, их здесь нет. Но если вы хотите больше узнать о том, как работает поисковая система. Есть золото.
— Райан Джонс (@RyanJones) 29 января 2023 г.
Есть чему поучиться
Райан Джонс (@RyanJones) считает, что эта утечка имеет большое значение.
Он уже загрузил некоторые модели машинного обучения Яндекса на свою машину для тестирования.
Райан убежден, что есть чему поучиться, но для этого потребуется гораздо больше, чем просто изучение списка факторов ранжирования.
Райан объясняет:
«Хотя Яндекс — это не Google, мы можем многому научиться из этого с точки зрения сходства.
Яндекс использует множество технологий, изобретенных Google.
Очевидно, что факторы будут различаться, и веса, применяемые к ним, также будут различаться, но методы компьютерной науки того, как они анализируют релевантность текста, связывают текст и выполняют вычисления, будут очень похожи в разных поисковых системах.
Я думаю, что мы можем почерпнуть много информации из факторов ранжирования, но одного лишь просмотра просочившегося списка недостаточно.
Когда вы смотрите на веса по умолчанию (до машинного обучения), вы видите отрицательные веса, которые SEO-специалисты считают положительными, или наоборот.
Кроме того, в коде рассчитывается НАМНОГО больше факторов ранжирования, чем указано в списках факторов ранжирования.
Этот список, по-видимому, состоит только из статических факторов и не учитывает, как они вычисляют релевантность запроса, или многие динамические факторы, связанные с набором результатов для этого запроса».
Они ссылаются на PageRank по имени, используют Map Reduce и BERT и многое другое.
Более 200 факторов ранжирования
На основе утечки часто повторяют, что Яндекс использует 1923 фактора ранжирования (некоторые говорят, что меньше).
Кристоф Цемпер (профиль LinkedIn), основатель Link Research Tools, говорит, что друзья сказали ему, что существует гораздо больше факторов ранжирования.
Кристоф поделился:
«Друзья видели:
- 275 факторов персонализации
- 220 факторов «свежести в Интернете»
- 3186 факторов поиска изображений
- 2 314 факторов поиска видео
Еще многое предстоит нанести на карту.
Наверное, самое удивительное для многих то, что у Яндекса сотни коэффициентов для ссылок».
Дело в том, что это намного больше, чем 200+ факторов ранжирования, которые Google использовал.
И даже Джон Мюллер из Google сказал, что Google отошел от 200+ факторов ранжирования.
Так что, возможно, это поможет индустрии поиска отойти от того, чтобы думать об алгоритме Google в таких терминах.
Никто не знает весь алгоритм Google?
Что поразительно в утечке данных, так это то, что факторы ранжирования были собраны и организованы таким простым способом.
Утечка ставит под сомнение идею о том, что алгоритм Google тщательно охраняется и что никто, даже в Google, не знает всего алгоритма.
Возможно ли, что в Google есть таблица с более чем тысячей факторов ранжирования?
Кристоф Семпер подвергает сомнению идею о том, что никто не знает алгоритм Google.
Кристоф прокомментировал Search Engine Journal:
«Кто-то сказал в LinkedIn, что не может себе представить, чтобы Google просто так «документировал» факторы ранжирования.
Но именно так нужно строить подобную сложную систему. Эта утечка исходит от очень авторитетного инсайдера.
У Google есть код, который также может стать предметом утечки.
Часто повторяющееся утверждение о том, что даже сотрудники Google не знают факторов ранжирования, всегда казалось абсурдным для такого технического специалиста, как я.
Количество людей, у которых есть все детали, будет очень небольшим.
Но это должно быть в коде, потому что код — это то, что запускает поисковую систему.
Какие части Яндекса похожи на Google?
Просочившиеся файлы Яндекса дают представление о том, как работают поисковые системы.
Данные не показывают, как работает Google. Но он дает возможность просмотреть часть того, как поисковая система (Яндекс) ранжирует результаты поиска.
Данные не следует путать с тем, что может использовать Google.
Тем не менее, между двумя поисковыми системами есть интересные сходства.
MatrixNet — это не RankBrain
Одна из интересных идей, которую некоторые находят, связана с нейронной сетью Яндекса под названием MatrixNet.
MatrixNet — более старая технология, представленная в 2009 году (ссылка на объявление на сайте archive.org).
Вопреки утверждениям некоторых, MatrixNet не является Яндекс-версией Google RankBrain.
Google RankBrain — это ограниченный алгоритм, ориентированный на понимание 15% поисковых запросов, которые Google раньше не видел.
Статья в Bloomberg раскрыла информацию о RankBrain в 2015 году. В статье говорится, что RankBrain был добавлен в алгоритм Google в том же году, через шесть лет после появления Yandex MatrixNet (снимок статьи на Archive.org).
В статье Bloomberg описывается ограниченное назначение RankBrain:
«Если RankBrain видит слово или фразу, с которыми он не знаком, машина может предположить, какие слова или фразы могут иметь похожее значение, и соответствующим образом отфильтровать результат, что сделает его более эффективным при обработке невиданных ранее поисковых запросов».
MatrixNet, с другой стороны, представляет собой алгоритм машинного обучения, который делает множество вещей.
Одной из его задач является классификация поискового запроса и последующее применение к этому запросу соответствующих алгоритмов ранжирования.
Это часть того, что говорится в анонсе алгоритма 2009 года на английском языке за 2016 год:
«MatrixNet позволяет создать очень длинную и сложную формулу ранжирования, которая учитывает множество различных факторов и их комбинаций.
Еще одной важной особенностью MatrixNet является возможность настройки формулы ранжирования для определенного класса поисковых запросов.
Кстати, настройка алгоритма ранжирования, скажем, для поиска музыки не повлияет на качество ранжирования для других типов запросов.
Алгоритм ранжирования похож на сложный механизм с десятками кнопок, переключателей, рычагов и датчиков. Обычно любой поворот любого отдельного переключателя в механизме приводит к глобальным изменениям во всей машине.
ОднакоMatrixNet позволяет настраивать определенные параметры для конкретных классов запросов, не вызывая капитального ремонта всей системы.
Кроме того, MatrixNet может автоматически выбирать чувствительность для определенных диапазонов факторов ранжирования».
MatrixNet делает гораздо больше, чем RankBrain, но очевидно, что это не одно и то же.
Но что классно в MatrixNet, так это то, что факторы ранжирования являются динамическими, поскольку он классифицирует поисковые запросы и применяет к ним различные факторы.
MatrixNet упоминается в некоторых документах по факторам ранжирования, поэтому важно поместить MatrixNet в правильный контекст, чтобы факторы ранжирования рассматривались в правильном свете и имели больше смысла.
Возможно, будет полезно узнать больше об алгоритме Яндекса, чтобы разобраться в утечке Яндекса.
Прочтите: Искусственный интеллект и алгоритмы машинного обучения Яндекса
Некоторые факторы Яндекса соответствуют практике SEO
Доминик Вудман (@dom_woodman) поделился интересными наблюдениями по поводу утечки.
Некоторые из просочившихся факторов ранжирования совпадают с некоторыми методами SEO, такими как изменение анкорного текста:
Измени якорный текст, детка!
4/х pic.
— Доминик Вудман (@dom_woodman) 27 января 2023 г.
twitter.com/qSGh5xF5UQАлекс Буракс (@alex_buraks) опубликовал в Твиттере мегатред на эту тему, которая имеет отголоски практики SEO.
Один из таких факторов, который выделяет Алекс, относится к оптимизации внутренних ссылок для минимизации глубины сканирования важных страниц.
Джон Мюллер из Google уже давно призывает издателей сделать так, чтобы на важные страницы были заметны ссылки.
Мюллер не рекомендует закапывать важные страницы глубоко в архитектуру сайта.
Джон Мюллер поделился в 2020 году:
«Итак, мы увидим, что домашняя страница действительно важна, вещи, связанные с домашней страницей, как правило, также очень важны.
А потом… по мере удаления от главной страницы мы будем думать, что это менее критично.
Очень важно, чтобы важные страницы находились рядом с главными страницами, через которые заходят посетители сайта.
Таким образом, если ссылки ведут на домашнюю страницу, то страницы, на которые есть ссылки с домашней страницы, считаются более важными.
Джон Мюллер не говорил, что глубина сканирования является фактором ранжирования. Он просто сказал, что это сигнализирует Google, какие страницы важны.
Правило Яндекса, на которое ссылается Алекс, использует глубину сканирования с главной страницы в качестве правила ранжирования.
#1 Глубина сканирования является фактором ранжирования.
Держите важные страницы ближе к главной странице:
— главные страницы: 1 клик от главной страницы
— важные страницы: <3 клика pic.twitter.com/BB1YPT9Egk— Алекс Буракс (@alex_buraks) 28 января 2023 г.
Имеет смысл рассматривать домашнюю страницу как отправную точку важности, а затем вычислять меньшую важность, чем дальше от нее щелкают вглубь сайта.
Есть также исследовательские работы Google, в которых есть похожие идеи (модель разумного пользователя, модель случайного пользователя), в которых рассчитывается вероятность того, что случайный посетитель может оказаться на данной веб-странице, просто перейдя по ссылкам.
Алекс обнаружил фактор, определяющий приоритет важных главных страниц:
#3 Обратные ссылки с главных страниц важнее, чем с внутренних страниц.
Имеет смысл. pic.twitter.com/Mts9jHsRjE
— Алекс Буракс (@alex_buraks) 28 января 2023 г.
Практическое правило SEO уже давно заключается в том, чтобы держать важный контент на расстоянии не более нескольких кликов от главной страницы (или от внутренних страниц, которые привлекают внешние ссылки).
Яндекс Update Vega… Связано с экспертизой и авторитетом?
В 2019 году Яндекс обновил свою поисковую систему обновлением Vega.
В обновлении Яндекс Вега появились нейронные сети, обученные с экспертами по теме.
Целью этого обновления 2019 года было добавление в результаты поиска экспертных и авторитетных страниц.
Но специалисты по поисковому маркетингу, изучающие документы, еще не нашли ничего, что соответствовало бы таким вещам, как биографии авторов, которые, по мнению некоторых, связаны с опытом и авторитетом, которые ищет Google.