Яндекс robots: Директива User-agent — Вебмастер. Справка

Как проверить, что робот принадлежит Яндексу

Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)	Скачивает страницы для проверки их доступности пользователям. Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс Вебмастера.	Нет
Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots)	Робот Рекламной сети Яндекса.	Да
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)	Робот поиска по блогам, индексирующий комментарии постов.	Да
Mozilla/5. 0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	Основной индексирующий робот.	Да
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)	Определяющий зеркала сайтов.	Да
Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots)	Робот Яндекс Календаря. Скачивает файлы календарей по инициативе пользователей, которые часто располагаются в запрещенных для индексации каталогах.	Нет
Mozilla/5.0 (compatible; YandexDialogs/1.0; +http://yandex.com/bots)	Отправляет запросы в навыки Алисы.	Нет
Mozilla/5. 0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)	Скачивает информацию о контенте сайтов-партнеров Рекламной сети Яндекса, чтобы уточнить их тематику для подбора релевантной рекламы.	Нет
Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/bots	Генерирует динамические баннеры.	Нет
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)	Скачивает файл фавиконки сайта для отображения в результатах поиска.	Нет
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots)	Скачивает целевые страницы рекламных объявлений для проверки их доступности и уточнения тематики. Это необходимо для размещения объявлений в поисковой выдаче и на сайтах-партнерах.	Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots)	Робот почты для домена, используется при проверке прав на владение доменом.	Да
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)	Индексирует изображения для показа на Яндекс Картинках.	Да
Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots)	Робот мобильных сервисов.	Да
Mozilla/5. 0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)	Определяет страницы с версткой, подходящей под мобильные устройства.	Нет
Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots)	Робот Яндекс Маркета.	Да
Mozilla/5.0 (compatible; YandexMarket/2.0; +http://yandex.com/bots)		Нет
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots)	Индексирует мультимедийные данные.	Да
Mozilla/5. 0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)	Скачивает страницы сайта для проверки их доступности, в том числе проверяет целевые страницы объявлений Яндекс Директа.	Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)	Робот Яндекс Метрики.	Нет
Mozilla/5.0 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)		Нет
Mozilla/5.0 (compatible; YandexMetrika/4.0; +http://yandex.com/bots)	Робот Яндекс Метрики. Скачивает и кэширует CSS-стили для воспроизведения страниц сайта в Вебвизоре.	Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots)	Делает снимок мобильной страницы.	Нет
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)	Робот Яндекс Новостей.	Да
Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots)	Робот объектного ответа.	Да
Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots)	Робот объектного ответа, скачивающий динамические данные.	Нет
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)	Обращается к странице при валидации микроразметки через форму Валидатор микроразметки.	Да
Mozilla/5.0 (compatible; YandexPartner/3.0; +http://yandex.com/bots)	Скачивает информацию о контенте сайтов-партнеров Яндекса	Нет
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots)	Собирает данные для формирования превью. Например, для расширенного отображения сайта в поиске.	Нет
Mozilla/5.0 (compatible; YandexRenderResourcesBot/1. 0; +http://yandex.com/bots)	Загружает ресурсы для рендеринга страницы с JavaScript. Игнорирует указания в robots.txt, если HTML-страница, на которой эти ресурсы размещены, доступна для робота Яндекса. Робот не обращается к ресурсам, если в robots.txt запрещены HTML-страницы, где эти ресурсы используются.	Нет
Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots)	Скачивает YML-файлы каталогов товаров (по инициативе пользователей), которые часто располагаются в запрещенных для индексации каталогах.	Нет
Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots)	Проверяет доступность страниц, которые используются в качестве быстрых ссылок.	Да
Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots)	Робот Яндекс Бизнеса.	Да
Mozilla/5.0 (compatible; YandexTracker/1.0; +http://yandex.com/bots)	Робот Яндекс Трекера.	Нет
Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)	Обходит RSS-канал, созданный для формирования Турбо-страниц. Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс Вебмастера и директиву Crawl-delay.	Да
Mozilla/5. 0 (compatible; YandexUserproxy; robot; +http://yandex.com/bots)	Проксирует действия пользователей на сервисах Яндекса: отправляет запросы в ответ на нажатие кнопок, скачивает страницы для перевода онлайн и т. д.	Нет
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots)	Робот поисковых вертикалей.	Да
Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots)	Робот Яндекс Вертикалей: Авто.ру, Янекс.Недвижимость, Яндекс Работа, Яндекс Отзывы.	Да
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots)	Индексирует видео для показа в поиске Яндекса по видео.	Да
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots)	Индексирует видео для показа в поиске Яндекса по видео.	Нет
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)	Робот Яндекс Вебмастера.	Да
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z* Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots)	Делает снимок страницы.	Нет

Метатег robots и HTTP-заголовок X-Robots-Tag

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:

• прописать метатег robots в HTML-коде страницы в элементе head;

• настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.

Примечание. Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.

По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.

1. Поддерживаемые Яндексом директивы
2. Указание нескольких директив
3. Указания для определенных роботов

Директива	Описание	Метатег robots	Заголовок X-Robots-Tag
noindex	Не индексировать текст страницы. Страница не будет участвовать в результатах поиска.
nofollow	Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.
none	Соответствует директивам noindex, nofollow.
noarchive	Не показывать ссылку на сохраненную копию в результатах поиска.
noyaca	Не использовать сформированное автоматически описание.		—
index | follow | archive	Отмена соответствующих запрещающих директив.		—
all	Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице.		—

Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.

Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.

Пример:

Запись, которая запрещает индексирование страницы.

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

HTTP-ответ, где заголовок запрещает индексирование страницы.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex

Вы можете указать директивы через запятую.

<meta name="yandex" content="noindex, nofollow" />

Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive

Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы. -->

Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:

<meta name="yandex" content="noindex" />

Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.

Если страницы долгое время не попадают в результаты поиска или были исключены, в форме приведите примеры таких страниц.

Памяти: Роботы доставки Яндекса ушли, но не забыты

Пришли в среду, и пришли с миром.

17 ноября 2021 года ознаменовалось появлением роботов-доставщиков еды Яндекса в кампусе Университета Аризоны. Они были мгновенным культурным феноменом.

Студенты не могли не смотреть на роботов, когда они проезжали мимо, некоторые даже останавливали автоматы на своем пути, прыгая на их пути.

«Мы видим огромный интерес со стороны студентов. Чаще всего в кампусах мы сталкиваемся с тем, что студенты хотят с ними сфотографироваться. Им также нравится бросать вызов роботу, чтобы увидеть, что произойдет, если они встанут перед ним. Так что студенческое любопытство действительно поражает, и я думаю, что они в восторге от этих роботов», — рассказала в предыдущей статье

Wildcat руководитель отдела по связям с общественностью «Яндекса» Юлия Швейко.

БОЛЬШЕ ИЗ ЕЖЕДНЕВНОГО ДИКОГО КОТА

UA стал вторым университетом в стране, который стал партнером Яндекса и Grubhub, чтобы предоставить альтернативный способ доставки еды голодным студентам. Хотя роботы помогли уменьшить объем заказов на доставку, казалось, что бремя было переложено на работников ресторана, обрабатывающих большее количество заказов.

Томас Наджор учится на первом курсе экономического факультета и работал в Einstein’s Bagels в Мемориальном центре студенческого союза, пока роботы Яндекса еще доставляли товары. Наджор сказал, что заказы на доставку от роботов накапливались в существующем количестве заказов, которые должны были обрабатывать рабочие Эйнштейна, что могло стать непосильным.

«С одной стороны, мне очень нравится работать с ними в качестве парня, раздающего заказы, — сказал Наджор. «Я бы сказал, что более сложная часть работы с ними связана с самой линией, потому что мы получаем все заказы одновременно. Таким образом, мы будем получать заказы в магазине одновременно с самовывозом, который уже осуществляется из Grubhub, а затем, помимо этого, у нас будут поставки от реальных доставщиков Grubhub, а затем роботов».

Наджор оценил, основываясь на собственном опыте, что использование роботов значительно выросло с момента их внедрения в ноябре.

«Действительно, за последние два месяца мы перешли от шести в день к, вероятно, по меньшей мере сотне», — сказал Наджор.

Роботы оставили в UA больше, чем просто экономический след. У некоторых студентов установилась эмоциональная связь.

«Приятно видеть их здесь», — сказала Ананья Шах, студентка-первокурсник биологического факультета. «Они милые.»

Еще одним привлекательным аспектом роботов было их удобство.

«В любое время, когда они предлагают, я честно предпочитаю [роботов]», — сказала Кэти Смит, первокурсница и студентка бизнес-школы в Колледже управления Эллера. «Я просто в половине случаев не люблю разговаривать с людьми, когда заказываю доставку еды. Мне они очень нравятся, если честно, так намного проще».

У других появилось необъяснимое отвращение к катящимся по тротуару большим белым кубам и выражаемому им сочувствию.

«Я думаю, что это просто странно, вроде как сочувствовать машине и называть ее милой», — сказал Ян Макартур, первокурсник, изучающий архитектурное проектирование и самопровозглашенный антиботтер. «Что-то в этом меня раздражает, и я думаю: «Нет, это металлический ящик, который катится мне по тротуару».

МакАртур был участником сервера Discord на базе UA, который участвует в дискуссиях Яндекса. Пользователи сервера обычно делятся на два лагеря: сторонники ботов и противники ботов.

СВЯЗАННЫЕ: Представитель Пол Госар выступает на мероприятии College Republicans United в кампусе

Возражения против роботов также распространялись на их потенциально вредные социальные и политические последствия.

«Это машины, созданные безмозглой мегакорпорацией, управляемой русскими олигархами, чтобы отнимать рабочие места у честных работников, которым, возможно, недоплачивают, но недоплата лучше, чем буквальное отсутствие работы, что они и пытаются сделать. . Мы продолжаем поддерживать такие вещи, как Яндекс, не говоря об этических и социальных соображениях», — сказал Зейн Ландерс, еще один откровенный противник ботов на сервере Discord.

«Я полностью согласна с мнением, но я сторонник ботов, потому что я думаю, что мы можем создать систему доставки еды с помощью очаровательных роботов с соблюдением этических норм», — сказала Фарида Бауаб, студентка-второкурсник психологии, которая также является членом Дискорд. «Просто надо менять систему. Так что проблема не в роботах. Это система, в которой они работают».

Как бы то ни было, антиботтеры добьются своего.

3 марта из кампуса прекратили работу роботы-доставщики еды Яндекса из-за продолжающейся войны в Украине.

«В связи с вторжением России в Украину, Arizona Student Unions и Arizona Dining прекратят вести дела с Яндексом, российской многонациональной публичной компанией и поставщиком оборудования для роботов-курьеров в кампусе, с сегодняшнего дня, 3 марта, 2022», — написали в Instagram Студенческие союзы Аризоны.

Роботов спас Discord-сервер «Яндекспостинга».

---

Следите за Кристианом Барняком на Twitter

---

Пойдемте к вам. The Daily Wildcat, прямо в ваш почтовый ящик. Новости. Наука/Здоровье. Виды спорта. Искусство/Образ жизни. Твой выбор. Вы отмените в любое время.

Зарегистрируйтесь сейчас

Grubhub и Яндекс SDG запускают технологию доставки с помощью роботов в Университете штата Огайо

Школа «Большой десятки» — первый кампус, внедривший доставку Grubhub с помощью роботов Яндекса, поскольку студенты возвращаются на осенний семестр

Новости предоставлены

Грабхаб Инк.

19 августа 2021 г., 10:00 по восточноевропейскому времени

CHICAGO, 19 августа 2021 г. /PRNewswire/ —  Grubhub,  – ведущая онлайновая и мобильная платформа для заказа и доставки еды в университетских городках, и Yandex Self-Driving Group (SDG), ведущий разработчик автономных транспортных средств. Яндекс, одна из крупнейших интернет-компаний Европы, развернет доставку с помощью роботов Яндекса в своем первом университетском городке — Университете штата Огайо (OSU).

Более 60 000 голодных жителей Бакея смогут заказывать свои любимые блюда в ресторанах на территории кампуса через приложение Grubhub, и их доставляет один из 50 роботов Яндекса, работающих в кампусе OSU, быстро и экономично. Роверы работают с 9утра до 9 вечера семь дней в неделю. Студенты могут попросить роботов доставить еду в каждое общежитие на территории кампуса, а также в библиотеку Томпсона и Брикер-холл.

робота Яндекса автономно перемещаются по тротуарам, пешеходным переходам и пешеходным зонам кампуса, до которых, как известно, трудно добраться на автомобиле. Они быстро перемещаются по большому университетскому кампусу со скоростью от 3 до 5 миль в час в дневное и вечернее время и в различных погодных условиях, включая дождь и снег. Роботы достаточно просторны, чтобы вместить пару чашек кофе и бутерброд с рогаликом или несколько пицц, которыми можно поделиться с друзьями, при этом поддерживая нужную температуру еды.

«Мы рады предоставить студентам Университета штата Огайо этот передовой и эффективный опыт доставки», — сказал Брайан Мэдиган, вице-президент по корпоративным и студенческим партнерам в Grubhub. «OSU и Grubhub годами работали вместе, чтобы предложить студентам разнообразные способы насладиться едой, которую они любят в кампусе. Теперь мы развиваем наши усилия по улучшению качества питания с помощью технологии марсохода Яндекса для более быстрой и простой доставки».

«Благодаря партнерству с Grubhub мы можем предоставить роботизированную доставку некоторым людям, которые в ней больше всего нуждаются — студентам, исследователям и преподавателям, у которых не хватает времени», — сказал Питер Селей, руководитель отдела развития бизнеса в Yandex SDG. «Марсоходы не только улучшают существующие варианты доставки еды, но и открывают новые возможности для более разумного, качественного и быстрого обеда. Представьте себе, что вы заказываете утренний кофе и получаете его от робота, который ждет у вас на пороге, когда вы идете на занятия или учитесь в школе. припаркуйтесь с друзьями и попросите ровер приехать и доставить закуски. Мы очень рады помочь воплотить эти возможности в жизнь».

«Мы гордимся тем, что предлагаем студентам исключительное питание, и мы всегда ищем новые способы сделать еду в кампусе максимально удобной», — сказала Зия Ахмед, старший директор службы питания в штате Огайо. Университет.

Для получения дополнительной информации о том, как организовать доставку в вашем кампусе, посетите здесь .

О Grubhub:
Grubhub является частью Just Eat Takeaway.com (LSE: JET, AMS: TKWY, NASDAQ: GRUB), ведущего мирового рынка онлайн-доставки еды. Созданный для того, чтобы соединить более 33 миллионов посетителей с едой, которую они любят из своих любимых местных ресторанов, Grubhub повышает качество заказа еды с помощью инновационных ресторанных технологий, простых в использовании платформ и улучшенного опыта доставки. Grubhub насчитывает более 300 000 ресторанов-партнеров в более чем 4000 городах США.

О Группе беспилотных автомобилей Яндекса:
Яндекс развивает собственную технологию беспилотного вождения с 2017 года.