Релевантность текста: Что такое релевантность страниц сайта и что означает релевантность поиска?

9000 2011

Почему люди с одинаковым опытом, читая один и тот же текст, создают разные смыслы? Есть ли вопрос, стоящий за каждой целью чтения, такой, что чтение представляет собой интерактивный процесс задавания вопросов и ответов на них? Разве люди, которые считают, что знание является динамическим, конструируют смысл иначе, чем те, кто считает, что знание достоверно? В этом томе рассматриваются подобные вопросы и представлены передовые исследования и теории, которые исследуют, как читатели определяют релевантность текста (т. понимание текста.

В этом томе убедительно представлены продолжающиеся международные усилия, направленные на то, чтобы понять, как релевантность текста влияет на чтение и понимание. Авторы, участвующие в публикации, представляют крупные академические институты трех континентов и девяти стран, демонстрируя многонациональный интерес к релевантности текстов.

СОДЕРЖАНИЕ
Релевантность в понимании текста, Мэтью Т. МакКрудден, Джозеф П. Мальяно и Грегори Шроу. Процессы релевантности в понимании нескольких документов, Жан-Франсуа Руэ и М. Анн Бритт. Вопросов Драйв Понимание текста и мультимедиа, Арт Грессер и Блэр Леман. Переплетение процессов, основанных на памяти, в модели релевантности текста, ориентированной на цель, Карла А. Лассонд, Эмили Р. Смит и Эдвард Дж.

Эдуардо Видаль Абарка, Ладислао Салмерон и Амелия Манья.

КУПИТЬ ОНЛАЙН

КАТЕГОРИИ

КЛАССИФИКАЦИЯ

• LAN000000 — ЯЗЫКОВЫЕ ИСКУССТВА И ДИСЦИПЛИНЫ: Общие
2 РОДСТВЕННЫЕ 12 НАЗВАНИЯ Академический язык в изучении второго языка
• Демистификация карьеры после окончания школы Руководство для специалистов по второму языку в системе высшего образования
• Улучшение навыков письма
• Учимся у мальчиков Заглядывая внутрь читательской жизни трех мальчиков-подростков
• Перспективные практики взаимодействия учителей с семьями изучающих английский язык
• Исследование технологий в английском образовании
• Роли учителей в изучении второго языка Применение социокультурной теории в классе

ПОДЕЛИТЬСЯ ЭТОЙ СТРАНИЦЕЙ

ПРЕДВАРИТЕЛЬНЫЙ ПРОСМОТР

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

• Как сделать заказ в IAP
• Скачать каталоги IAP
• Присоединяйтесь к нашему списку рассылки

Релевантность и оценка — Azure Cognitive Search

• Статья
• 14. 10.2022
• 6 минут на чтение

В этой статье объясняется релевантность и алгоритмы оценки, используемые для вычисления оценок поиска в Azure Cognitive Search. Оценка релевантности вычисляется для каждого совпадения, найденного в полнотекстовом поиске, где самым сильным совпадениям присваиваются более высокие оценки поиска.

Релевантность применяется только к полнотекстовому поиску. Запросы с фильтрами, автозаполнение и предлагаемые запросы, поиск с подстановочными знаками или нечеткие поисковые запросы не оцениваются и не ранжируются по релевантности.

В Azure Cognitive Search вы можете настроить релевантность поиска и повысить показатели поиска с помощью следующих механизмов:

• Конфигурация алгоритма оценки
• Семантическое ранжирование (в предварительном просмотре, описанном в этой статье)
• Профили подсчета очков
• Пользовательская логика оценки включена через ОсобенностиРежим параметр

Примечание

Матчи подсчитываются и ранжируются по возрастанию. Оценка возвращается как «@search.score». По умолчанию в ответе возвращаются первые 50 элементов, но вы можете использовать параметр $top , чтобы вернуть меньшее или большее количество элементов (до 1000 в одном ответе), и $skip , чтобы получить следующий набор результатов.

Оценка релевантности

Оценка релевантности относится к вычислению оценки поиска, которая служит индикатором релевантности элемента в контексте текущего запроса. Чем выше балл, тем актуальнее предмет.

Оценка поиска вычисляется на основе статистических свойств введенной строки и самого запроса. Когнитивный поиск Azure находит документы, соответствующие условиям поиска (некоторые или все, в зависимости от режима поиска), отдавая предпочтение документам, содержащим много экземпляров условия поиска. Оценка поиска становится еще выше, если термин встречается редко в индексе данных, но часто встречается в документе. Основа для этого подхода к вычислению релевантности известна как TF-IDF или термин частота-обратная частота документа.

Результаты поиска могут повторяться в наборе результатов. Когда несколько обращений имеют одинаковую оценку поиска, порядок элементов с одинаковыми оценками не определен и нестабилен. Запустите запрос еще раз, и вы можете увидеть, что элементы смещаются, особенно если вы используете бесплатную службу или платную службу с несколькими репликами. При наличии двух элементов с одинаковым счетом нет никакой гарантии, какой из них появится первым.

Если вы хотите разбить ничью среди повторяющихся результатов, вы можете добавить Предложение $orderby сначала упорядочить по счету, а затем упорядочить по другому сортируемому полю (например, $orderby=search.score() desc, Rating desc ). Дополнительные сведения см. в разделе $orderby.

Примечание

A @search.score = 1 указывает на неоцененный или ранжированный набор результатов. Оценка едина для всех результатов. Результаты без оценок возникают, когда форма запроса представляет собой нечеткий поиск, запросы с подстановочными знаками или регулярными выражениями или пустой поиск ( search=* , иногда в сочетании с фильтрами, где фильтр является основным средством для возврата совпадения).

Алгоритмы оценки в поиске

Когнитивный поиск Azure предоставляет алгоритм ранжирования BM25Similarity . В старых поисковых службах вы можете использовать ClassicSimilarity .

Как BM25, так и Classic представляют собой функции поиска, подобные TF-IDF, которые используют частоту термина (TF) и обратную частоту документа (IDF) в качестве переменных для расчета оценок релевантности для каждой пары документ-запрос, которые затем используются для ранжирования результатов. . Хотя BM25 концептуально похож на классический, он основан на вероятностном поиске информации, который дает более интуитивно понятные совпадения, что подтверждается исследованиями пользователей.

BM25 предлагает расширенные возможности настройки, такие как разрешение пользователю решать, как масштабируется показатель релевантности в зависимости от частоты совпадающих терминов. Дополнительные сведения см. в разделе Настройка алгоритма оценки.

Примечание

Если вы используете службу поиска, созданную до июля 2020 г. , скорее всего, используется прежний алгоритм оценки по умолчанию, ClassicSimilarity , который можно обновить для каждого индекса. Дополнительные сведения см. в разделе Включение оценки BM25 для старых служб.

Следующий видеофрагмент быстро переходит к объяснению общедоступных алгоритмов ранжирования, используемых в Когнитивном поиске Azure. Вы можете посмотреть полное видео для получения дополнительной информации.

В целях масштабируемости Когнитивный поиск Azure распределяет каждый индекс по горизонтали посредством процесса сегментирования, что означает, что части индекса физически разделены.

По умолчанию оценка документа рассчитывается на основе статистических свойств данных в сегменте . Этот подход, как правило, не представляет проблемы для большого массива данных и обеспечивает более высокую производительность, чем необходимость вычисления оценки на основе информации по всем сегментам. Тем не менее, использование этой оптимизации производительности может привести к тому, что два очень похожих документа (или даже идентичных документа) получат разные оценки релевантности, если они окажутся в разных сегментах.

Если вы предпочитаете вычислять оценку на основе статистических свойств всех сегментов, вы можете сделать это, добавив scoringStatistics=global в качестве параметра запроса (или добавьте «scoringStatistics»: «global» в качестве основного параметра запроса запроса).

 POST https://[имя службы].search.windows.net/indexes/hotels/docs/search?api-version=2020-06-30
{
    "search": "<строка запроса>",
    "scoreStatistics": "глобальный"
}
 

Использование scoringStatistics гарантирует, что все сегменты в одной реплике будут давать одинаковые результаты. Тем не менее, разные реплики могут немного отличаться друг от друга, поскольку они всегда обновляются с учетом последних изменений в вашем индексе. В некоторых сценариях вы можете захотеть, чтобы ваши пользователи получали более согласованные результаты во время «сеанса запросов». В таких сценариях вы можете предоставить sessionId как часть ваших запросов. sessionId — это уникальная строка, которую вы создаете для ссылки на уникальный сеанс пользователя.

 POST https://[имя службы].search.windows.net/indexes/hotels/docs/search?api-version=2020-06-30
{
    "search": "<строка запроса>",
    "sessionId": "<строка>"
}
 

Пока используется тот же sessionId , будут предприняты все усилия для нацеливания на одну и ту же реплику, что повысит согласованность результатов, которые увидят ваши пользователи.

Примечание

Многократное повторное использование одних и тех же значений sessionId может помешать балансировке нагрузки запросов между репликами и отрицательно сказаться на производительности службы поиска. Значение, используемое в качестве идентификатора сеанса, не может начинаться с символа «_».

Профили оценки

Вы можете настроить способ ранжирования различных полей, определив профиль оценки . Профили оценки предоставляют критерии для повышения поисковой оценки совпадения на основе характеристик содержимого. Например, вы можете увеличить количество совпадений в зависимости от их потенциального дохода, продвигать новые предметы или, возможно, повышать товары, которые слишком долго находились в инвентаре.

Профиль оценки является частью определения индекса и состоит из взвешенных полей, функций и параметров. Дополнительные сведения об определении см. в разделе Профили оценки.

Параметр featuresMode (предварительная версия)

Запросы Search Documents имеют новый параметр featuresMode, который может предоставить дополнительные сведения о релевантности на уровне поля. В то время как @searchScore рассчитывается для всего документа (насколько актуален этот документ в контексте этого запроса), через featureMode вы можете получить информацию об отдельных полях, выраженную в @search.features структура. Структура содержит все поля, используемые в запросе (либо определенные поля через searchFields в запросе, либо все поля, атрибутированные как доступные для поиска в индексе). Для каждого поля вы получаете следующие значения:

• Количество уникальных токенов, найденных в поле
• Показатель схожести или мера того, насколько похоже содержимое поля по отношению к термину запроса
• Частота термина или количество раз, когда термин запроса был найден в поле

Для запроса, нацеленного на поля «описание» и «название», ответ, включающий @search.