Для текста: Cимволы • Украсьте свой текст с нашими символов! ♡ ❀

Для этого может быть несколько причин. Возможно, в введенном вами номере мобильного телефона нет была подтверждена или информация о перевозчике может быть неверной.Войдите в систему и выберите вкладку Services. Удалите свою учетную запись, а затем добавьте ее снова, убедившись, что у вас есть правильный оператор связи и вы вводите код подтверждения, отправленный на ваш телефон. Если вы по-прежнему не получаете сообщения, ваш оператор может неправильно получать тексты. из этого сервиса. Свяжитесь с вашим оператором для получения дополнительной информации.

Национальный центр интеллектуального анализа текста — Инструменты интеллектуального анализа текста и службы интеллектуального анализа текста

Национальный центр интеллектуального анализа текста (NaCTeM) — первый финансируемый государством интеллектуальный анализ текста. центр в мире.Мы предоставляем услуги текстового майнинга в соответствии с требованиями академического сообщества Великобритании.

На нашем сайте вы можете найти указатели на источники информации о интеллектуальный анализ текста, например ссылки на

• Услуги по интеллектуальному анализу текста, предоставляемые NaCTeM
• программных инструментов, разработанных как командой NaCTeM, так и другими группами интеллектуального анализа текста
• семинаров, общих мероприятий, конференций и семинаров
• учебные пособия и демонстрации
• текстовых горнодобывающих публикаций

Какие возможности интеллектуального анализа текста могут сделать для вас

NaCTeM разработал сервисы интеллектуального анализа текста и образцы сервисов для академического сообщества Великобритании. Наши услуги поддерживаются рядом общих инструментов обработки естественного языка:

• TerMine — это система управления терминами, которая определяет ключевые фразы в тексте.
• RobotAnalyst — это инструмент, позволяющий минимизировать человеческую рабочую нагрузку, связанную с этапом идентификации исследования при систематических обзорах.
• Thalia — это семантическая поисковая машина для рефератов Pubmed.
• AcroMine — это словарь сокращений, который можно использовать для поиска отдельных расширенных форм сокращений из MEDLINE.
• Kleio — продвинутая информационно-поисковая система предоставление знаний, обогащенных поиском биомедицины.
• FACTA + — это поисковая система MEDLINE для поиска ассоциаций между биомедицинскими концепциями.
• История медицины (HOM) — система семантического поиска по историческим медицинским архивам
• APLenty — инструмент аннотации для создания высококачественных наборов данных маркировки последовательностей с использованием активного и упреждающего обучения
• Paladin — веб-приложение для аннотаций классификации документов, которое поддерживает активное / упреждающее обучение.
• MEDIE использует семантическую поиск для получения биомедицинских корреляций из MEDLINE.
• Info-PubMed использует словарь генов / белков и глубокий анализ для понимания взаимодействия белков [Требуется Firefox] .

Добавление или удаление заливки, контура или эффекта для текста или WordArt

Для получения дополнительных сведений выберите параметр в следующем раскрывающемся списке.

1. Выделите текст в объекте WordArt, к которому вы хотите добавить заливку.

   Важно: Чтобы добавить объект WordArt на лист Excel, необходимо сначала вставить текстовое поле. Чтобы вставить текстовое поле, на вкладке Insert в группе Text щелкните Text Box , а затем перетащите, чтобы нарисовать текстовое поле. Введите текст в текстовое поле и следуйте инструкциям.

2. В разделе Средства рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с полем Заливка текста , а затем выполните одно из следующих действий.

   Примечание: Если вы не видите вкладки Drawing Tools или Format , убедитесь, что вы выбрали текст в WordArt. Возможно, вам придется дважды щелкнуть текст, чтобы открыть вкладку Format .

   • Чтобы добавить или изменить цвет заливки, щелкните нужный цвет.Чтобы не выбирать цвет, щелкните Без заливки .
     Если вы нажмете Без заливки , ваш текст не будет виден, если вы предварительно не добавили к тексту контур.
     Чтобы изменить цвет на цвет, которого нет в цветах темы, щелкните Дополнительные цвета заливки , а затем либо щелкните нужный цвет на вкладке Standard , либо смешайте свой собственный цвет на вкладке Custom . Пользовательские цвета и цвета на вкладке Standard не обновляются, если вы позже измените тему документа.

   • Чтобы добавить или изменить изображение заливки, щелкните Изображение , найдите в папке, содержащей изображение, которое вы хотите использовать, щелкните файл изображения, а затем щелкните Вставить .
     Если вы выделяете непрерывные фрагменты текста и применяете заливку рисунка, каждый отдельный фрагмент заполняется всем изображением. Изображение не охватывает выделенный текст.

   • Чтобы добавить или изменить градиент заливки, наведите указатель на Градиент , а затем щелкните нужный вариант градиента.
     Чтобы настроить градиент, щелкните Другие градиенты , а затем выберите нужные параметры.

   • Чтобы добавить или изменить текстуру заливки, наведите указатель на Текстура , а затем щелкните нужную текстуру.
     Чтобы настроить текстуру, щелкните Другие текстуры , а затем выберите нужные параметры.

Верх страницы

1. Выделите текст в объекте WordArt, к которому вы хотите добавить контур.
   Чтобы добавить один и тот же контур к тексту в нескольких местах, выберите первый фрагмент текста, а затем нажмите и удерживайте клавишу CTRL, пока вы выделяете другие фрагменты текста.

2. В разделе Инструменты для рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с Контур текста , а затем выполните одно из следующих действий:
   
   Если вы не видите рисунок Инструменты или Форматировать вкладки , убедитесь, что вы выбрали текст в WordArt.Возможно, вам придется щелкнуть WordArt правой кнопкой мыши, чтобы открыть вкладку Format .

   • Чтобы добавить или изменить цвет контура, щелкните нужный цвет. Чтобы не выбирать цвет, щелкните Без контура .
     Чтобы изменить цвет на цвет, которого нет в цветах темы, щелкните Дополнительные цвета контура , а затем либо щелкните нужный цвет на вкладке Standard , либо смешайте свой собственный цвет на вкладке Custom .Пользовательские цвета и цвета на вкладке Standard не обновляются, если вы позже измените тему документа.

   • Чтобы добавить или изменить толщину контура, наведите указатель на Weight , а затем щелкните нужную толщину.
     Чтобы настроить толщину, щелкните Дополнительные линии , а затем выберите нужные параметры.

   • Чтобы добавить или изменить контур на точки или тире, наведите указатель на тире , а затем щелкните нужный стиль.
     Чтобы настроить стиль, щелкните Дополнительные строки , а затем выберите нужные параметры.

Верх страницы

1. Выделите текст в WordArt, к которому вы хотите добавить эффект.
   Чтобы добавить тот же эффект к тексту в нескольких местах, выберите первый фрагмент текста, а затем нажмите и удерживайте CTRL, пока вы выделяете другие фрагменты текста.

2. В разделе Средства рисования на вкладке Формат в группе Стили WordArt щелкните Текстовые эффекты , а затем выполните одно из следующих действий:
   
   Если вы не видите инструменты рисования или Отформатируйте вкладки , убедитесь, что вы выбрали текст в WordArt.Возможно, вам придется щелкнуть правой кнопкой мыши объект WordArt, чтобы открыть вкладка Формат .

   • Чтобы добавить или изменить тень, наведите указатель на Shadow , а затем щелкните нужную тень.
     Чтобы настроить тень, щелкните Параметры тени , а затем выберите нужные параметры.

   • Чтобы добавить или изменить отражение, наведите указатель на Reflection , а затем щелкните нужный вариант отражения.

   • Чтобы добавить или изменить свечение, наведите указатель на Glow , а затем щелкните нужный вариант свечения.
     Чтобы настроить цвета свечения, щелкните Другие цвета свечения , а затем щелкните нужный цвет. Чтобы изменить цвет на цвет, которого нет в цветах темы, щелкните Дополнительные цвета , а затем либо щелкните нужный цвет на вкладке Standard , либо смешайте свой собственный цвет на вкладке Custom .Пользовательские цвета и цвета на вкладке Standard не обновляются, если вы позже измените тему документа.

   • Чтобы придать тексту вид глубины за счет добавления или изменения кромки, наведите указатель на Bevel , а затем щелкните нужный скос.
     Чтобы настроить скос, щелкните Параметры 3-D , а затем выберите нужные параметры.

   • Чтобы добавить или изменить трехмерное вращение, наведите указатель на Трехмерное вращение , а затем щелкните на нужном трехмерном вращении.
     Чтобы настроить трехмерное вращение, щелкните Параметры трехмерного вращения , а затем выберите нужные параметры.

   • Чтобы добавить или изменить деформацию или траекторию текста, наведите указатель на Transform , а затем щелкните нужную деформацию или траекторию.

Примечание: Чтобы создать собственный эффект, добавив несколько отдельных эффектов, повторите шаг 2.

Верх страницы

1. Выделите текст в объекте WordArt, из которого вы хотите удалить заливку.
   Чтобы удалить одну и ту же заливку из нескольких фрагментов текста, щелкните первый фрагмент текста, а затем нажмите и удерживайте клавишу CTRL, щелкая другие фрагменты текста.

2. В разделе Инструменты для рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с Заливка текста , а затем выполните одно из следующих действий:
   
   Если вы не видите рисунок Инструменты или Форматировать вкладки , убедитесь, что вы выбрали текст в WordArt. Возможно, вам придется щелкнуть WordArt правой кнопкой мыши, чтобы открыть вкладку Format .

   • Чтобы удалить цвет заливки, рисунок или текстуру, выберите другой тип заливки.
     Если вы нажмете Без заливки , ваш текст не будет виден, если вы предварительно не добавили к тексту контур.

   • Чтобы удалить градиент заливки, наведите указатель на Gradient , а затем щелкните на No Gradient .

Верх страницы

1. Выделите текст в объекте WordArt, из которого вы хотите удалить контур.
   Чтобы удалить один и тот же контур из нескольких фрагментов текста, щелкните первый фрагмент текста, а затем нажмите и удерживайте клавишу CTRL, щелкая другие фрагменты текста.

2. В разделе Инструменты рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с Текстовый контур , а затем щелкните Без контура .
   
   Если вы не видите вкладки Drawing Tools или Format , убедитесь, что вы выбрали текст в WordArt. Возможно, вам придется щелкнуть WordArt правой кнопкой мыши, чтобы открыть вкладку Format .

Верх страницы

1. Выделите текст в WordArt, из которого вы хотите удалить эффект.
   Чтобы удалить один и тот же эффект из нескольких фрагментов текста, щелкните первый фрагмент текста, а затем нажмите и удерживайте клавишу CTRL, щелкая другие фрагменты текста.

2. В разделе Инструменты для рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с Текстовые эффекты , а затем выполните одно из следующих действий:
   
   Если вы не видите рисунок Инструменты или Форматировать вкладки , убедитесь, что вы выбрали текст в WordArt. Возможно, вам придется щелкнуть WordArt правой кнопкой мыши, чтобы открыть вкладку Format .

   • Чтобы удалить тень из текста, наведите указатель на Shadow , а затем щелкните на No Shadow .

   • Чтобы удалить отражение из текста, наведите указатель на Reflection , а затем щелкните на No Reflection .

   • Чтобы удалить свечение из текста, наведите указатель на Glow , а затем щелкните на No Glow .

   • Чтобы удалить кромку из текста, наведите указатель на Bevel , а затем щелкните на No Bevel .

   • Чтобы удалить трехмерное вращение из текста, наведите указатель на Трехмерное вращение , а затем щелкните Без вращения .

   • Чтобы удалить путь или деформацию из текста, наведите указатель на Transform , а затем щелкните на No Transform .

     Примечания:

     • Если вы добавили несколько отдельных эффектов, повторите шаг 2, чтобы удалить все эффекты.

     • Чтобы удалить все эффекты сразу, в Инструменты рисования на вкладке Формат в группе Стили WordArt нажмите кнопку Еще , а затем нажмите Очистить WordArt .

Верх страницы

Для получения дополнительных сведений выберите параметр в следующем раскрывающемся списке.

Если вы используете Excel или PowerPoint

1. Выделите текст в объекте WordArt или на слайде PowerPoint, к которому вы хотите добавить заливку.

   Чтобы добавить одну и ту же заливку к тексту в нескольких местах, выберите первый фрагмент текста, а затем нажмите и удерживайте CTRL, пока вы выбираете другие фрагменты текста.

2. В разделе Средства рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с полем Заливка текста , а затем выполните одно из следующих действий.

   • Чтобы добавить или изменить цвет заливки, щелкните нужный цвет.Чтобы не выбирать цвет, щелкните Без заливки .

     Если вы нажмете Без заливки , ваш текст не будет виден, если вы предварительно не добавили к тексту контур.

     Чтобы изменить цвет, который не входит в цвета темы, щелкните Дополнительные цвета заливки , а затем либо щелкните нужный цвет на вкладке Standard , либо смешайте свой собственный цвет на вкладке Custom .Пользовательские цвета и цвета на вкладке Standard не обновляются, если вы позже измените тему документа.

   • Чтобы добавить или изменить изображение заливки, щелкните Изображение , найдите папку, содержащую изображение, которое вы хотите использовать, щелкните файл изображения, а затем щелкните Вставить .

     Если вы выделяете непрерывные фрагменты текста и применяете заливку рисунка, каждый отдельный фрагмент заполняется всем изображением.Изображение не охватывает выделенный текст.

   • Чтобы добавить или изменить градиент заливки, наведите указатель на Градиент , а затем щелкните нужный вариант градиента.

     Чтобы настроить градиент, щелкните Другие градиенты , а затем выберите нужные параметры.

   • Чтобы добавить или изменить текстуру заливки, наведите указатель на Текстура , а затем щелкните нужную текстуру.

     Чтобы настроить текстуру, щелкните Другие текстуры , а затем выберите нужные параметры.

Если вы используете Outlook

1. Щелкните объект WordArt, к которому нужно добавить заливку.

2. В разделе Инструменты WordArt на вкладке Формат в группе Стили WordArt щелкните Заливка фигуры и выполните одно из следующих действий.

   • Чтобы добавить или изменить цвет заливки, щелкните нужный цвет.Чтобы не выбирать цвет, щелкните Без заливки .

     Если вы нажмете Без заливки , ваш текст не будет виден, если вы предварительно не добавили к тексту контур.

     Чтобы изменить цвет, который не входит в цвета темы, щелкните Дополнительные цвета заливки , а затем либо щелкните нужный цвет на вкладке Standard , либо смешайте свой собственный цвет на вкладке Custom .Пользовательские цвета и цвета на вкладке Standard не обновляются, если вы позже измените тему документа.

   • Чтобы добавить или изменить изображение заливки, щелкните Изображение , найдите папку, содержащую изображение, которое вы хотите использовать, щелкните файл изображения, а затем щелкните Вставить .

     Если вы выделяете непрерывные фрагменты текста и применяете заливку рисунка, каждый отдельный фрагмент заполняется всем изображением.Изображение не охватывает выделенный текст.

   • Чтобы добавить или изменить градиент заливки, наведите указатель на Градиент , а затем щелкните нужный вариант градиента.

     Чтобы настроить градиент, щелкните Другие градиенты , а затем выберите нужные параметры.

   • Чтобы добавить или изменить текстуру заливки, наведите указатель на Текстура , а затем щелкните нужную текстуру.

     Чтобы настроить текстуру, щелкните Другие текстуры , а затем выберите нужные параметры.

   • Чтобы добавить или изменить узор, щелкните Узор , а затем щелкните нужные параметры.

Верх страницы

Если вы используете Excel или PowerPoint

1. Выделите текст в WordArt или на слайде PowerPoint, к которому вы хотите добавить контур.

   Чтобы добавить один и тот же контур к тексту в нескольких местах, выберите первый фрагмент текста, а затем нажмите и удерживайте CTRL, пока вы выбираете другие фрагменты текста.

2. В разделе Инструменты рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с Контур текста , а затем выполните одно из следующих действий:

   • Чтобы добавить или изменить цвет контура, щелкните нужный цвет.Чтобы не выбирать цвет, щелкните Без контура .

     Чтобы изменить цвет на цвет, которого нет в цветах темы, щелкните Дополнительные цвета контура , а затем либо щелкните нужный цвет на вкладке Standard , либо смешайте свой собственный цвет на вкладке Custom . Пользовательские цвета и цвета на вкладке Standard не обновляются, если вы позже измените тему документа.

   • Чтобы добавить или изменить толщину контура, наведите указатель на Weight , а затем щелкните нужную толщину.

     Чтобы настроить толщину, щелкните Дополнительные линии , а затем выберите нужные параметры.

   • Чтобы добавить или изменить контур на точки или тире, наведите указатель на тире , а затем щелкните нужный стиль.

     Чтобы настроить стиль, щелкните Дополнительные строки , а затем выберите нужные параметры.

Если вы используете Outlook

1. Щелкните объект WordArt, к которому вы хотите добавить контур.

2. В разделе Инструменты WordArt на вкладке Формат в группе Стили WordArt щелкните Контур фигуры , а затем выполните одно из следующих действий:

   • Чтобы добавить или изменить цвет контура, щелкните нужный цвет.Чтобы не выбирать цвет, щелкните Без контура .

     Чтобы изменить цвет на цвет, которого нет в цветах темы, щелкните Дополнительные цвета контура , а затем либо щелкните нужный цвет на вкладке Standard , либо смешайте свой собственный цвет на вкладке Custom . Пользовательские цвета и цвета на вкладке Standard не обновляются, если вы позже измените тему документа.

   • Чтобы добавить или изменить толщину контура, наведите указатель на Weight , а затем щелкните нужную толщину.

     Чтобы настроить толщину, щелкните Дополнительные линии , а затем выберите нужные параметры.

   • Чтобы добавить или изменить контур на точки или тире, наведите указатель на тире , а затем щелкните нужный стиль.

     Чтобы настроить стиль, щелкните Дополнительные строки , а затем выберите нужные параметры.

   • Чтобы добавить или изменить узор, щелкните Узор , а затем щелкните нужные параметры.

Верх страницы

Если вы используете Excel или PowerPoint

1. Выделите текст в WordArt или на слайде PowerPoint, к которому вы хотите добавить эффект.

   Чтобы добавить тот же эффект к тексту в нескольких местах, выберите первый фрагмент текста, а затем нажмите и удерживайте CTRL, пока вы выбираете другие фрагменты текста.

2. В разделе Средства рисования на вкладке Формат в группе Стили WordArt щелкните Текстовые эффекты , а затем выполните одно из следующих действий:

   • Чтобы добавить или изменить тень, наведите указатель на Shadow , а затем щелкните нужную тень.

     Чтобы настроить тень, щелкните Параметры тени , а затем выберите нужные параметры.

   • Чтобы добавить или изменить отражение, наведите указатель на Reflection , а затем щелкните нужный вариант отражения.

   • Чтобы добавить или изменить свечение, наведите указатель на Glow , а затем щелкните нужный вариант свечения.

     Чтобы настроить цвета свечения, щелкните Другие цвета свечения , а затем щелкните нужный цвет. Чтобы изменить цвет на цвет, которого нет в цветах темы, щелкните Дополнительные цвета , а затем либо щелкните нужный цвет на вкладке Standard , либо смешайте свой собственный цвет на вкладке Custom . Пользовательские цвета и цвета на вкладке Standard не обновляются, если вы позже измените тему документа.

   • Чтобы придать тексту вид глубины за счет добавления или изменения кромки, наведите указатель на Bevel , а затем щелкните нужный скос.

     Чтобы настроить фаску, щелкните Параметры 3-D , а затем выберите нужные параметры.

   • Чтобы добавить или изменить трехмерное вращение, наведите указатель на Трехмерное вращение , а затем щелкните на нужном трехмерном вращении.

     Чтобы настроить трехмерное вращение, щелкните Параметры трехмерного вращения , а затем выберите нужные параметры.

   • Чтобы добавить или изменить деформацию или траекторию текста, наведите указатель на Transform , а затем щелкните нужную деформацию или траекторию.

Примечание: Чтобы создать собственный эффект путем добавления нескольких отдельных эффектов, повторите шаг 2.

Если вы используете Outlook

1. Щелкните объект WordArt, к которому вы хотите добавить эффект.

2. В Инструменты WordArt на вкладке Формат выполните одно из следующих действий:

   • Чтобы добавить или изменить тень, в группе Shadow Effects щелкните Shadow Effects , а затем щелкните нужную тень.

     Чтобы настроить цвет тени, наведите указатель на Shadow Color , а затем щелкните нужный цвет.

     Чтобы изменить цвет, который не входит в цвета темы, щелкните Дополнительные цвета теней , а затем либо щелкните нужный цвет на вкладке Standard , либо смешайте свой собственный цвет на вкладке Custom . Пользовательские цвета и цвета на вкладке Standard не обновляются, если вы позже измените тему документа.

   • Чтобы добавить эффект 3-D, щелкните 3-D Effects , щелкните второй 3-D Effects , а затем выберите нужные параметры.

Верх страницы

Если вы используете Excel или PowerPoint

1. Выделите текст в объекте WordArt или на слайде PowerPoint, из которого вы хотите удалить заливку.

   Чтобы удалить одну и ту же заливку из нескольких фрагментов текста, щелкните первый фрагмент текста, а затем нажмите и удерживайте клавишу CTRL, щелкая другие фрагменты текста.

2. В разделе Средства рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с полем Заливка текста , а затем выполните одно из следующих действий:

   • Чтобы удалить цвет заливки, рисунок или текстуру, выберите другой тип заливки.

     Если вы нажмете Без заливки , ваш текст не будет виден, если вы предварительно не добавили к тексту контур.

   • Чтобы удалить градиент заливки, наведите указатель на Gradient , а затем щелкните на No Gradient .

Если вы используете Outlook

1. Щелкните объект WordArt, из которого нужно удалить заливку.

2. В разделе Инструменты WordArt на вкладке Формат в группе Стили WordArt щелкните Заливка фигуры , а затем щелкните Без заливки .

Верх страницы

Если вы используете Excel или PowerPoint

1. Выделите текст в объекте WordArt или на слайде PowerPoint, из которого вы хотите удалить контур.

   Чтобы удалить один и тот же контур из нескольких фрагментов текста, щелкните первый фрагмент текста, а затем нажмите и удерживайте клавишу CTRL, щелкая другие фрагменты текста.

2. В разделе Инструменты рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с Текстовый контур , а затем щелкните Без контура .

Если вы используете Outlook

1. Щелкните объект WordArt, из которого нужно удалить схему.

2. В Инструменты WordArt на вкладке Формат в группе Стили WordArt щелкните Контур фигуры , а затем нажмите Без контура .

Верх страницы

Если вы используете Excel или PowerPoint

1. Выделите текст в объекте WordArt или на слайде PowerPoint, из которого вы хотите удалить эффект.

   Чтобы удалить один и тот же эффект из нескольких фрагментов текста, щелкните первый фрагмент текста, а затем нажмите и удерживайте клавишу CTRL, щелкая другие фрагменты текста.

2. В разделе Инструменты рисования на вкладке Формат в группе Стили WordArt щелкните стрелку рядом с Текстовые эффекты , а затем выполните одно из следующих действий:

   • Чтобы удалить тень из текста, наведите указатель на Shadow , а затем щелкните на No Shadow .

   • Чтобы удалить отражение из текста, наведите указатель на Reflection , а затем щелкните на No Reflection .

   • Чтобы удалить свечение из текста, наведите указатель на Glow , а затем щелкните на No Glow .

   • Чтобы удалить кромку из текста, наведите указатель на Bevel , а затем щелкните на No Bevel .

   • Чтобы удалить трехмерное вращение из текста, наведите указатель на Трехмерное вращение , а затем щелкните Без вращения .

   • Чтобы удалить путь или деформацию из текста, наведите указатель на Transform , а затем щелкните на No Transform .

Примечание: Если вы добавили несколько отдельных эффектов, повторите шаг 2, чтобы удалить все эффекты.

Если вы используете Outlook

1. Щелкните объект WordArt, из которого вы хотите удалить эффект.

2. В Инструменты WordArt на вкладке Формат выполните одно из следующих действий:

   • Чтобы удалить тень, в группе Shadow Effects щелкните Shadow Effects , а затем щелкните No Shadow Effect .

   • Чтобы удалить трехмерный эффект, щелкните Трехмерные эффекты , щелкните второй Трехмерные эффекты , а затем щелкните Без трехмерного эффекта .

Верх страницы

Понимание и использование общих показателей сходства для анализа текста

Содержание

Первый вопрос, который хотят задать многие исследователи после сбора данных, — насколько похож один образец данных — текст, человек, событие — на другой.Это очень частый вопрос для гуманистов и критиков всех мастей: учитывая то, что вы знаете о двух вещах, насколько они похожи или насколько разные? Не вычислительные оценки сходства и различия составляют основу многих критических действий. Например, жанр текста может быть определен путем оценки сходства этого текста с другими текстами, уже известными как часть этого жанра. И наоборот, знание того, что определенный текст сильно отличается от других в устоявшемся жанре, может открыть новые продуктивные возможности для критики.Уникальность или сходство объекта исследования по отношению к другому объекту или группе может быть решающим фактором в научной практике категоризации и критического анализа.

Статистические меры сходства позволяют ученым с помощью вычислений думать о том, насколько похожими или разными могут быть их объекты исследования, и эти меры являются строительными блоками многих других методов кластеризации и классификации. При анализе текста сходство двух текстов можно оценить в его самой простой форме, представив каждый текст как серию подсчетов слов и вычислив расстояние, используя эти подсчеты слов как характеристики.В этом учебном пособии основное внимание будет уделено измерению расстояния между текстами с описанием преимуществ и недостатков трех наиболее распространенных мер расстояния: расстояния до квартала или «Манхэттена», евклидова расстояния и косинусного расстояния. В этом уроке вы узнаете, когда использовать одну меру по сравнению с другой и как рассчитать эти расстояния с помощью библиотеки SciPy в Python.

Предлагаемые предыдущие навыки

Хотя этот урок в первую очередь направлен на понимание основных принципов этих вычислений, он предполагает некоторое знакомство с языком программирования Python.Код для этого руководства написан на Python3.6 и использует библиотеки Pandas (v0.25.3) и SciPy (v1.3.3) для расчета расстояний, хотя эти же расстояния можно рассчитать с помощью других библиотек и других языков программирования. Для задач обработки текста вы также будете использовать scikit-learn (v0.21.2). Я рекомендую вам изучить вводные уроки Python Programming Historian , если вы еще не знакомы с Python.

Установка и настройка

Вам потребуется установить Python3, а также библиотеки SciPy, Pandas и scikit-learn, которые доступны через дистрибутив Anaconda.Дополнительные сведения об установке Anaconda см. В их полной документации.

Набор данных уроков

Вы можете выполнить три наших общих измерения расстояния практически для любого набора данных, который использует числовые функции для описания конкретных выборок данных (подробнее об этом чуть позже). Для целей этого руководства вы будете использовать выборку из 142 текстов, опубликованных в 1666 году, из проекта EarlyPrint . Этот проект (соавтором которого я являюсь) содержит лингвистически аннотированные и исправленные тексты EEBO-TCP.

Начните с загрузки заархивированного набора текстовых файлов. Эти тексты были созданы из файлов XML, предоставленных проектом EarlyPrint , и преобразованы в открытый текст, поскольку читатели этого урока, скорее всего, будут работать с этим форматом. Если вы хотите узнать больше о том, как XML-документы были преобразованы в открытый текст, вы можете обратиться к этому руководству на сайте EarlyPrint , где объясняется XML-схема EarlyPrint и рассказывается, как работать с этими файлами в Python.

Вам также следует загрузить CSV метаданных, которые вы будете использовать, чтобы связать свои результаты с авторами, названиями и тематическими ключевыми словами книг. Этот CSV-файл был создан с помощью инструмента фильтрации и загрузки метаданных, доступного по адресу EarlyPrint .

Сходство — это большой общий термин, охватывающий широкий диапазон баллов и мер для оценки различий между различными видами данных. Фактически, сходство относится к гораздо большему, чем можно охватить в одном уроке.На этом уроке вы познакомитесь с одним общим типом оценки сходства, который особенно важен для исследователей DH, занимающихся анализом текста. Класс подобия, рассматриваемый в этом уроке, берет словесные особенности набора документов и измеряет сходство среди документов на основе их расстояния друг от друга в декартовом пространстве. В частности, этот метод определяет различия между текстами по количеству слов.

Примеры и особенности

Для измерения расстояния или сходства сначала необходимо понять ваши объекты исследования как образцов и части этих объектов, которые вы измеряете как , как .Для анализа текста образцы обычно представляют собой тексты, но это абстрактные категории. Образцы и характеристики могут быть любыми. Образец может быть, например, видом птиц, а измеряемой характеристикой этого образца может быть средний размах крыльев. Хотя вы можете иметь столько образцов и столько функций, сколько захотите, в конечном итоге вы столкнетесь с ограничениями в вычислительной мощности. Математические принципы будут работать независимо от количества функций и образцов, с которыми вы имеете дело.

Начнем с примера.Допустим, у вас есть два текста: первые предложения из Гордости и предубеждения Джейн Остин и Эдит Уортон Итана Фрома соответственно. Вы можете пометить свои два текста austen и wharton . В Python они выглядели бы так:

  austen = "Это общепризнанная истина, что одинокий мужчина, имеющий хорошее состояние, должен нуждаться в жене."

wharton = "По крупицам я получал эту историю от разных людей, и, как обычно бывает в таких случаях, каждый раз это была другая история."
  

В этом примере austen и wharton — это ваши два образца данных , единицы информации, о которых вы хотели бы узнать больше. Эти два образца имеют множество из функций , атрибутов образцов данных, которые мы можем измерить и представить численно: например, количество слов в каждом предложении, количество символов, количество существительных в каждом предложении или частота встречаемости определенные гласные звуки. Выбранные вами функции будут зависеть от характера вашего исследовательского вопроса.

В этом примере вы будете использовать подсчет отдельных слов в качестве функций. Обратите внимание на частоту употребления слова «а» и слова «в» в ваших двух выборках. Следующий рисунок представляет собой пример диаграммы, которую вы могли бы построить, чтобы проиллюстрировать частоту употребления этих слов:

Далее в этом уроке вы подсчитаете количество слов в текстах EarlyPrint , чтобы создать новый набор данных.Подобно этому очень небольшому набору выборочных данных, новые данные будут включать столбцы (функции), которые представляют собой отдельные слова и строки (образцы) для определенных текстов. Основное отличие состоит в том, что вместо двух будут столбцы для 1000 слов. Как вы скоро увидите, несмотря на это различие, меры расстояния доступны с помощью тех же вычислений.

Декартова система координат

После того, как вы выбрали образцы и измерили некоторые характеристики этих образцов, вы можете представить эти данные различными способами.Одной из старейших и наиболее распространенных является декартова система координат, о которой вы, возможно, узнали из вводной алгебры и геометрии. Эта система позволяет вам представлять числовые характеристики как координаты , обычно в 2-мерном пространстве. Таблицу данных Остен-Уортон можно представить в виде следующего графика:

образцов «austen» и «wharton» представлены в виде точек данных.

На этом графике образцы austen и wharton представлены в виде точек данных по двум осям или измерениям.Горизонтальная ось X представляет значения слова «in», а вертикальная ось Y представляет значения слова «a». Хотя это может показаться простым, это представление позволяет нам представить пространственные отношения между точками данных на основе их признаков , и это пространственное отношение, то, что мы называем сходством или расстоянием, может рассказать вам кое-что о том, какие образцов похожи. .

Вот где становится круто. Вы можете представить две характеристики в виде двух измерений и визуализировать свои образцы с использованием декартовой системы координат.Естественно, вы могли бы также визуализировать наши образцы в трех измерениях, если бы у вас было три функции. Если бы у вас было четыре или более функций, вы бы больше не могли визуализировать образцы: как вы могли бы создать четырехмерный график? Но это не имеет значения, потому что независимо от того, сколько у вас функций или размеров, вы все равно можете рассчитать расстояние таким же образом, как . Если вы работаете с частотами слов, как мы здесь, у вас может быть столько же функций / размеров, сколько слов в тексте.В оставшейся части этого урока в примерах меры расстояния будут использоваться два измерения, но когда вы вычисляете расстояние с помощью Python позже в этом руководстве, вы будете рассчитывать тысячи измерений с использованием тех же уравнений.

Расстояние и сходство

Теперь вы взяли образцов и визуализировали их как точки в пространстве. Чтобы понять, как эти две точки связаны друг с другом, вы можете спросить: насколько далеко друг от друга или близко друг к другу находятся эти две точки? Ответ на вопрос «Как далеко друг от друга находятся эти точки?» расстояние между ними равно и ответ на вопрос «Насколько близко расположены эти точки?» это их сходство с .В дополнение к этому различию, сходство , как я упоминал ранее, может относиться к более широкой категории мер сходства, тогда как расстояние обычно относится к более узкой категории, которая измеряет разницу в декартовом пространстве.

Может показаться излишним или сбивающим с толку использование обоих терминов, но в текстовом анализе эти понятия обычно взаимно связаны (то есть расстояние — это просто противоположность подобия и наоборот). Я использую их оба по простой причине: в мире вы, вероятно, встретите оба термина, которые иногда используются более или менее взаимозаменяемо.При измерении по расстоянию наиболее близкие точки будут иметь наименьшее расстояние , но при измерении по сходству наиболее тесно связанные точки будут иметь наибольшее сходство . По большей части вы столкнетесь с расстоянием, а не с подобием, но это объяснение может пригодиться, если вы столкнетесь с программой или алгоритмом, которые вместо этого выдают сходство. Мы еще раз рассмотрим это различие в разделах «Косинусное сходство» и «Косинусное расстояние».

Вы можете подумать, что вычислить расстояние так же просто, как провести линию между этими двумя точками и вычислить ее длину. И это может быть! Но на самом деле есть много способов вычислить расстояние между двумя точками в декартовом пространстве, и разные меры расстояния полезны для разных целей. Например, функция SciPy pdist , которую вы будете использовать позже, перечисляет 22 различных показателя расстояния. В этом руководстве вы узнаете о трех наиболее распространенных методах измерения расстояния: расстояние до городских кварталов , евклидово расстояние и косинусное расстояние .

Городской квартал (Манхэттен) Расстояние

Самый простой способ рассчитать расстояние между двумя точками — это, как ни удивительно, идти не по прямой линии, а по горизонтали, а затем по вертикали, пока вы не доберетесь от одной точки до другой. Это проще, потому что вам нужно только вычесть, а не выполнять более сложные вычисления.

Например, ваш образец wharton находится в точке (1,1): его координата x равна 1 (ее значение для «in»), а его координата y — 1 (ее значение для «a »).Ваш образец austen находится в точке (2,4): его координата x равна 2, а его координата y равна 4. Мы хотим вычислить расстояние, глядя на разницу между координатами x и y. Пунктирная линия на следующем графике показывает, что вы измеряете:

Расстояние между точками «Остин» и «Уортон» на расстоянии «городского квартала».

Здесь вы можете понять, почему это называется расстоянием от городских кварталов или «Манхэттенским расстоянием», если вы предпочитаете более нью-йоркский каламбур. «Блок» относится к сетке улиц североамериканских городов, особенно улиц Нью-Йорка.Графики расстояния до городских кварталов, как и предыдущий, напоминают эти макеты сетки. На этом графике легко сказать, что длина горизонтальной линии равна 1, а длина вертикальной линии — 3, что означает, что расстояние до городских кварталов равно 4. Но как бы вы абстрагировали эту меру? Как я уже упоминал выше, расстояние до городских кварталов — это сумма разностей между координатами x и y. Итак, для двух точек с любыми значениями (назовем их \ ((x_1, y_1) \) и \ ((x_2, y_2) \)) расстояние между кварталом города рассчитывается с использованием следующего выражения:

(Вертикальные полосы, которые вы видите, соответствуют абсолютному значению ; они гарантируют, что даже если \ (x_1 \) больше, чем \ (x_2 \), ваши значения все равно будут положительными.) Попробуйте свои два балла (1,1) и (2,4):

И все! Вы можете добавить третью координату, назвать ее «z» или столько дополнительных измерений, сколько захотите, для каждой точки, и при этом довольно легко вычислить расстояние до городских кварталов. Поскольку расстояние до городских кварталов легко понять и рассчитать, с него лучше всего начать, когда вы изучите общие принципы. Но он менее полезен для анализа текста, чем два других метода измерения расстояния, которые мы рассматриваем.И в большинстве случаев вы, вероятно, получите лучшие результаты, используя следующую меру расстояния, Евклидово расстояние .

Евклидово расстояние

В этот момент я могу представить, о чем вы думаете: зачем вам «обходить квартал»? В конце концов, самое короткое расстояние между двумя точками — это прямая линия.

Евклидово расстояние , названное в честь геометрической системы, приписываемой греческому математику Евклиду, позволит вам измерить прямую линию.Посмотрите на график еще раз, но на этот раз с линией прямо между двумя точками:

Расстояние между точками данных «Остин» и «Уортон» с использованием евклидова расстояния.

Вы заметите, что я оставил линию городских кварталов. Если мы хотим измерить расстояние линии («c») между нашими двумя точками, вы можете представить эту линию как гипотенузу прямоугольного треугольника, где две другие стороны («a» и «b») линии городских кварталов из нашего последнего измерения расстояния.2} = \ sqrt [] {1 + 9} = \ sqrt [] {10} = 3,16 \)

Результат евклидова расстояния, как и следовало ожидать, немного меньше расстояния городского квартала. Каждая мера говорит вам что-то о том, как связаны две точки, но каждая также сообщает вам что-то различных об этой взаимосвязи, потому что «расстояние» означает для каждой меры разное. Одно по своей сути не лучше другого, но важно знать, что расстояние не является установленным фактом: расстояние между двумя точками может сильно отличаться в зависимости от того, как вы определяете расстояние в первую очередь.

Косинусное подобие и косинусное расстояние

Чтобы подчеркнуть этот момент, последняя мера подобия / расстояния в этом уроке, косинусное подобие , сильно отличается от двух других. Эта мера больше связана с ориентацией двух точек в пространстве, чем с их точным расстоянием друг от друга.

Если вы проведете линию от начала координат — точки на графике с координатами (0, 0) — до каждой точки, вы сможете определить угол \ (\ theta \) между двумя точками, как в следующий график:

Угол между точками данных «austen» и «wharton», из которого вы берете косинус. 2}) = 6 / (\ sqrt [] { 2} \ sqrt [] {20}) = 6/6.32 = 0,95 \)

Косинусное сходство нашего образца austen с образцом wharton довольно высокое, почти 1. Результат подтверждается просмотром графика, на котором видно, что угол \ (\ theta \) довольно мала. Поскольку две точки близко ориентированы, их косинусное сходство высокое. Другими словами: по меркам, которые вы видели до сих пор, эти два текста очень похожи друг на друга.

Но учтите, что здесь вы имеете дело с сходством , а не с расстоянием .Наивысшее значение, 1, зарезервировано для двух точек, которые наиболее близко расположены друг к другу, а наименьшее значение, 0, зарезервировано для двух точек, которые находятся наименее близко друг к другу. Это полная противоположность евклидовому расстоянию , в котором самые низкие значения описывают точки, наиболее близкие друг к другу. Чтобы исправить эту путаницу, большинство программных сред вычисляют косинусное расстояние , просто вычитая косинусное сходство из единицы. Таким образом, косинусное расстояние равно \ (1 — cos (\ theta) \).В вашем примере расстояние косинуса будет:

Это низкое косинусное расстояние легче сопоставить с евклидовым расстоянием , которое вы вычислили ранее, но оно говорит вам то же самое, что и результат косинусного сходства : что образцы austen и wharton , когда представлены только по количеству раз, когда каждый из них использует слова «а» и «в», довольно похожи друг на друга.

Эти меры совсем не одно и то же, и они дают совершенно разные результаты.Тем не менее, это все типы расстояния , способы описания взаимосвязи между двумя выборками данных. Это различие иллюстрирует тот факт, что даже на самом базовом уровне решения, которые вы принимаете как следователь, могут иметь огромное влияние на ваши результаты. 2} = \ sqrt [] {1 + 4} = \ sqrt [] {5} = 2.2}) = 10 / (\ sqrt [] {5} \ sqrt [] {20}) = 10 / \ sqrt [] {100} = 10/10 = 1 \]

Таким образом, их косинусное расстояние равно:

Что касается Евклидова расстояния , то эти точки лишь немного удалены друг от друга. В то время как с точки зрения косинусного расстояния , эти две точки совсем не далеки. Это потому, что евклидово расстояние составляет звездную величину , а косинусное расстояние — нет. Другими словами, косинусное расстояние измеряет, является ли соотношение между вашими различными функциями одинаковым, независимо от , сколько какого-либо одного элемента присутствует.Этот факт был бы правдой, если бы один из ваших баллов был (1,2), а другой — (300 600).

Косинусное расстояние иногда очень хорошо для текстовых данных. Часто тексты бывают очень разной длины. Если слова имеют совершенно разные значения, но присутствуют в тексте примерно в одинаковой пропорции, косинусное расстояние не будет беспокоиться о исходных счетах, а только об их пропорциональном отношении друг к другу. В противном случае, как с евклидовым расстоянием , вы можете сказать что-то вроде: «Все длинные тексты похожи, и все короткие тексты похожи.«Для текста часто лучше использовать меру расстояния, которая не учитывает различия в величине величин и сосредотачивается на пропорциях объектов.

Однако, если вы знаете, что все ваши образцы текстов примерно одинакового размера (или если вы разделили все тексты на «куски» одинакового размера, что является обычным этапом предварительной обработки), вы можете предпочесть учесть относительно небольшие различия в звездная величина с использованием евклидова расстояния . Для нетекстовых данных, где размер выборки вряд ли повлияет на характеристики, иногда предпочтительнее Евклидово расстояние .

Нет однозначного ответа, какой выбрать меру расстояния. Как вы узнали, это во многом зависит от ваших данных и вашего исследовательского вопроса. Вот почему так важно хорошо знать свои данные, прежде чем начать. Если вы складываете другие методы, такие как кластеризация или алгоритм машинного обучения, поверх показателей расстояния, вам наверняка захочется понять разницу между показателями расстояния и то, как выбор одного из них может повлиять на ваши результаты.

Теперь, когда вы понимаете городской квартал, евклидово расстояние и косинусное расстояние, вы готовы вычислить эти меры с помощью Python.В качестве примера данных вы будете использовать простые текстовые файлы EarlyPrint текстов, опубликованных в 1666 году, и метаданные для тех файлов, которые вы скачали ранее. Сначала разархивируйте текстовые файлы и поместите каталог 1666_texts / в вашу рабочую папку (т.е. файл каталога 1666_texts / должен находиться в той же папке, что и Similarity.py , чтобы это работало).

Подсчет слов

Для начала вам необходимо импортировать библиотеки (Pandas, SciPy и scikit-learn), которые вы установили в разделе «Настройка и установка», а также встроенную библиотеку под названием glob .

Создайте новый пустой файл в любом текстовом редакторе и назовите его Similarity.py . (Вы также можете загрузить мою полную версию этого сценария.) В верхней части файла введите:

  импортный глоб
импортировать панд как pd
из sklearn.feature_extraction.text импорт CountVectorizer
из scipy.spatial.distance import pdist, squareform
  

Библиотеки scikit-learn и SciPy очень большие, поэтому синтаксис из _____ import _____ позволяет импортировать только те функции, которые вам нужны.

С этого момента класс CountVectorizer scikit-learn будет выполнять большую часть работы за вас, включая открытие и чтение текстовых файлов и подсчет всех слов в каждом тексте. Сначала вы создадите экземпляр класса CountVectorizer со всеми выбранными вами параметрами, а затем запустите эту модель для своих текстов.

Scikit-learn дает вам множество параметров для работы, но вам понадобятся три:

1. Установите input на «filename» , чтобы сообщить CountVectorizer о необходимости принять список имен файлов для открытия и чтения.

2. Установите max_features на 1000 , чтобы захватывать только 1000 наиболее часто встречающихся слов. В противном случае вы получите сотни тысяч функций, которые замедлят ваши вычисления, не добавляя особой точности.

3. Установить max_df на 0,7 . DF означает частоту документа. Этот параметр сообщает CountVectorizer , что вы хотите удалить слова, которые встречаются более чем в 70% документов в корпусе.Этот параметр удалит наиболее распространенные слова (статьи, местоимения, предлоги и т. Д.) Без необходимости в списке стоп-слов.

Вы можете использовать импортированную вами библиотеку glob для создания списка имен файлов, который нужен CountVectorizer . Чтобы установить три параметра scikit-learn и запустить CountVectorizer , введите:

  # Используйте библиотеку glob для создания списка имен файлов
filenames = glob.glob ("1666_texts / *. txt")
# Анализировать эти имена файлов, чтобы создать список файловых ключей (идентификационных номеров)
# Вы будете использовать их позже.filekeys = [f.split ('/') [- 1] .split ('.') [0] для f в именах файлов]

# Создайте экземпляр CountVectorizer с нужными вам параметрами
vectorizer = CountVectorizer (input = "filename", max_features = 1000, max_df = 0,7)
# Запустите векторизатор для вашего списка имен файлов, чтобы создать количество слов
# Используйте функцию toarray (), чтобы SciPy принимал результаты
wordcounts = vectorizer.fit_transform (имена файлов) .toarray ()
  

И все! Теперь вы посчитали каждое слово во всех 142 текстах в тестовом корпусе.Чтобы интерпретировать результаты, вам также необходимо открыть файл метаданных как Pandas DataFrame. Добавьте следующее в следующую строку вашего файла:

  metadata = pd.read_csv ("1666_metadata.csv", index_col = "TCP ID")
  

Добавление параметра index_col = "TCP ID" гарантирует, что метки индекса для вашей таблицы метаданных будут такими же, как ключи файлов, которые вы сохранили выше. Теперь вы готовы приступить к расчету расстояний.

Расчет расстояния с помощью SciPy

Расчет расстояния в SciPy состоит из двух этапов: сначала вы вычисляете расстояния, а затем вы должны преобразовать результаты в квадратную матрицу , чтобы их было легче читать и обрабатывать.Он называется квадратной формы , потому что столбцы и строки одинаковы, поэтому матрица симметрична или квадратна. ^{Функция расстояния в SciPy называется pdist , а функция квадратной формы называется squareform . Евклидово расстояние — это результат по умолчанию для pdist , поэтому вы сначала воспользуетесь им. Чтобы рассчитать расстояния, вызовите функцию pdist в DataFrame, набрав pdist (wordcounts) . Чтобы получить результаты в квадратной форме, вы можете обернуть весь этот вызов в функцию squareform : squareform (pdist (wordcounts)) .Чтобы сделать это более читаемым, вы захотите поместить все это в Pandas DataFrame. В следующей строке вашего файла введите:}

  euclidean_distances = pd.DataFrame (квадратная форма (pdist (wordcounts)), index = filekeys, columns = filekeys)
печать (euclidean_distances)
  

Необходимо объявить, что переменная index для строк и переменная столбца будут ссылаться на файловые ключи , которые вы сохранили при первоначальном чтении файлов. Остановитесь сейчас, сохраните этот файл и запустите его из командной строки, перейдя в соответствующий каталог в вашем приложении Терминала и набрав python3 подобие.py . Скрипт напечатает матрицу евклидовых расстояний между каждым текстом в наборе данных!

В этой «матрице», которая на самом деле представляет собой просто таблицу чисел, строки и столбцы совпадают. Каждая строка представляет один документ EarlyPrint , а столбцы представляют одни и те же документы. Значение в каждой ячейке — это расстояние между текстом из этой строки и текстом из этого столбца. Эта конфигурация создает диагональную линию нулей через центр вашей матрицы: где каждый текст сравнивается сам с собой, значение расстояния равно нулю.

EarlyPrint документы — это исправленные и аннотированные версии документов от Early English Books Online – Text Creation Partnership, которое включает документы почти для каждой книги, напечатанной в Англии между 1473 и 1700 годами. Этот образец набора данных включает все тексты, опубликованные в 1666— те, которые в настоящее время общедоступны (остальные будут доступны после января 2021 года). Итак, ваша матрица показывает отношения между книгами, напечатанными в Англии в 1666 году.Сюда входят тексты самых разных жанров на самые разные темы: религиозные тексты, политические трактаты, литературные произведения и многие другие. Одна вещь, которую исследователь может захотеть узнать сразу же с корпусом текстов, столь же тематически разнообразным, как этот: есть ли вычислительный способ определить виды сходства, которые волнуют читателя? Когда вы вычисляете расстояния между таким большим количеством текстов, будут ли результаты «понятны» опытному читателю? Вы попытаетесь ответить на эти вопросы в следующем упражнении.

Вы можете многое сделать с этой таблицей расстояний, помимо сортировки, показанной в этом примере. Вы можете использовать его в качестве входных данных для неконтролируемой кластеризации текстов в группы, и вы можете использовать те же меры для управления моделью машинного обучения. Если вы хотите лучше понять эти результаты, вы можете создать тепловую карту самой этой таблицы либо в Python, либо путем экспорта этой таблицы в виде CSV и визуализации в другом месте.

В качестве примера давайте рассмотрим пять текстов, которые наиболее похожи на гидростатические парадоксы Роберта Бойля, выявленные в результате новых экспериментов , которые являются частью этого набора данных под идентификационным номером A28989 .Книга является научным трактатом и одной из двух работ, опубликованных Бойлем в 1666 году. Сравнивая расстояния, вы потенциально можете найти книги, которые тематически или структурно похожи на книги Бойля: либо научные тексты (а не религиозные труды, например), либо тексты, которые иметь аналогичные разделы прозы (например, а не сборники стихов или пьес).

Давайте посмотрим, какие тексты похожи на книгу Бойля в соответствии с их евклидовым расстоянием . Вы можете сделать это с помощью функции Pandas nsmallest .В своем рабочем файле удалите строку с надписью print (euclidean_distances) и введите вместо нее:

  top5_euclidean = euclidean_distances.nsmallest (6, 'A28989') ['A28989'] [1:]
печать (top5_euclidean)
  

Почему шесть вместо пяти? Поскольку это симметричная или квадратная матрица , одним из возможных результатов всегда будет один и тот же текст. Поскольку мы знаем, что расстояние от любого текста до самого себя равно нулю, оно обязательно будет присутствовать в наших результатах. Нам нужно еще пять в дополнение к этому, итого шесть.Но вы можете использовать нотацию срезов [1:] , чтобы удалить этот первый избыточный текст.

Результат должен выглядеть следующим образом:

  A62436 988.557029
A43020 988.622274
A29017 1000.024000
A56390 1005.630151
A44061 1012.873141
  

Ваши результаты будут содержать только идентификаторы Text Creation Partnership ID, но вы можете использовать метаданные DataFrame, которые вы создали ранее, чтобы получить дополнительную информацию о текстах.Для этого вы воспользуетесь методом .loc в Pandas, чтобы выбрать строки и столбцы нужных вам метаданных. В следующей строке вашего файла введите:

  печать (metadata.loc [top5_euclidean.index, ['Автор', 'Заголовок', 'Ключевые слова']])
  

На этом шаге вы говорите Pandas ограничить строки ключами файлов в результатах поиска Евклидова расстояния и ограничить столбцы ключевыми словами author, title и subject, как в следующей таблице:

Метаданные для пятерки схожих текстов по Евклидову дистанции.

В этом списке есть некоторый начальный успех, предполагающий, что наши функции успешно находят тексты, которые человек распознал бы как похожие. Первые два текста, работа Джорджа Томсона о чуме и Гидеона Харви о туберкулезе, являются узнаваемыми научными и явно связаны с работой Бойля. Но следующий — другой текст, написанный Бойлем, и вы, возможно, ожидаете, что он появится раньше двух других. Следующий вопрос, который следует задать: какие разные результаты вы можете получить с косинусным расстоянием ?

Вы можете рассчитать косинусное расстояние точно так же, как вы вычислили Евклидово расстояние , но с параметром, который указывает тип расстояния, которое вы хотите использовать.В следующих строках вашего файла введите:

  cosine_distances = pd.DataFrame (квадратная форма (pdist (wordcounts, metric = 'cosine')), index = filekeys, columns = filekeys)

top5_cosine = cosine_distances.nsmallest (6, 'A28989') ['A28989'] [1:]
печать (top5_cosine)
  

Запуск сценария теперь выведет пять первых текстов для евклидова расстояния и косинусного расстояния . (Вы можете рассчитать расстояние до городского квартала, используя metric = 'cityblock' , но результаты вряд ли будут существенно отличаться от евклидова расстояния.) Результаты для косинусного расстояния должны выглядеть следующим образом:

  A29017 0,432181
A43020 0,616269
A62436 0,629395
A57484 0,633845
A60482 0,663113
  

Вы сразу заметите большую разницу. Поскольку косинусных расстояний масштабируются от 0 до 1 (см. Раздел «Косинусное сходство и косинусное расстояние» для объяснения того, почему это так), мы можем сказать не только, каковы самые близкие отсчеты, но и , насколько они близки. ^{Только один из пяти ближайших текстов имеет косинусное расстояние меньше 0,5, что означает, что большинство из них не , что близко к тексту Бойля. Это наблюдение полезно знать, и некоторые из предыдущих результатов помещаются в контекст. Мы имеем дело с искусственно ограниченным корпусом текстов, опубликованных всего за один год; если бы у нас был больший набор, вероятно, мы нашли бы тексты, более похожие на текст Бойля.}

Теперь вы можете распечатать метаданные для этих результатов так же, как в предыдущем примере:

  печать (метаданные.loc [top5_cosine.index, ["Автор", "Название", "Ключевые слова"]])
  

В следующей таблице показаны метаданные для текстов, которые определены косинусным расстоянием :

Метаданные для первой пятерки похожих текстов по косинусному расстоянию.

Первые три текста в списке такие же, как и раньше, но их порядок обратный. Другой текст Бойля, как и следовало ожидать, сейчас находится на вершине рейтинга. И, как мы видели в численных результатах, его косинусное расстояние предполагает, что он больше похож на следующий текст в этом списке, Харви.Порядок в этом примере предполагает, что, возможно, евклидово расстояние обнаруживало сходство между Томсоном и Бойлем, которое было больше связано с величиной (т. Е. Тексты были одинаковой длины), чем с их содержанием (т. Е. Словами, использованными в аналогичные пропорции). Последние два текста в этом списке, хотя и трудно сказать по их названиям, также имеют прямое отношение к тексту Бойля. Оба они касаются тем, которые были частью ранней современной научной мысли, естествознания и старения соответственно.Как и следовало ожидать, поскольку косинусное расстояние больше ориентировано на сравнение пропорций объектов в отдельных выборках, его результаты были немного лучше для этого текстового корпуса. Но евклидово расстояние было на правильном пути, даже если оно не отражало все сходство, которое вы искали. Если на следующем шаге вы расширите эти списки до десяти текстов, вы, вероятно, увидите еще больше различий между результатами для двух мер расстояния.

Важно отметить, что это предварительное исследование сходства текстов не дало вам много однозначных ответов.Вместо этого возникает много интересных вопросов: какие слова (особенности) заставили эти конкретные книги (образцы) проявиться как похожие друг на друга? Что значит сказать, что два текста «похожи» по количеству сырых слов, а не по какому-то другому набору функций? Что еще мы можем узнать о текстах, которые появились рядом с текстом Бойля? Как и многие другие вычислительные методы, меры расстояния дают вам возможность задавать новые и интересные вопросы о ваших данных, и первые результаты, подобные этим, могут направить вас на новые пути исследования.

Я надеюсь, что это руководство дало вам более конкретное представление об основных мерах расстояния, а также о том, когда лучше выбрать одно из них. В качестве следующего шага и для получения лучших результатов в оценке сходства текстов по их словам вы можете рассмотреть возможность использования TF-IDF (Term Frequency – Inverse Document Frequency) вместо необработанного подсчета слов. TF-IDF — это система взвешивания, которая присваивает значение каждому слову в тексте на основе отношения между количеством раз, когда слово появляется в этом тексте (частота его терминов), и количеством текстов, в которых оно встречается во всем корпусе ( частота его документов).Этот метод часто используется в качестве начальной эвристики для определения различимости слова и может дать исследователю больше информации, чем простой подсчет слов. Чтобы точно понять, что такое TF-IDF и что влечет за собой расчет, см. «Анализ документов с помощью TF-IDF» Мэтью Дж. Лавина. Вы можете взять результаты TF-IDF, полученные с помощью процедуры Лавина, и заменить матрицу подсчета слов в этом уроке.

В будущем вы можете использовать меры расстояния для просмотра наиболее похожих выборок в большом наборе данных, как вы это делали в этом уроке.Но еще более вероятно, что вы встретите меры расстояния как почти невидимую часть более крупного подхода к интеллектуальному анализу данных или текстовому анализу. Например, кластеризация k-средних использует евклидово расстояние по умолчанию для определения групп или кластеров в большом наборе данных. Понимание плюсов и минусов измерения расстояния может помочь вам лучше понять и использовать такой метод, как кластеризация k-средних . Или, что еще важнее, хорошая основа для понимания мер расстояния может помочь вам более точно оценивать и оценивать чужую цифровую работу.

Измерение расстояния — хороший первый шаг к исследованию ваших данных, но выбор между тремя различными метриками, описанными в этом уроке, или многими другими доступными измерениями расстояния, никогда не бывает нейтральным. Понимание преимуществ и недостатков каждого из них может сделать вас более проницательным исследователем и помочь лучше понять свои данные.

text-decoration — CSS: Каскадные таблицы стилей

  .under {
  оформление текста: подчеркивание красным;
}

.над {
  текст-оформление: волнистый контур лайм;
}

.линия {
  текстовое оформление: сквозное;
}

.простой {
  текстовое оформление: нет;
}

.под более {
  оформление текста: пунктирное подчеркивание поверх;
}

.толстый {
  оформление текста: сплошное подчеркивание фиолетовым цветом 4px;
}

.blink {
  текст-украшение: мигать;
}
  

  
 Под этим текстом есть линия. 
 Над этим текстом есть линия. 
 В этом тексте проходит линия. 
 Эта  ссылка не будет подчеркнута ,
    поскольку ссылки вообще есть по умолчанию. Будьте осторожны при снятии
    оформление текста на якорях, поскольку пользователи часто зависят от
    подчеркивание для обозначения гиперссылок.
 У этого текста есть строки над  и  под ним. 
 Этот текст имеет очень толстое фиолетовое подчеркивание в поддерживающих браузерах. 
 Этот текст может мигать для вас,
    в зависимости от используемого вами браузера.