Картинки графиков: ⬇ Скачать картинки D0 b3 d1 80 d0 b0 d1 84 d0 b8 d0 ba d0 b8, стоковые фото D0 b3 d1 80 d0 b0 d1 84 d0 b8 d0 ba d0 b8 в хорошем качестве

Опрос

Конечно, отличный игрок!

39%

Нет, даже квалы не пройдет.

61%

Материалы по теме

Главные новости

• 23:00Nikobaby: «Я очень многому научился за то время, что пробыл в Alliance, это было великое путешествие, которое изменило мою жизнь» 3
• 21:00PSG.LGD выпустила новую джерси перед TI11 3
• 20:20Leamare: «Работаю на TI11 в качестве статистика. Англоязычная студия, нанят Valve»
• 19:33Евгений Золотарев: «Будем с некоторыми командами адресовать вопрос русскоязычной студии к Valve и PGL» 34
• 17:18 Фото Alliance распустила состав по Dota 2 8
• TopNews»> 16:0532% из вас будет не хватать на Инте NS’а, 20% — Вилата, 16% — Лоста 8
• 14:51Аналитик Spirit Sword_Art дал прогнозы на Last Chance: «Ставлю на Xtreme и VP»
• 14:08Adekvat: «Безумно рад за инвайт Шторма  – он для меня лучший талант русскоязычного каста Dota 2 в этом году» 5
• 13:28 Фото Наклейка Финаргота подорожала в 19 раз – она пропала из капсулы The International 2022 2
• 12:22Artstyle о NAVI Junior: «Пройти молодым составом во второй дивизион – это будет очень хороший старт» 2
• 11:25 Видео «Как минимум не «Рекрут 1». Чемпион мира по Warcraft 3 откалибровался на «Рекрута 5» 3
• 11:05NS анонсировал «Старперхаб», посвященный The International 2022 3
• 10:54Iceberg: «В чате Твича в большинстве своем сидят самые ####### челы, которым не хватает общения» 3
• 10:40 Фото Лекса добавили в список комментаторов русскоязычной студии TI11 2
• 10:24 Фото Наклейку Финаргота нельзя выбить из капсулы. Она доступна только на торговой площадке 1
• 10:14NotInMyHouse: «Если приглашения на освещение главного турнира года получают Владиславы, Киберстепаны и Димы Ковали, это говорит о плачевном состоянии освещения Доты на русском» 6
• TopNews»> 10:10 Видео Quinn (Soniqs) ливнул из игры, когда Bryle (TSM) на нем сделал ФБ. Средний MMR в игре был 10,988 1
• 09:53Cooman о 7.32c: «Что в голове у людей, которые вот эти вот патчи выпускают?» 2
• 09:25NS об инвайтах на TI11: «Я, когда увидел Blowyourbrain’а, подумал: «Фига, а Vigoss где?»
• 09:11 Фото Ephey, Slacks, Cap, Sheever и Pieliedie вошли в англоязычную студию TI11 2

ПОСЛЕДНИЕ НОВОСТИ

• 08:57Шанс выпадения фразы нужного вам комментатора – 0,08%
• 08:47XBOCT: «В аналитике, скорее всего, вы меня и не увидите» 3
• TopNews»> 08:37Maestorm: «Меня в списке инвайтов не должно было быть, вообще. Огромное спасибо Fissure и RuHub за то, что они договорились» 3
• 08:25Fishman: «В голос с крип-крипочка от VP, точно куплю» 4
• 08:14Storm о приглашении на TI11: «Я к этому шел 1.5 года, работая не покладая рук и параллельно смахивая пот со лба» 1
• 07:00Списки комментаторов TI11 (45 человек в русскоязычной студии), фанатские бандлы участников Инта, Саудовская Аравия хочет инвестировать 38 млрд долларов в киберспорт и другие новости утра
• 23:00 Вакансия 📝 Мы ищем новостника! 23
• TopNews»> 22:57 Фото SirActionSlacks использовал фото в костюме ЦМки для наклейки TI11. Его автограф с Io и Axe (но мы не уверены насчет Акса) 3
• 22:44 Видео Dendi озвучил фразу NAVI, «Крип-крипочек» у VP, фразы BetBoom и еще 8 команд не работают. В игру добавили фанатские бандлы участников TI11 2
• 22:29Lex: «Какая-то путаница. Вроде как приглашение получил». Лекса нет в списке комментаторов русскоязычной студии TI11 2
• 22:24 Фото На TI впервые будет работать афроамериканец в англоязычной студии освещения. У него 300 подписчиков на ютубе и 6000 на Твиче 7
• 22:03Mila впервые вошла в студию освещения The International 9
• TopNews»> 21:51V1lat, Olsior, NS, Casper и LightOfHeaven не вошли в русскоязычную студию освещения TI11 12
• 21:28 Фото Bafik, XBOCT, Jotm, Petushara и Finargot будут освещать TI11 на русском языке. Всего в русскоязычной студии 45 талантов 29
• 21:21Наклейки студии и команд из отборов The International 2022 добавили в Dota 2 1
• 20:34Pure о пабах ЮВА: «Парень на SF буквально продал свою задницу за деньги (ранее был забанен Valve за 322). Очень надеюсь, что его навсегда забанят и в пабах» 1
• 20:05Fly выложил фото с нарезанным манго: «Игроки на Undying объединяйтесь». Это шутка про стартовый закуп героя 2
• TopNews»> 19:47Саудовская Аравия хочет инвестировать 38 млрд долларов в киберспорт и игровую индустрию 4
• 18:55Korb3n: «Мантии под фонтан – это тоже оскорбление. Время сейчас другое, если бы мы были в начале 00-х, в казахстанском компьютерном клубе, то у Аммара бы уже лица не стало сразу же после этих мувов» 12
• 18:36 Видео Баг в Dota 2: Vengeful Spirit c Aghanim’s Scepter возрождается с эффектом неуязвимости фонтана. В любом месте карты
• 16:50Korb3n: «Как по мне, VP очень плохо задрафтила – драфты были отвратительные в финале» 2
• 16:43Adekvat о Last Chance Qualifier на TI11: «Xtreme и Polaris пройдут в групповую стадию»
• TopNews»> 16:34На второй сезон МСКЛ+ заявилось 140 учебных заведений
• 15:55Korb3n: «По сути Fishman прав, проблемы с питанием на мейджоре в Арлингтоне были, но просто потому, что организации как таковой не было»
• 15:25Alwayswannafly: «Все высказались, что им не понравился True Sight. Мне ###### понравилось» 1

Архив новостей

Опрос

Вилата

20%

Лоста

15%

Олсиора

10%

НСа

33%

Каспера

11%

Кого-то другого

5%

Всех моих любимых кастеров позвали

6%

Графические методы анализа данных



Графические методы анализа данных

Краткий обзор типов графиков

Типичные методы визуализации

• Категоризованные графики
  • Что такое категоризованные графики?
  • Методы категоризации
  • Гистограммы
  • Диаграммы рассеяния
  • Вероятностные графики
  • Графики квантиль-квантиль
  • Графики вероятность-вероятность
  • Линейные графики
  • Диаграммы размаха
  • Круговые диаграммы
  • Графики пропущенных значений и диапазонов
  • 3М графики
  • Тернарные графики
• Закрашивание
• Сглаживание двумерных распределений
• Послойное сжатие
• Проекции трехмерных наборов данных
• Пиктографики
  • Анализ пиктографиков
  • Систематизация пиктографиков
  • Стандартизация значений
  • Применения
  • Близкие способы графического представления
  • Типы графиков
  • Маркировка пиктограмм
• Выборка данных
• Вращение (в трехмерном пространстве)

Категоризованные графики

Одним из наиболее мощных аналитических методов исследования является разделение («разбиение») данных на группы для сравнения структуры получившихся подмножеств. Эти методы широко применяются как в  разведочном анализе данных, так и при проверке гипотез и известны под разными названиями (классификация, группировка, категоризация, разбиение, расслоение и пр.). Например, взаимосвязь между возрастом и риском инфаркта может отличаться для мужчин и женщин (для мужчин эта зависимость сильнее). Или например, зависимость между приемом лекарств и снижением уровня холестерина может наблюдаться только для женщин с пониженным давлением и в возрасте 30-40 лет.   Производительность или  гистограммы мощности могут различаться для временных промежутков, когда управление осуществляется разными операторами. Разным экспериментальным группам также могут   соответствовать разные наклоны линий регрессии.

Для количественного описания различий между группами наблюдений разработаны многочисленные вычислительные методы, основанные на группировке данных (например,  дисперсионный анализ). Однако графические средства (такие как рассматриваемые в этом разделе категоризованные графики) дают особые преимущества и позволяют выявить закономерности, которые трудно поддаются количественному описанию и которые весьма сложно обнаружить с помощью вычислительных процедур (например, сложные взаимосвязи, исключения или аномалии). В этих случаях графические методы предоставляют уникальные возможности многомерного аналитического исследования  или «добычи» данных.

Что такое категоризованные графики

Термин «категоризованные графики» впервые был использован в программе STATISTICA компании StatSoft в 1990 году (кроме того, Becker, Cleveland и Clark из Bell Labs называют их  графиками на решетке). Эти графики представляют собой наборы двумерных, трехмерных, тернарных или n-мерных графиков (таких как гистограммы, диаграммы рассеяния, линейные графики, поверхности, тернарные диаграммы рассеяния и пр. ), по одному графику для каждой выбранной категории (подмножества) наблюдений, например, опрашиваемых из Нью-Йорка, Чикаго или Далласа. Эти «входящие» графики располагаются последовательно в одном графическом окне, позволяя сравнивать структуру данных для каждой из указанных подгрупп (например, городов).

Для выбора подгрупп можно использовать множество методов, самый простой из них — это введение категориальной переменной (например, переменной City с значениями New York, Chicago и Dallas). На следующем графике показаны  гистограммы переменной, представляющей данные о самооценке стресса жителями каждого из трех городов.

На основе этих данных можно сделать вывод о том, что жители Далласа не очень подвержены стрессам, в то время как распределения уровня стресса в Нью-Йорке и Чикаго довольно похожи.

Некоторые программы (например, система  STATISTICA) поддерживают двухвходовую или многомерную категоризацию, где для задания подгрупп используется не один (например, City), а два или более критериев (например, City и Time ). Двухвходовые категоризованные графики можно рассматривать как «таблицы графиков», где каждый входящий график находится на «пересечении» определенных значений первой (например, City) и второй (например, Time)  группирующих переменных.

Добавление второго фактора показывает, что картины стрессовых нагрузок в Нью-Йорке и Чикаго в действительности сильно различаются, если учитывается время опроса, в то время как фактор времени практически ничего не меняет в Далласе.

Категоризованные и матричные графики. Матричные графики  также состоят из нескольких графиков; однако здесь каждый из них основывается (или может основываться) на одном и том же множестве наблюдений, и графики строятся для всех комбинаций переменных из одного или двух списков. Для категоризованных графиков требуется такой же выбор переменных, как и для некатегоризованных графиков соответствующего типа (например, две переменных для диаграммы рассеяния). В то же время для категоризованных графиков необходимо указать по крайней мере одну группирующую переменную (или способ разбиения наблюдений на категории), где содержалась бы информация о принадлежности каждого наблюдения к определенной подгруппе (например, Chicago, Dallas). Группирующая переменная не будет непосредственно изображена на графике (т.е. не будет построена), однако она будет служить критерием для разделения всех анализируемых наблюдений на отдельные подгруппы. Как показано выше, для каждой группы (категории), определяемой группирующей переменной, будет построен один график.

Общие и независимые шкалы. Каждый элементарный график, входящий в состав категоризованного графика, может быть масштабирован в соответствии со своим собственным диапазоном значений (независимые шкалы).

Или все графики могут иметь общую шкалу, достаточно широкую, чтобы охватить весь диапазон значений.

Общий масштаб позволяет сравнивать диапазоны и распределения значений разных категорий. Однако, если эти диапазоны сильно различаются (что приводит к очень большой общей шкале), то исследование некоторых графиков может быть затруднено. Использование независимого масштаба может упростить выявление трендов и определенных закономерностей внутри категорий, но в то же время затруднить сравнение диапазонов значений разных подгрупп.

Методы категоризации

Существует пять основных методов категоризации значений, которые будут кратко описаны в этом разделе: целые числа, категории, границы, коды и сложные подгруппы. Обратите внимание, что одни и те же методы категоризации можно использовать как для разбиения наблюдений по входящим графикам, так и для категоризации наблюдений внутри входящих графиков ( например, на  гистограммах или диаграммах размаха).

Целые числа. При использовании этого режима для определения категорий будут использованы целые значения выбранной группирующей переменной, и для всех наблюдений, принадлежащих каждой категории (заданной этими целыми числами), будет построено по одному графику. Если выбранная группирующая переменная содержит не целочисленные значения, то программа автоматически округлит каждое значение выделенной переменной до целого числа. 

Категории. В этом режиме категоризации нужно указать желаемое число категорий. Программа разделит весь диапазон значений выбранной группирующей переменной (от минимального до максимального) на указанное число интервалов равной длины.

Границы. Метод границ также представляет собой интервальную категоризацию, однако в этом случае интервалы могут иметь произвольную (например, различную) длину, определяемую пользователем (например, «меньше -10», «больше или равно -10, но меньше 0», «больше или равно 0, но меньше 10» и «больше или равно 10»).  

Коды. Этот метод следует использовать в том случае, если выбранная группирующая переменная содержит «коды » (т.е. особые смысловые значения, такие как Male, Female), по которым можно разбить данные на категории.

Сложные подгруппы. Этот метод дает возможность пользователю использовать для выделения подгрупп более одной переменной. Другими словами, категоризация, основанная на выделении сложных подгрупп, может представлять не распределения конкретных переменных, а распределения частот определенных «событий» при заданной комбинации значений любого числа переменных текущего набора данных. Например, можно указать шесть категорий, задаваемых комбинациями значений трех переменных Gender, Age и Employment.

Гистограммы

Гистограммы используются для изучения распределений частот значений переменных. Такое частотное распределение показывает, какие именно конкретные значения или диапазоны значений исследуемой переменной встречаются наиболее часто, насколько различаются эти значения, расположено ли большинство наблюдений около  среднего значения, является распределение  симметричным или асимметричным, многомодальным (т.е. имеет две или более вершины) или одномодальным и т.д. Гистограммы также используются для сравнения наблюдаемых и теоретических или ожидаемых распределений.

Категоризованные гистограммы представляют собой наборы гистограмм, соответствующих различным значениям одной или нескольких категоризующих переменных или наборам логических условий категоризации (см. Методы категоризации).

Частотные распределения могут представлять интерес по двум основным причинам.

• По форме распределения можно судить о природе исследуемой переменной (например, бимодальное распределение позволяет предположить, что выборка не является однородной и содержит наблюдения, принадлежащие двум различным множествам, которые в свою очередь нормально распределены).
• Многие статистики основываются на определенных предположениях о распределениях анализируемых переменных;  гистограммы позволяют проверить, выполняются ли эти предположения.

Как правило, работа с новым набором данных начинается с построения  гистограмм всех переменных.

Гистограммы и группировка. Категоризованные гистограммы предоставляют такую же информацию о данных, как и группировка (например, среднее, медиану, минимум, максимум, разброс и т.п.; см. главу Основные статистики и таблицы). Хотя конкретные (числовые) значения описательных статистик легко увидеть в таблице, в то же время общую структуру и глобальные характеристики распределения проще изучать на графике. Более того, график дает качественную информацию о распределении, которую невозможно отразить с помощью какого-либо одного параметра. Например, по  асимметрии распределения значений дохода можно сделать вывод о том, что большинство населения имеет низкий, а не высокий уровень доходов. Если помимо этого провести группировку данных по этническому и половому признакам, то можно обнаружить, что в некоторых подгруппах эта структура распределения станет еще более ярко выраженной. Хотя эта информация содержится в значении коэффициента асимметрии (для каждой подгруппы), но она легче воспринимается и запоминается, будучи графически представленной  на гистограмме. Кроме того, на гистограмме можно наблюдать некоторые «впадины и выпуклости», которые могут свидетельствовать о социальном расслоении в исследуемой группе населения или об аномалиях в распределении дохода отдельных подгрупп, связанных с недавней налоговой реформой.

Категоризованные гистограммы и диаграммы рассеяния. Полезное применение категоризации для непрерывных переменных — это представление взаимосвязи трех переменных одновременно. Ниже показана диаграмма рассеяния для двух переменных Load 1 и Load 2.

Предположим, к ним нужно добавить третью переменную (Output) и исследовать ее распределение при различных значения совместного распределения переменных Load 1 и Load 2. Для этого можно построить следующий график:

На этом графике обе переменные Load 1 и Load 2 сгруппированы в 5 интервалов, и для каждой комбинации этих интервалов вычислено распределение переменной Output. Обратите внимание, что внутри «прямоугольника» (параллелограмма) находятся наблюдения, одинаковые для обоих показанных выше графиков.

Диаграммы рассеяния

Двумерные диаграммы рассеяния используются для визуализации взаимосвязей между двумя переменными X и Y (например, весом и ростом). На этих диаграммах отдельные точки данных представлены маркерами на плоскости, где оси соответствуют переменным. Две координаты (X и Y), определяющие положение точки, соответствуют значениям переменных. Если между переменными существует сильная взаимосвязь, то точки на графике образуют упорядоченную структуру (например, прямую линию или характерную кривую). Если переменные не взаимосвязаны, то точки образуют «облако».

Можно построить также категоризованные диаграммы рассеяния, сгруппированные по значениям одной или нескольких переменных, а с помощью метода сложных подгрупп (см. Методы категоризации) — диаграммы рассеяния, категоризованные по заданным логическим условиям выбора подгрупп наблюдений.

Категоризованные диаграммы рассеянияпредставляют собой мощный исследовательский и аналитический метод для изучения взаимосвязей между двумя и более переменными среди различных подгрупп.

Однородность двумерных распределений (форма взаимосвязей).Диаграммы рассеяния обычно используются для выявления природы взаимосвязи двух переменных (например, кровяного давления и уровня холестерина), поскольку они предоставляют гораздо больше информации, чем коэффициент корреляции.

Например, неоднородность выборки, по которой рассчитываются корреляции, может привести к искажению значений коэффициента корреляции. Предположим, коэффициент корреляции рассчитывается по данным, полученным в двух экспериментальных группах, но этот факт при вычислениях игнорируется. Пусть эксперимент в одной из подгрупп привел к увеличению значений обеих переменных, и на диаграмме рассеяния данные из каждой группы образуют отдельные «облака» (как показано на картинке).

В этом примере большое значение коэффициента корреляции целиком обусловлено распределением по группам и не отражает «истинную» взаимосвязь между двумя переменными, которая практически близка к 0 (это хорошо видно, если рассматривать каждую группу отдельно).

Если вы предполагаете, что подобная структура присутствует и в ваших данных, и знаете, каким образом выделить «подгруппы» наблюдений, то имеет смысл построить категоризованную диаграмму рассеяния.

Такой график поможет вам прояснить структуру взаимосвязей между переменными X и Y внутри каждой подгруппы (после соответствующего разбиения наблюдений).

Нелинейные зависимости. С помощью диаграмм рассеяния можно исследовать и нелинейные взаимосвязи между переменными. При этом не существует каких-либо «автоматических» или простых способов оценки нелинейности. Стандартный коэффициент корреляции Пирсона  r позволяет оценить только линейность связи, а некоторые непараметрические корреляции, например, Спирмена R, дают возможность оценить нелинейность, но только для монотонных зависимостей. На диаграммах рассеяния можно изучить структуру взаимосвязей, чтобы затем с помощью преобразования привести данные к линейному виду или выбрать подходящую нелинейную подгонку.

Дополнительную информацию можно найти в разделах Основные статистики, Непараметрическая статистика и распределения, Множественная регрессия и Нелинейное оценивание.

Вероятностные графики

Существует три типа категоризованных вероятностных графиков:  нормальные, полунормальные и с исключенным трендом. Нормальные вероятностные графики — это быстрый способ визуальной проверки степени соответствия данных нормальному распределению.

В свою очередь категоризованные вероятностные графики дают возможность исследовать близость к нормальному распределению различных подгрупп данных .

Категоризованные нормальные вероятностные графики представляют собой эффективный инструмент для исследования однородности группы наблюдений с точки зрения соответствия нормальному распределению.

Графики квантиль-квантиль

Категоризованные графики квантиль-квантиль (или К-К) используются для поиска в определенном семействе распределений того распределения, которое наилучшим образом описывает имеющиеся данные.

В случае категоризованных графиков К-К строится набор графиков квантиль-квантиль, по одному для каждого значения категориальных переменных (X или X и Y) или для заданных условий выбора сложных подгрупп (см. Методы категоризации). Для графиков К-К используются следующие семейства распределений:  экспоненциальное, экстремальное, нормальное, Релея, бета-, гамма-, логнормальное и Вейбулла.

Графики вероятность-вероятность

Категоризованные графики вероятность-вероятность (или В-В)   используются для проверки соответствия конкретного теоретического распределения имеющимся исходным данным. На этих графиках для каждого значения категориальных переменных (X или X и Y) или для заданных условий выбора сложных подгрупп (см. Методы категоризации) создается по одному графику вероятность-вероятность.

На графиках В-В строится наблюдаемая функция распределения (доля непропущенных значений x) в зависимости от теоретической функции распределения, чтобы оценить соответствие этой теоретической функции наблюдаемым данным. Если все точки этого графика располагаются на диагонали (содержащей точку 0 и имеющей наклон 1), то можно заключить, что наблюдаемое распределение хорошо аппроксимируется данной теоретической функцией.

Если не все точки данных располагаются на диагональной линии, то на таком графике можно визуально выделить группы наблюдений, соответствующие и не соответствующие искомому распределению (если, к примеру, точки образуют кривую S-образной формы вокруг диагональной линии, то к ним можно применить определенное преобразование для приведения к нужной форме распределения).

Линейные графики

На  линейных графиках   отдельные точки данных соединяются линиями. Это простой способ визуального представления последовательности значений (например, цены на фондовом рынке за несколько дней торгов). Категоризованные линейные графики строятся в том случае, если необходимо разбить данные на несколько групп (категоризовать) с помощью  группирующей переменной   (например, цены при закрытии рынка по понедельникам, вторникам и т. д.) или с помощью логических условий, составленных по нескольким переменным (например, цены при закрытии рынка в те дни, когда две другие акции и индекс Доу Джонса выросли по сравнению с другими ценами закрытия; см.  Методы категоризации).

Диаграммы размаха

На  диаграммах размаха  (этот термин был впервые использован Тьюки в 1970 году) представлены диапазоны значений выбранной переменной (или переменных) для отдельных групп наблюдений. Для выделения этих групп используются от одной до трех категориальных (группирующих) переменных или набор логических условий выбора подгрупп.

Для каждой группы наблюдений вычисляется центральная тенденция  (медиана или  среднее), а также размах или изменчивость (квартили, стандартные ошибки или стандартные отклонения). Выбранные параметры отображаются на графике одним из пяти способов (Прямоугольники-Отрезки, Отрезки, Прямоугольники, Столбцы или Верхние-нижние засечки). На этом графике можно показать и выбросы (см. разделы о  выбросах   и крайних точках).

На следующем графике, например, выбор факторов можно было бы считать вполне удачным, если бы не «досадное» несоответствие, на которое указывают выделенные на рисунке выбросы (в данном случае это значения, попадающие за пределы 1,5 квартильных размахов):

А на следующем рисунке не показаны ни выбросы, ни крайние точки.

Можно выделить два основных направления использования  диаграмм размаха: (a) отображение диапазонов значений отдельных элементов, наблюдений или выборок (например, типичные минимаксные графики цен на акции или товары или графики агрегированных данных с диапазонами), (б) отображение изменения значений в отдельных группах или выборках (например, когда точкой внутри прямоугольника представлено  среднее значение для каждой выборки, сам прямоугольник соответствует значениям  стандартной ошибки, а меньший прямоугольник или пара «отрезков» обозначает  стандартное отклонение от среднего).

С помощью диаграмм размаха,  на которых представлены характеристики изменчивости, можно быстро оценить и «интуитивно представить» силу связи между группирующей и зависимой переменной. Предположив, что зависимая переменная нормально распределена, и зная долю наблюдений, попадающих, к примеру, в интервал   ±1 или ±2 стандартных отклонения  от среднего (см. Элементарные понятия статистики), можно сделать, например,  вывод о том, что  95% наблюдений из экспериментальной группы 1 попадают в другой диапазон значений, нежели  95% наблюдений из группы 2.

На этих графиках можно изобразить и так называемые усеченные средние   (этот термин был впервые использован Тьюки в 1962 году), которые вычисляются после исключения заданного пользователем процента наблюдений с концов (хвостов) распределения.

Круговые диаграммы

Одним из наиболее широко используемых типов графического представления данных являются  круговые диаграммы, на которых показаны пропорции или сами значения переменных. Категоризованные графики этого типа состоят из нескольких круговых диаграмм, где данные разделены по группам с помощью одной или нескольких  группирующих переменных  (например, gender) или категоризованы согласно логическим условиям выбора подгрупп (см. Методы категоризации).

В дальнейшем, говоря о категоризации этих графиков, мы будем иметь ввиду  круговые диаграммы частот (в противоположность  круговым диаграммам значений). Эти типы графиков, называемые также частотными круговыми диаграммами, представляют данные аналогично гистограммам. Все значения выбранной переменной категоризуются с помощью заданного метода категоризации, а затем относительные значения частот отображаются в виде сегментов круговой диаграммы пропорционального размера. Таким образом, эти графики являются альтернативным представлением гистограммы частот  (см. раздел о категоризованных гистограммах).

Диаграммы рассеяния круговых диаграмм. Еще одно очень полезное применение категоризованных круговых диаграмм — это представление относительных частот значений какой-либо переменной в различных «местах» совместного распределения двух других переменных. Например:

Обратите внимание, что круговые диаграммы изображены только в тех «местах», где имеются данные.  Показанный выше график напоминает диаграмму рассеяния (переменных  L1 и L2), где маркерами точек являются круговые диаграммы. Однако помимо обычной информации, содержащейся в диаграмме рассеяния, здесь в каждой точке дополнительно показано относительное распределение третьей переменной (а именно, доля значений Low, Medium и High Quality).

Графики пропущенных значений и данных вне диапазона

На этих графиках можно наглядно представить структуру распределения точек данных, содержащих пропущенные значения или находящихся «вне диапазонов», заданных пользователем. При этом строится по одной двумерной диаграмме для каждой группы наблюдений, выделенной с помощью группирующих переменных или с помощью условий выбора сложных подгрупп (см. Методы категоризации).  

Эти типы графиков используются в  разведочном анализе данных, чтобы определить, является ли случайным распределение точек с пропущенными значениями, а также для оценки их  диапазона.

Трехмерные (3М) графики

Трехмерные диаграммы рассеяния (пространственные, спектральные,  трассировочные и диаграммы отклонений), карты линий уровня и поверхности   также можно построить для подгрупп наблюдений, заданных с помощью выбранной категориальной переменной или логических условий выбора (см. Методы категоризации). Основная задача этих графиков - упростить сравнение взаимосвязей между тремя и более переменными для различных групп или категорий наблюдений.

Применения. Трехмерные графики в координатах  XYZ отображают взаимосвязи между тремя переменными. С помощью различных способов категоризации можно исследовать эти зависимости при различных условиях (т.е. в разных группах).

Изучая, например, показанный ниже категоризованный график поверхности, можно сделать вывод о том, что величина допуска прибора не влияет на измерения (переменные Depend1, Depend2 и Height), кроме случая, когда она  3.

Этот вывод становится еще более очевидным, если использовать вместо поверхности карту линий уровня.

Тернарные графики

Категоризованные тернарные   графики используются для исследования взаимосвязей между тремя и более переменными, три из которых представляют собой компоненты смеси (т.е. для каждого наблюдения значения их суммы являются постоянной величиной), при этом отдельный график строится для каждого уровня  группирующей переменной.

Для построения  тернарных графиков  используется треугольная система координат на плоскости или в пространстве и строится зависимость между четырьмя (или более) переменными (компонентами X, Y и Z и откликами V1, V2 и т.д.). При этом накладываются ограничения на относительные значения каждой из компонент, чтобы они в сумме давали одинаковую величину для каждого наблюдения (например, 1).

На категоризованных тернарных графиках строится по одному графику для каждого значения   группирующей переменной (или заданного пользователем подмножества данных), и все они отображаются в одном графическом окне, чтобы можно было сравнивать различные подгруппы наблюдений.

Применения. Эти графики применяются для анализа результатов эксперимента, в котором измеряемый отклик зависит от относительного соотношения трех компонент (например, трех химических веществ при составлении смесей), которое варьируется с целью определения его оптимального значения.   Эти типы графического представления можно использовать и в других случаях, когда взаимосвязь между переменными, на которые наложены определенные ограничения, необходимо исследовать для различных групп или категорий наблюдений.

Закрашивание

Закрашивание является одним из первых и, по-видимому, наиболее широко распространенных методов, известных как графический разведочный анализ данных. Этот метод позволяет интерактивно выделять на экране отдельные точки или подмножества данных и задавать их характеристики, или исследовать их влияние на взаимосвязи между переменными (например, на  матрицах диаграмм рассеяния) и идентифицировать выбросы(например, с помощью меток). 

Связи между переменными можно наглядно представить с помощью аппроксимирующих функций (например, двумерных кривых или трехмерных поверхностей) и доверительных интервалов. Интерактивно удаляя или добавляя определенные подгруппы наблюдений, можно наблюдать за изменениями этих функций и их параметров. Одно из применений метода закрашивания — это, например, выделение на  матричной диаграмме рассеяния  всех точек данных, принадлежащих определенной категории (например, на показанном ниже рисунке на правом верхнем графике выделена группа наблюдений, соответствующих значению «среднего» уровня дохода).

Такое исследование помогает определить, как эти конкретные наблюдения влияют на связи между другими переменными того же набора данных (например, на корреляцию между «расходами» и «активами»).

В режиме «динамического закрашивания» (см. следующий пример) или «автоматического обновления функции подгонки» можно задать движение кисти по определенным последовательным диапазонам выбранной переменной (например, непрерывной, а не дискретной, как на показанном ранее примере) и исследовать динамику вклада этой переменной в связи между другими переменными этого набора данных.

Сглаживание двумерных распределений

Для наглядного представления таблицы значений двух переменных используются трехмерные гистограммы. Их можно рассматривать как объединение двух простых гистограмм для совместного анализа частот значений двух переменных. Чаще всего на этом графике для каждой «ячейки» таблицы нарисован один трехмерный столбец, а его высота соответствует частоте значений в этой ячейке. При построении трехмерной гистограммы для каждой из двух переменных можно использовать свой метод категоризации (см. ниже).

Когда предусмотрены процедуры сглаживания данных, то трехмерное представление частот значений можно аппроксимировать поверхностью. Такое сглаживание можно осуществить для любой трехмерной гистограммы. Для достаточно простой структуры данных (как на предыдущем рисунке) такое сглаживание не имеет особого смысла.

Однако, в случае более сложной картины распределения частот эта процедура может оказаться эффективным инструментом разведочного анализа данных

и позволит выявить особенности, которые трудно обнаружить на обычной трехмерной гистограмме (например, показанную выше «волновую структуру» поверхности).

Послойное сжатие

На графиках этого типа за счет сокращения области основного графика освобождается место для графиков на полях, которые располагаются в правой и верхней части графического окна (включая маленький угловой график). Эти графики на полях представляют собой соответственно вертикально и горизонтально сжатые изображения основного графика.

Послойное сжатие двумерных графиков является методом разведочного анализа данных, который дает возможность скрытые тренды и структуры двумерных наборов данных. Рассмотрим следующий рисунок.

Здесь на примере, приведенном Кливландом (Cleveland, 1993), можно убедиться, что в каждом цикле солнечной активности число пятен уменьшается гораздо медленнее, чем нарастает в начале цикла. Такое поведение совершенно не очевидно при исследовании обычного линейного графика, в то время как сжатый график позволяет обнаружить эту скрытую картину.

Проекции трехмерных наборов данных

Полезным методом изучения и аналитического исследования структуры поверхности (созданной, как правило, по трехмерным наборам данных) является построение ее проекции на плоскость в виде карты линий уровня.

Эти графики менее эффективны для быстрого визуального анализа формы трехмерных структур по сравнению с графиками поверхности,

однако их преимущество заключается в возможности точного исследования формы поверхности —

на картах линий уровня отображается ряд не искаженных горизонтальных «сечений».

Пиктографики

На пиктографиках каждое наблюдение представлено в виде многомерного символа, что позволяет использовать эти типы графического представления данных в качестве не очень простого, но мощного исследовательского инструмента. Главная идея такого метода анализа основана на человеческой способности «автоматически» фиксировать сложные связи между многими переменными, если они проявляются в последовательности элементов (в данном случае «пиктограмм»). Иногда понимание (или «чувство») того, что некоторые элементы «чем-то похожи» друг на друга, приходит раньше, чем наблюдатель (аналитик) может объяснить, какие именно переменные обусловливают это сходство (Lewicki, Hill, & Czyzewska, 1992). Конкретную природу проявившихся взаимосвязей между переменными позволяет выявить уже последующий анализ данных, основанный на изучении этого интуитивно обнаруженного сходства.

Основная идея пиктографиков заключается в представлении элементарных наблюдений как отдельных графических объектов, где значения переменных соответствуют определенным чертам или размерам объекта (обычно одно наблюдение = одному объекту). Это соответствие устанавливается таким образом, чтобы общий вид объекта менялся в зависимости от конфигурации значений.

Таким образом, объекты имеют определенный «внешний вид», который уникален для каждой конфигурации значений и может быть идентифицирован наблюдателем. Изучение таких пиктограмм помогает выявить как простые связи, так и сложные взаимодействия между переменными.

Анализ пиктографиков

Целесообразно проводить анализ пиктографиков в пять этапов.

1. Сначала выберите порядок анализируемых переменных. В большинстве случаев наилучшим вариантом оказывается случайная последовательность. Кроме того, можно попробовать расположить их в порядке, соответствующем полученному уравнению множественной регрессии, факторным нагрузкам или объясняемым факторам (см. главу Факторный анализ). Таким образом можно упростить и сделать более «однородным» общий вид пиктограмм, чтобы легче идентифицировать слабо выраженные различия. В то же время такой подход может затруднить идентификацию некоторых структур. На этом этапе можно дать только один универсальный совет: прежде чем использовать какие-либо сложные методы, попробуйте наиболее простой и быстрый вариант, а именно, случайную последовательность переменных.
2. Попробуйте обнаружить какие-либо закономерности, например, сходства между группами пиктограмм, выбросы или определенные связи между элементами (например, » если первые два луча звезды длинные, то как правило, с другой стороны есть один или два коротких луча»). На этом этапе лучше использовать пиктографики кругового типа.
3. При обнаружении закономерностей постарайтесь сформулировать их в терминах конкретных переменных.
4. Измените соответствие переменных и элементов пиктограмм (или переключитесь на один из последовательных пиктографиков), чтобы проверить обнаруженную структуру взаимосвязей (например, попробуйте переместить ближе друг к другу элементы, между которыми обнаружена связь). В некоторых случаях в конце этого этапа целесообразно исключить из рассмотрения те переменные, которые не вносят явного вклада в обнаруженную структуру.
5. И наконец, используйте один из численных методов (таких как регрессионный анализ, нелинейное оценивание, дискриминантный или кластерный анализ), чтобы проверить и попытаться количественно оценить обнаруженные закономерности или хотя бы их часть.

Систематизация пиктографиков

Большинство пиктографиков можно отнести к одной из двух групп: круговые и последовательные.

Круговые пиктографики. Круговые пиктографики (звезды, лучи, многоугольники) имеют вид «велосипедного колеса», на них значения переменных представлены расстояниями между центром пиктограммы («втулкой»)  и их концами.

Такие графики могут помочь в обнаружении связей между переменными, которые проявляются в общей структуре пиктограмм и зависят от конфигурации значений самих переменных.

Чтобы описать такую » общую картину» в терминах конкретных моделей или проверить имеющиеся предположения, имеет смысл использовать последовательные пиктографики, которые могут оказаться более эффективными, если уже известно, что именно требуется обнаружить.

Последовательные пиктографики. Последовательные пиктографики (столбцы, профили, линии) представляют собой набор картинок с маленькими последовательными графиками (различных типов).

Значения переменных представлены здесь расстояниями между основанием пиктограммы и последовательными точками (например, высотами показанных выше столбцов). Эти графики менее эффективны на начальной стадии разведочного анализа, поскольку пиктограммы очень похожи между собой. Однако, как уже упоминалось ранее, такое представление может быть весьма полезным для проверки уже сформулированной гипотезы.

Пиктограммы круговых диаграмм. Эти пиктографики нельзя однозначно отнести к одной из двух групп. Все они имеют круговую форму, но в то же время последовательно разделены в соответствии с значениями переменных.

Их можно отнести скорее к последовательным, чем к круговым пиктографикам, но можно использовать и в том, и в другом случае.

«Лица Чернова». Этот тип пиктографиков составляет отдельную группу. Здесь каждое наблюдение представляет собой схематичное изображение лица, определенным чертам которого соответствуют относительные значения выбранных переменных.

Некоторые исследователи рассматривают этот способ графического представления данных как уникальный многомерный метод разведочного анализа, позволяющий выявить такие скрытые картины взаимосвязей между переменными, которые не могут быть обнаружены другими методами. Вероятно, такое заявление можно считать преувеличением. Кроме того, следует заметить, что этот способ исследования весьма непрост в применении и требует большого опыта в том, что касается сопоставления переменных чертам лица. См. также раздел Методы «добычи данных» .

Стандартизация значений

Как правило, при построении пиктографиков значения переменных должны быть стандартизованы, чтобы их можно было сравнивать в пределах одной пиктограммы. Исключения составляют те случаи, когда на пиктограммах необходимо отобразить глобальные различия диапазонов выбранных переменных. Поскольку масштаб пиктограммы определяется наибольшим значением, то на пиктограмме могут отсутствовать те переменные, которые имеют значения другого порядка малости, например, на пиктограмме звезды некоторые лучи могут оказаться настолько короткими, что совсем не будут видны..

Применения

Пиктографики обычно используются: (1) для обнаружения структур или кластеров наблюдений и (2) для исследования сложных взаимосвязей между несколькими переменными. Первый вариант соответствует кластерному анализу; т.е. процедуре классификации наблюдений.

Предположим, вы изучали характеры актеров и записали их ответы на вопросы анкеты. С помощью пиктографика можно определить, существуют ли группы артистов, которые отличаются по их ответам на заданные вопросы (можно, к примеру, обнаружить, что некоторые артисты являются творческими, недисциплинированными и независимыми личностями, в то время как другая группа состоит из умных, дисциплинированных людей, которые ценят свою популярность).

Другая область применений — изучение взаимосвязей между переменными — напоминает факторный анализ, который используется для исследования вопроса о зависимости переменных. Предположим, изучалось мнение группы людей о различных марках автомобилей. В файле данных записаны средние оценки по каждому из свойств (рассматриваемых как переменные) для каждого из автомобилей (рассматриваемых как наблюдения).

При изучении «лиц Чернова» (где каждое лицо представляет мнение об одном из автомобилей) может оказаться, что улыбающиеся лица обычно имеют большие уши; при этом, если цене соответствует «ширина» улыбки, а динамическим качествам — размер ушей, то это «открытие» означает, что быстрые машины являются более дорогими. Разумеется, это очень простой пример; однако при реальном анализе данных применение этого метода может сделать более очевидными сложные взаимосвязи между многими переменными.

Близкие способы графического представления

Связи между переменными из одного или двух списков могут быть представлены на матричных графиках. Использование матричных графиков одновременно с выделением подгрупп позволяет получить информацию, подобную той, которая отображается на пиктографиках.

Если использовать методы выделения подгрупп на диаграммах рассеяния, то для исследования взаимосвязей между двумя переменными можно использовать обычные 2М диаграммы рассеяния; а в случае трех переменных — 3Мдиаграммы рассеяния.

Типы графиков

Существуют различные типы пиктографиков.

«Лица Чернова». Для каждого наблюдения рисуется отдельное «лицо»; при этом относительные значения выбранных переменных соответствуют форме и размерам определенных его черт (например, длине носа, изгибу бровей, ширине лица).

Дополнительно см. абзац «Лица Чернова» в разделе Систематизация пиктографиков.

Звезды. Это пиктографики кругового типа. Для каждого наблюдения рисуется пиктограмма в виде звезды; относительные значения выбранных переменных соответствуют относительным длинам лучей каждой звезды (по часовой стрелке, начиная с 12:00). Концы лучей соединены линиями.

Лучи. Эти пиктографики также относятся к круговому типу. Для каждого наблюдения строится одна пиктограмма. Каждый луч соответствует одной из выбранных переменных (по часовой стрелке, начиная с 12:00), и на нем отложено значение соответствующей переменной. Эти значения соединены линиями.

Многоугольники. Это пиктографикикругового типа. Для каждого наблюдения рисуется отдельный многоугольник; относительные значения выбранных переменных соответствуют расстояниям вершин от центра многоугольника (по часовой стрелке, начиная с 12:00).

Круговые диаграммы. Это пиктографики кругового типа. Для каждого наблюдения рисуется круговая диаграмма; относительные значения выбранных переменных соответствуют размерам сегментов диаграммы (по часовой стрелке, начиная с 12:00).

Столбцы. Это пиктографики последовательного типа. Для каждого наблюдения строится столбчатая диаграмма; относительные значения выбранных переменных соответствуют высотам последовательных столбцов.

Линии. Это пиктографики последовательного типа.

Для каждого наблюдения строится линейный график; относительные значения выбранных переменных соответствуют расстояниям точек излома линии от основания графика.

Профили. Это пиктографики последовательного типа. Для каждого наблюдения строится зонный график; относительные значения выбранных переменных соответствуют расстояниям последовательных пиков сечения над линией основания.

Маркировка пиктограмм

Если программа позволяет вам выделять подгруппы наблюдений, то это свойство можно использовать и для маркировки соответствующих пиктограмм. При этом вокруг выделенных пиктограмм будут нарисованы рамки.

Шаблоны рамок, идентифицирующих заданные подгруппы, будут показаны в условных обозначениях рядом с текстом соответствующих условий выбора наблюдений. На следующем графике показан пример маркированных подгрупп.

Все наблюдения, удовлетворяющие условию для подгруппы 1 (значение переменной Iristype равно значению переменной Setosa и номер наблюдения меньше 100), обозначены специальной рамкой вокруг пиктограммы.

А все наблюдения, которые удовлетворяют условию для подгруппы 2 (значение переменной Iristype равно значению переменной Virginic и номер наблюдения меньше 100), обозначены на графике рамкой другого цвета.

Выборка данных

Иногда отображение на графике слишком большого числа точек данных затрудняет изучение их структуры (см. следующий рисунок). Если файл данных слишком большой, то имеет смысл показать на графике лишь подмножество наблюдений, чтобы общая картина не была скрыта маркерами точек.

Некоторые программы предлагают методы выборки (или оптимизации) данных, которые в ряде случаев могут оказаться весьма полезны. При этом пользователь может задать целое число n, меньшее числа наблюдений в файле данных, а программа случайным образом выберет из этого файла приблизительно n допустимых наблюдений и именно их построит на графике.

Заметим, что такие методы сокращения набора данных (или размера выборки) эффективно отображают случайную структуру этих данных. Очевидно, эти методы принципиально отличаются от методов выделения конкретного подмножества или подгруппы наблюдений с помощью определенных критериев (например, по полу, области или уровню холестерина). Последние можно применять интерактивно (например, в режиме динамического закрашивания) или каким-либо другим способом (например, на категоризованных графиках или с помощью условий выбора наблюдений). Все эти методы в равной мере могут помочь в идентификации сложной структуры большого набора данных.

Вращение (в трехмерном пространстве)

Изменение угла зрения при отображении трехмерной диаграммы рассеяния (простой, спектральной или пространственной) может оказаться эффективным средством для выявления некоторой структуры, которая видна только при определенном повороте «облака» точек (см. следующий рисунок).

Некоторые программы предоставляют полезный инструмент для интерактивного изменения перспективы и вращения изображения. Эти средства контроля изображения позволяют подобрать подходящий угол зрения и перспективу, чтобы найти наиболее удачное расположение «точки зрения» на график, а также дают возможность управлять его вращением в горизонтальной и вертикальной плоскости.

Эти инструменты могут оказаться весьма полезными не только при начальном разведочном анализе данных, но и при исследовании факторного пространства (см.Факторный анализ) или пространства размерностей (см. Многомерное шкалирование).

Все права на материалы электронного учебника принадлежат компании StatSoft

Векторная графика достоинства, недостатки, применение

7167302. 10.2019

Все графические файлы можно разделить на две большие группы: растровые и векторные. В данной статье рассмотрим более подробно вторую группу.

• 1. За счет чего векторные рисунки можно изменять без ущерба качеству?
• 2. Недостатки векторных рисунков
• 3. Программы, работающие с векторной графикой

За счет чего векторные рисунки можно изменять без ущерба качеству?

Изображения, которые образуются при помощи различных линий (векторов: прямых и изогнутых), называются векторными. Такое строение элементов позволяет изменять любые параметры: размер, вариант окрашивания, форму. Главное достоинство векторной графики – возможность изменения размеров изображения без потери качества картинки. Это значительно упрощает работу с графикой и повышает качество конечного результата.

Любые данные, в том числе и данные о простейших графических объектах, хранятся в памяти компьютера в виде различных математических формул. При масштабировании векторных изображений происходит пересчет этих формул и такие визуальные элементы, как линия, окружность или любая другая геометрическая фигура, остаются неизменными. Таким же остается и качество картинки в целом.

Кроме того, размер файлов, в которых содержатся векторные изображения, значительно меньше, чем файлы с растровой графикой такого же качества, даже если речь идет об изображении значительного размера с хорошей детализацией.

Дополняет достоинства векторной графики работа как с отдельными примитивными объектами, так и наличие возможности объединять их в группы, сливать, обрезать и выполнять еще очень большое количество различных действий. Изображение при этом является послойным, как в растровом редакторе Фотошоп. Это все лишь основные достоинства векторной графики.

Недостатки векторных рисунков

1. Отсутствие возможности создавать реалистичную картинку, близкую по качеству к фотографии, это значительно уменьшает применение векторной графики.
2. Обширная библиотека фильтров, которые создают интереснейшие эффекты при работе с растровыми картинками, в случае работы с кривыми абсолютно бесполезны.
3. В отличие от растровых изображений, файлы, содержащие картинки в векторе, можно редактировать только в той программе, в которой они были созданы изначально; но из этого правила есть исключения, существуют универсальные форматы, они изменяются в большинстве векторных редакторов.

Пример векторной графики

Программы, работающие с векторной графикой

Существуют различные программы и редакторы, которые позволяют работать с векторными изображениями. Возможности их очень широкие: они могут создавать сложные рисунки при помощи простых геометрических фигур, позволяют придать этим изображениям объем, работать с текстом, позволяя изменять его тем или иным образом.

Есть несколько основных инструментов, которые присутствуют практически во всех программах, работающих с векторной графикой:

• кривая Безье – инструмент, позволяющий изменять форму линий, создавать фигуры любой формы, за счет работы с узловыми точками и проходящими через них касательными линиями;
• заливка – позволяет заполнять цветом замкнутые объекты любой формы, так же дает возможность создавать произвольные градиенты, которые делают работу с цветом более интересной;
• текст – возможности графических редакторов позволяют создавать из обычных слов художественные объекты: распределять слова вокруг определенных фигур, менять интервалы между буквами или строками, при переведении текстовой информации в кривые, шрифт не будет искажаться, даже если у другого пользователя он отсутствует;
• в программе существует набор простейших фигур, который значительно облегчает создание рисунка;
• сохраняется возможность «рисования» — инструмент-карандаш повторяет движение руки, полученный таким образом рисунок можно редактировать при помощи кривой Безье.

Пример растровой графики

В последнее время некоторые растровые редакторы предоставляют своим пользователям совершать определенные действия и с векторными объектами, а векторные программы дают возможность немного изменять растровые изображения, но эти возможности крайне ограничены и не дают всех тех эффектов, которых можно достичь редактируя изображение в соответствующей программе.

Самые популярные «векторные» программы — Adobe Illustrator, CorelDraw, Adobe FreeHand.

Векторный и растровый формат изображения отличаются друг от друга не только особенностями обработки и редактирования. Применение векторной графики ограничено в основном областью полиграфии: логотипы, иллюстрации, технические рисунки и схемы. Растровая же графика применяется значительно шире.

Начальная загрузка графов знаний из изображений и текста

1.

Человеческим младенцам, по-видимому, легко научиться рассуждать об отношениях между любыми двумя объектами. Младенцы демонстрируют эту способность, потому что они учатся понимать мир и усваивают язык, интегрируя кросс-модальную информацию. В частности, они не только изучают референты в языке путем статистического сопоставления слов с появлением объектов в окружающей среде, но также начинают понимать характеристики и возможности объектов. Однако системы ИИ обычно разрабатываются на основе отдельных модальностей или задач с ограниченным доступом к контексту. Поскольку важным аспектом современных систем ИИ является изучение соответствующих представлений для назначенных задач, кажется особенно важным отразить кросс-модальное обучение также в изучении этих представлений. Для изучения реляционных представлений рассмотрим следующий пример. В Девочка со спичками Сон Ганса Христиана Андерсена написал:

На столе была расстелена белоснежная скатерть; на нем стоял великолепный фарфоровый сервиз, а жареный гусь с начинкой из яблок и чернослива лихо дымился.

Либо из текста, либо из изображения, фиксирующего сцену (Рисунок 1), нетрудно заключить, что Скатерть находится на столе, а яблоко находится внутри гуся, который находится на фарфоровом блюде, поставленном на скатерть. Теперь давайте зададим другой вопрос: какова связь между Apple и Table? На рис. 2 показана цепочка рассуждений.

Рисунок 1 . Сцена ¹ .

Рисунок 2 . Результирующий семантический граф сцены из сна Андерсена «Девочка со спичками ».

Для нас, людей, это не требует особых усилий, даже младенцы могут получить ответ On. Однако современные вычислительные архитектуры почти не поддерживают его, даже для ограниченных целей.

Описанный выше процесс можно в более широком смысле описать как извлечение отношения, которое заключается в определении отношения между объектами (сущностями), которые появляются в текстовом абзаце или в визуальной сцене. Мы сосредоточимся на проблеме извлечения условного отношения, которое генерирует граф относительно определенного абзаца или изображения, где каждое ребро представляет экземпляр отношения (субъект, объект, отношение) , например (Apple, Table, On). Мы называем полученный граф «Семантический граф» для текстовых абзацев (Сорокин и Гуревич, 2017) и «Граф сцены» для визуальных изображений (Сюй и др., 2017) соответственно. Объединяя извлечение текстовых и визуальных отношений, нас особенно интересуют зависимости между обеими модальностями и то, как синергия приводит к более надежному обучению представлению. Кроме того, извлечение отношений имеет множество потенциальных применений, включая ответы на вопросы (Xu et al., 2016), проверку фактов (Vlachos and Riedel, 2014), устранение неоднозначности смысла слов (Okamoto and Ishizaki, 2007) и обобщение документов (Hachey, 2009).).

В новейшей литературе (Sorokin and Gurevych, 2017; Xu et al., 2017) создание графов знаний (KG) разбивается на две фазы: (1) обнаружение сущностей (или объектов) как узлов и ( 2) извлечение отношений между сущностями как ребер. Первый этап можно свести к распознаванию именованных объектов для текстовых абзацев (Lample et al., 2016) или обнаружению объектов для изображений (Ren et al. , 2015). Обычно более сложной частью, которой уделяется больше внимания, является то, как определить отношения между объектами, и обычно это рассматривается как проблема классификации. Критическое различие между извлечением отношений и типичными задачами классификации [например, классификация изображений (Крижевский и др., 2012) или вывод на естественном языке (Боуман и др., 2015)] заключается в существовании зависимостей между экземплярами отношений. То есть два объекта, даже если они разделены в пространстве, могут образовывать отношения, когда они оба связаны с одним или несколькими другими объектами (в приведенном выше случае Apple и Table взаимодействуют со Tablecloth, Dish и т. д.).

Чтобы решить эту проблему, мы расширяем второй шаг — извлечение отношений между объектами — применяя набор дифференцируемых логических правил для извлечения дополнительных отношений на основе текущего KG. Отметим, что процесс прогнозирования неизвестных отношений на основе текущего (неполного) KG имеет некоторые общие черты с завершением графа знаний (KGC). Модуль рассуждений нашей модели предсказывает неизвестные отношения, применяя логические правила первого порядка, которые можно естественным образом заменить предыдущими методами KGC. Тем не менее, большинство предыдущих подходов для KGC завершаются изучением представлений сущностей и отношений и рассмотрением отношений как переводов между сущностями (Bordes et al., 2013; Wang et al., 2014; Ji et al., 2015; Lin et al., 2015). др., 2015). Напротив, мы применяем логические рассуждения, основанные на правилах, чтобы найти неизвестные отношения, подобно Янгу и др. (2017). Однако, хотя модель Янга и соавт. (2017) работает только для глобального KGC, наш подход находит неизвестные отношения контекстуальным образом.

Неформально, учитывая набор сущностей, определение отношения между ними можно рассматривать как смесь двух подзадач: (1) извлечение первичных отношений из входных данных и (2) завершение KG с рассуждениями. Первичные отношения в основном буквальные, как, например, в примере со спичками (Скатерть, Стол, На). С другой стороны, завершение KG требует рассуждений об этих первичных отношениях и разрешения зависимостей или корреляций.

В прошлом было показано, что методы, основанные на нейронных сетях, успешно решают широкий круг задач в различных областях (LeCun et al., 2015). Отдельные подходы пытаются устранить зависимости между экземплярами отношений путем моделирования других отношений как «контекста» конкретных парных сущностей. В этом направлении был проведен ряд исследований, таких как кодирование на основе внимания (Сорокин и Гуревич, 2017) или передача сообщений на основе графа (Xu et al., 2017). На рисунке 3 слева показана общая структура для экстракторов отношений на основе нейронных сетей. У таких контекстных кодировщиков есть несколько недостатков:

1. С систематической точки зрения, хотя нейронные сети являются полными по Тьюрингу (Siegelmann and Sontag, 1995) и могут быть подключены для имитации любой компьютерной схемы, на практике они больше подходят для обработки ассоциаций, чем правил. Например, начиная с (Фодор и Пилишин, 1988 г.), ведутся длительные дебаты по проблеме систематичности (например, понимания рекурсивных систем) в таких коннекционистских моделях (Фодор и Маклафлин, 1990 г.; Хэдли, 1994 г.; Янсен и др.). Вода, 2012). В случае извлечения отношений рассуждения обычно выполняются цепным или рекурсивным способом (например, рассмотрим отношение между Apple и Table в примере девушки со спичками), которое контекстные автокодировщики не воспроизводят.

2. С точки зрения реализации извлечение отношений требует обработки реляционных данных высокого порядка и кванторов. Например, чтобы применить транзитивность: (Скатерть, Стол, На) ∧ (Фарфор, Скатерть, На) ⇒ (Фарфор, Стол, На), нам нужно рассмотреть отношение между тройкой символов (Стол, Скатерть, Фарфор) . Это выходит за рамки типичных нейронных сетей с графовой структурой (Kipf and Welling, 2016).

3. В большинстве наборов данных распределение отношений неравномерно и имеет длинный шлейф из редко встречающихся отношений между конкретными объектами. Подходы, основанные исключительно на нейронных сетях, имеют проблемы с изучением этих редких троек объектных отношений из-за ограниченного количества вхождений в обучающих данных и часто не могут обобщить их на объекты, не замеченные во время обучения. Напротив, используя индуктивное рассуждение, мы можем включить предыдущие знания о характеристиках отношений в процесс генерации KG, чтобы помочь извлечь редкие отношения и повысить обобщаемость. Индуктивное рассуждение может быть особенно эффективным для транзитивных отношений [например, геометрических (левое, правое) или притяжательных (является частью) отношений], которые составляют большинство отношений во многих наборах данных (Zellers et al., 2018). Многие наборы данных фактически пропускают метки для взаимосвязей, возникающих в данных, из-за неполной маркировки (Wan et al., 2018), а это означает, что модели, обученные исключительно на (помеченных) данных, не узнают об этих взаимосвязях.

4. Недавняя работа также указывает на то, что чисто нейронные подходы не обобщают изученные отношения (например, пространственные), по крайней мере, не в области зрения (Kim et al. , 2018; Bahdanau et al., 2019). Это означает, что простые выученные отношения, такие как «слева от», обычно не обобщаются на новые комбинации объектов. В настоящее время единственным способом обобщения этих нейронных архитектур является использование идеальной архитектуры модели, специально адаптированной для предметной области (набора данных), такой как оптимально построенные сети нейронных модулей (Andreas et al., 2016). Это сложно, потому что для этого нам нужно идеальное знание данных и отношений, что невозможно для реальных наборов данных. Наша гипотеза состоит в том, что логические рассуждения имплицитно лучше подходят для обработки обобщений отношений, поскольку это символический подход и моделирует отношения независимо от объектов, к которым они относятся.

5. Еще одна проблема заключается в том, что в области зрения обработка обычно выполняется с помощью сверточных нейронных сетей (CNN), которые выполняют только локальные рассуждения на уровне пикселей (Chen et al., 2018), что затрудняет извлечение отношений между объектами. что далеко друг от друга. Однако, особенно для транзитивных отношений (которые можно извлечь с помощью логических правил), очень распространены большие расстояния (в пространстве пикселей) между объектами.

Рисунок 3 . Иллюстрация сравнения типичных экстракторов отношений на основе нейронных сетей и предлагаемого экстрактора гибридных отношений. (Слева) Общая структура для типичных экстракторов отношений на основе нейронных сетей. Зависимости или корреляции между экземплярами отношения моделируются путем рассмотрения других отношений как «контекста». Пунктирные соединения обозначают межпарные соединения, которые могут включать механизм внимания (Sorokin and Gurevych, 2017) или передачу сообщений (Xu et al., 2017). (Справа) Предлагаемый экстрактор гибридных отношений (HRE) работает итеративно. Когда селектор пар взаимодействует с предиктором, он естественным образом разрешает зависимости или корреляции между экземплярами отношения. Модуль прогнозирования пар работает с моделью индукции отношений, основанной на объяснительных логических правилах. Подробнее см. в разделе 3.

Чтобы решить вышеуказанные проблемы, в этой статье мы предлагаем гибридный конструктор KG, который объединяет две процедуры в унифицированную структуру и создает KG с нуля, используя визуальную или текстовую информацию. Как более подробно описано в разделе 3, мы используем (1) средство извлечения нейронных отношений, обнаруживающее первичные отношения из входных данных, и (2) модель дифференцируемого индуктивного логического программирования (Muggleton, 1991), которая итеративно завершает KG. Мы предлагаем экстрактор нейронных отношений в качестве ключевого элемента, потому что отношения между сущностями обычно тесно переплетены в рамках высокой размерности, а нейронные сети особенно хороши в изучении распределенных представлений. С другой стороны, элемент системы программируемой логической индукции особенно силен в извлечении структуры фактов из естественного языка и изображений. В этой структуре отношения между объектами обнаруживаются совместными усилиями нейронного модуля, а также логического модуля.

В ходе обширных экспериментов в разделе 4 мы сравниваем нашу структуру с базовыми уровнями извлечения сильных отношений как в текстовой, так и в визуальной областях, в наборе данных на основе Викиданных и наборе данных Visual Genome соответственно. Эмпирические результаты показывают превосходство и гибкость предложенного нами метода. Более того, мы показываем значительный выигрыш по сравнению с базовыми показателями и другими предыдущими работами в подмножестве базы данных, которое содержит плотные графы ² , т. е. большее, чем среднее, количество отношений на пару сущностей. Мы обсуждаем родственные работы в разделе 2 и делаем выводы в разделе 5.

2. Связанные работы

Извлечение отношений является важной задачей и необходимо для получения подробного понимания текстов или изображений. Далее мы сначала опишем современные подходы к извлечению отношений из текстовых данных, а затем продолжим описание извлечения отношений из изображений.

2.1.

Извлечение отношений широко используется для получения структурированных знаний из простого текста. Полученные в результате структурированные реляционные факты имеют решающее значение для понимания крупномасштабных корпусов и могут использоваться для автоматического заполнения отсутствующих фактов в KG. Ранние методы извлечения нейронных связей, как правило, пытались использовать контролируемую парадигму (Zeng et al., 2014; Nguyen and Grishman, 2015; Santos et al., 2015) и в значительной степени полагались на наборы данных, помеченные человеком. Однако аннотирование этих наборов данных является трудоемким и требует много времени. Последние методы извлечения отношений решают эту проблему, создавая крупномасштабные обучающие данные с помощью удаленного наблюдения. Однако предположение о дистанционном наблюдении очень сильное и часто вносит шум. Была проделана большая работа, чтобы облегчить проблему неправильной маркировки в дистанционном наблюдении и извлечь глобальные отношения между двумя объектами из нескольких поддерживающих предложений (Riedel et al. , 2010; Zeng et al., 2015; Lin et al., 2017). ; Фэн и др., 2018; Цинь и др., 2018). В последнее время многие подходы также исследуют извлечение отношений между сущностями на уровне предложения в богатом контексте (Сорокин и Гуревич, 2017; Цзэн и др., 2017; Кристопулу и др., 2019).; Чжу и др., 2019).

Минц и др. (2009) предлагают дистанционное наблюдение для автоматического создания крупномасштабного набора данных для извлечения отношений путем сопоставления простого текста с графами знаний. Предположение о дистанционном надзоре состоит в том, что все предложения, содержащие объект, будут выражать соответствующее отношение в KG. Цзэн и др. (2015) дополнительно формулируют извлечение отношений с дистанционным наблюдением как задачу обучения с несколькими экземплярами, где наборы экземпляров состоят из нескольких предложений, содержащих пару объектов, и принимают во внимание неопределенность метки экземпляра, выбирая наиболее надежный поддерживающий экземпляр для предсказания отношения. Лин и др. (2017) предлагают получать представления мешков с помощью семантической композиции экземпляров, где веса экземпляров определяются избирательным вниманием. Фэн и др. (2018) предлагают фильтровать случаи ложноположительных отношений с помощью обучения с подкреплением. Цинь и др. (2018) предлагают состязательную структуру, которая совместно обучает генератор и дискриминатор отличать экземпляры ложноположительных отношений от удаленного наблюдения.

Сорокин и Гуревич (2017) определяют отношение на уровне предложения между парами сущностей в богатом контексте. Они предсказывают отношения между каждой парой сущностей, рассматривая все другие возможные пары сущностей в том же предложении в качестве контекста и моделируя корреляцию отношений с помощью механизма внимания. Кристопулу и др. (2019) моделируют контекст пары сущностей путем итеративного агрегирования путей обхода между целевой парой сущностей на графе и достигают сопоставимых результатов без использования внешних лингвистических инструментов. Чжу и др. (2019) моделировать неявные рассуждения посредством передачи сообщений между парами объектов контекста. В этой работе мы также сосредоточимся на извлечении отношений на уровне предложений. Принципиальное отличие состоит в том, что мы последовательно извлекаем отношения внутри предложения или абзаца, чтобы явно смоделировать структуру рассуждений об отношениях. Цзэн и др. (2017) явно используют специальное логическое правило первого порядка для моделирования зависимостей отношений внутри предложения. Важным отличием нашей модели является то, что мы можем моделировать общие, а также длинные цепочки рассуждений, рекурсивно применяя правила.

2.2. Извлечение отношений из изображений

Чтобы понять и рассуждать о контексте изображения, нам нужна не только информация об объектах в сцене, но и об отношениях между этими объектами. Таким образом, выделение взаимосвязей между объектами (например, внутри/на/под, поддержка и т. д.) дает лучшее понимание сцены по сравнению с простым распознаванием объектов и их индивидуальных свойств (Elliott and de Vries, 2015). Хотя отношения можно прогнозировать попарно (Chao et al., 2015; Ramanathan et al., 2015), большая часть текущих работ сосредоточена на создании ориентированного графа, обычно называемого графом сцены (Johnson et al., 2015; Xu и др., 2017; Чжан и др., 2017). Графы сцен — это способ структурированного представления контекста изображения для повышения производительности таких задач, как визуальные ответы на вопросы или поиск изображений. Существующие генераторы графов сцен обычно расширяют структуру обнаружения объектов, которая сначала определяет ограничивающие рамки для объектов, затем извлекает визуальные признаки и классифицирует объекты внутри ограничивающих рамок и, наконец, параллельно предсказывает отношения между объектами. Одна из проблем заключается в том, что количество возможных отношений растет экспоненциально с количеством объектов на изображении. Это усложняет вычисление всех возможных взаимосвязей. Поэтому многие подходы работают над тем, чтобы исключить маловероятные отношения из графа или сосредоточиться только на наиболее вероятных отношениях с самого начала.

Ли и др. (2017) объединяют три задачи — обнаружение объектов, создание графа сцены и создание подписей к регионам — и показывают, что одновременное изучение всех трех задач приводит к повышению общей производительности, поскольку изученные функции могут быть общими для разных задач. Сюй и др. (2017) предлагают сквозной обучаемый подход для создания графа сцены на основе изображений, который состоит из категорий объектов, ограничивающих рамок для отдельных объектов и отношений между парами объектов путем итеративного уточнения его прогнозов. Лян и др. (2017) выполняют прогнозирование вместе с обходом графа, по существу, последовательно. Однако он принимает во внимание только два последних результата прогнозирования и, таким образом, не может выполнять общие логические индукции на основе частичного результата вывода.

Ли и Гупта (2018) учатся преобразовывать представления 2D-изображения в графическое представление, где узлы представляют области изображения, а ребра моделируют сходство между этими областями изображения, в то время как Чен и соавт. (2018) вводят структуру графа специально для облегчения рассуждений между областями, которые находятся далеко друг от друга на изображении. Ян и др. (2018) делают создание графа сцены более удобным и эффективным за счет использования сети предложений отношений, которая определяет вероятные ребра в графе сцены, и сверточной сети графа для обновления объектов и их отношений на основе соседей объектов. Ву и др. (2018) предлагают модуль реляционного встраивания для совместного представления связей между всеми объектами вместо того, чтобы сосредотачиваться на объектах по отдельности.

В связи с нашим подходом Wan et al. (2018) работают над завершением существующих графов сцен с учетом изображения и соответствующего графа сцены. Однако они не используют логические рассуждения, а вместо этого используют нейронную сеть для извлечения неопознанных отношений между существующими узлами в графе сцены, чтобы получить улучшенные графы сцены с более точными отношениями. Однако этот подход по-прежнему полностью зависит от данных, и поэтому неясно, как он справляется с длинным хвостом редко встречающихся отношений и как он обобщается на новые тройки объектных отношений.

Зеллерс и др. (2018) отмечают, что метки объектов в значительной степени предсказывают метки отношений (но не наоборот), и используют это понимание для разработки как новой базовой линии, так и сети, которая принимает это во внимание путем постановки прогнозов ограничивающих рамок, идентичности объектов (в ограничивающих рамках). ), и отношения в иерархическом порядке. Чен и др. (2019) показывают, что использование знаний о корреляциях между объектами и связанными отношениями может быть явно представлено в KG. Затем новая сеть маршрутизации облегчает создание графа сцены, используя предварительные статистические знания о взаимодействии объектов и отношений.

Гу и др. (2019) включают знания здравого смысла в процесс создания графа сцены с помощью внешнего KG, а Qi et al. (2019) используют лингвистические знания для повышения эффективности обнаружения семантических отношений с помощью модуля семантического преобразования для сопоставления визуальных характеристик и встраивания слов в общее семантическое пространство. До сих пор большая часть работ по извлечению графов сцен из изображений основывалась исключительно на обучении на основе данных с помощью нейронных сетей. Это создает проблемы с масштабируемостью (особенно для изображений со многими объектами) и страдает от длинного хвоста отношений в обучающих данных, который трудно изучить для подходов на основе нейронных сетей. Кроме того, неясно, способны ли эти подходы обобщать изученные отношения в новых условиях. Напротив, наш подход сочетает в себе нейронные сети, управляемые данными, с дифференцируемой моделью, которая применяет логические правила для извлечения отношений. Это позволяет нам вводить в нашу модель предварительные знания об определенных отношениях (например, транзитивности), что может помочь с обобщаемостью (поскольку отношения теперь отделены от объектов), масштабируемостью (мы можем эффективно оценивать изученные правила) и длинным хвостом отношения в обучающих данных (как только правило кодирует одно из этих отношений, мы можем легко применить его и к другим объектам).

3. Методы

Мы строим наш экстрактор гибридных отношений (HRE), объединяя экстрактор нейронных отношений, обнаруживающий первичные отношения из входных данных, и модель на основе индуктивной логики, которая итеративно завершает KG. Показанная на Рисунке 3 справа структура работает итеративно и выявляет отношения за счет совместной работы нейронного модуля и логического модуля. Как обсуждалось в предыдущем разделе, при моделировании рассуждений об отношениях возникают две основные проблемы:

1. Цепочки или рекурсии. Мы разрешаем зависимости между отношениями путем итеративного обнаружения ребер. В частности, мы предлагаем использовать селектор пар, работающий совместно с предсказателем отношений.

2. Высокий порядок и квантификаторы. Мы моделируем рассуждения об отношениях с помощью модели дифференцируемого индуктивного логического программирования (ILP) (Muggleton, 1991). Модель обнаруживает вероятностные правила из примеров с помощью индуктивных рассуждений.

В остальной части бумаги пишем ( субъект, объект, отношение ) для обозначения определенного реляционного триплета, в то время как rel ( объект , субъект ) используется для обозначения распределения по отношениям для пары сущностей, а rel ( объект, субъект ) _i есть вероятность того, что отношение i будет истинным. Теперь мы начнем знакомство с моделью с обзора.

3.1. Обзор фреймворка

Мы строим наш фреймворк на основе извлеченных сущностей либо с помощью алгоритмов распознавания именованных сущностей (Lample et al., 2016), либо с помощью детекторов объектов (Ren et al., 2015). В частности, для каждого абзаца или изображения мы сначала используем детекторы сущностей, чтобы найти все сущности и локализовать их. В случае текстового абзаца мы сопоставляем все токены и фразы в абзацах с сущностями, появившимися в наборе данных Викиданных. В случае визуального изображения мы используем Faster-RCNN (Ren et al. , 2015), современный детектор объектов на основе CNN, чтобы найти все объекты и определить их метки классов. Подробный анализ набора данных и предварительная обработка см. в разделе 4.

После предварительной обработки экстрактор отношений принимает все возможные пары сущностей в качестве входных данных и присваивает каждой паре соответствующие отношения. Как показано на рис. 3, HRE содержит два модуля, селектор пар и предиктор отношения, и работает итеративно раз. На каждом временном шаге селектор пар просматривает все пары P-=(si,oi)i=0k- из (субъект, объект) , которые не были связаны отношением, и выбирает следующую пару сущностей р ^* = ( s ^* , o ^* ), отношение которых необходимо определить. Предсказатель отношения использует информацию, содержащуюся во всех парах P+=(si,oi,r)i=0k+, отношения которых были определены, и контекстную информацию (из необработанных текстов или изображений) пары p ^* , чтобы сделать предсказание отношения. Затем результат прогноза добавляется к P ⁺ и дает преимущества для будущих прогнозов.

Селектор пар и предиктор отношений работают совместно и фокусируются на разных подзадачах задачи. Цель предиктора — использовать уже определенные отношения, чтобы сделать правильный прогноз для следующей пары сущностей. Селектор, с другой стороны, работает как сотрудник предсказателя с целью выяснить следующее отношение, которое должно быть определено. В идеале выбор p ^* , сделанные селектором, должны удовлетворять условию, что все отношения, которые повлияют на предсказание предиктора на p ^* , должны быть отправлены предсказателю раньше p ^* .

3.2. Relation Predictor

Relation Predictor состоит из двух модулей: нейронного модуля, предсказывающего отношения N между сущностями на основе заданного контекста (т.0005 P ⁺ (множество пар, отношения которых уже определены). Оба модуля предсказывают отношение между парой объектов s ^* и o ^* по отдельности как relN(s*,o*) и relL(s*,o*). Эти прогнозы представляют собой классификации по категориальному распределению всех отношений: relN(s*,o*)i=Pr[relN(s*,o*)=i] и relL(s*,o*)i=Pr[relL( с*,о*)=i]. Выходной прогноз для пары p ^* представляет собой смесь ³ двух отдельных прогнозов:

отн(s*,o*)i∝relN(s*,o*)i×relL(s*,o*)i.

Экстрактор нейронных отношений rel _N зависит от предметной области. Оставляем реализацию rel _N на экспериментальный раздел (раздел 4). В реальных приложениях этот модуль можно заменить любой совместимой реализацией. Далее мы представляем нашу модель L для рассуждений КГ, которая представляет собой дифференцируемый вариант индуктивного логического программирования (Muggleton, 19).91).

Мы разрабатываем программируемый модуль для рассуждений КГ, который сильно мотивирован предыдущими работами по индуктивному логическому программированию (ILP) (Muggleton, 1991) и его современным расширениям (Kersting et al. , 2000; Richardson and Domingos, 2006; Kimmig et др., 2012). ILP фокусируется на проблеме того, как обнаружить правила из известных фактов и применить их для вывода неизвестных фактов.

Чтобы получить интуитивное представление о том, как работает ПИЖ, возьмем в качестве примера сон Девочки со спичками . Нам нужна модель, способная выполнять логическую дедукцию:

(Скатерть, Стол, На) ∧ (Фарфор, Скатерть, На) ⇒ (Фарфор, Стол, На).

Это логическое правило может быть записано в виде определенного предложения :

(x,y,On)∧(y,z,On)⇒(x,z,On),

, где x, y , и z — это переменные, которые можно заменить ( заземление ) любыми объектами, такими как Скатерть, Стол и Фарфор.

ILP — это общая среда программирования, обеспечивающая более высокий уровень абстракции логических правил. Например, вышеприведенное логическое правило может быть получено ( экземпляр ) следующим метаправилом в ILP:

r1=rel(s*,x)∈P+∧ r2=rel(x,o*)∈P+⇒ rel(s*,o*)= r3. (1)

При реализации метаправила r ₁ , r ₂ и r ₃ будут реализованы как (On, On, On, On, On, On, ). Другой возможный экземпляр может быть (Inside, On, On). Интуитивно тройка сущностей ( s ^* , x, o ^* ) по существу образует «треугольник отношений», и мы используем два уже известных нам ребра — ( s ^* , x ) и ( x , o ^* ) — для определения последнего ребра ( s ^* , o5 * ).

Практически основная логика является вероятностной логикой. То есть мы будем говорить

Pr[r3=rel(s*,o*)]∝Pr[r1=rel(s*,x)] × Pr[r2=rel(x,o*)]                        × confidence( r1,r2,r3),

где достоверность ( r ₁ , r ₂ , r ₃ ) — достоверность (плавающее число), связанная с примененным правилом. Мы реализуем логическое индукционное программирование дифференцируемым образом. Если явно не указано иное, все правила выводятся из уравнения (1) в этой статье. Во время вывода прогнозируются отношения между всеми парами сущностей. Таким образом, длинная цепочка рассуждений (например, Стол, Скатерть, Блюдо, Гусь в сне Девочки со спичками ) может быть решена с помощью нескольких шагов примитивной логической дедукции. В этом случае простого «треугольного» логического правила (уравнение 1) достаточно, чтобы разрешить длинную цепочку рассуждений.

Учитывая набор правил R, конкретизированный из предварительно запрограммированного набора метаправил, мы перечисляем все правила и вычисляем окончательный прогноз из модуля индуктивной логики L как:

relL(s*, o*)i ∝ maxrule∈ ℛ rule(s*,o*;P−)i                        ∝ maxj,k,x(rel(s*,  x)j × rel(x, o*)k × доверие(j,k,i))

тензор достоверность , как представление логических правил, оптимизируется посредством обратного распространения во время обучения.

При заданном наборе экземпляров отношения вышеупомянутое логическое правило — это всего лишь один из вариантов выполнения индукции. На практике можно разработать собственные правила на основе характеристик набора данных или базового приложения. В разделе экспериментов мы показываем, что система совместима с другими правилами и дает разные результаты.

3.3. Селектор пар

Селектор пар работает вместе с модулем прогнозирования отношений и выбирает пары субъект-объект для прогнозирования. На каждом временном шаге селектор пар просматривает все пары отношений в P-=(si,oi)i=0k-, отношения которых не были определены, и выводит индекс i ∈ [ k ₋ ] = {0, 1, ⋯ k ₋ } в качестве индекса для пары сущностей, отношение которых будет добавлено к P ⁺ предиктором на этом временном шаге.

Мы реализуем селектор пар как жадный селектор, который всегда выбирает пару сущностей из P ⁻ для добавления к P ⁺ в качестве пары сущностей, в прогнозировании которых предиктор отношений наиболее уверен. Вероятность выхода предиктора отношения Pr( r = rel ( s ^* , o ^* )) (раздел 3.2) можно интерпретировать как его достоверность для присвоения отношения

5 r0006 в пару ( s ^* , o ^* ):

conf(s*,o*)=maxr Pr(r=rel(s*,o*)).

Таким образом, для того, чтобы выбрать пару, относительно которой предиктор отношения является наиболее уверенным, селектор пар выбирает i таким образом, что:

i=maxiconf(si,oi).

4. Эксперименты и результаты

Мы оцениваем нашу модель на задачах для двух модальностей: извлечения текстовых и визуальных отношений. Наша цель — изучить, как на извлечение гибридных отношений влияет различное кодирование и как оно масштабируется для различной сложности. Наши эксперименты показывают, что он заметно превосходит другие подходы при работе с плотными графами сущностей.

4.1. Извлечение текстовых отношений

4.1.1. Кодирование пары сущностей в тексте

Напомним, что нам нужно предсказать отношение для каждой возможной пары сущностей. Для задачи извлечения текстовых отношений мы кодируем признаки пары сущностей, следуя Сорокину и Гуревичу (2017), как показано на рисунке 4. Сначала мы предварительно обрабатываем предложение и запускаем распознавание названных сущностей, чтобы найти все соответствующие сущности. Затем мы добавляем дополнительное вложение в качестве маркера, указывающего на все появления данной головы (субъекта, с e _s ) и хвост (объект, с e _o ) пары сущностей. Все остальные символы контекста помечены e _c . Вложения { e _s , e _o , e _c } инициализируются случайным образом совместно с моделью.

Рисунок 4 . Кодировщик для пар текстовых сущностей. Мы используем конкатенацию встраивания маркеров и встраивания слов с моделью LSTM (Hochreiter and Schmidhuber, 19).97; Greff et al., 2016) для кодирования функции.

Вложение маркера объединяется со словом встраивание (Pennington et al., 2014) и передается в двунаправленный LSTM (Hochreiter and Schmidhuber, 1997; Graves and Schmidhuber, 2005; Greff et al., 2016). Мы используем стандартный двунаправленный LSTM с одним слоем, 256 единиц LSTM, функцию активации TANH и коэффициент отсева 0,5 Srivastava et al. (2014). Окончательные результаты LSTM как прямого, так и обратного проходов объединяются в качестве окончательного кодирования для этой пары объектов. Мы применяем двухслойный многослойный персептрон, за которым следует слой softmax для функции извлечения нейронных отношений: отн. _N . Этот процесс повторяется для каждой возможной пары сущностей в предложении, т. е. n × ( n −1) раз для предложения с n пар сущностей.

4.

Мы представляем новый набор данных, сгенерированный из Викиданных (Врандечич и Крётч, 2014 г.), чтобы оценить нашу структуру в задаче извлечения текстовых отношений. Викиданные — это KG, в котором знания хранятся в виде структурированных троек (например, Земля, гора Эверест, самая высокая точка). Мы сопоставляем Викиданные со статьями англоязычной Википедии посредством дистанционного наблюдения (Минц и др., 2009 г.).; Цзэн и др., 2015 г.; Сорокин, Гуревич, 2017). Мы выбираем 86 наиболее часто встречающихся свойств (отношений) для формирования набора свойств.

Мы генерируем абзацы, соединяя два предложения, выбранные из одной и той же статьи. Выбранные предложения должны иметь хотя бы одну общую сущность. Это частично смягчает разреженность отношений. Для пар сущностей без отношения мы вручную помечаем их отношение как N/A (специальное отношение). Мы также отфильтровываем абзацы, содержащие менее 2 экземпляров положительных отношений. Следуя условиям предыдущей работы (Lu et al., 2016; Xu et al., 2017), в наших экспериментах мы случайным образом разделили набор данных на обучающий и тестовый наборы и настроили гиперпараметры всех моделей в тестовом наборе. . Мы вручную оцениваем 500 предложений из тестового набора и обнаруживаем, что 83,2% из них правильно помечены при дистанционном наблюдении. В таблице 1 показана статистика нашего набора данных.

Таблица 1 . Статистика набора данных, сгенерированного из Викиданных.

Набор данных, сгенерированный из Викиданных, очень разреженный в отношении экземпляров отношения: каждое предложение содержит в среднем только 2,7 экземпляра отношения, а доля экземпляров отношения в парах сущностей составляет менее 0,12. Чтобы лучше сосредоточиться на оценке способности нашей модели к рассуждению, мы выбираем плотный набор тестов, в котором могут быть выведены семантические графы ⁴ . В плотном подмножестве цепочки рассуждений встречаются значительно чаще, что требует, чтобы модель выполняла как обнаружение первичного отношения, так и рассуждение об отношении. Плотный тестовый набор покрывает ~ 2% всего набора данных. Мы принимаем кривую точности-отзыва, широко используемую метрику при извлечении текстовых отношений. k -я точка на кривой вычисляется по точности и полноте k лучших достоверных прогнозов. Мы также сообщаем о балле F ₁ (Goutte and Gaussier, 2005), который рассчитывается на основе среднего гармонического значения точности и полноты наиболее достоверных прогнозов каждой пары объектов. Особое отношение N/A не влияет на полноту, а только на точность.

Мы обучаем нашу модель на всем обучающем наборе и оцениваем производительность на плотном тестовом наборе. На рисунке 5 и в таблице 2 экспериментальные результаты показывают, что наша модель значительно превосходит базовые методы (всего rel _N ) на плотном тестовом наборе. Чтобы еще больше увеличить масштаб, мы сравним показатель полноты всех фреймворков с умеренной точностью (например, 0,8) в таблице 3. Сильный базовый уровень идентичен модели, использованной Сорокиным и Гуревичем (2017), и является ее повторной реализацией. ).

Рисунок 5 . Точность отзыва на плотном тестовом наборе.

Таблица 2 . F1 получает баллы на плотном тестовом наборе.

Таблица 3 . Вспомните с разными уровнями точности на плотном тестовом наборе.

Мы также показываем сопоставимый результат для всего набора тестов (рис. 6 и табл. 4). В этом случае логическая дедукция, по-видимому, приносит в результат как точные прогнозы, так и шум (обратите внимание на снижение точности, поскольку модель будет оштрафована, если обнаружит ложное срабатывание). Лучший способ включения логических правил в приложения на больших и разреженных KG оставлен для будущей работы.

Рисунок 6 . Точность отзыва на всем наборе тестов.

Таблица 4 . F1 получает баллы по всему набору тестов.

Включение новых правил

Мы также пытаемся включить новые правила в систему индукции. В частности, мы добавляем метаправило: r1=отношение(s*,x)∈P+⇒отношение(s*,o*)=r2. Интуитивно это моделирует логику, что если объект s ^* имеет отношение r ₁ с другим объектом x , то существует повышенная вероятность другого отношения r ₂ к любому другому объекту. объект или ^* . Например, если мужчина едет верхом, вероятность того, что он носит шляпу, возрастает. В более общем случае, когда объект поддерживает одно отношение, он, скорее всего, будет поддерживать и другие отношения. Экспериментальные результаты показали значительное увеличение отзыва, но снижение точности структуры. Это приводит к выводу, что логические правила, используемые системой, должны быть тщательно разработаны на основе базового приложения.

4.2. Извлечение визуальных отношений

4.2.1. Кодирование пар объектов в изображениях

На рис. 7 показана общая архитектура кодировщика пар визуальных объектов. Каждый объект отображается в виде ограничивающей рамки на визуальном изображении. Обнаружение, классификация и локализация выполняются с помощью структуры Faster-RCNN (Ren et al., 2015). Мы расширяем метод, предложенный Lu et al. (2016) для извлечения признаков F(s,o) пары объектов ( s, o ). Для получения нейронных отношений rel _N мы применяем двухслойный персептрон, за которым следует слой softmax на извлеченных функциях F(s,o).

Рисунок 7 . Кодировщик для пар визуальных объектов. Мы расширяем кодировщик Union Box, предложенный Lu et al. (2016) и добавьте характеристики объекта (что это такое) и его местоположение (где он находится) в вектор встраивания.

Чтобы эффективно закодировать признаки пары сущностей в распределенные представления F(s,o), мы извлекаем признаки субъекта, объекта и среды их взаимодействия. Обозначим feat в качестве извлеченных признаков всего входного изображения. Эти функции извлекаются с помощью сети VGG-16, предварительно обученной на MS-COCO (Xu et al., 2017). Элементы данной области, заданные ограничивающей рамкой, обозначаются как feat [ box ]. Эти функции получены с помощью операции объединения регионов интереса (ROI), введенной Girshick (2015). feat [ box _{{ s, o }} ] затем обозначает признаки отдельного объекта (предмет или объект), извлеченные из признаков изображения подвиг в заданном расположении ограничивающей рамки с операцией объединения ROI.

Мы моделируем среду взаимодействия пары сущностей с помощью блока объединения их ограничивающих прямоугольников box _s , box _o . Затем характеристики среды взаимодействия обозначаются как feat [ box _u ]. Подобно внедрению маркера при извлечении текстовых отношений, мы указываем местоположения субъекта и объекта в среде взаимодействия, добавляя маску к функциям после объединения ROI. Маска представляет собой бинарную матрицу той же формы, что и функция после объединения областей интереса в объединенной рамке. Каждый элемент функции после объединения ROI соответствует области сетки на исходном изображении. Тогда каждый ненулевой элемент маски соответствует Intersection-over-Union (IoU) ограничивающей рамки объекта и ограничивающей рамки бина. Формально индексы ненулевых элементов Ind ^{{ s, o }} даются:

Indi,j{s,o}=IoU(Region(boxu)i,j,box{s,o}),

где Region ( bo _{x u ) i, j} — соответствующая область на изображении сетки, расположенная в строке i и столбце 50006 окна ROI

6 j 90.

Формально, учитывая особенности предмета feat [ Box _S ], объект Feat [ Box _O ] и Union Feat [ Box _U ]. ( s, o ) пары объектов вычисляются следующим образом:

F(s,o)=feat[boxs] ⊗feat[boxo] ⊗feat[boxu] ⊗feat[boxu]⊗Inds ⊗feat[ boxu]⊙Indo,

, где ⊗ — операция конкатенации объектов, а ⊙ — поэлементное умножение.

4.2.2. Visual Genome

Visual Genome (Krishna et al., 2016) представляет собой набор данных, состоящий из 108 077 изображений. В среднем каждое изображение содержит 21,2 объекта и 17,7 экземпляра отношения. Из-за низкого качества аннотаций мы следуем Xu et al. (2017) для ручной очистки набора данных. Далее мы удаляем повторяющиеся отношения в каждом изображении. Окончательный набор данных содержит в среднем 11,0 отдельных объектов и 6,0 экземпляров отношений на изображение. Средняя доля отношений по парам сущностей составляет ~ 6%. Мы также генерируем плотный тестовый набор, который является подмножеством всего тестового набора, где доля отношений по парам сущностей составляет не менее 15%. Плотный тестовый набор содержит 2 361 изображение, в среднем 4,2 различных объекта и 5,3 отношения на изображение.

Следуя (Lu et al., 2016; Xu et al., 2017), мы используем Recall@k (R@k) для оценки моделей в задаче извлечения визуальных отношений. R@k измеряет долю правильных прогнозов среди 90 005 тыс. 90 006 надежных прогнозов. Мы не принимаем AP (средняя точность, которую можно рассматривать как площадь под кривой точности-отзыва) в качестве нашей оценочной метрики, потому что отношения не имеют исчерпывающей маркировки, как это проанализировано в Lu et al. (2016).

Как показано в таблице 5, оснащенный модулем логического вывода, мы получаем значительное улучшение по сравнению с базовыми показателями (всего отн _N ), а также другие существующие методы. Базовый уровень идентичен базовой модели, использованной в Xu et al. (2017), кроме экстрактора признаков. Производительность нашей базовой модели демонстрирует эффективность встраивания пары сущностей.

Таблица 5 . Экспериментальные результаты извлечения визуальных отношений на всем наборе тестов Visual Genome.

Интересно, что мы наблюдаем, что наша модель достигает почти одинаковой производительности с точки зрения метрики Recall@k на плотном и всем тестовом наборе. Поскольку метрика Recall@k не штрафует за ложноположительные предсказания отношения, шум, создаваемый модулем индукции, значительно снижается по сравнению с текстовым случаем.

4.3. Детали реализации

Для моделей извлечения визуальных отношений F _{сущность} имеет 512 каналов, а F _{объединение} имеет 256 каналов. Размер окна ROI Pooling установлен равным 7 × 7. Все полносвязные слои, кроме тех, которые используются в модели внимания, имеют 4096 каналов, соответствующих типичной структуре VGG-16. Мы используем 512-мерный вектор для представления вектора внимания e _i .

Для моделей извлечения текстовых отношений мы используем GloVe50 (Pennington et al., 2014) в качестве встраивания слов и 256 в качестве значения скрытого размера LSTM и полносвязных слоев.

Мы реализовали модель на основе пакета PyTorch с открытым исходным кодом (Paszke et al., 2017). Мы оптимизируем модель, включая кодировщик пары сущностей и предиктор отношений, сквозным образом с Адамом (Kingma and Ba, 2014) и используем кросс-энтропийную потерю для классификации отношений. Среднее время обучения составляет 0,17 с для одного предложения и 0,48 с для изображения на GeForce GTX 1080 Ti.

5. Заключение и будущая работа

Мы предложили новую модель последовательного прогнозирования для условного извлечения нейронных отношений, которая явно принимает во внимание ранее определенные или известные отношения пар сущностей для лучшего прогнозирования будущих отношений. Мы достигли этого с помощью системы индукции, основанной на правилах объяснительной логики. Экспериментальные результаты показывают превосходство предложенной модели как в текстовых, так и в визуальных задачах предсказания отношений. Наша модель превосходит другие существующие работы, когда графы сущностей становятся более плотными.

Интересное наблюдение наших экспериментов заключается в том, что модель предсказания показывает стабильное улучшение производительности независимо от того, используется ли кодировщик текстового или визуального объекта. Поскольку оба кодировщика полагаются на пространство представления высокой размерности, которое по своей сути кодирует семантическую близость сущностей (Lu et al. , 2016; Sorokin and Gurevych, 2017), кажется, что предиктор отношения во многих случаях способен получить прогноз для точка данных, которая включает новые или необычные сущности. Подобно обучению младенцев, кодировщики изучали характеристики объектов статистически из данных. Как следствие, эта работа не только улучшает экстракторы отношений, но также создает мост между нейронными сетями, вдохновленными мозгом, и системами логической индукции, а также другими моделями завершения KG. Для прикладных целей полученная структура легко настраивается и программируется, что открывает новый путь к лучшей системе машинного мышления.

По сравнению с большинством предыдущих подходов наш метод может лучше работать с длинным хвостом в распределении по отношениям. Благодаря использованию логических правил и модуля прогнозирования пар наш подход может работать с редкими отношениями и правильно применять их к ранее невиданным парам объектов. Это ключевое преимущество, поскольку работа с асимметричным распределением отношений и обобщение отношений на невидимые пары объектов является ключевым требованием для успешного извлечения отношений из текста или изображений. Кроме того, благодаря использованию дифференцируемой индуктивной логики наша модель обучаема сквозным образом, что означает минимальное участие человека и всего несколько правил, созданных вручную.

Однако добавление селектора пар увеличивает размер нашей модели и количество параметров. Кроме того, правила для индуктивной логики все еще должны быть созданы вручную, и мы оценили модель только с одним метаправилом. Поэтому в будущей работе следует оценить, насколько хорошо подход работает с несколькими сложными логическими правилами или возможно ли вообще изучить новые, действительные правила. Еще одно ограничение заключается в том, что наш подход в настоящее время работает только с прогнозированием текстовых или визуальных отношений. В будущей работе мы хотим объединить предсказание текстовых и визуальных отношений. Наша модель легко позволяет комбинировать мультимодальные функции, например, путем подачи объединенных визуальных и текстовых функций на вход HRE (рис. 3, справа). Это актуально для взаимодействия человека и робота, где диалог содержит не только чисто лингвистические объекты, но и ссылки на объекты в окружающей сцене. Согласование текстового ввода, например, из расшифрованной речи, с визуальным вводом позволит лучшему лингвистическому пониманию встроенным агентом, который сопоставляет вербально воспринимаемые отношения со сценой, например, для устранения неоднозначности объекта среди других.

Заявление о доступности данных

Наборы данных, созданные для этого исследования, доступны по запросу соответствующему автору.

Вклад авторов

JM и YY внесли свой вклад в разработку модели. JM, YY, SH и TH участвовали в экспериментах и ​​написании статей. CW, SW, ZL и MS внесли ценные предложения и помогли отредактировать документ.

Финансирование

Авторы благодарят за поддержку Немецкий исследовательский фонд (DFG) и Национальный научный фонд Китая (NSFC) в рамках проекта Crossmodal Learning (TRR-169).Семантический граф может быть выведен, если он содержит не менее трех связных объектов, т. е. не менее 1 цепочки рассуждений.

Ссылки

Андреас Дж. , Рорбах М., Даррелл Т. и Кляйн Д. (2016). «Сети нейронных модулей», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (Лас-Вегас, Невада), 39–48.

Google Scholar

Багданау Д., Мурти С., Ноухович М., Нгуен Т. Х., де Врис Х. и Курвиль А. (2019 г.). «Систематическое обобщение: что требуется и можно ли этому научиться?», Proceedings of the International Conference on Learning Representations (ICLR) (Новый Орлеан, Луизиана).

Google Scholar

Бордес А., Усюнье Н., Гарсия-Дюран А., Уэстон Дж. и Яхненко О. (2013). «Перевод вложений для моделирования многореляционных данных», в Advances in Neural Information Processing Systems (NIPS) (Lake Tahoe, CA), 2787–2795.

Google Scholar

Боуман, С. Р., Анджели, Г., Поттс, К., и Мэннинг, К. Д. (2015). «Большой аннотированный корпус для изучения вывода на естественном языке», в Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP 2015) (Лиссабон), 632–642.

Google Scholar

Chao, Y.-W., Wang, Z., He, Y., Wang, J., and Deng, J. (2015). «HICO: тест для распознавания взаимодействия человека с объектом на изображениях», в Proceedings of the IEEE International Conference on Computer Vision (ICCV) г. (Сантьяго), 1017–1025 гг.

Google Scholar

Чен Т., Ю В., Чен Р. и Лин Л. (2019). «Сеть маршрутизации со встроенными знаниями для создания графа сцены», в Трудах конференции IEEE по компьютерному зрению и распознаванию образов (CVPR) (Лонг-Бич, Калифорния).

Google Scholar

Чен X., Ли Л.-Дж., Фей-Фей Л. и Гупта А. (2018). «Итеративное визуальное мышление за пределами извилин», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (Солт-Лейк-Сити, Юта), 7239–7248.

Google Scholar

Кристопулу Ф., Мива М. и Ананиаду С. (2019). Модель на основе обхода графов сущностей для извлечения отношений. препринт arXiv arXiv:1902. 07023.

Google Scholar

Эллиот Д. и де Врис А. (2015). «Описание изображений с использованием предполагаемых представлений визуальной зависимости», в материалах 53-го ежегодного собрания Ассоциации вычислительной лингвистики и 7-й Международной объединенной конференции по обработке естественного языка (ACLL-IJCNLP 2015) , Том. 1 (Пекин), 42–52.

Google Scholar

Фэн Дж., Хуан М., Чжао Л., Ян Ю. и Чжу Х. (2018). «Обучение с подкреплением для классификации отношений на основе зашумленных данных», в материалах 32-й конференции AAAI по искусственному интеллекту (AAAI) (Новый Орлеан, Луизиана), 5779–5786.

Google Scholar