Запросы по частотности что это: Что значит частотность запросов, как ее определить: виды и типы, инструкция

Еще по теме:

Андрей Д.

SEO-аналитик

Всегда знал, что моя работа будет связана с интернетом и компьютером. Начал самостоятельно учить HTML и пробовать себя в верстке. HTML давался легко, но верстать сайты было скучно. Тогда я и узнал о SEO.

С отличием завершил мастер-класс по обучению и управлению персоналом. Сдал письменный тест по английскому языку в Лондонской школе на 98%. Написал более десятка развивающих статей по SEО.

Работаю SEO-специалистом в компании SiteClinic, пишу статьи для блога. В свободное время хожу в походы.

Девиз: Just Do It

Оцените мою статью: 

Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

Частота поисковых запросов отражает их популярность у пользователей

Общее определение

Частотность поисковых запросов – параметр, характеризующий популярность запросов у пользователей. Выражается цифрой, показывающей, сколько раз в месяц конкретный запрос был задан в поисковой системе. Эта цифра и является частотой данного запроса.

Количественное определение частотности запросов

В поисковой оптимизации сайтов (SEO) в целом принято выделять три основных категории запросов по частоте:

• высокочастотные (ВЧ),
• среднечастотные (СЧ),
• низкочастотные (НЧ).

Очень условно считается, что ВЧ-запросы имеют частоту выше 10000, СЧ-запросы – 1000–10000, НЧ-запросы – менее 1000. Но эта градация именно очень условная, поскольку критическое значение имеет тематика запросов. Если тематика популярна, значения частот поисковых запросов в ней будут большими. Если тематика не очень популярная или вообще редкая, значения частот запросов в ней будут небольшими.

Таким образом, при определении частот запросов в SEO, в частности для формирования семантического ядра сайта и определения бюджета продвижения, следует отталкиваться именно от конкретной тематики. В какой-то тематике запрос с частотой 2000 будет являться СЧ или даже НЧ (популярная тематика), а в какой-то – ВЧ (не очень популярная тематика).

Кроме этого на частоту запросов влияют и другие факторы: регион, сезонность и событийность. Например, частота запроса в целом по России будет выше, чем по Москве, а по Москве – выше, чем по небольшому городу. Также для многих тематик частота одних и тех же запросов изменяется в зависимости от времени года (сезонность запросов) или определённого события (событийность запросов), причём изменяться она может в десятки раз (см. ниже «Изменения частот поисковых запросов»). Всё это делает деление поисковых запросов на ВЧ, СЧ и НЧ ещё более условным, т.к. частота привязывается уже не только к отдельной теме, но и к региону, а также ко времени или событию.

Однако в контекстной рекламе частотность всех запросов (ключей – ключевых слов или фраз) в целом привязывается к некой общей базе, на основе которой определяется стоимость запроса – CPC (cost per click – цена за клик; подробнее – см. статью Контекстная реклама). То есть в контекстной рекламе работает общее правило: чем более популярен запрос в целом (выше его частота), тем выше его стоимость (CPС).

Помимо трёх основных категорий поисковых запросов – ВЧ, СЧ и НЧ – выделяют и дополнительные категории – в сторону уменьшения частоты. Однако значение этих категорий запросов возрастает – как для SEO, так и для контекстной рекламы. Это микро-, или сверхнизкочастотные запросы (сНЧ; здесь мы будем использовать данное понятие), а также мерцающие (мигающие), случайные и «нулевые» запросы. В целом эти понятия можно рассматривать как универсальные для любой тематики, поскольку значения частот данных запросов являются предельно низкими.

сНЧ-запросы имеют частоту 1–2. Мерцающие запросы имеют частоту 0–2. Это значит, что в какой-то месяц запрос может быть задан единожды или пару раз, а в какой-то – ни разу. Случайные запросы – те, которые возникли один раз и затем вообще никогда больше могут не повториться. Они, в принципе, близки к понятию «нулевые запросы» для которых Яндекс.Вордстат или планировщик ключевых слов Google вообще показывают стабильное значение частоты – ноль.

Практическое значение частотности запросов мы рассмотрим чуть ниже.

Сервисы определения частоты запросов

Значение частот поисковых запросов определяются с помощью специализированных сервисов, которые называются Яндекс.Вордстат и планировщик ключевых слов Google (соответственно, для Яндекс и Google). Оба являются бесплатными. Но Яндекс.Вордстат находится в свободном широком доступе, т.е. с ним можно начать работать немедленно, а планировщик Google доступен только в рамках планирования контекстной рекламы Google Ads или имитации этого планирования. Для работы с данным сервисом необходимо иметь аккаунт в Google, сайт, для которого планируется реклама, и пройти ряд предварительных шагов в системе.

Таким образом, наиболее удобным для непосредственного («ручного») определения частот поисковых запросов на сегодняшний день является сервис Яндекс. Вордстат – тем более, что он имеет дополнительные очень полезные опции, например определение истории запросов (см. ниже).

Но, поскольку при формировании семантического ядра для SEO сайта или контекстной рекламы работа всегда ведётся с большим количеством запросов (нередко сотнями и даже тысячами), для их подбора и определения частот используют методы автоматизации. Наиболее популярным сервисом в этом отношении является инсталлируемая программа Key Collector, с помощью которой делается автоматический сбор (парсинг) запросов с Яндекс.Вордстата и Google-планировщика.

Практическое значение частотности запросов

Это значение имеет два аспекта – для SEO и для контекстной рекламы.

Значение частотности для SEO

На первый взгляд логично предположить, что, чем выше частота запроса, тем больше по нему трафик на сайт и тем, соответственно, запрос более эффективен: даёт больше потенциальных покупателей, если у нас, например, коммерческий ресурс. Но это именно на первый взгляд. На самом деле имеется три сильных аргумента против опоры на ВЧ-запросы в поисковом продвижении сайтов.

• Во-первых, ВЧ-запросы, как правило, являются и высококонкурентными (ВК). Конкурентность и частотность запросов – это не одно и то же, но во многих случаях они коррелируют (подробнее – см. ниже, а также статью Конкурентность поисковых запросов). Высокая конкуренция по запросу означает, что в ТОПе поисковой выдачи по нему присутствует очень много веб-страниц/сайтов. И это, в свою очередь, означает что продвинуть по данному запросу в ТОП новый сайт чрезвычайно трудно – долго и дорого.
• Во-вторых, в целом работает следующее правило: чем выше частота запроса, тем он менее специфичен (подробнее – см. статью Определённые и неопределённые поисковые запросы). А это означает, что по данному запросу на сайт будет приходить много нецелевых посетителей. Последнее плохо как для SEO, так и в целом для маркетинга. С точки зрения SEO нецелевые посетители будут давать сайту плохие поведенческие факторы (ПФ), т.е. быстро выходить с сайта. Поисковая система может расценивать это как реакцию на плохое качество сайта (он не нравится пользователям) и, соответственно, понижать сайт в своей поисковой выдаче. Для общего же маркетинга слишком нецелевая – «грязная» – аудитория также является нежелательной, поскольку отнимает много ресурсов на её обработку.
• Наконец, в-третьих, на самом деле, несмотря на высокую частоту, доля трафика на сайт по ВЧ-запросам является довольно невысокой. Подавляющий трафик (до 70%) складывается как раз из НЧ и особенно сНЧ, мерцающих и даже случайных и нулевых запросов. Это так называемый хвост, или шлейф запросов.  Да, каждый такой запрос является редким или сверхредким, т.е. в одиночку даёт ничтожный трафик на сайт.

Но, здесь также работают три важных принципа:

1. НЧ, сНЧ, мерцающие и даже случайные и нулевые запросы являются предельно целевыми, т.е. высококонверсионным, т.к. по ним на сайт приходят самые целевые клиенты («тёплые» и «горячие»).
2. Подобные запросы, как правило, являются и низкоконкурентными (НК, сНК), а это значит, что по ним сайт с лёгкостью попадает в ТОП поисковой выдачи. То есть на продвижение по этим запросам тратится минимальное количество средств и времени, если не считать создание контента под такие запросы (копирайтинг). Последнее в данном случае, вообще-то, и есть самая основная и самая дорогая работа.
3. В силу богатства языка НЧ/сНЧ-запросов по теме возникает очень много, а потому по совокупности трафик по таким запросам и составляет наибольшую долю в общем поисковом трафике на сайт (как сказано, до 70%).

Таким образом, выгодной SEO-стратегией является продвижение новых сайтов именно по НЧ/сНЧ-шлейфу запросов. Причём, при формировании семантического ядра сайта и отдельных веб-страниц, имеет смысл закладывать не просто мерцающие, но даже нулевые запросы – те, для которых Яндекс.Вордстат или планировщик Google показывают значение частоты ноль. Во-первых, обработка запросов данными системами на самом деле является статистической, так что формальный ноль – это не всегда ноль реальный. А во-вторых, если вы двигаете новую тему и считаете, что по ней должны появиться новые запросы, в т.ч. случайные, – их безусловно необходимо закладывать в семантическое ядро сайта.

Закладывать в семантическое ядро означает формировать структуру из ключевых слов и фраз, которая должна соответствовать структуре сайта (иерархии разделов и страниц). На самом сайте это воплощается в том, что определённые ключи (вхождения запросов) закладываются в текстовый контент определённых веб-страниц. Таким образом, чем богаче отдельная страница и сайт в целом насыщены точными по смыслу (релевантными), но при этом разнообразными НЧ-ключами, тем легче обеспечить максимальный по объёму и по релевантности трафик на сайт из поиска. В этом и состоит простой принцип SEO-продвижения по «хвосту» («шлейфу»). И основная задача в данном случае заключается именно в создании соответствующего контента на сайте – текстов, предельно насыщенных разнообразными релевантными НЧ/сНЧ-ключами и обладающих общей высокой релевантностью теме отдельной веб-страницы, сайта в целом, а также интересу (интенту) пользователей.

Принципиально оно то же, что и для SEO. Только в случае контекстной рекламы работа с запросами (ключами) разной частоты имеет быстрое и гораздо более конкретное выражение в цифрах, в т.ч. денежное выражение.

Как сказано выше, в контекстной рекламе работает общее правило: чем выше частота запроса, тем выше его стоимость (CPC). На стоимость объявления по данному запросу также влияет и положение объявления (выше, ниже прочих объявлений, первая или вторая страница выдачи и т.д.), – но в целом именно стоимость запросов, зависящая от их частоты, является базовым фактором, определяющим стоимость запроса и рекламного объявления по нему.

Соответственно, если заложить в рекламу ВЧ-запрос, он даст большой трафик на сайт. Но, во-первых, бюджет такой рекламы будет очень высоким из-за высокой стоимости запроса. А во-вторых, трафик по этому запросу будет очень низкоспецифичным, т.к. ВЧ-запросы, как правило, имеют широкий смысл (см. выше). Это значит, что очень дорогая контекстная реклама даст очень низкоспецифичный трафик, а значит – низкий уровень продаж и, соответственно, низкий или даже отрицательный возврат инвестиций (ROI – return of investment). На языке специалистов по контекстной рекламе (таргетологов) это и называется «слить деньги на рекламу».

Поэтому выигрышной является стратегия построение контекстной рекламы на основе НЧ и даже сНЧ, мерцающих и случайных запросов. Да, таких запросов в рекламную кампанию может быть заложено очень много – сотни и даже тысячи, чтобы суммарно обеспечить по ним хороший трафик на сайт. Но, во-первых, из-за очень низкой стоимости таких запросов бюджет рекламной кампании в целом будет невысоким. А во-вторых, в силу высокой специфичности трафик по таким запросам будет давать высокий уровень продаж, т.е. обеспечивать высокий ROI рекламы. О такой рекламе говорят, что она высококонверсионная.

В целом же, оперируя конкретными запросами и связанными с ними конкретными показателями, в т.ч. финансовыми (CPC, средний чек, конверсия переходов в продажи и др.), можно довольно точно и выгодно оптимизировать рекламную кампанию – так, чтобы она давала необходимый профит (хороший ROI). И в отличие от SEO этот процесс занимает гораздо меньше времени (за несколько дней можно провести надлежащую оптимизацию рекламы) и опирается на конкретные показатели (KPI – key performance indicators).

Таким образом, параметр частотности поисковых запросов в контекстной рекламе является весьма конкретным (формализуемым) и ключевым для бизнеса (определяющим эффективность рекламы).

Изменения частоты поисковых запросов во времени

Это явление характерно для сезонных и событийных запросов. Подробнее они разбираются в соответствующих статьях Глоссария (см. ссылки ниже).

Здесь же кратко отметим, что для сезонных запросов их частота периодически колеблется от года к году в зависимости от времени года, а точнее – от месяца. Связано это с периодическим изменением популярности темы в годовых периодах. Например, в летнее время возрастает спрос на продукцию и услуги, связанные, с летним отдыхом. Соответственно, частоты запросов по этой теме имеют максимум в летние или поздние весенние месяцы и минимум в зимние месяцы. Для «зимних» тем/товаров наблюдается обратная зависимость.

Амплитуда частоты запросов в определённых темах в течение года может достигать десятков раз. Это можно отчётливо видеть, если выбрать в сервисе Яндекс.Вордастат опцию «история запроса», которая показывает изменения частоты поискового запроса за последние 12 месяцев, в т.ч. наглядно на графике. Так что этот инструмент является очень полезным для маркетологов, поскольку фактически позволяет прогнозировать изменение спроса в течение года в определённой рыночной нише – вплоть до спроса на конкретные товары и услуги в конкретных регионах в конкретные месяцы.

Изменение частоты характерно и для так называемых событийных запросов, когда их количество в поиске может буквально взлетать с нуля и до очень больших значений с наступлением какого-то события: олимпиады, чемпионата мира по футболу, президентских выборов, крупных политических форумов, сильно распиаренной рекламной кампании и т.д. Для некоторых событий взлёт частоты запросов также можно прогнозировать и, соответственно, планировать под них коммерческую деятельность – зарабатывать на событиях.

Частотность и конкурентность запросов

Наряду с частотность для поисковых запросов также выделяют понятие (параметр) конкурентность, или конкуренция по запросу. С одной стороны, оно вроде бы имеет больший практический смысл для бизнеса, т.к. подразумевает конкурентный фон, на котором предполагается продвигать сайт в определённой теме и по определённому запросу. С другой же стороны, этот параметр гораздо менее формализуем, т.е. менее понятен, чем частотность.

Аналогично частотности также выделяют

• высоко-,
• средне- и
• низкоконкурентные запросы. 

Под самой же конкуренцией для запроса понимают количество по нему веб-страниц в ТОПе поисковой выдачи. Если страниц много – конкуренция по запросу высокая (ВК), если мало – низкая (НК), если что-то между «много» и «мало» – средняя (СК). Как понятно, эти слова (много, мало, средне) по сути ни о чём – и сами по себе, и потому что понятие «ТОП» поисковой выдачи является неясным (ТОП3, ТОП5, ТОП10, ТОП20 и т.д.), и потому что конкуренция по запросам сильно зависит от темы, да и вообще – потому что для параметра конкурентность в принципе отсутствуют цифры (для частотности они хотя бы есть).

Всё это делает работу с этим понятием – ориентацию на него – очень сложной. И, как уже сказано, конкурентность запросов во многом зависит от темы, по которой сайт продвигается в поиске.

Однако параметр конкурентности запроса применим не только к SEO, но и к контекстной рекламе. Общий принцип тот же: количество конкурентных ссылок по данному запросу – в данном случае конкурентных рекламных, а не поисковых ссылок. Поскольку работа с контекстной рекламой в целом формализуется гораздо лучше, чем SEO, использовать параметр конкурентности по запросу в контекстной рекламе также проще. Подробнее соответствующие вопросы рассматриваются в соответствующей статье Глоссария (см. ссылки ниже).

Дополнительно по теме – см. статьи Ключевые слова / фразы, Вхождения, Семантическое ядро, Определённые и неопределённые поисковые запросы, Конкурентность поисковых запросов, Контекстная реклама.

Полная классификация запросов представлена в статье Поисковые запросы.

По всем соответствующим практическим вопросам мы рекомендуем Вам обращаться в нашу компанию. Наши профессиональные специалисты не только дадут Вам подробные консультации, но и возьмут на себя полное продвижение Вашего веб-ресурса, включая SEO и контекстную рекламу.

Заказать интернет-продвижение

python — Hackerrank Frequency Queries

Вам задают вопросы. Каждый запрос имеет форму двух целых чисел, описанных ниже:

1. Вставьте x в структуру данных.

2. Удалите одно вхождение y из вашей структуры данных, если оно есть.

3. Проверить, присутствует ли какое-либо целое число с точной частотой. Если да, выведите 1 else 0.

Пример ввода:

запросов = [(1,1), (2,2), (3,2), (1,1), (1,1), (2,1), (3,2)]

Проблема довольно очевидна, и я думаю, что у меня есть достойное решение:

перебирает запросы и соответственно увеличивает и уменьшает частоту каждого числа в dict … одновременно в отдельном дикте отслеживать, сколько раз появляется каждая клавиша другого дикта

при проверке, присутствует ли какое-либо целое число, частота которого точно равна y для QUERY 3, вы должны проверить, существует ли количество y во втором dict …

Я прохожу большинство тестов, но проваливаю некоторые … Кто-нибудь может объяснить недостатки моего мышления.

  def freqQuery (запросы):
    частота = {}
    результаты = []
    frequencyValues ​​= {}
    для запроса в запросах:
        q = запрос [0]
        val = запрос [1]
        если q == 1:
            частота [val] = частота.получить (val, 0) + 1
            freq = частота [значение]
            frequencyValues ​​[freq] = frequencyValues.get (freq, 0) + 1
            frequencyValues ​​[freq-1] = frequencyValues.get (freq-1, 1) - 1
        elif q == 2:
            если val в frequency.keys ():
                частота [val] + = - 1
                если частота [val] <0:
                    частота [val] = 0
                freq = частота [значение]
                frequencyValues ​​[freq + 1] = frequencyValues.get (freq + 1, 1) - 1
                frequencyValues ​​[freq] = frequencyValues.получить (частота, 1) + 1
        elif q == 3:
            если значение равно в frequencyValues.keys ():
                если frequencyValues ​​[val]> 0:
                    results.append (1)
                еще:
                    results.append (0)
            еще:
                results.append (0)
            

    вернуть результаты
  

Какая частота запросов и как ее определить?

Частота запросов — SEO WIKI

Частота запросов — это количество раз, когда пользователь нажимает определенное слово или фразу для поисковой системы за месяц.Различают три основных типа: высокочастотный (HF), низкочастотный (LF) и среднечастотный (MF). Однако самих видов больше:

Superfrequency — самые популярные слова или фразы, т.е. они наиболее часто запрашиваются в определенной теме. Обычно микроволновые запросы состоят из одного слова, например «смартфон» или «одежда». Они наиболее конкурентоспособны, потому что их продвигают многие компании в определенных сферах. Частота показов — от 100 000 в месяц и выше.Продвижение на них подходит далеко не каждому бизнесу, поскольку из-за отсутствия в запросе уточняющих фраз релевантность страниц, выбранных поисковой системой, может быть размыта. Обычно при таких запросах поисковая система пытается показать как можно больше информации с искомым словом, например, при поиске слова «замок» Яндекс покажет и здания, и механические устройства для запирания дверей.
Высокая частота. Они отличаются от сверхчастотных тем, что могут указывать дополнительное слово, но это не делает запрос менее частым.Например, запрос «Московская квартира» (620 000 показов по московскому времени) остается частым, несмотря на то, что в нем есть уточняющее слово. Это не так уж и часто по сравнению с запросом «квартира» (5 250 000 показов MSC). Частота таких запросов от 10 000. На профессиональном жаргоне высокочастотные запросы называются «жирным». Их грамотное продвижение помогает привлечь на сайт максимальное количество пользователей. Но многие сайты продвигаются по высокочастотным запросам, что создает большую конкуренцию.Поэтому продвижение высокочастотных запросов обходится довольно дорого в финансовых и временных планах.
Midrange — как правило, состоят из нескольких слов со средней частотой показов от 500 до 5000-10000. Запросы среднего уровня задают пользователи, которые знакомы с их областью интересов или знают, как им нужно уточнить исходный общий высокочастотный запрос.
Низкочастотные — наиболее специфичный тип запросов, они имеют узкую направленность. Пример: «купите телевизор Samsung в Питере.Петербург ». Частота показов — от 50-100 до 500 в месяц.
Микрочастота — может иметь частоту от 1 до 50. Запросы на MF считаются самыми неконкурентными, так как содержат длинный квалифицирующий «хвост» в запросе. Пример: «как внести деньги на банковский счет ООО».

Важно отметить, что частота одного и того же запроса сильно различается в разных поисковых системах.

Яндекс сознательно тормозит продвижение веб-ресурсов на высококонкурентные позиции, комментируя то, что сайт должен сначала прославиться, заработать репутацию и быть стабильным в развитии.И только после того, как он зарекомендовал себя, поисковая система даст ему возможность составить конкуренцию ведущим конкурентам.

запросов MF и LF, хотя и не требуют больших финансовых вложений, также способны обеспечить постоянный рост трафика на сайт и охватить большое количество пользователей.

На основе анализа запрошенных фраз SEO-оптимизатор составляет подборку наиболее популярных запросов и продвигает проект по ним.

Если вам нужно проверить частоту запросов, вы можете воспользоваться специальными услугами:

Яндекс.Wordstat — это инструмент, который помогает определить частоту необходимых запросов в поисковой системе Яндекс. Недостатком сервиса является то, что вам нужно проверять запросы вручную и по одному.

Google Adwords — это служба статистики поиска Google. Предоставляет всю необходимую информацию по запросу, есть возможность установить язык и регион, предоставляются синонимы. Внимание, если в вашем аккаунте Adwords нет активных рекламных кампаний, то показания в сервисе могут быть очень приблизительными и неточными.

Выбор представления на основе частоты запросов: Business & Management Journal Статья

Предварительный просмотр статьи

Введение

Глобализация предприятий привела к тому, что с течением времени непрерывно генерируются огромные объемы данных. В наш век постоянно меняющихся данных и экономики, основанной на потребностях, легкодоступная и обновленная информация играет жизненно важную роль в формулировании оптимальных бизнес-стратегий для получения конкурентных преимуществ. Чтобы быть и оставаться конкурентоспособным на сегодняшнем нестабильном рынке, требуются значительные усилия, такие как проведение маркетинговых исследований для выявления требований клиентов в сравнении с их потребностями.В последние несколько десятилетий наблюдается экспоненциальный рост в областях информационных технологий и обработки информации. Надлежащая и своевременная доступность этой обработанной информации является ключом к выживанию бизнеса. Чтобы удовлетворить этот спрос на информацию, сбор и эффективное хранение турбулентных данных, которые должны обрабатываться с целью анализа, должны быть в центре внимания. Такие обработанные данные обычно оказываются полезными для работников умственного труда и / или лиц, принимающих решения, в процессе принятия решений.Доступность таких данных дает коммерческим компаниям существенное преимущество перед их конкурентами.

С наступлением эры технологических усовершенствований в области программного обеспечения, аналитики, аппаратных возможностей и передачи данных большинство организаций собирают огромные объемы необработанных данных. В результате, хотя большинство таких организаций имеют большое количество данных, им не хватает убедительной информации (Gray & Watson, 1998; Han & Kamber, 2000), что приводит к потере ценной информации внутри огромных данных, что приводит к тому, что организации борются за нужную информацию.Следовательно, доступность соответствующей информации для соответствующего лица задерживается. Это усиливает потребность в преобразовании данных, имеющихся в операционных / других источниках данных, в полезную информацию, чтобы позволить работникам умственного труда и / или лицам, принимающим решения, получать доступ и извлекать скрытые основные закономерности для принятия оптимальных решений в нужное время. Чтобы анализировать такие гигантские данные, необходима надежная система поддержки принятия решений для предложения решений бизнес-проблем / запросов, которые являются сложными и неструктурированными.В эту эпоху растущей конкуренции между организациями актуальная потребность состоит в том, чтобы иметь системы, способные извлекать, хранить и анализировать скрытую информацию, скрытую в огромных доступных данных. Есть два способа доступа к данным в источниках данных, а именно: ленивый подход или подход по запросу и подход нетерпеливый или заблаговременный (Widom, 1995). В первом случае доступ к оперативным источникам осуществляется в ответ на запросы, что сокращает накладные расходы на хранение, тогда как во втором данные предварительно вычисляются и сохраняются заранее, что приводит к снижению затрат на связь.Время ответа на запрос для подхода по требованию сравнительно велико, поскольку он исследует операционные источники в ответ на поставленный запрос. С другой стороны, данные предварительно вычисляются и сохраняются в хранилище, что приводит к сокращению времени ответа на запрос в случае активного или заблаговременного подхода. Хранилище данных основано на подходе «нетерпеливо» или «заблаговременно» (Widom, 1995).

Статистический анализ SQL, часть 1: Расчет частот и гистограмм

Разработчики баз данных и бизнес-аналитики (BI) ежедневно создают огромное количество отчетов, и анализ данных является их неотъемлемой частью.Если вам интересно, можете ли вы выполнять статистический анализ в SQL, ответ — «да». Прочтите мою статью, чтобы узнать, как это сделать!

Статистика очень полезна в качестве начального этапа более глубокого анализа, то есть для обзора данных и оценки качества данных. Однако возможности статистического анализа SQL несколько ограничены, поскольку в SQL Server не так много статистических функций. . К тому же хорошее понимание статистики не очень распространено среди практиков T-SQL.В SQL Server 2016 вы можете использовать R для вычисления всех видов статистических показателей, но многие разработчики SQL Server и администраторы баз данных не программируют на R. И не все сайты обновлены до SQL Server 2016.

В этой серии статей объясняются основы статистического анализа SQL. Используемый код основан на моем реальном опыте. Я занимаюсь проектами бизнес-аналитики, особенно интеллектуальным анализом данных, и мне часто приходится создавать множество статистических запросов на начальных этапах проекта. Во время этих проектов часто единственное программное обеспечение, на которое я могу положиться, — это СУБД.

Оптимизация статистических запросов SQL

Оптимизация статистических запросов отличается от оптимизации транзакционных запросов. Чтобы вычислить статистику, запрос обычно сканирует все данные. Если запрос выполняется слишком медленно, вы можете подготовить случайную выборку данных и отсканировать ее. Однако, если запросы слепо следуют формулам, они часто выполняют многократное сканирование данных. Оптимизация таких запросов означает минимизацию количества сканирований. Для этого необходимо разработать алгоритм, использующий дополнительную математику для преобразования формул в эквиваленты, которые можно лучше оптимизировать в SQL Server или любой другой СУБД.Вам также необходимо глубоко разбираться в SQL. Например, вам нужно действительно хорошо разбираться в оконных функциях и вычислениях SQL.

Помимо объяснения статистики и статистических запросов, эта серия также даст вам некоторые идеи по оптимизации статистических и нестатистических запросов.

Подготовка данных для статистического анализа SQL

Перед тем, как начать анализ, вам нужно понять, что вы анализируете. В статистике вы анализируете случаи, используя их переменные.В терминологии СУБД вы можете рассматривать случай как строку таблицы, а переменную — как столбец в одной и той же таблице. Для большинства статистических анализов вы готовите одну таблицу или представление. Иногда бывает не так просто точно определить ваш случай. Например, если вы проводите анализ кредитного риска, вы можете определить семью как случай, а не как одного клиента.

При подготовке данных для статистического анализа SQL необходимо соответствующим образом преобразовать исходные данные. Для каждого случая вам необходимо инкапсулировать всю доступную информацию в столбцы таблицы, которую вы собираетесь анализировать.

Непрерывные и дискретные переменные

Перед тем, как начать серьезный обзор данных, вы должны понять, как значения данных измеряются в вашем наборе данных. Возможно, вам придется уточнить это у специалиста в данной области и проанализировать бизнес-систему, являющуюся источником ваших данных. Есть несколько способов измерения значений данных и различных типов столбцов:

• Дискретные переменные могут принимать значение только из ограниченной области возможных значений.Дискретные значения включают категориальные или номинальные переменные, которые не имеют естественного порядка. Примеры включают состояния, коды состояния и цвета.
  • Ранги также могут принимать значение только из дискретного набора значений. У них есть порядок, но не разрешены никакие арифметические операции. Примеры включают в себя рейтинги мнений и разделенные (сгруппированные, дискретизированные) истинные числовые значения.
  • Есть также некоторые особые типы категориальных переменных . Однозначные переменные или константы не очень интересны для анализа, потому что они не несут никакой информации.Двузначные или дихотомические переменные имеют два значения, которые минимально необходимы для любого анализа. Бинарные переменные — это особые дихотомические переменные, которые принимают только значения 0 и 1.
• Непрерывные переменные могут принимать любое из неограниченного числа возможных значений; однако сам домен может иметь нижнюю и / или верхнюю границу.
  • Интервалы имеют одну или две границы, имеют порядок и допускают некоторое арифметическое вычитание (но не всегда могут допускать суммирование).Примеры включают дату, время и температуру.
  • Истинные числовые переменные поддерживают всю арифметику. Примеры включают суммы и значения.
  • Монотонные переменные — это особый тип непрерывных переменных, которые монотонно неограниченно увеличиваются. Если это просто идентификаторы, они могут не быть интересными. Тем не менее, они могут быть преобразованы (разделены на категории), если постоянно растущий идентификатор содержит информацию о временном порядке (более низкие идентификаторы старше, чем более высокие идентификаторы).

Данные, используемые для статистического анализа SQL

Для этой и всех последующих статей я использую демонстрационную базу данных AdventureWorksDW2014 . Вы можете загрузить полную резервную копию этой базы данных с сайта примеров Microsoft SQL Server. Я запускаю весь код на SQL Server 2016 Developer Edition .

Я предпочитаю использовать образец базы данных AdventureWorks для SQL Server 2014 вместо образца базы данных WideWorldImportersDW в SQL Server 2016.База данных WideWorldImporters очень полезна для демонстрации новых функций SQL Server 2016, но в ее данных отсутствуют корреляции и ассоциации, необходимые для статистического анализа.

Использование распределения частот в SQL для понимания дискретных переменных

В SQL частотное распределение (обычно представленное в виде таблицы) используется для быстрого обзора дискретных переменных. Он может отображать как фактические значения, так и их:

• Абсолютная частота
• Абсолютный процент
• Суммарная частота
• Совокупный процент

Plus, частотное распределение SQL отображает гистограмму абсолютного процента значений.

Ниже я покажу вам несколько способов вычисления частотного распределения в SQL, начиная с одного, который является довольно неэффективным.

Распределение частот в SQL без использования оконных функций

Расчет абсолютной частоты и абсолютного процента значений представляет собой простое агрегирование. Однако вычисление совокупной частоты и совокупного процента означает вычисление промежуточных итогов. До того, как в SQL Server 2012 была добавлена ​​поддержка агрегатных функций окна, для этой задачи приходилось использовать либо коррелированные подзапросы, либо неэквивалентные самосоединения.Ни один из методов не очень эффективен.

Выполните следующий код, который использует коррелированные подзапросы, чтобы проанализировать в SQL частотное распределение переменной NumberCarsOwned из представления dbo.vTargetMai l в демонстрационной базе данных AdventureWorksDW2014 .

ИСПОЛЬЗУЙТЕ AdventureWorksDW2014;
ИДТИ
С FreqCTE AS
(
ВЫБРАТЬ v.NumberCarsOwned,
 COUNT (v.NumberCarsOwned) AS AbsFreq,
 CAST (ROUND (100. * (COUNT (v.NumberCarsOwned)) /
       (ВЫБРАТЬ СЧЕТЧИК (*) ИЗ vTargetMail), 0) КАК INT) КАК AbsPerc
ОТ dbo.vTargetMail AS v
ГРУППА ПО v.NumberCarsOwned
)
ВЫБЕРИТЕ c1.NumberCarsOwned AS NCars,
 c1.AbsFreq,
 (ВЫБРАТЬ СУММУ (c2.AbsFreq)
  ОТ частоты AS c2
  ГДЕ c2.NumberCarsOwned & amp; lt; = c1.NumberCarsOwned) AS CumFreq,
 c1.AbsPerc,
 (ВЫБРАТЬ СУММУ (c2.AbsPerc)
  ОТ частоты AS c2
  ГДЕ c2.NumberCarsOwned & amp; lt; = c1.NumberCarsOwned) AS CumPerc,
 CAST (REPLICATE ('*', c1.AbsPerc) AS varchar (100)) AS Гистограмма
  ОТ частоты AS c1
ЗАКАЗАТЬ ПО c1.NumberCarsOwned;
 

Это дает следующий результат:

 NCars AbsFreq CumFreq AbsPerc Гистограмма CumPerc
----- ------- ------- ------- ------- ----------------- ------------------
0 4238 4238 23 23 ***********************
1 4883 9121 26 49 **************************
2 6457 15578 35 84 ***********************************
3 1645 17223 9 93 *********
4 1261 18484 7 100 *******
 

Распределение частот в SQL с использованием оконных функций — Решение 1

При выполнении статистического анализа SQL могут оказаться полезными оконные агрегатные функции.Они предлагают гораздо лучшее решение. Как уже отмечалось, эти функции доступны в SQL Server версии 2012 и новее.

Если вы посмотрите на первую часть запроса, вы заметите, что запрос Common Table Expression, который вычисляет абсолютные числа, такой же, как и в предыдущем запросе. Однако кумулятивные значения — промежуточные итоги — рассчитываются с помощью оконных агрегатных функций.

С FreqCTE AS
(
ВЫБРАТЬ v.NumberCarsOwned,
 COUNT (v.NumberCarsOwned) AS AbsFreq,
 CAST (КРУГЛЫЙ (100.* (COUNT (v.NumberCarsOwned)) /
       (ВЫБРАТЬ СЧЕТЧИК (*) ИЗ vTargetMail), 0) КАК INT) КАК AbsPerc
ОТ dbo.vTargetMail AS v
ГРУППА ПО v.NumberCarsOwned
)
ВЫБЕРИТЕ NumberCarsOwned,
 AbsFreq,
 СУММ (AbsFreq)
  БОЛЕЕ (ЗАКАЗАТЬ ПО КОЛИЧЕСТВУ
       РЯДЫ МЕЖДУ НЕОГРАНИЧЕННЫМИ ПРЕДЫДУЩИМИ
И ТЕКУЩАЯ СТРОКА) КАК CumFreq,
 AbsPerc,
 СУММ (AbsPerc)
  БОЛЕЕ (ЗАКАЗАТЬ ПО КОЛИЧЕСТВУ
       РЯДЫ МЕЖДУ НЕОГРАНИЧЕННЫМИ ПРЕДЫДУЩИМИ
И ТЕКУЩАЯ СТРОКА) КАК CumPerc,
 CAST (REPLICATE ('*', AbsPerc) AS VARCHAR (50)) AS гистограмма
С ЧАСТОТЫ
ЗАКАЗАТЬ ПО NumberCarsOwned;
 

Результат этого запроса такой же, как результат предыдущего запроса.

Распределение частот в SQL с использованием оконных функций — Решение 2

Я нашел еще одно интересное решение, используя функции оконного анализа SQL. Функция CUME_DIST вычисляет совокупное распределение или относительное положение значения в группе значений. Для строки r , предполагая порядок возрастания, CUME_DIST для r — это количество строк со значениями, меньшими или равными значению r , деленное на количество строк, оцененных в разделе или наборе результатов запроса. .Функция PERCENT_RANK вычисляет относительный ранг строки в группе строк. Мы можем использовать PERCENT_RANK, чтобы оценить относительное положение значения в наборе результатов запроса или разделе.

Следующий запрос статистического анализа SQL вычисляет номер строки после разделения по столбцу NumberCarsOwned и номер строки по всему входному набору. Он также вычисляет процентный ранг и кумулятивное распределение по полному входному набору.

ВЫБЕРИТЕ NumberCarsOwned AS NCars,
 ROW_NUMBER () БОЛЕЕ (РАЗДЕЛЕНИЕ ПО NumberCarsOwned
  ЗАКАЗАТЬ ПО NumberCarsOwned, CustomerKey) AS Rn_AbsFreq,
 ROW_NUMBER () ВЫШЕ (
  ЗАКАЗАТЬ ПО NumberCarsOwned, CustomerKey) AS Rn_CumFreq,
 PERCENT_RANK ()
  ВЫШЕ (ЗАКАЗАТЬ ПО NumberCarsOwned) как Pr_AbsPerc,
 CUME_DIST ()
  ВЫШЕ (ЗАКАЗАТЬ ПО NumberCarsOwned, CustomerKey) КАК Cd_CumPerc
ОТ dbo.vTargetMail;
 

Частичный вывод, показывающий только те строки, которые имеют отношение к объяснению алгоритма вычисления частот:

 NCars Rn_AbsFreq Rn_CumFre Pr_AbsPerc Cd_CumPerc
----- ---------- --------- ----------------- --------- -----------
0 1 1 0 5.4100843973166E-05
0 2 2 0 0,000108201687946332
……………
0 4238 4238 0 0.229279376758277
1 1 4239 0,22929178163718 0,229333477602251
……………
1 4883 9121 0,22929178163718 0,493453797879247
2 1 9122 0,4934804955
 0,49350789872322
……………
 

Как видите, — номер последней строки, разделенный на на NumberCarsOwned в категории, на самом деле представляет собой абсолютную частоту значений в этой категории.Номер последней несекционированной строки в категории представляет совокупную частоту до текущей категории включительно. Например, абсолютная частота для NumberCarsOwned = «0» равна 4 238, а совокупная частота — 4 238; для NumberCarsOwned = «1» абсолютная частота равна 4883, а совокупная частота равна 9 121.

Затем рассмотрим функцию CUME_DIST (столбец Cd_CumPerc в выходных данных). CUME_DIST в последней строке категории возвращает совокупный процент до категории включительно. Если вы вычтите PERCENT_RANK (столбец Pr_AbsPerc в выходных данных) для последней строки в категории из CUME_DIST последней строки в той же категории, вы получите абсолютный процент для категории. Например, абсолютный процент для категории, где NumberCarsOwned = «1» больше 26 процентов (0,493453797879247 — 0,22929178163718 = 0,264162016242067).

Следующий запрос вычисляет распределение частот с использованием наблюдений по результатам предыдущего запроса.

С FreqCTE AS
(
ВЫБЕРИТЕ NumberCarsOwned,
 ROW_NUMBER () БОЛЕЕ (РАЗДЕЛЕНИЕ ПО NumberCarsOwned
  ЗАКАЗАТЬ ПО NumberCarsOwned, CustomerKey) AS Rn_AbsFreq,
 ROW_NUMBER () ВЫШЕ (
  ЗАКАЗАТЬ ПО NumberCarsOwned, CustomerKey) AS Rn_CumFreq,
 ОКРУГЛ (100 * PERCENT_RANK ()
  ВЫШЕ (ЗАКАЗАТЬ ПО NumberCarsOwned), 0) AS Pr_AbsPerc,
 ОКРУГЛ (100 * CUME_DIST ()
  ВЫШЕ (ЗАКАЗАТЬ ПО NumberCarsOwned, CustomerKey), 0) AS Cd_CumPerc
ОТ dbo.vTargetMail
)
ВЫБЕРИТЕ NumberCarsOwned AS NCars,
 МАКС (Rn_AbsFreq) AS AbsFreq,
 МАКС (Rn_CumFreq) как CumFreq,
 MAX (Cd_CumPerc) - MAX (Pr_Absperc) AS AbsPerc,
 МАКС (Cd_CumPerc) как CumPerc,
 CAST (REPLICATE ('*', MAX (Cd_CumPerc) - MAX (Pr_Absperc)) AS varchar (100)) AS Гистограмма
С ЧАСТОТЫ
ГРУППА ПО КОЛИЧЕСТВУ
ЗАКАЗАТЬ ПО NumberCarsOwned;
 

Хотя идея этого последнего запроса очень интересна, этот запрос не так эффективен, как второй (с использованием функции агрегирования окна).Поэтому рекомендуется второе решение.

Заключение

Из этой статьи вы узнали, как вычислить частотное распределение SQL для дискретных переменных. Вы также видели решение, в котором требуется немного творчества. В следующих статьях вы познакомитесь с другими методами статистического анализа SQL. Следующий будет посвящен вычислению основных статистических показателей для непрерывных переменных. Вы также узнаете, как писать эффективные запросы, требующие математических знаний, а не творчества.

SQL-запрос, чтобы узнать частоту каждого элемента в столбце

Допустим, у нас есть таблица «Человек», как показано ниже, и нам нужно узнать частоту каждого возраста.

Распределение частот можно было узнать, выполнив SQL-запрос:

ВЫБРАТЬ Возраст, COUNT (Возраст) AS Частота

ОТ Человек

ГРУППА ПО Возрасту

ЗАКАЗАТЬ ПО

COUNT (Возраст) DESC

Линейно-пространственных структур данных для запросов диапазона частот на массивах и деревьях

Запрос общих терминов | Руководство по Elasticsearch [7.13]

Не рекомендуется в версии 7.3.0.

Вместо этого используйте Match, который эффективно пропускает блоки документов без какой-либо конфигурации, при условии, что общее количество совпадений не отслеживается.

Запрос общих терминов — это современная альтернатива стоп-словам, которые повышает точность и запоминаемость результатов поиска (за счет использования игнорируемых слов во внимание), не жертвуя производительностью.

Проблема

У каждого термина в запросе есть стоимость. Поиск "Коричневая лисица" требуется три запроса, по одному для каждого из "«, "коричневый" и «лиса» , все из которых выполняются для всех документов в индексе.Запрос "«, вероятно, будет соответствовать многим документам и, следовательно, имеет гораздо меньшее влияние на релевантность, чем два других термина.

Ранее решение этой проблемы заключалось в игнорировании терминов с высоким частота. Рассматривая "the" как стоп-слово , мы уменьшаем размер индекса. и уменьшить количество термических запросов, которые необходимо выполнить.

Проблема с этим подходом в том, что в то время как стоп-слова имеют небольшой влияют на актуальность, они по-прежнему важны.Если мы удалим стоп-слова, мы теряем точность (например, мы не можем различить "счастливый" и «неудовлетворительно» ), и мы теряем отзыв (например, текст типа «The» или «Быть ​​или не быть» просто не существовало бы в индексе).

Решение редактировать

Запрос common terms разделяет термины запроса на две группы: подробнее важные (например, низкочастотные, терминов) и менее важные (например, высокочастотные частота терминов, которые раньше были бы игнорируемыми словами).

Сначала он ищет документы, которые соответствуют наиболее важным условиям. Это термины, которые встречаются в меньшем количестве документов и имеют большую влияние на актуальность.

Затем он выполняет второй запрос для менее важных терминов — терминов. которые появляются часто и мало влияют на релевантность. Но вместо расчета оценки релевантности для всех совпадающих документов, это только вычисляет _score для документов, уже сопоставленных первым запрос.Таким образом, часто встречающиеся термины могут повысить релевантность расчет без оплаты плохой работы.

Если запрос состоит только из часто встречающихся терминов, то один запрос выполняется как запрос И (соединение), другими словами, все термины обязательный. Несмотря на то, что каждый отдельный термин будет соответствовать многим документам, комбинация терминов сужает набор результатов только до самых уместным. Одиночный запрос также может быть выполнен как OR с конкретный minimum_should_match , в этом случае, вероятно, следует использовать достаточно высокое значение.

Термины распределяются по высокочастотным или низкочастотным группам на основе cutoff_frequency , который можно указать как абсолютную частоту (> = 1 ) или как относительная частота ( 0,0 .. 1,0 ). (Помните этот документ частоты вычисляются на уровне сегментов, как описано в сообщении блога. Актуальность нарушена.)

Возможно, наиболее интересным свойством этого запроса является то, что он адаптируется к автоматические игнорируемые слова для конкретного домена. Например, на видеохостинге сайт, общие термины, такие как "клип" или "видео" , будут вести себя автоматически как стоп-слова без необходимости вести список вручную.

Примерыправить

В этом примере слова, частота которых в документе превышает 0,1% (например, "это" и "равно" ) будет рассматриваться как общих терминов .

 GET / _search
{
  "запрос": {
    "общий": {
      "тело": {
        "query": "это классный бонсай",
        "cutoff_frequency": 0,001
      }
    }
  }
} 

Количество терминов, которые должны совпадать, можно контролировать с помощью minimum_should_match ( high_freq , low_freq ), low_freq_operator (по умолчанию или ) и high_freq_operator (по умолчанию "или" ) параметры.

Для низкочастотных терминов установите low_freq_operator на "и" , чтобы все необходимые условия:

 GET / _search
{
  "запрос": {
    "общий": {
      "тело": {
        "query": "Нелли слоник в мультяшном стиле",
        "cutoff_frequency": 0,001,
        "low_freq_operator": "и"
      }
    }
  }
} 

, что примерно эквивалентно:

 GET / _search
{
  "запрос": {
    "bool": {
      "должен": [
      {"term": {"body": "nelly"}},
      {"term": {"body": "elephant"}},
      {"term": {"body": "cartoon"}}
      ],
      "должен": [
      {"term": {"body": "the"}},
      {"term": {"body": "as"}},
      {"термин": {"тело": "а"}}
      ]
    }
  }
} 

В качестве альтернативы используйте minimum_should_match чтобы указать минимальное количество или процент низкочастотных терминов, которые должен присутствовать, например:

 GET / _search
{
  "запрос": {
    "общий": {
      "тело": {
        "query": "Слоник в мультяшном стиле",
        "cutoff_frequency": 0.001,
        "minimum_should_match": 2
      }
    }
  }
} 

, что примерно эквивалентно:

 GET / _search
{
  "запрос": {
    "bool": {
      "должен": {
        "bool": {
          "должен": [
            {"term": {"body": "nelly"}},
            {"term": {"body": "elephant"}},
            {"term": {"body": "cartoon"}}
          ],
          "minimum_should_match": 2
        }
      },
      "должен": [
        {"term": {"body": "the"}},
        {"term": {"body": "as"}},
        {"термин": {"тело": "а"}}
      ]
    }
  }
} 

Другой minimum_should_match может применяться для низкочастотных и высокочастотных терминов с дополнительным Параметры low_freq и high_freq .Вот пример предоставления дополнительные параметры (обратите внимание на изменение структуры):

 GET / _search
{
  "запрос": {
    "общий": {
      "тело": {
        "query": "а слона не как мультик",
        "cutoff_frequency": 0,001,
        "minimum_should_match": {
          "low_freq": 2,
          "high_freq": 3
        }
      }
    }
  }
} 

, что примерно эквивалентно:

 GET / _search
{
  "запрос": {
    "bool": {
      "должен": {
        "bool": {
          "должен": [
            {"term": {"body": "nelly"}},
            {"term": {"body": "elephant"}},
            {"term": {"body": "cartoon"}}
          ],
          "minimum_should_match": 2
        }
      },
      "должен": {
        "bool": {
          "должен": [
            {"term": {"body": "the"}},
            {"term": {"body": "not"}},
            {"term": {"body": "as"}},
            {"термин": {"тело": "а"}}
          ],
          «minimum_should_match»: 3
        }
      }
    }
  }
} 

В данном случае это означает, что высокочастотные термины влияют только на актуальность, когда их как минимум три.Но самый интересное использование minimum_should_match для высокочастотных терминов — это когда есть только высокочастотные термины:

 GET / _search
{
  "запрос": {
    "общий": {
      "тело": {
        "query": "как не быть",
        "cutoff_frequency": 0,001,
        "minimum_should_match": {
          "low_freq": 2,
          "high_freq": 3
        }
      }
    }
  }
} 

, что примерно эквивалентно:

 GET / _search
{
  "запрос": {
    "bool": {
      "должен": [
        {"term": {"body": "как"}},
        {"term": {"body": "not"}},
        {"term": {"body": "to"}},
        {"срок": {"тело": "быть"}}
      ],
      "minimum_should_match": "3 <50%"
    }
  }
} 

Тогда часто генерируемый запрос немного менее строг. чем с И .

Запрос общих терминов также поддерживает boost и анализатор как параметры.