Как отфильтровать своих друзей ВКонтакте по полу и возрасту?
Использование нашего Сервиса поиска целевой аудитории ВКонтакте — даст вам возможность парсить все необходимые данные ВК.Для того, чтобы вы могли выполнить фильтрацию ваших друзей по полу и возрасту, воспользуйтесь ссылкой ниже.
Загрузив ссылки на ваших друзей ВКонтакте в пустое поле, отметьте пункты 1 и 2 фильтра, указав нужные вам параметры.
Парсер (специальный инструмент) отфильтрует для вас друзей ВК по указанным параметрам.
Для предварительного парсинга друзей ВКонтакте используйте парсер “Друзья и подписчики”, по вашему аккаунту будут собраны ваши друзья (поставьте отметку парсить лишь друзей).
Собрать данные о ваших друзьях ВК поможет парсер “Полная информация о пользователях” https://vk.barkov.net/userinfo.aspx
Запустить скрипт для решения вопроса
Полезный небольшой видеоурок по этой теме
О сервисе поиска аудитории ВКонтакте
vk.barkov.net — это универсальный набор инструментов, который собирает самые разнообразные данные из ВКонтакте в удобном виде.
Каждый инструмент (скрипт) решает свою задачу:
Например, есть скрипт для получения списка всех подписчиков группы.
А вот тут лежит скрипт для сбора списка всех людей, поставивших лайк или сделавших репост к конкретному посту на стене или к любым постам на стене.
Ещё есть скрипт для получения списка аккаунтов в других соцсетях подписчиков группы ВКонтакте.И таких скриптов уже более 200. Все они перечислены в меню слева. И мы регулярно добавляем новые скрипты по запросам пользователей.
Запустить скрипт для решения вопроса
Полезные ответы на вопросы по этому же функционалу для сбора данных из ВКонтакте
Отфильтровать людей в группе ВК возраст от 18 до 35 Санкт-Петербург
Спарсить подписчиков группы ВКонтакте по критерию города
Собрать только тех, кто заходил в ВК после определенной даты
Как офильтровать ВК пользователей по их данным по области?
Фильтр пользователей ВК по уже выбранному списку по гео и возрасту
Выбрать в группе ВКонтакте людей по заданным условиям и загрузить в формат Excel
Как отфильтровать пользователей ВКонтакте по заданной области?
При фильтрации аудитории по семейному положению ВК исключить тех, кто замужем
Как можно отфильтровать подписчиков ВКонтакте, которые не заходили ВКонтакте с определенного срока?
Как отсортировать имеющуюся базу юзеров ВКонтакте на тех, кто указал в профиле своих детей?
Кто в группе давно не заходил в Контакт
Найти подписчиков группы, которые давно не были активны ВКонтакте
Как отфильтровать людей ВК, не заходивших позже какой-то даты?
Страницы пользователей с групп Контакта по ключевому слову
Нужен фильтр пользователей по имени ВКонтакте
Отфильтровать ВК из файла людей из Москвы
Как можно фильтровать аудиторию ВКонтакте по городу?
Как из списка отделить профили людей от профилей групп, а потом еще и в группах спарсить админов ВКонтакте
Фильтр по участникам группы Контакта
Как отфильтровать id по области ВК?
ML на эго-графах / Хабр
Дружбы — одна из важнейших механик любой социальной сети.
Подавляющее большинство взаимодействий происходит между пользователями, которые дружат: мы видим и комментируем записи друг друга в лентах, заходим в список друзей, чтобы найти знакомых и написать сообщение. Именно поэтому рост социального графа так важен.
Меня зовут Женя Замятин, я работаю в команде Core ML ВКонтакте. Хочу рассказать, как устроены рекомендации, которые делают ближе пользователей самой крупной социальной сети рунета.
Обзор
Современные рекомендательные системы зачастую состоят из двух уровней, и наша не исключение. Задача первого уровня — искать наиболее релевантных кандидатов среди всего множества пользователей (у нас их сотни миллионов). Такая постановка задачи подразумевает высокую скорость работы. Обычно здесь используют простые в применении модели — вроде матричных факторизаций или эвристики на базе числа общих друзей. Полученные на первом уровне кандидаты отправляются на второй. Здесь на модель уже не накладываются такие жёсткие ограничения по скорости, её главная задача — обеспечить максимальную точность предсказаний и сформировать список, который увидит пользователь.
В этой статье мы рассмотрим только первый этап — уровень отбора кандидатов.
Прежде всего сформулируем задачу, которую будем решать: для каждого пользователя необходимо найти k кандидатов, которых он с наибольшей вероятностью добавит в друзья. Метрика, на которую будем ориентироваться, — recall@k. Она идеально описывает задачу: на первом уровне нам не интересен порядок кандидатов, но важна их релевантность.
Сначала рассмотрим базовые решения, придуманные десятки лет назад, но до сих пор актуальные. Первым приходит на ум одно из самых логичных — эвристика на основе числа общих друзей. Для каждого пользователя отбираются кандидаты с наибольшим таким значением. Этот подход просто реализуется и неплох по качеству.
Ещё один важный метод рекомендаций — Adamic/Adar. В его основе лежит всё тот же анализ общих друзей, но с модификацией: авторы предлагают учитывать число друзей у «общего» друга. Чем больше это значение, тем меньше информации о релевантности он несёт.
Кроме методов на основе анализа общих друзей, довольно распространены рекомендации на базе эмбеддингов.
В Лаборатории искусственного интеллекта ВКонтакте в МФТИ мы провели исследование: сравнили эффективность разных подходов к задаче предсказания дружб в VK. Результаты совпали с нашим опытом — решения на базе графовых эмбеддингов у нас работают плохо. Учитывая это, мы стали развивать систему отбора кандидатов по пути анализа общих друзей.
EGOML
Общая схема нашего метода продолжает идеи числа общих друзей и Adamic/Adar. Финальная мера релевантности E(u, v), с помощью которой мы будем отбирать кандидатов, всё так же раскладывается в сумму по общим друзьям u и v. Ключевое отличие — в форме слагаемого под суммой: в нашем случае это мера ez_c(u, v).
Сначала попробуем понять «физический» смысл меры ez_c(u, v). Представим, что мы взяли пользователя c и спросили у него: «Насколько вероятно, что два твоих друга, u и v, подружатся?» Чем больше информации для оценки он учтёт, тем точнее будет его предсказание.
Например, если c сможет вспомнить только число своих друзей, его рассуждения могут выглядеть следующим образом: «Чем больше у меня друзей, тем менее вероятно, что случайные двое из них знакомы». Тогда оценка вероятность дружбы u и v (с точки зрения c) может выглядеть как 1/log(n), где n — число друзей. Именно так устроен Adamic/Adar. Но что если c возьмёт больше контекста?
Прежде чем отвечать на этот вопрос, разберёмся, почему ez_c(u, v) важно определять через пользователя c. Дело в том, что в таком виде очень удобно решать задачу распределённо. Представим, что теперь мы разослали всем пользователям платформы анкету с просьбой оценить вероятность дружбы в каждой паре их друзей. Получив все ответы, мы можем подставить значения в формулу E(u, v). Именно так выглядит вычисление E(u, v) с помощью MapReduce:
Подготовка. Для каждого
cвыделяется тот контекст, который он будет учитывать для вынесения оценок.
Например, в Adamic/Adar это будет просто список друзей.Map. «Спрашиваем» у каждого
c, что он думает про возможность дружбы в каждой паре его друзей. По сути, вычисляемez_c(u, v)и сохраняем в виде(u, v) → ez_c(u, v)для всехu, v in N(c). В случае Adamic/Adar:(u, v) → 1/log|N(c)|.Reduce. Для каждой пары
(u, v)суммируем все соответствующие ей значения. Их будет ровно столько, сколько общих друзей уuиv.
Например, в Adamic/Adar это будет просто список друзей.Таким образом мы получаем все ненулевые значения E(u, v). Заметим: необходимое условие того, что E(u, v) > 0, — существование хотя бы одного общего друга у u и v.
Контекстом пользователя c в случае меры ez_c будет тот же список друзей, но дополненный информацией о связях внутри этого списка. Такую структуру в науке называют эго-графом.
Если более формально, эго-граф вершины x — это такой подграф исходного графа, вершинами которого являются все соседи x и сама x, а рёбрами — все рёбра исходного графа между этими вершинами. Коллеги из Одноклассников написали подробную статью об эго-графах и затронули в ней вопрос их эффективного построения.
Ключевая идея меры ez_c в том, что её можно сделать обучаемой. Для каждого пользователя c, его эго-графа и всех пар пользователей u, v внутри него мы можем посчитать много разных признаков, например:
число общих друзей
uиvвнутри эго-графаc;число общих друзей
uиc;интенсивность взаимодействий между
vиc;время, прошедшее с последней дружбы между
uи кем-либо из эго-графаc;плотность эго-графа
c;и другие.
Таким образом мы получим датасет с признаками. Но для обучения нужны ещё и метки. Пусть датасет был построен по состоянию графа на момент времени T. Тогда в качестве положительных примеров возьмём те пары пользователей, которые не были друзьями на момент T, но подружились к T + △T. А как отрицательные — все остальные, не подружившиеся, пары пользователей. Заметим: поскольку мы решаем задачу предсказания новых дружб, те пары пользователей, которые уже дружат на момент T, учитывать не нужно ни на обучении, ни на применении.
В конечном счёте мы получаем датасет следующего вида:
для каждой пары пользователей
uиv, а также их общего другаc, посчитаны признаки по эго-графуc;пара пользователей
uиvвстречается в датасете ровно столько раз, сколько у них общих друзей;все пары пользователей в датасете не являются друзьями на момент времени
T;для каждой пары
uиvпроставлена метка — подружились ли они в течение определённого промежутка времени начиная сT.
По такому датасету мы и будем обучать нашу меру ez_c. В качестве модели выбрали градиентный бустинг с pairwise функцией потерь, где идентификатором группы выступает пользователь u.
По сути, мера ez_c(u, v) определяется как предсказание описанной выше модели. Но есть один нюанс: при pairwise-обучении распределение предсказаний модели похоже на нормальное. Поэтому, если в качестве определения меры ez_c(u, v) взять «сырое» предсказание, может возникнуть ситуация, когда мы будем штрафовать финальную меру E(u, v) за общих друзей, так как значения предсказаний бывают отрицательными. Это выглядит не совсем логично — хочется, чтобы с ростом числа общих друзей мера E(u, v) не убывала. Так что поверх предсказания модели мы решили взять экспоненту:
Такой подход хорошо себя показывает на небольших графах. Но чтобы применить его на реальных данных, необходимо выполнить ещё одно действие. Суть проблемы такая: мы не можем вычислять признаки и применять модель для каждой пары пользователей всех эго-графов — это слишком долго.
2) до O(n). Но как получить такую модель, каждое дерево которой зависит только от одного пользователя? Для этого сделаем следующее:
Исключим из датасета все признаки, которые одновременно зависят и от
uи отv. Например, от признака «число общих друзейuиvвнутри эго-графаc» придётся отказаться.Обучим модель
A, используя только признаки на базеu,cи эго-графаc.Для обучения модели
Bоставим только признаки на базеv,cи эго-графаc. Также в качестве базовых предсказаний передадим предсказания моделиA.
Если объединим модели A и B, получим то что нужно: первая часть использует признаки u, вторая — признаки v. Совокупность моделей осмысленна, поскольку B была обучена «корректировать» предсказания A.
Эта оптимизация позволяет ускорить вычисления в сотни раз и делает подход применимым на практике. Финальный вид ez_c(u, v) и E(u, v) выглядит так:
Вычисление меры E в онлайне
Заметим, что E(u, v) можно представить в виде:
Эта формула — скалярное произведение разреженных векторов, индексами которых являются пользователи, а значениями — экспоненты предсказаний модели. Ненулевые значения здесь проставлены только у друзей u — по сути это просто списки друзей с дополнительными значениями.
При построении рекомендаций мы уже вычислили предсказания моделей для всех существующих дружб. Поэтому для каждого пользователя мы можем собрать векторы и сложить их в доступное онлайн key-value хранилище. После этого сможем получать значение E(u, v) для любой пары пользователей в онлайне простой операцией перемножения векторов. Это даёт возможность использовать E(u, v) как лёгкую функцию релевантности в нагруженных местах либо как дополнительный признак финальной модели ранжирования.
Итог
В результате система EGOML позволяет:
Распределённо отбирать кандидатов для каждого пользователя в офлайне. Асимптотическая сложность оптимизированного алгоритма составляет
O(|E|)вычислений признаков и применений модели, где|E|— число связей в графе. На кластере из 250 воркеров время работы алгоритма составляет около двух часов.Быстро вычислять меру релевантности
E(u, v)для любой пары пользователей в онлайне. Асимптотическая сложность операцииO(|N(u)| + |N(v)|).Улучшать качество рекомендаций, расширяя количество учтённых графов (по дружбам, скрытиям рекомендаций, отправленным сообщениям и другим графам) и добавляя всевозможные метки на рёбра и вершины. Например, интенсивность взаимодействий на ребре, дату образования ребра, город, место работы или учёбы пользователя.
В конечном счёте мы перешли со способа отбора кандидатов с использованием Adamic/Adar к системе EGOML и внедрили в модель второй уровень признаков на основе меры E(u, v).
И это позволило увеличить количество подтверждённых дружб со всей платформы на несколько десятков процентов.
Благодарность
Хочу сказать спасибо руководителю команды Core ML Андрею Якушеву за помощь в разработке метода и подготовке статьи, а также всей команде Core ML — за поддержку на разных этапах этой работы.
Появляются новые украинские социальные сети, чтобы бросить вызов Facebook, ВКонтакте и Одноклассникам на внутреннем рынке
Автор Брендан Мейнард / 30 июля 2014 г.
Facebook, возможно, зарекомендовал себя как мировой лидер в области социальных сетей, а VK (основанный в России как Vkontakte), возможно, завоевал значительную долю рынка в русскоязычных странах в качестве альтернативного сервиса, но они не помешали множеству конкурентов выйти на рынок. украинский рынок. За последний год SocialFace, Zine, Ukrainci, Druzi и WeUa появились в стране как внутренние претенденты на более авторитетных игроков.
Этой весной у Facebook появилось несколько конкурентов, поскольку украинцы решили бойкотировать основанные Россией сервисы, такие как «ВКонтакте» и «Одноклассники».
Некоторые из этих новичков приняли «патриотический» подход к социальной сети. Например, «Друзья» («Друзья» по-украински) претендуют на более чем 215 000 пользователей с момента запуска в марте.
В отличие от других сетей, которые стремятся расширить охват, администраторы этого сайта фактически стремятся ограничить доступ к сайту пользователям из Украины. Другой сайт, WeUa, также стал ориентированной на Украину социальной сетью, на сегодняшний день насчитывающей 163 000 пользователей. На данный момент это эксклюзивно для Интернета, но, как сообщается, они планируют выпустить приложения для iOS и Android в течение следующих четырех месяцев. Третий конкурент, Ukrainci («Украинцы» по-украински), стремится предоставить еще одну альтернативу, когда он запустится чуть более чем через месяц (точнее, через 32 дня).
SocialFace, который остается в стадии бета-тестирования, представляет собой более широкую попытку привлечь украинских пользователей. В отличие от вышеупомянутых сетей, носящих национальный характер, эта сеть открыта для всех.
Журнал, который является партнером SocialFace, предлагает платформу для обмена известными цитатами, правилами жизни и общими мыслями. В отличие от других, которые стремятся конкурировать с российскими ВКонтакте и Одноклассниками, этот сервис, по сути, стремится стать украинским конкурентом Twitter. Сервис только что запущен и насчитывает чуть менее 100 пользователей, которые поделились со своими подписчиками более 300 мыслями, сообщает AIN.UA.
Между тем, популярность существующих российских социальных сетей в Украине снижается, поскольку посетители, как правило, используют больше западных сайтов – по крайней мере, если измерять количество просмотров страниц. По данным StatCounter, за год до июля 2014 года доля страниц «ВКонтакте» в общем объеме просмотров страниц снизилась с 37% до 21,9%, а в «Одноклассниках» — с 10% до 3,6%.